SYLLABUS KWANTITATIEVE ONDERZOEKSMETHODEN 2014-2015 (EBB051A05)
Dr. Marijke Leliveld Juli 2014 V2
Syllabus Kwantitatieve Onderzoeksmethoden
Contact Coördinator:
dr. Marijke Leliveld
Aanwezigheid:
Maandag, dinsdag, donderdag, vrijdag Altijd mailen voor afspraak! DUI 316 050-363 3226
[email protected]
Locatie: Telefoon: Email:
1
Syllabus Kwantitatieve Onderzoeksmethoden
INHOUDSOPGAVE Inhoudsopgave ........................................................................................................................................................ 2 1. Inleiding .......................................................................................................................................................... 3 2. Werkvormen en literatuur ............................................................................................................................. 4 3. Toetsing en Beoordeling................................................................................................................................. 7 4. Planning .......................................................................................................................................................... 8 5. Het onderzoeksproces .................................................................................................................................... 9 A. Probleem- en Vraagstelling, Hypothesen en Operationalisaties ............................................................... 9 Stap 1: De Probleemstelling ........................................................................................................................... 9 Stap 2: De Vraagstelling en Factoren ........................................................................................................... 10 Stap 3: De Onderzoeksvragen ...................................................................................................................... 10 Stap 4: Het Conceptueel Model ................................................................................................................... 10 Stap 5: De Hypothesen ................................................................................................................................. 11 Stap 6: De Conceptuele en Operationele definities ..................................................................................... 12 Stap 7: De Indicatoren .................................................................................................................................. 12 Extra: Welke concepten kunnen wel worden bestudeerd en welke niet? ................................................... 13 B. Het meetinstrument ................................................................................................................................ 13 C. De steekproef ........................................................................................................................................... 14 D. De dataverzameling ................................................................................................................................. 15 E. De data-analyse ....................................................................................................................................... 15 Stap 1: Voorbereiden van dataset ................................................................................................................ 15 Stap 2: Beschrijvende Statistieken ............................................................................................................... 16 Stap 3: Correlatie en Betrouwbaarheidsanalyse .......................................................................................... 16 Stap 4: Nieuwe variabele .............................................................................................................................. 17 Stap 5: De Techniekkeuze............................................................................................................................. 17 Stap 6: Controle variabele ............................................................................................................................ 17 Stap 7: Het toetsen van de hypothesen ....................................................................................................... 18 Stap 8: Conclusies en Implicaties. ................................................................................................................ 19 F. Algemeen: de verslaglegging .................................................................................................................. 19 Extra: Plagiaat en Sancties ............................................................................................................................ 20 6. De Opdrachten ............................................................................................................................................. 21 A. Opdracht 1 ............................................................................................................................................... 21 B. Opdracht 2 ............................................................................................................................................... 22 C. Oefenopdracht Conceptueel Model: werkgroep 1 .................................................................................. 23 D. Oefenopdracht Probleemstelling vormen: werkgroep 1 ......................................................................... 24 E. Oefenopdracht Definities: werkgroep 2 .................................................................................................. 24 F. Oefenopdracht Vragenlijst: werkgroep 2................................................................................................. 26 G. Oefenopdracht Techniekkeuze: werkgroep 5 .......................................................................................... 28 H. Oefententamen Kwantitatieve Onderzoeksmethoden: werkgroep 6 ..................................................... 30 7. Checklist ....................................................................................................................................................... 36 8. Bijlagen ......................................................................................................................................................... 38 Univariate en bivariate analyses ....................................................................................................................... 38 Edities business research methods van Blumberg et al en Cooper & Schindler ............................................... 40
2
Syllabus Kwantitatieve Onderzoeksmethoden
1.
INLEIDING
Leerdoelen van het vak Na het behalen van het vak kunnen studenten: • • • • • • • • •
Methodologische terminologie toepassen Verschillende manieren van kwantitatief onderzoek beschrijven Een probleem- en vraagstelling opstellen Belangrijke concepten met betrekking tot de probleem- en vraagstelling beschrijven gebaseerd op wetenschappelijke literatuur Een conceptueel model opstellen Aan de hand van een conceptueel model een methodologisch verantwoorde vragenlijst opstellen Een dataverzamelingsprocedure ontwerpen Onderzoekshypotheses toetsen met behulp van SPSS Een onderzoeksverslag schrijven
Onderwerpen en samenhang Het doen van goed onderzoek is één van de belangrijkste vaardigheden van een wetenschappelijk opgeleide bedrijfskundige. In deze cursus worden de eerste stappen op het gebied van het uitvoeren van wetenschappelijk onderzoek gezet, zoals vragenlijsten en experimenten, waarbij de nadruk ligt op het verantwoord meten van meningen van managers, werknemers, klanten, etc. Studenten zullen leren hoe zij een informatiebehoefte kunnen formuleren, hoe ze een enquête (survey) om tot metingen te komen kunnen opzetten, hoe zij de verkregen data statistisch kunnen analyseren, en hoe zij ten slotte conclusies kunnen trekken ten aanzien van de eerder geformuleerde informatiebehoefte. Relevantie van vak voor in de praktijk werkzame bedrijfskundige Een bedrijfskundige zal in de praktijk regelmatig voor vraagstukken komen te staan waar op een systematische manier grote hoeveelheden informatie (data) verzameld en geanalyseerd moet worden. Voorbeelden zijn klantonderzoek en medewerkeronderzoek. Het vak Kwantitatieve Onderzoeksmethoden geeft de basis voor een dergelijke dataverzameling en -analyse. Relatie met voorgaande, gelijktijdige en nog volgende vakken, plaats in curriculum Het vak Kwantitatieve Onderzoeksmethoden is een vervolg op de vakken Academic Skills I en II uit het eerst jaar en gaat in op het kwantitatieve meetproces. Andere methodologievakken zijn Statistiek (blok 1.2 van het 1e jaar) en Kwalitatieve Onderzoeksmethoden (in blok 1.2 van het 2e jaar). Samen geven deze vakken een brede methodologische basis voor het doen van kwantitatief en kwalitatief bedrijfskundig onderzoek. De lesstof uit deze vakken wordt in de bachelor in meer complexe cases toegepast. Ook in de Bachelor Thesis in het derde jaar is er nadrukkelijk aandacht voor methodologie.
3
Syllabus Kwantitatieve Onderzoeksmethoden
2.
WERKVORMEN EN LITERATUUR
Werkvormen: Werkgroepen en colleges Het doen van onderzoek valt enkel te leren door het ook zelf te doen: studenten volgen daarom verplichte werkgroepen waarbinnen zij in groepjes van 4 een onderzoek opzetten. Ieder onderzoeksgroepje zal zelf een probleemstelling en vraagstelling gaan opzetten en dit omzetten in een conceptueel model. Hierin worden de mogelijke oorzaken en gevolgen weergegeven. De opdracht voor het onderzoeksgroepje is om aan de hand van een vragenlijst (opdracht 1) en statistische analyses (opdracht 2) te onderzoeken in hoeverre de mogelijke oorzaken daadwerkelijk van invloed zijn op het probleem. Tijdens de werkgroepen zullen de onderzoeksgroepjes worden begeleid in het opstellen van een probleem- en vraagstelling, het conceptueel model en de vragenlijst, en zullen de belangrijkste onderdelen van de opdrachten worden geoefend in de werkgroep als geheel. Tijdens de werkgroepen wordt een actieve houding van de studenten verwacht. De studenten krijgen de mogelijkheid om elkaar feedback te geven op elke opdracht, en ook de werkgroepdocent zal voor iedere deelopdracht eenmaal feedback geven (enkel wanneer de opdracht op tijd is ingeleverd) en een voorlopig cijfer geven. Daarna kunnen de onderzoeksgroepjes hun opdracht verbeteren, waarna een definitief cijfer voor de opdracht wordt gegeven. Ten slotte worden de werkgroepen ondersteund door hoorcolleges waarin de belangrijkste begrippen en stappen worden toegelicht ter voorbereiding op enerzijds de werkgroep in die week en anderzijds het tentamen. Bijdrage aan groepsopdracht: Peer assessment en problemen De bijdrage aan de opdrachten zal meewegen in de eindberekening van het vakcijfer. De opdrachten worden op groepsniveau beoordeeld. Echter, afhankelijk van de peer assessment kunnen op individueel niveau aanpassingen worden gemaakt (maximaal een halve punt erbij of eraf). Deze aanpassing wordt verdeeld over beide opdrachten. Bijvoorbeeld: een opdrachtgroepje haalt een 6.3 en 7.5 op respectievelijk Opdracht 1 en Opdracht 2 (gemiddeld 6.9). Uit de peer assessments komt naar voren dat het cijfer van groepslid X 0.5 punt lager wordt. Voor de berekening van het eindcijfer wordt van beide opdrachten 0.5 afgetrokken. Student X heeft daarmee een 5.8 en een 7 voor de opdrachten (gemiddeld 6.4). Deze onafgeronde cijfers worden gebruikt bij de berekening van het vakcijfer. Alleen in die gevallen waarin één (of meer) van de leden van een onderzoeksgroep duidelijk onvoldoende inspanning levert, en het niet meer kan verbeteren, kan een groepslid uit de opdrachtgroep verwijderd worden. Indien de overige leden vinden dat een lid van de onderzoeksgroep onvoldoende inspanning heeft getoond en uitgesloten moet worden, dan moeten ze direct contact opnemen met de werkgroepdocent. Het is van groot belang eventuele problemen met communicatie of bijdrage van een van de groepsleden tijdig te melden en niet pas nadat de eindversie van een opdracht is ingeleverd.
4
Syllabus Kwantitatieve Onderzoeksmethoden
Mocht je zelf factoren kennen die invloed kunnen hebben op je bijdrage aan de opdracht(en), laat het je groepsleden tijdig weten en geef aan hoe je een en ander zult gaan compenseren. Dit voorkomt veel problemen. LET OP: De uiteindelijke beslissing wat betreft uitsluiting ligt bij de coördinator; de werkgroepdocent zal bij gegronde klachten de groep daarom doorverwijzen naar de coördinator. Verplichte aanwezigheid De werkgroepen zijn verplicht (behalve de “open vragen”-werkgroep in week 39). Studenten mogen één werkgroep missen (bijvoorbeeld door ziekte of vakantie). LET OP: de student moet er altijd voor zorgen dat hij of zij de verloren tijd goed maakt met zijn subgroep (zie bijdrage aan groepsopdracht). Wanneer een student twee werkgroepen mist, volgt een vervangende opdracht die in twee uur te maken is. Hiervan wordt nooit afgeweken! Bij het missen van meer dan twee werkgroepen kan de student niet meer mee doen aan het practicum en de opdracht(en), en zal dat in het volgende studiejaar opnieuw gedaan moeten worden. Het recht op deelname aan het tentamen wordt echter niet ontzegd. SPSS Voor de tweede opdracht moeten studenten werken met SPSS. Studenten moeten er voor zorgen dat zij met SPSS kunnen werken. Hiertoe staat de syllabus op Nestor die studenten op een gemakkelijke manier door SPSS stuurt. Hiermee kunnen studenten niet alleen te weten komen hoe zij in SPSS analyses moeten draaien, maar ook hoe zij de output van SPSS kunnen lezen en interpreteren. Om te waarborgen dat iedere student vooraf aan opdracht 2 met SPSS heeft gewerkt, zal iedere individuele student de SPSS-opdracht moeten maken die rond week 37 op Nestor zal verschijnen. Deze opdracht dient de student zelfstandig te maken en in week 41 in te leveren bij de werkgroepdocent bij aanvang van werkgroep 5. LET OP: Studenten die deze opdracht niet maken, worden uitgesloten uit hun subgroep en moeten opdracht 2 individueel afmaken! In week 39 en 41 is er extra begeleiding beschikbaar tijdens het SPSS-spreekuur om vragen over SPSS te kunnen beantwoorden. Deelname onderzoek FEB Research Lab Deelname aan onderzoek in het FEB Research lab is verplicht. Dit onderdeel wordt aangemerkt als verplicht practicum en bestaat eruit dat je gedurende 1 uur deelneemt aan onderzoek (als proefpersoon/respondent). Dit staat gelijk aan 4 Research Points. De resultaten van het onderzoek worden (deels) tijdens de colleges besproken. Het FEB Research lab bevindt zich op de eerste verdieping van het Duisenberggebouw boven de Plaza. Je kunt in de periode tussen 1 september t/m 24 oktober 2014 aan deze verplichting voldoen op een tijdstip naar keuze. NB Wanneer er nog online studies draaien, geldt een deadline van zondag 26 oktober voor deze studies. Je moet de studie in dat geval afgerond hebben vóór middernacht om de punten te laten meetellen. Schrijf je via SONA in om deel te nemen aan onderzoek. Als je niet aan deze verplichting voldoet, wordt je tentamencijfer met 0.5 punt verlaagd en is het mogelijk dat je daardoor het vak niet haalt (Deze verplichting geldt
5
Syllabus Kwantitatieve Onderzoeksmethoden
NIET voor recidivisten die enkel het tentamen nog moeten doen – hun eventueel gehaalde punten blijven geldig). Let op: Tijdens het eerste hoorcollege wordt uitgelegd hoe je je kunt registreren in SONA. Die informatie kun je ook terugvinden onder Course Documents. Daar kun je een handleiding vinden waarin uitgelegd staat hoe je je kunt registreren in SONA. Belangrijke informatie over het daadwerkelijk krijgen van de SONA-punten: •
•
Schrijf je bij SONA in voor de juiste cursus (namelijk Kwantitatieve Onderzoeksmethoden). Wij krijgen namelijk enkel de punten door van mensen die zich onder onze cursus hebben aangemeld! Aanmelden onder de juiste cursusnaam is de verantwoordelijkheid van de student. Wanneer je mee doet aan een online studie, geef dan je SONA ID door. Alleen op die manier kunnen je punten worden toegekend.
Nestor Voor het vak Kwantitatieve Onderzoeksmethoden zal intensief gebruik gemaakt worden van Nestor. Hierop zullen de opdrachten voor het vak staan, maar ook extra berichten over eventuele wijzigingen of aanvullingen op de beschikbare materialen. Daarbij staat er een oefententamen op Nestor. Houd dit dus goed in de gaten! Discussion Board: Het Discussion Board kan gebruikt worden om vragen te stellen over de cursus. Dat gaat gaan over praktische zaken (wanneer en waar college, of wanneer de individuele SPSS opdracht moet worden ingeleverd) als over vragen over de inhoud van de cursus. Minimaal twee keer per week zal er een moderator door de openstaande vragen gaan. Daarnaast is het mogelijk om via Nestor met je subgroep te communiceren via mail en het discussiebord en kan ‘File exchange’ gebruikt worden om documenten met elkaar uit te wisselen. Literatuur Tentamenliteratuur • • • •
Blumberg, B., Cooper, D.R. en Schindler, P.S. (2014). Business Research Methods (fourth edition), McGraw-Hill. ISBN: 978-0-0771-5748-7. Hoofdstukken 1 (enkel p27-36), 6-7, 12-15. Syllabus “Kwantitatieve Onderzoeksmethoden 2014-2015” SPSS handboek Collegestof
Aanbevolen literatuur • • •
Field, A. (2013). Discovering Statistics Using SPSS. (4th edition). ISBN: 9781446249185 Huizingh, E. Applied statistics with SPSS, Sage. ISBN: 9781412919319 Keller, G. Statistics for Management and Economics (7th International Student Edition), Thomson. ISBN:0-495-01339-0
6
Syllabus Kwantitatieve Onderzoeksmethoden
3.
TOETSING EN BEOORDELING
Toetsing Bij Kwantitatieve Onderzoeksmethoden wordt gewerkt in onderzoeksgroepjes van 4 personen. Gezamenlijk schrijven de leden van zo’n onderzoeksgroepje een onderzoeksverslag. Dit onderzoeksverslag is opgebouwd uit twee onderdelen: het “Onderzoeksontwerp” en de “Analyses en Resultaten”. Ieder van deze twee onderdelen wordt door de begeleider beoordeeld met een cijfer. Beide cijfers gelden voor alle leden van het onderzoeksgroepje. Aan het eind van blok 1.1 is er een tentamen over de hoofdstukken 1 (enkel p27-36!), 6-7, 12-14 van Blumberg, Cooper & Schindler, de hoorcollegestof en de onderdelen van de opdrachten. Dit "gesloten boek" tentamen is deels een "open vraag"-tentamen en deels een mcvragententamen. Het tentamen wordt beoordeeld met een cijfer (tot op één cijfer achter de komma nauwkeurig). Onder de knop "Tentamen" op de Nestor-site van Kwantitatieve Onderzoeksmethoden staat een voorbeeldtentamen. Deze zal ook tijdens de werkgroepen uitgebreid worden besproken. Berekening eindcijfer Het eindcijfer voor Kwantitatieve Onderzoeksmethoden is het afgeronde gewogen gemiddelde van de cijfers voor het groepsverslag en het tentamencijfer: het cijfer voor het Onderzoeksontwerp telt voor 25%, het cijfer voor de Analyses en Resultaten telt voor 25%, en het tentamencijfer telt voor 50%. Het eindcijfer wordt echter alleen berekend indien de definitieve versies van de verslagonderdelen op tijd zijn ingeleverd, en het tentamencijfer en beide opdrachtencijfers minimaal een 5.0 zijn. Is aan deze voorwaarden niet voldaan, dan is het eindcijfer maximaal een 5. Op basis van de peer assessments kunnen groepsopdrachtcijfers verschillen per individu. Voor het ontbreken/onvoldoende zijn van de vervangende opdracht (enkel bij missen van twee werkgroepen) en/of het niet hebben voldaan aan de FEB-Research Lab deelname (voor allebei geldt een deadline van 25 oktober) geldt dat er PER ONDERDEEL 0.5 punten worden afgetrokken van het individuele (nog niet afgeronde) tentamencijfer. Dit kan dus betekenen dat je het vak niet haalt. NB De eis van minimaal een 5.0 voor het tentamen beslaat in deze gevallen het oorspronkelijke tentamencijfer. Wanneer je dus een 5.8 hebt gehaald voor het tentamen heb je voldaan aan de minimale 5.0-eis, maar zal in de eindberekening van je cijfer gerekend worden met een 4.8 wanneer je niet voldoet aan allebei de onderdelen. Herkansing Het tentamen kan na blok 1.2 herkanst worden. Voor de beide opdrachten zijn er binnen de werkgroepenserie mogelijkheden om de opdracht te verbeteren. Het is dus niet mogelijk om deze nogmaals te herkansen. De vervangende opdracht en de verplichte FEB Research Lab deelname kunnen niet worden herkanst. Deelresultaten (opdracht 1, 2, tentamen, vervangende opdracht en FEB punten) blijven geldig (ook in een volgend studiejaar bij ongewijzigde vakinhoud).
7
Syllabus Kwantitatieve Onderzoeksmethoden
4.
PLANNING
Hoorcollege (maandag , 11:00 – 13:00, locatie: Collegehal Blauwborgje 4; eerste week ook op vrijdag!) Week 1.1-1 36
Datum en locatie 01-09 (Stadskerk VBG, Friesestraatweg) 05-09 11-13u
Activiteit Onderzoeksproces + Organisatie cursus
Literatuur H1 (p27-36), H7 Syllabus H5A
Validiteit, betrouwbaarheid en meetniveaus
H14 Syllabus H5B H6 en 13 Syllabus H5C en 5D H12
1.1-1
36
1.1-2
37
08-09
Vragenlijst & Steekproeftrekking
1.1-3
38
15-09
1.1-4 1.1-4
39 39
22-09 24-09 13-17u 5415.0013
(Quasi)-Experimenteel onderzoek + Feedback Opdracht 1 Analyses en SPSS SPSS inloop spreekuur
1.1-5
40 41
1.1-5
41
1.1-6
42
1.1-7
43
06-10
Carrièreweek Techniekkeuze en rapportage
SPSS handboek
Syllabus H5E en 5F SPSS handboek
08-10 SPSS inloop spreekuur 13-17u 5415.0013 13-10 Bespreken experimenten in FEB Research Lab Feedback Opdracht 2 Vooruitblik op tentamen Responsiecollege: vragen over bijv. opdracht of boek 20-10 *
* In deze week is er in principe geen college ingeroosterd. Bij uitval van een college kan deze verplaatst worden naar week 43. Dit zal op Nestor duidelijk worden gecommuniceerd.
8
Syllabus Kwantitatieve Onderzoeksmethoden
Werkgroepen (woensdagen - donderdagen - vrijdagen) Week 1.1-1
36
1.1-2
37
1.1-3
38
1.1-4 1.1-5
39 40 41
1.1-6 1.1-7
42 43
Onderwerp Werkgroep Algemene inleiding; groepen vormen; oefenopdracht Conceptueel model + Probleemstelling Concept Onderzoeksontwerp inleveren; feedback tussen groepen + oefenopdrachten Definities en Vragenlijst Definitieve versie Onderzoeksontwerp inleveren; feedback en mogelijkheid tot stellen vragen Inleveren groepsopdracht 1: Onderzoeksontwerp (herkansing): uiterlijk 26/9 15u. Geen werkgroepen Individuele SPSS-opdracht inleveren. Analyseplan + oefenopdracht Techniekkeuze. Data beschikbaar. Definitieve versie opdracht 2 inleveren; Feedback begeleider + Oefententamen Inleveren groepsopdracht 2: Analyses en Resultaten (herkansing): uiterlijk 24/10 15u.
Tentamen en hertentamen (tentamenhal) Tentamen Hertentamen
5.
Maandag 3 november 14.00u-17.00u Woensdag 14 januari 9.00u-12.00u
HET ONDERZOEKSPROCES
Onderzoek doen betekent niets anders dan het zoeken van antwoorden op vragen. Maar een dergelijke zoektocht kan op verschillende manieren gebeuren. In wetenschappelijk onderzoek gebeurt dat door middel van een systematisch en controleerbaar proces. Het systematische houdt in dat de verschillende stappen in het onderzoeksproces van tevoren zorgvuldig doordacht zijn, en het controleerbare dat deze stappen door de onderzoeker uiteindelijk gedetailleerd beschreven worden.
A. PROBLEEM- EN VRAAGSTELLING, HYPOTHESEN EN OPERATIONALISATIES STAP 1: DE PROBLEEMSTELLING In deze cursus wordt een gedeelte van dit onderzoeksproces doorlopen. We starten het proces met een probleemstelling. Dus wat is het probleem? In normale situaties zul je als bedrijfskundige gevraagd worden de situatie binnen een bedrijf of organisatie te analyseren om zodoende inzicht te kunnen verschaffen in welke aspecten anders of beter kunnen gaan. Voor het gemak zul je in deze cursus werken aan een zelfbedachte casus. Je mag dus zelf een probleem verzinnen binnen een -al dan niet bestaand- bedrijf, groep, vereniging, etc. In Hoofdstuk 2 van Blumberg, Cooper en Schindler kun je iets meer lezen over het ontstaan van een onderzoeksvraag.
9
Syllabus Kwantitatieve Onderzoeksmethoden
STAP 2: DE VRAAGSTELLING EN FACTOREN Vanuit deze probleemstelling werk je naar een vraagstelling. Welke informatie hebben we (nog) niet, of anders gezegd, wat willen we weten? In het voorbeeld dat in dit onderzoeksproces wordt uitgewerkt, staat een probleem op het gebied van de prestaties van werknemers centraal. De vraag is hoe deze prestaties verbeterd kunnen worden. Een mogelijke vraagstelling hierbij is: ‘Welke factoren zijn van invloed op de prestaties van werknemers?’ Aan de hand van wetenschappelijke literatuur worden er factoren gezocht die mogelijk van invloed zijn op de je centrale onderwerp, in dit geval prestaties. Als academisch geschoolde bedrijfskundige is het namelijk jouw taak om de theorie aan de praktijk te koppelen wanneer je onderzoek doet bij bedrijven of instanties. Op basis van wetenschappelijke literatuur (bijvoorbeeld over motivatie of gedrag in organisaties) kun je de specifieke onderzoeksvragen en bijbehorende hypothesen bepalen. Daarnaast kun je de literatuur gebruiken om je factoren duidelijk af te bakenen. Zo is de factor stress nog te onduidelijk, gaat het hierbij over fysieke of psychologische stress? Bij stap 6 wordt meer uitleg gegeven over het definiëren van factoren. Let op: internet biedt veel informatie, maar is zeker niet altijd gedegen wetenschappelijk onderzoek. Gebruik dus de boeken die horen bij de theoretische vakken van bedrijfskunde, ga naar de bibliotheek van FEB, en/of zoek in wetenschappelijke tijdschriften (bijvoorbeeld via Business Source Premier). Verwijs vervolgens volgens de regels der gebruik (AMJ style guide – “citations” en “references”; ook behandeld in o.a. “Academic Skills I”) naar deze bronnen.
STAP 3: DE ONDERZOEKSVRAGEN Uit de literatuur leiden we de volgende specifieke onderzoeksvragen af: 1) 2) 3)
Leidt meer training tot betere prestaties? Leidt meer talent tot betere prestaties? Leidt goede ondersteuning door de omgeving tot betere prestaties?
Je zou deze vragen kunnen zien als het toetsen van een theorie. Om te kijken of deze theorie juist is, ga je verder onderzoek doen. Nu kun je denken: maar als het al in de boeken staat, dan hoeven we die theorie toch niet meer te toetsen? Dat klopt, maar vaak zul je onderzoek doen bij specifieke bedrijven of organisaties en zul je willen weten welke factoren binnen dat specifieke bedrijf belangrijk zijn. Ook kan het zijn dat er verschillende meetinstrumenten worden gebruikt in de literatuur of dat de industrie waar het onderzoek uitgevoerd is verschild. Je test dus of de theorie geldt binnen een specifieke situatie.
STAP 4: HET CONCEPTUEEL MODEL Aan de hand van de onderzoeksvragen wordt er een Conceptueel Model gemaakt. Dit Conceptueel Model geeft jouw model visueel weer. Anders gezegd: het beschrijft de veronderstelde relaties in een oogopslag,. In Figuur 1 staat als voorbeeld een eenvoudig Conceptueel Model (CM). Hierbij is prestatie de afhankelijke variabele die wordt beïnvloedt door de onafhankelijke variabelen training,
10
Syllabus Kwantitatieve Onderzoeksmethoden
talent en ondersteuning. De keuze om de factoren “talent”, “training”, etc. op te nemen in het model wordt bepaald door de literatuur die bekend is over prestatie (afhankelijke variabelen). Deze factoren worden ook wel concepten genoemd, vandaar de naam conceptueel model. Figuur 1. Een conceptueel model voor prestatie
+
Training
Prestatie + Talent + Ondersteuning
Leeftijd
Je zult naast de theoretische concepten ook altijd controlevariabelen mee moeten nemen in je onderzoek. Deze variabelen kun je gebruiken om uit te sluiten dat bijvoorbeeld leeftijd, geslacht, opleidingsniveau, etc. van invloed is op de belangrijkste afhankelijke variabele. Zo kan leeftijd bijvoorbeeld van invloed zijn op de algemene prestatie. Dit effect wil je natuurlijk kunnen uitsluiten wanneer je conclusies gaat trekken over je belangrijke conceptuele begrippen.
STAP 5: DE HYPOTHESEN Vaak worden in een onderzoek de vragen geformuleerd in de vorm van hypothesen. De hypothesen die uit het CM van Figuur 1 worden afgeleid zijn: 1) 2) 3)
Sporters die meer trainen hebben betere prestaties dan sporters die minder trainen. Sporters met meer talent hebben betere prestaties dan sporters met minder talent. Sporters die door hun omgeving goed ondersteund worden hebben betere prestaties dan sporters zonder zo’n ondersteuning.
Je ziet dat de hypothesen niets anders zijn dan de onderzoeksvragen maar dan op een meer stellige manier geformuleerd (je hebt vertrouwen in je theorie!). Eerder werd opgemerkt dat het CM beschrijft op welke vragen je graag antwoord zou willen hebben. Het geeft tegelijkertijd aan dat je in allerlei andere vragen die je zou kunnen stellen niet geïnteresseerd bent. De vraag: “Leidt veel wedstrijdervaring tot betere prestaties bij sporters?” valt buiten het kader van dit onderzoek. Een CM is dus tegelijkertijd ook een afbakening van het onderzoek. Het geeft aan wat je wel maar ook wat je niet gaat onderzoeken. Om te onderzoeken of de hypothesen waar zijn, moeten er een aantal stappen genomen worden (herinner je je: systematisch), die vervolgens nauwkeurig gedocumenteerd moeten worden (herinner je je: controleerbaar). In deze stappen zal er bij sporters onder andere gemeten moeten worden hoeveel ze trainen en wat hun prestatie is. Vervolgens zal er gekeken moeten worden naar de relatie tussen die twee: is er een samenhang tussen de hoeveelheid training en de geleverde prestatie? Dat 11
Syllabus Kwantitatieve Onderzoeksmethoden
verband zal trouwens hoogstwaarschijnlijk niet perfect zijn: niet bij iedere meting blijkt dat een sporter die meer getraind heeft ook een betere prestatie levert. Door allerlei omstandigheden kan een sporter soms een slechte dag hebben (“ik had vandaag niet de juiste benen”). In wetenschappelijk onderzoek wordt daarom vaak gekeken naar gemiddelden: de gemiddelde hoeveelheid training, de gemiddelde prestatie, en ook het gemiddelde verband. Statistiek wordt dan gebruikt om dergelijke gemiddelden te beschrijven.
STAP 6: DE CONCEPTUELE EN OPERATIONELE DEFINITIES De eerste stap bij het toetsen van de hypothesen is duidelijk uitleggen wat je onder ieder concept in het Conceptueel Model verstaat (dus ook je afhankelijke variabele en je controlevariabele; in dit geval prestatie en leeftijd), en op wie dat begrip precies betrekking heeft. We noemen dat het geven van een conceptuele definitie. De conceptuele definitie van prestatie zou bijvoorbeeld kunnen zijn: “het resultaat van de inspanning op een sportonderdeel geleverd door iemand die minimaal één keer per maand aan een dergelijk sportonderdeel deelneemt”. Deze definitie volgt doorgaans direct uit de theorie die er bestaat over je concept (in dit geval sportprestatie). Het is in deze fase dus van belang dat je je definitie kracht bijzet door te refereren naar wetenschappelijke theorie. Hoewel deze definitie al meer helderheid over het begrip prestatie geeft, is ze nog niet geschikt om daadwerkelijk de prestatie te kunnen meten. Daartoe moet het begrip nog verder gespecificeerd worden. We noemen dit het operationaliseren van een begrip, of ook wel het meetbaar maken. Dit gebeurt door middel van een operationele definitie, waarin heel precies wordt vastgelegd hoe de meting daadwerkelijk plaatsvindt. De operationele definitie van “prestatie” zou bijvoorbeeld kunnen zijn: “de plaats behaald op een door de sportbond erkende wedstrijd”. Maar de definitie zou ook kunnen zijn: “de gemiddelde verbetering per maand gemeten in secondes nodig voor het afronden van het sportonderdeel”. Je ziet dat een begrip op verschillende manieren geoperationaliseerd kan worden. Welke operationalisatie(s) je kiest, hangt af van de setting waarin je het bestudeerd (bijv. F1-teamleden van de plaatselijke voetbalclub versus voetballers bij een club in de eredivisie). Je zult dus ook altijd moeten kunnen uitleggen waarom je voor deze operationalisatie hebt gekozen.
STAP 7: DE INDICATOREN Wanneer de operationele definitie opgesteld is, worden er indicatoren voor elke variabele bedacht (ook voor de afhankelijke variabele en de controle variabele). Door middel van deze indicator(en) wordt alle benodigde informatie over het concept verzameld. Een indicator voor het concept “training” zou “het aantal uren per week dat op kracht getraind is” kunnen zijn. Soms zijn aan een concept (operationele definitie) meerdere aspecten te onderscheiden1. In dat geval gebruiken we meerdere indicatoren. Een tweede indicator voor het begrip “training” zou dan “het aantal uren per week dat op conditie getraind is” kunnen zijn. Beide indicatoren samen geven dan het begrip volledig weer. Als de indicatoren samen inderdaad alle aspecten van een begrip dekken, dan zeggen we dat
1
In het algemeen kun je zeggen dat hoe abstracter een begrip is, hoe meer aspecten er aan het begrip te onderscheiden zijn, en hoe meer indicatoren er nodig zijn.
12
Syllabus Kwantitatieve Onderzoeksmethoden
de meting van het begrip een hoge inhoudsvaliditeit (content validity) heeft. Een ander belangrijk begrip is construct validity: sluiten de indicatoren aan bij de theorie over het construct? Wederom is de theorie dus belangrijk voor het doen van goed onderzoek. In het boek van Blumberg, Cooper en Schindler wordt er meer over validiteit verteld (hoofdstuk 14.4).
EXTRA: WELKE CONCEPTEN KUNNEN WEL WORDEN BESTUDEERD EN WELKE NIET? Bij survey-onderzoek moeten de respondenten informatie kunnen geven over alle concepten die je wilt meten. Je kunt dus vragen of ze hun team efficiënt vinden werken, hoeveel rapporten ze individueel afleveren per maand, of ze te weinig tijd hebben voor het werk, of juist tijd over hebben, etc. Dit zijn de ervaringen, meningen en gedragingen van de individuele respondenten. Met behulp van dergelijke operationalisaties van de constructen, kun je bijvoorbeeld bestuderen hoe de relatie zit tussen efficiëntie en productiviteit. Echter, wat je niet kunt vragen is de omzet van het bedrijf (weten jullie dat zomaar op te noemen van jullie werkgever?), het percentage hoger opgeleiden (je kunt hooguit van jezelf aangeven óf je hoger opgeleid bent), gemiddelde turnover tijd, etc. Dit zijn gegevens die op groepsniveau gemeten worden (zogenaamde geaggregeerde data) en die dus niet direct gelinkt kunnen worden aan de andere gegevens van een individuele respondent, zoals bijvoorbeeld leeftijd. Stel je bijvoorbeeld voor dat je efficiëntie meet met turnover tijd binnen een bedrijf (1 waarneming), en productiviteit met aantal binnengehaalde klanten per werknemer (aantal waarnemingen afhankelijk van hoe groot je steekproef is; maar allicht meer dan 1). Je kunt met dergelijke operationalisaties (waar het aantal waarnemingen niet overeenkomt tussen de onafhankelijke en afhankelijke variabele) niet je hypothese testen. Let op: wanneer je besluit om te kiezen voor de jaaromzet van het bedrijf (ook 1 waarneming), zijn dan wel het aantal waarnemingen voor de concepten efficiëntie en productiviteit gelijk, maar kun je nog steeds je hypothese niet testen. Er is namelijk geen statistische test voor om te bewijzen dat één waarneming de waarde op één andere waarneming beïnvloedt. Onthoud dus dat de gehele vragenlijst, en dus alle vragen met betrekking tot alle concepten en controlevariabelen in het CM, ingevuld moet kunnen worden door één individuele werknemer, werkgever, consument of wat je doelgroep ook is. Wanneer je de gegevens hebt van meerdere respondenten kun je met behulp van SPSS gaan analyseren of jullie hypothesen ondersteund worden of niet.
B.
HET MEETINSTRUMENT
Nadat de indicatoren opgesteld zijn, moeten de metingen plaatsvinden. Dat kan op heel verschillende manieren gebeuren. In bovenstaand voorbeeld over training en prestatie zou je bijvoorbeeld 1) kunnen observeren, 2) de coach om trainingsschema’s kunnen vragen en kijken naar wedstrijduitslagen, 3) een experiment doen waarin je de trainingsuren manipuleert, of 4) de sporter om informatie kunnen vragen.
13
Syllabus Kwantitatieve Onderzoeksmethoden
In deze cursus gebruiken we de methode van de survey: we maken een enquête om aan de benodigde informatie te komen (zie voor meer informatie over survey-onderzoek hoofdstuk 7 van Blumberg, Cooper en Schindler). De vragenlijst met vragen die voor de enquête opgesteld wordt moet natuurlijk gekoppeld worden aan de indicatoren die uit de operationalisatie voorkomen. En vanzelfsprekend moet zo’n vragenlijst methodologisch verantwoord zijn. In Blumberg, Cooper en Schindler (hoofdstukken 13 en 14) wordt verteld in welke valkuilen een survey-onderzoeker kan vallen bij het opstellen van een meetinstrument. Een andere manier van onderzoek doen is dus door middel van experimenten (hoofdstuk 12), waarmee je op een gecontroleerde manier kunt bepalen of een concept X invloed heeft op concept Y. Binnen de FEB wordt ook steeds meer van dit soort experimenteel onderzoek gedaan. Hoewel dit weldegelijk behoort tot de collegestof (en dus tentamenstof), zal in de opdracht de nadruk liggen op survey-onderzoek.
C.
DE STEEKPROEF
Belangrijk bij onderzoek is ook dat je nadenkt bij wie je je enquête wilt afnemen. Over welke populatie wil je een uitspraak doen? We noemen dit de doelpopulatie van je onderzoek. In ons voorbeeld zou dat bijvoorbeeld iedereen kunnen zijn die minimaal één keer per week traint met als doel om deel te nemen aan een sportwedstrijd. Vaak is die populatie te groot om in zijn geheel te onderzoeken (dat geldt ook voor ons voorbeeld; verder gaan we er van uit dat in elk onderzoek binnen deze cursus dit inderdaad het geval is). We maken dan gebruik van een steekproef. Het probleem hierbij is dat de samenstelling van de steekproef van trekking tot trekking kan en zeer waarschijnlijk ook zal verschillen. Als we dus op grond van één steekproef een uitspraak over de populatie willen doen, dan moeten we altijd bedenken dat het heel waarschijnlijk is dat voor een andere steekproef een andere uitspraak over die populatie gedaan zal worden. Misschien wel een tegenstrijdige uitspraak! We zullen dus, zowel bij de steekproeftrekking als bij de data-analyse, rekening moeten houden met het feit dat de steekproef een bepaalde toevallige samenstelling heeft, en dat die samenstelling over steekproeven heen zal verschillen. Om toch (statistisch) verantwoorde uitspraken te kunnen doen, moet de steekproeftrekking aan een aantal eisen voldoen. Zo moet de lijst van onderzoekseenheden die gebruikt is om de steekproef te trekken (het steekproefkader) niet of slechts weinig afwijken van de doelpopulatie. Als er een groot verschil is, dan kunnen we aan de hand van de steekproef alleen iets zeggen over de operationele populatie – de lijst van onderzoekseenheden – en niet over de doelpopulatie. In bovenstaand voorbeeld zou het steekproefkader bijvoorbeeld iedereen kunnen zijn die daadwerkelijk ingeschreven is bij een sportvereniging (zulke lijsten zouden gemakkelijk verkregen kunnen worden, waardoor het trekken van een steekproef relatief eenvoudig is). Maar in de steekproef komt dan niemand die op eigen houtje, buiten een sportvereniging om, zich voorbereid voor een wedstrijd. In dit geval is er dan een duidelijk verschil tussen de doel- en operationele populatie. Misschien is het verschil zelfs zó groot dat we ons zorgen moeten gaan maken omdat we nu geen goede uitspraak over de doelpopulatie meer kunnen doen. Een andere eis is dat de steekproef een kanssteekproef is (deze eis laat echter nog ruimte om uit een aantal verschillende typen steekproeven te kiezen). Ook de steekproefomvang is van belang: die
14
Syllabus Kwantitatieve Onderzoeksmethoden
moet niet te klein zijn, maar te groot is trouwens ook niet goed. In hoofdstuk 6 van Blumberg, Cooper en Schindler staat alles over het trekken van een goede steekproef.
D.
DE DATAVERZAMELING
Wanneer de vragenlijst gemaakt is, en de steekproef bekend is, kan de dataverzameling daadwerkelijk beginnen. De vragenlijst moet bij de respondenten in de steekproef komen, bijvoorbeeld via een brief of een email. Als een respondent de vragenlijst ziet, moet hij/zij verteld worden waarvoor de vragenlijst dient en waarom juist hij/zij de vragenlijst moet invullen. Met andere woorden, er moet een korte introductie op de vragenlijst zijn. Niet elke respondent zal de vragenlijst retourneren. Omdat dit tot non-respons leidt, en non-respons de uiteindelijke resultaten erg kan vertekenen, moet deze non-respons zo klein mogelijk zijn. Eén manier om dit te doen kan het versturen van call-backs (herinneringen) zijn. Maar wanneer doe je dat, en hoe? Deze vragen moeten beantwoord worden voor het feitelijke dataverzamelingsproces kan beginnen. Aangezien in de cursus de data niet zelf verzameld wordt, maar gesimuleerd, zal er geen sprake zijn van non-respons. Echter, voor de opdracht doen we alsof het om echte data gaat. Dus ook nu moeten deze vragen beantwoord worden.
E.
DE DATA-ANALYSE
Wanneer de data verzameld is, moet deze geanalyseerd worden. In het vak Statistiek leer je welke analyses er zijn. Bij Kwantitatieve Onderzoeksmethoden leer je hoe je de juiste techniek moet kiezen en hoe je de resultaten moet rapporteren. Hoe beschrijf je de data? Kun je alle verzamelde data gebruiken in je onderzoek? Hoe generaliseer je van de steekproef naar de populatie? Voor het beantwoorden van deze vragen wordt gebruik gemaakt van het computerprogramma SPSS. Hoe SPSS werkt, kun je zelf ontdekken door de SPSS-opdracht te maken. Deze opdracht moet individueel ingeleverd worden bij aanvang van de werkgroepbijeenkomst in week 41. Daarbij is er een speciaal SPSS-inloopspreekuur waarin vragen omtrent SPSS beantwoord kunnen worden. Als laatste is er een SPSS-handboek op Nestor beschikbaar die je kan helpen de analyses te draaien, de output te interpreteren en de resultaten te rapporteren. Het kunnen werken met SPSS een ieders eigen verantwoordelijkheid. De consequenties van het niet inleveren van de SPSS-opdracht (apart opdracht 2 maken) daarmee ook. STAP 1: VOORBEREIDEN VAN DATASET Voordat de werkelijke analyse begint, moet de dataset eerst klaargemaakt worden. Als eerste moeten alle variabelen gelabeld worden. Onder het tabblad “variable view” kan er een naam worden gegeven aan de variabelen, daarnaast kan ook aangegeven worden wat er gedaan moet worden met de missende waarden. Vervolgens moet de dataset gecheckt worden op outliers, dit zijn extreem kleine of grote waarden. De outliers kunnen opgespoord worden door het maken van een boxplot
15
Syllabus Kwantitatieve Onderzoeksmethoden
voor de variabele. Outliers mogen nooit zomaar verwijderd worden, check altijd wat de oorzaak kan zijn van de extreme waarden. In deze cursus zullen we dit onderdeel overslaan aangezien we met gesimuleerde data werken. STAP 2: BESCHRIJVENDE STATISTIEKEN Om je resultaten goed te kunnen begrijpen is het verstandig om eerst wat te weten te komen over de achtergrond van de proefpersonen. Ga hiervoor na wat de verdeling is van variabelen als geslacht, leeftijd, opleidingsniveau of werkervaring. Deze verdeling kan weergegeven worden in een tabel of met grafieken. Noem hierbij ook het aantal respondenten die de vragenlijst toegestuurd gekregen hebben en uiteindelijk ook daadwerkelijk hebben ingevuld (non-respons). NB in de cursus zal er geen sprake zijn van non-respons, maar voor andere onderzoeksprojecten (zoals je bachelorthesis) is dit uiteraard wel van belang. Daarbij is het altijd handig om een algemeen overzicht te geven van de waarden op de verschillende vragen (modus, mediaan, gemiddelde, etc.), de zogenaamde univariate testen.
STAP 3: CORRELATIE EN BETROUWBAARHEIDSANALYSE Voor het meten van de constructen heb je gebruik gemaakt van verschillende indicatoren met bijbehorende vragen. Om na te gaan of deze indicatoren werkelijk hetzelfde meten, moet de correlatie tussen de variabele worden uitgerekend. Dit kan echter alleen wanneer alle vragen zijn gemeten op een ordinaal meetniveau, of allemaal op een interval meetniveau. Wanneer de correlatie tussen de variabelen hoog is, kan alleen voor intervaldata de Cronbach’s Alpha worden uitgerekend. Dit is één maat voor de onderlinge samenhang (betrouwbaarheid) van de items. Wanneer deze hoog genoeg is, mogen deze items samengenomen worden. De Cronbach’s Alpha moet op zijn minst 0,6 zijn. Let op: bij het berekenen van de Cronbach’s Alpha is het belangrijk dat de variabelen dezelfde schaal gebruiken (geen 4-puntsschaal met een 6-puntsschaal in een analyse) en dat de vragen allemaal positief of allemaal negatief geformuleerd zijn. Wanneer dit niet het geval is, dan moet je de data hercoderen. In het geval van verschillende schalen, moeten de schalen naar een gemeenschappelijke schaal worden gebracht. Dit kun je doen door de variabelen te standaardiseren met de formule: (score – gemiddelde)/ SD of door gebruik van SPSS (Analyze>Descriptive Statistics>Descriptives; vink knop ‘save standardized values as variable’ aan). Met de nieuwe variabelen kun je de Cronbach’s Alpha tussen de variabelen berekenen. Bij variabelen die verschillend geformuleerd zijn (dus 5 is bij de ene vraag “heel erg blij” en bij de andere vraag “heel ongelukkig”), moet je de scores hercoderen, zodat alle variabelen positief of negatief zijn. Bij een 5-puntsschaal wordt antwoord 5 dus antwoord 1, antwoord 4 wordt 2, enzovoort.
16
Syllabus Kwantitatieve Onderzoeksmethoden
STAP 4: NIEUWE VARIABELE Wanneer de variabelen een Cronbach’s Alpha hebben van 0,6 of hoger dan mogen de variabelen bij elkaar opgeteld worden. Uiteraard geldt dit alleen voor intervalvariabelen die hetzelfde construct meten. Deze variabelen kunnen via ‘Transform => Compute Variable’ bij elkaar opgeteld worden en daarna gedeeld door het aantal variabelen. Deze stap staat uitgebreid beschreven in het SPSS handboek.
STAP 5: DE TECHNIEKKEUZE Om te gaan toetsen wat het effect van de onafhankelijke variabelen en de controle variabele op de afhankelijke variabele is, moeten we weten welke technieken we nodig hebben. Hiervoor zijn 3 vragen van belang, ook wel The Big Three: 1. Hoeveel variabelen zijn er betrokken bij de analyse? • Één: univariate analyse (beschrijvende statistieken) • Twee: bivariate analyse (toetsende statistieken) • Meer dan twee: multivariate analyse (toetsende statistieken) 2. Wat is het meetniveau van de betrokken variabele(n)? • Niveau van Onafhankelijke variabele (X): nominaal, ordinaal of interval (ratio) • Niveau van Afhankelijke variabele (Y): nominaal, ordinaal of interval (ratio) 3. Asymmetrisch vs. symmetrisch? (alleen bij 2 of meer variabelen) • Asymmetrisch: als variabelen een verschillend meetniveau hebben OF je de afhankelijke variabele wilt voorspellen uit de onafhankelijke variabele (causale relatie) • Symmetrisch: geen causale relaties willen voorspellen en de variabelen een gelijk meetniveau hebben. In de tabellen in de bijlage kan de juiste techniek worden gekozen aan de hand van deze vragen. In het college over techniekkeuze en tijdens de werkgroep wordt ruimschoots stilgestaan bij hoe je de juiste techniek moet kiezen.
STAP 6: CONTROLE VARIABELE Voordat het effect van de onafhankelijke variabele getest kan worden, moet de afhankelijke variabele eerst gecontroleerd worden voor de controle variabele. Aan de hand van de vragen bij stap 5 moet bepaald worden wat de juiste techniek is voor het bepalen van het effect van de controle variabele. Hierbij hoeft alleen het effect van de controle variabele op de afhankelijke variabele te worden geanalyseerd. In meer voortgezette analyses (multipele regressie) kan dat gemakkelijk in een keer met de andere indicatoren waarvoor je specifieke hypothesen hebt opgesteld. Binnen Kwantitatieve Onderzoeksmethoden gaan we minder ver.
17
Syllabus Kwantitatieve Onderzoeksmethoden
Mocht je controlevariabele invloed hebben op je afhankelijke variabele, moet je zorgen dat je hiervoor corrigeert tijdens het toetsen van de hypothesen. Manieren om dit te doen is bijvoorbeeld door middel van een stepwise multiple regression of een ANCOVA-analyse.
STAP 7: HET TOETSEN VAN DE HYPOTHESEN Het toetsen van de hypothesen zal uitgelegd worden aan de hand van een voorbeeld. Om de juiste techniek te kiezen voor het toetsen van je eigen hypothesen moet je de vragen van stap 5 beantwoorden met de tabellen in de bijlage. Voorbeeld: Om onze eerste hypothese: “Sporters die meer trainen (groep 1) hebben betere prestaties dan sporters die minder trainen (groep 2)” statistisch te kunnen onderzoeken, kunnen we voor de duidelijkheid de hypothese noteren in termen van H0 en H1, waarin de toetsparameters worden gebruikt (bijvoorbeeld het populatiegemiddelde μ of de regressiecoëfficient B of β) . H0, ook wel de nulhypothese genoemd, gaat ervan uit dat er geen relatie of effect is. In de H1 is er wel een effect en staat over het algemeen ook de richting van het effect (bijvoorbeeld in termen van “meer dan”, “minder dan”, positief effect” en “negatief effect”). In ons geval zou dit onze H0 en H1 worden: H0: μgroep 1= μgroep 2 (Hier staat dus: Sporters die meer trainen hebben dezelfde gemiddelde prestatie als sporters die minder trainen) H1: μgroep 1> μgroep 2 (Hier staat dus: Sporters die meer trainen hebben betere gemiddelde prestatie dan sporters die minder trainen) H1 had zonder een richting als volgt geweest: μgroep 1≠ μgroep 2. Een dergelijke H1 gebruik je echter alleen als je echt geen idee hebt welke kant het op zal gaan. In het grootste deel van de gevallen kun (moet!) je op basis van de bestaande literatuur echter in staat zijn om een richting aan te geven in je hypothese en dus ook in je H1. Soms is het zo dat de literatuur tegenstrijdige bevindingen laat zien met betrekking tot de richting. In dat geval kun je hypothese 1a en H1a (positief effect) formuleren en een hypothese 1b en H1b (negatief effect) formuleren. Vervolgens kunnen we met behulp van een statistische toets (bijvoorbeeld een t-toets) kijken of deze twee groepen significant2 van elkaar verschillen. Is de p-waarde van de test groter dan .05 (vaak gebruikt als grens; de zogenaamde alpha) dan is de kans dat H1 waar is te klein en moet je dus H0 aannemen. Als de p-waarde van de test kleiner is dan .05 (we houden binnen de cursus altijd een alpha van .05 aan), dan is het statistisch verantwoord om aan te nemen dat H1 waar is.
2
Tijdens het vak Statistiek worden deze termen verder uitgelegd. 18
Syllabus Kwantitatieve Onderzoeksmethoden
LET OP: je moet dan wel nog kijken of de richting klopt. In ons geval kan de test significant zijn en kun je H1 aannemen. Maar de test is ook significant als er geldt dat hoe meer training, hoe MINDER de prestatie is. H1 is dan dus niet waar, hoewel je in eerste instantie denkt van wel! Je zult dus altijd gemiddeldes, medianen, correlatie-/regressiecoëfficiënten, etc. moeten bekijken voordat je je conclusie trekt. Blumberg et al. heeft speciale “e-chapters” waarin meer informatie staat over het analyseren en toetsen van je hypothesen. Verder kun je gebruik maken van de boeken van Andy Field (en ware aanrader!), Eelco Huizingh en het boek van de cursus Statistiek. STAP 8: CONCLUSIES EN IMPLICATIES. Wanneer je weet of H0 of H1 waar is, kun je je conclusie trekken. Wanneer je meerdere hypothesen test, kun je uiteindelijk dus een conclusie trekken over het gevonden model. Sluit dit aan bij je verwachte conceptueel model? Wanneer dit niet zo is, waarom zou dat kunnen zijn? Heb je alternatieve verklaringen (die uiteraard in toekomstig onderzoek verder getoetst moeten worden)? Wanneer je je conclusies hebt getrokken, kun je overgaan tot de implicaties. Wat betekent het voor het bedrijf wanneer je hebt gevonden dat training invloed heeft op de prestatie? En wat als je vindt dat het geen invloed heeft? Welke aanbevelingen kun je doen? In praktische onderzoeken staat dit alles vaak onder het kopje “praktische implicaties”. In wetenschappelijke literatuur zie je ook nog wel eens “theoretische implicaties” staan. De onderzoeksresultaten hebben dan ook implicaties voor bestaande theorieën over bijvoorbeeld prestatie.
F.
ALGEMEEN: DE VERSLAGLEGGING
Wanneer de data geanalyseerd zijn, en er conclusies getrokken zijn met betrekking tot de hypothesen (onderzoeksvragen), moet er een verslag geschreven worden. Dit verslag is een verantwoording van het onderzoek. In het verslag moet genoeg (maar niet teveel!) informatie staan dat het onderzoek voor de lezer controleerbaar is. Dat betekent dus dat in het verslag alle hierboven beschreven stappen helder en volledig beschreven zijn. Let hierbij op structuur, argumentatie, spelling, etc. Het eindresultaat moet een samenhangend geheel zijn en geen opsomming van opdrachtonderdelen. In het boek van Blumberg, et al. (hoofdstuk 15) kun je meer informatie vinden over dit onderdeel. Rapporteren van SPSS-output SPSS-output moet in zelfgemaakte tabellen en/of plaatjes worden weergegeven, of in de tekst worden beschreven. Het kopiëren van SPSS-output is iets wat NIET toegestaan is; je zult altijd zelf de benodigde gegevens moeten geven in correct Nederlands. Het is voor de eindversie van de opdracht dus ook niet nodig om alle output erbij te geven (dat scheelt meteen een heleboel papier). De output is enkel handig als je vragen hebt over de output en je aan de SPSS-begeleider/werkgroepbegeleider/coördinator vragen wilt stellen.
19
Syllabus Kwantitatieve Onderzoeksmethoden
EXTRA: PLAGIAAT EN SANCTIES Het verslag wordt geschreven in eigen woorden. Dat betekent onder andere dat je in de inleiding niet via copy-paste je theorie omtrent je gekozen factoren komt, maar dat je die zelf (be)schrijft. Natuurlijk ben je vrij om medestudenten te vragen om hulp als je er echt niet uitkomt (beter is om je werkgroepbegeleider te vragen), maar neem niet delen van hun opdracht over. Dit valt namelijk onder plagiaat en hierop zal streng gecontroleerd worden. Ook het letterlijk overnemen van delen uit je verslag van bijvoorbeeld Skills I en II is niet toegestaan; dit zal ook worden gecontroleerd. In het verleden zijn al studenten naar de examencommissie gestuurd vanwege gevonden plagiaat. Voor deze studenten (maar ook voor de docent) is dit heel vervelend. Zorg er dus voor dat je altijd eigen (nieuwe) woorden gebruikt. Wanneer je letterlijk woorden van anderen gebruikt (bijvoorbeeld wanneer je een definitie wilt geven op basis van literatuur), zorg er dan voor dat je op de juiste manier refereert (gebruik “..” en noem he paginanummer). Op de Nestor-site van de bibliotheek kun je de AMJ-style guide vinden waarin deze regels van refereren staat vermeld (bij Academic Skills I heb je hier al kennis mee gemaakt). Op de website van FEB staat het volgende over plagiaat: Plagiaat Plagiaat is het gebruik maken van ideeën en formuleringen van anderen, zonder bronvermelding. Voorbeelden van plagiaat zijn: de uitwerking van een opdracht overschrijven van een medestudent of een ouderejaarsstudent, stukken tekst van internet knippen en plakken zonder te vermelden waar je de tekst vandaan haalt, een werkstuk meer dan één keer inleveren, een scriptie overschrijven van een student in een andere studiestad of een deel van een boek of artikel overschrijven. Plagiaat is, zoals gezegd, verboden. Het gebruik van bronnen is toegestaan, mits deze bronnen vermeld staan in de bronvermelding. Plagiaatscanner Alle opdrachten die door studenten van de Faculteit Economie en Bedrijfskunde worden gemaakt worden automatisch gecontroleerd op plagiaat. Dit doen we met een plagiaatscanner. Als een docent op basis van deze scan of op andere gronden vermoedt dat je plagiaat pleegt, dan meldt hij of zij dit bij de examencommissie. De examencommissie doet vervolgens zonodig nader onderzoek. Is een werkstuk in groepsverband geschreven, dan worden alle leden van de groep verantwoordelijk gehouden voor het plagiaat, totdat het tegendeel bewezen is. Wordt het plagiaat ontdekt nadat het (eind)cijfer is vastgesteld, dan is de examencommissie bevoegd dit (eind)cijfer te vernietigen. Deze bevoegdheid verjaart één jaar na ontdekking, maar uiterlijk bij uitreiking van het diploma. Sancties Afhankelijk van de omvang van het plagiaat kan de examencommissie je gedurende maximaal één jaar de toegang ontzeggen voor één of meer tentamens en examens. Dit betekent dat je in deze periode geen vakken kunt afronden of bullen in ontvangst kunt nemen.
20
Syllabus Kwantitatieve Onderzoeksmethoden
6.
DE OPDRACHTEN
Binnen de cursus ga je alle stappen van het onderzoeksproces een keertje doorlopen. Vanaf het begin van de cursus zul je actief aan bij opdrachten moeten werken. Eventuele afwezigheid i.v.m. met ziekte of vakantie moeten dus worden gecompenseerd door extra bij te dragen aan het onderzoeksproces in eerdere weken (nog afgezien van de vervangende opdracht bij missen van twee werkgroepen). Ook is er een peer assessment van ieders bijdrage aan de opdrachten. A. OPDRACHT 1 De eerste vier weken zul je werken aan het eerste deel van het onderzoeksproces: De onderdelen A, B, C en D zullen beschreven moeten worden aan de hand van een bedrijfsprobleem. Je mag zelf invulling geven aan dit bedrijfsprobleem. Het kan dus gebaseerd zijn op een ervaring bij je (bij)baan, maar het mag ook een verzonnen situatie zijn. Opdracht 1 bestaat dus allereerst uit een inleiding waarin je probleemstelling, vraagstelling en hypothesen beschrijft. Daarbij moet in je CM moeten minstens 3 relaties beschreven worden. Er moet in het model minstens 1 mediator zitten. Dit betekent dus dat je minimaal 4 concepten hebt in je model (3 onafhankelijke factoren waarvan 1 mediator, en een afhankelijke variabele). De relaties worden moeten worden onderbouwd door wetenschappelijke literatuur (minstens drie bronnen). Daarnaast moet je twee controlevariabelen opnemen (hoeven niet ondersteund te worden door literatuur). De conceptuele en operationele definities worden gegeven en je stelt minimaal 4 indicatoren op voor de vier concepten in je CM (zie hoofdstuk 5 onderdeel A). Vervolgens maak je het meetinstrument, namelijk de vragenlijst (zie onderdelen B), bepaal je de steekproef (zie onderdeel C) en dataverzamelingsprocedure (deel D). Uiteraard voldoet je opdracht aan algemene kenmerken van een verslag (zie onderdeel F). Gebruik de checklist uit hoofdstuk 7 om je opdracht te controleren. Onderdelen voor opdracht 1: A. Probleem- en Vraagstelling, Hypothesen en Operationalisatie Stap 1: De Probleemstelling Stap 2: De Vraagstelling en Factoren Stap 3: De Onderzoeksvragen Stap 4: Het Conceptueel Model Stap 5: De Hypothesen Stap 6: De Conceptuele en Operationele definities Stap 7: De Indicatoren B. Het meetinstrument C. De steekproef D. De dataverzameling F. Algemeen: de verslaglegging Deadline Begin week 37 Begin week 38 Vrijdag 26/9 15.00u
Wat Concept opdracht 1 (minimaal stap 1 t/m 6) Definitief Opdracht 1 (deel A t/m D en F) Verbeterde versie Opdracht 1
Waar E-mail naar student-assistent en medestudenten (zie instructies eerste werkgroep) E-mail naar student-assistent en/of hardcopy in postvakje student-assistent (afhankelijk van SA) Hardcopy in postvak van student-assistent EN uploaden via Nestor
21
Syllabus Kwantitatieve Onderzoeksmethoden
B. OPDRACHT 2 Opdracht 2 zal bestaan uit het analyseren en juist rapporteren van de data (E). Wanneer je er vaker mee geoefend hebt, kun je veel sneller analyseren en rapporteren, maar voor nu nemen we er de tijd voor. En natuurlijk geldt ook voor deze opdracht dat het aan de algemene kenmerken van een verslag voldoet (F). Voordat je gaat analyseren is het altijd verstandig een analyseplan te maken. Hierin bedenk je van tevoren welke dingen gedaan moeten worden voor een goede analyse en rapportage van je data. In het college “Data-analyse” zullen alle onderdelen ruimschoots behandeld worden. Aan de hand van de zeven stappen in onderdeel E kun je de data analyseren. Heel belangrijk is de rapportage van de resultaten, hierbij moeten alle stappen netjes beschreven worden. Het is goed om hiervoor het document ‘SPSS’ te gebruiken voor de data analyse en rapportage van de resultaten. Gebruik de checklist uit hoofdstuk 7 om je opdracht te controleren. Onderdelen voor opdracht 2: De data-analyse Stap 1: Voorbereiden van dataset Stap 2: Beschrijvende Statistieken Stap 3: Correlatie en Betrouwbaarheidsanalyse Stap 4: Nieuwe variabelen Stap 5: De Techniekkeuze Stap 6: Controle variabele Stap 7: Het toetsen van de hypothesen Stap 8: Conclusie en implicaties F. Algemeen: de verslaglegging E.
Deadline Wat Begin week Individuele(!) SPSS-opdracht (los van Opdracht 2) 41 Begin week Definitieve Opdracht 2 (deel E stap 1 t/m 8 en F) 42 Week 43 24/10 15.00u
Verbeterde versie Opdracht 2
22
Waar Hardcopy bij aanvang werkgroep E-mail naar student-assistent en/of hardcopy in postvakje studentassistent (afhankelijk van SA) Hardcopy in postvak van studentassistent EN uploaden via nestor
Syllabus Kwantitatieve Onderzoeksmethoden
C. OEFENOPDRACHT CONCEPTUEEL MODEL: WERKGROEP 1 ABC-reclame Zowel naar omzet als naar het aantal werknemers is ABC Reclame één van de grootste reclamebureaus van Nederland. Op dit moment heeft de onderneming 138 medewerkers in dienst en bedraagt de omzet 175 miljoen euro. De onderneming is in 1970 ontstaan door een fusie van twee oorspronkelijk zelfstandig functionerende bedrijven: Reclame en het Amerikaanse ABC. Het ontstane ABC Reclame is uitgegroeid tot een concern met meerdere dochterondernemingen, die ieder vanuit hun eigen specialisme het reclamevak beoefenen. Binnen elke dochteronderneming is een creatieve afdeling werkzaam. Deze afdeling is de eigenlijke spil van de onderneming omdat de medewerkers van deze afdeling het uiteindelijke product moeten leveren. Alle andere afdelingen binnen een dochteronderneming vervullen een ondersteunende taak. De creatieve afdeling bestaat uit een groot aantal creatieve teams, ieder bestaande uit "artdirectors" en "copywriters". In nauwe samenwerking met elkaar verzinnen zij de reclame-uiting (het "product" dat aan de consument wordt vertoond). Een artdirector houdt zich met het visuele aspect van de reclame-uiting bezig. Hij bepaalt hoe de advertentie eruit komt te zien. Een copywriter draagt zorg voor de teksten die in de reclame-uiting gebruikt worden. Hieronder vallen zowel de geschreven teksten in de advertenties als de mono- en dialogen in radio- en tv-commercials. ABC Reclame maakt reclames voor hun klanten. Gedurende de afgelopen periode is het echter een paar keer voorgekomen dat een reclamecampagne niet het gewenste effect had op het publiek. De boodschap sloeg absoluut niet aan. Opdracht: Het managementteam wil nu een onderzoek laten uitvoeren naar de oorzaken hiervan, zodat zij gericht geld beschikbaar kunnen stellen voor de verbetering van het resultaat. Maak een Conceptueel Model waarin drie onafhankelijke variabelen staan die van invloed zijn op de afhankelijke variabele. Hieronder staan enkele voorbeelden van een CM. A
A
B
D
B
C
C D
23
Syllabus Kwantitatieve Onderzoeksmethoden
D. OEFENOPDRACHT PROBLEEMSTELLING VORMEN: WERKGROEP 1 Voor opdracht 1 is het de bedoeling dat de subgroep zelf met een probleemstelling komt (bijv. een zelfbedachte situatie of een probleem waar je tegen aan loopt in een bijbaantje. Om dit proces op gang te brengen, dienen studenten met hun opdrachtgroepje de volgende vragen te beantwoorden. 1.
Wat is de managementvraag?
2.
Wat is het probleem/de probleemkluwen?
3.
Welk organisatieprobleem zal onderzocht worden?
4.
Wat zijn de 4 W’s in de doelstelling? (kennis waarover, waartoe, voor wie, in welke vorm)
E. OEFENOPDRACHT DEFINITIES: WERKGROEP 2 Deze oefenopdracht dient als ondersteuning bij het maken van opdracht 1. Tijdens opdracht 1 zullen jullie de concepten die gebruikt worden moeten definiëren op conceptueel niveau (wat betekent het concept en op wie heeft het betrekking?) en op operationeel niveau (hoe maak ik mijn concept meetbaar?). Omdat het voor deze opdracht belangrijk is dat jullie begrijpen wat deze verschillende soorten definities inhouden, is het handig om eerst het stuk over definities te lezen in sectie 5A van de syllabus. Deze oefenopdracht bestaat uit twee onderdelen. Eerst zullen verschillende conceptuele- en operationele definities besproken worden waarbij het de bedoeling is (1) dat jullie de fouten uit de operationele definities halen (Is de definitie meetbaar? Past de operationele definitie bij het concept?) en (2) proberen om de definitie te verbeteren. In het tweede onderdeel worden een tweetal concepten gegeven die nog gedefinieerd moeten worden.
Onderdeel 1 Concept: Motivatie van een werknemer De mate waarin een werknemer moeite doet om zo goed mogelijk te presteren. Operationele definitie: Hoe vaak de werknemer langer heeft gewerkt dan in zijn/haar contract staat. Conceptuele definitie:
Probleem: Betere optie:
24
Syllabus Kwantitatieve Onderzoeksmethoden
Concept: Gepercipieerde steun vanuit het bedrijf De mate waarin een werknemer het gevoel heeft dat zijn/haar organisatie zich bekommert om zijn/haar welzijn. Operationele definitie: De hoeveelheid geld in euro’s die de werknemer vorige maand heeft ontvangen. Conceptuele definitie:
Probleem: Betere optie:
Concept: Welvaart van een werknemer De mate waarin een werknemer zijn/haar behoeftes kan bevredigen met de beschikbare middelen. Operationele definitie: Het gemiddelde salaris per maand van alle werknemers in het bedrijf afgelopen jaar. Conceptuele definitie:
Probleem: Betere optie:
Onderdeel 2 Misleiding a. Bedenk een conceptuele definitie voor het concept ‘misleiding’. NB Normaliter moet je natuurlijk wetenschappelijke bronnen gebruiken. Dat geldt ook voor de groepsopdracht. Voor deze oefenopdracht doen we dit uit praktische overwegingen niet. b. Kies de conceptuele definitie op de slide die het meest overeenkomt met jullie gekozen definitie. c. Bedenk een operationele definitie voor het concept ‘misleiding’ (die past bij je conceptuele definitie!). d. Bedenk ten minste twee indicatoren voor het concept ‘misleiding’ die je in een vragenlijst kunt gebruiken.
Inkomen a. Bedenk een conceptuele definitie voor het concept ‘inkomen’. b. Bedenk een operationele definitie voor het concept ‘inkomen’ (die past bij je conceptuele definitie!). c. Bedenk ten minste twee indicatoren voor het concept ‘inkomen’ die je in een vragenlijst kunt gebruiken.
25
Syllabus Kwantitatieve Onderzoeksmethoden
F. OEFENOPDRACHT VRAGENLIJST: WERKGROEP 2 Hier volgt een voorbeeld-vragenlijst die verbetering kan gebruiken. Deze vragenlijst kan worden afgenomen door de RUG met als onderwerp de tevredenheid over de sportfaciliteiten van de ACLO. Een van de dingen die ze bijvoorbeeld willen weten is of er vaker gebruik wordt gemaakt naarmate de student dichterbij het sportcentrum woont. Maar er staan ook heel veel andere vragen in. Beantwoord in groepjes van vier de volgende vragen: A) Welke aspecten van deze vragen en antwoordmethoden/schalen zijn fout of kunnen verbeterd worden gebaseerd op jouw kennis over het maken van vragenlijsten vanuit het boek en de colleges? Let ook op de algemene “flow” van de vragenlijst. B) Geef voor elke vraag aan op welk meetniveau de vraag gemeten is (dus bijv. nominaal) en of dit de beste keuze is voor deze vraag. 1. Wat is uw leeftijd? o 0 - 20 jaar o 20 - 40 jaar o 40 - 60 jaar o 60 jaar en ouder 2. Wat is uw geslacht? man / vrouw 3. Gaat u wel eens sporten? o ja o nee o soms o nooit 4. Welke sport beoefent u dan? ................................................................................... 5. Vindt u dat er genoeg sportfaciliteiten voor uw sport en voor andere sporten in de ACLO aanwezig zijn? o veel te veel o veel o voldoende o weinig o veel te weinig o geen mening, want ik sport nooit 6. Ik denk niet dat de sportvoorzieningen voor bejaarden bij de ACLO van hoge kwaliteit zijn o volledig mee eens o oneens
26
Syllabus Kwantitatieve Onderzoeksmethoden 7. Het zwembad van de ACLO is vaak smerig en slecht onderhouden, wat vindt u van de kwaliteit van het zwembad? o ruim voldoende o voldoende o onvoldoende o weet ik niet 8. Zult u geen gebruik maken van het binnenkort te openen squashcentrum? o ja o nee o misschien 9. Zoals u weet overlegt de faculteitsraad binnenkort over het sportbeleid van de ACLO. Wat vindt u van het plan van de faculteitsraad om dit te verbeteren? o helemaal mee eens o gedeeltelijk mee eens o noch mee eens, noch mee oneens o niet mee eens o een slecht plan 10. Heeft de studentenpopulatie van de RUG voldoende informatie gekregen over dit plan? o ja o nee 11. Wat is uw algehele tevredenheid over de faciliteiten van de ACLO? o volledig tevreden o tevreden o neutraal o ontevreden o volledig ontevreden 12. Heeft u wel eens gebruik gemaakt van de sportfaciliteiten van de ACLO terwijl dit eigenlijk niet toegestaan was? o Ja, bijna altijd o Soms o Nooit 13. Zou u vaker gebruik maken van het sportcentrum als u dichterbij zou wonen? helemaal mee eens 1
2
3
4
5
6
27
7
helemaal mee oneens
Syllabus Kwantitatieve Onderzoeksmethoden
G. OEFENOPDRACHT TECHNIEKKEUZE: WERKGROEP 5 Situatie 1 Binnen verschillende consumentensegmenten (drie groepen) is gekeken of zij een product kopen ja of nee. Je wilt weten of er verschil is tussen de verschillende segmenten op hun koopgedrag. Welke test moet je daarvoor uitvoeren? Situatie 2 In een groot surveyonderzoek onder studenten van de RUG wordt gevraagd naar hoe zij hun studententijd in het algemeen waarderen (1 = helemaal niet leuk; 5 = heel erg leuk) en de mening over de opleiding (1 = heel slecht, 10 = uitmuntend). De onderzoekers willen weten of er een verband is tussen de algemene mening over de studententijd en de mening over de opleiding. Welke techniek is hiervoor nodig? Situatie 3 Een groep onderzoekers is gevraagd om binnen een bedrijf te onderzoeken hoe werknemers het beste gestimuleerd kunnen worden om zich aan de regels te houden. Momenteel is er nog geen systeem voor. De onderzoekers willen daarom twee manieren uitproberen, namelijk het straffen van negatief gedrag en het belonen van positief gedrag. Drie verschillende groepen medewerkers (namelijk op de 1e, 2e, en 3e etage) krijgen ofwel 1) een systeem van straffen, ofwel 2) systeem van belonen, ofwel 3) geen verandering. Na een aantal weken meten de onderzoekers hoe vaak de regels worden geschonden door het aantal schendingen te meten. Hoe bepalen de onderzoekers of belonen dan wel straffen een effect heeft op het schenden van de regels? Situatie 4 Je hebt het idee dat geslacht invloed heeft op het beeld (perceptie) van de tijdsdruk op het werk. De perceptie van de tijdsdruk meet je door te vragen naar of men gevoel heeft achter de feiten aan te lopen (1 = ja, constant, 2 = minstens 2 keer per week, 3 = minstens 1 keer per week, 4 = slechts een keer per maand, 5 = nooit), en naar of men tijdsdruk ervaart (1 = ja, constant, 2 = minstens 2 keer per week, 3 = minstens 1 keer per week, 4 = slechts een keer per maand, 5 = nooit). Hoe kun je onderzoeken of vrouwen verschillen van mannen? Extra vraag: kun je hier een somscore berekenen van de drie vragen over tijdsdruk? Situatie 5 Een marketingbureau wil onderzoeken of het houden van een spaarcampagne invloed heeft op het koopgedrag van consumenten. Hiertoe wordt eerst een voormeting gehouden onder een groep consumenten om te bepalen hoeveel geld zij uitgeven per week aan de boodschappen bij de AH. Vervolgens wordt een spaaractie ingesteld: consumenten krijgen voor iedere €10 aan boodschappen voetbalplaatjes die ze in een speciaal hiervoor vervaardigd album kunnen sparen. Na vier weken 28
Syllabus Kwantitatieve Onderzoeksmethoden
wordt aan dezelfde groep consumenten gevraagd hoeveel geld zij die week hebben uitgegeven aan boodschappen. Hoe kan worden bepaald of de spaaractie invloed heeft gehad op het koopgedrag? Situatie 6 Er is een groot onderzoek gedaan onder inwoners van de gemeente Groningen. Voordat je je hypothesen gaat testen, wil je eerst je steekproef beschrijven. Je wilt iets zeggen over leeftijd, opleidingsniveau (1 = lager opgeleid, 2 = middelbaar opgeleid, 3 = hoger opgeleid, 4 = universitair opgeleid) en over de verdeling van de mannen en vrouwen. Hoe kun je dat doen? Extra situatie: Je hebt onderzoek gedaan naar wat Nederlanders vinden van de klimaatveranderingen. Dit heb je gemeten door te vragen naar of men zich zorgen maakt over het klimaat (1 = helemaal geen zorgen; 7 = heel veel zorgen). Uit de steekproef blijkt dat de gemiddelde leeftijd van je steekproef 33,56 is. We weten dat de gemiddelde leeftijd van Nederlanders 38.65 jaar is. Hoe meet je of jouw steekproef afwijkt van het populatiegemiddelde?
29
Syllabus Kwantitatieve Onderzoeksmethoden
H. OEFENTENTAMEN KWANTITATIEVE ONDERZOEKSMETHODEN: WERKGROEP 6 Opgave 1 Het maken van dienstroosters is een activiteit die in veel organisaties wordt uitgevoerd. Zo ook in De Bartiem, een groot ziekenhuis in het zuiden van Nederland. Maandelijks zijn 22 tot 26 medewerkers van De Bartiem bezig met het opstellen van dienstroosters. Tot voor kort gebeurde dit helemaal met de hand. Maar sinds enkele maanden hebben de roostermakers bij De Bartiem de beschikking over een computersysteem dat hen bij hun beslissingen ten aanzien van de dienstroosters kan ondersteunen. Dit systeem (ZKR) moet ervoor zorgen dat het maken van de roosters efficiënter en effectiever gebeurt. De eerste evaluaties zijn hoopvol: gemiddeld worden de roosters sneller gemaakt (efficiënter) en zijn er minder fouten en minder veranderingen tijdens de uitvoering van het rooster nodig (effectiever). Bij De Bartiem wil men nu graag weten hoe het komt dat het maken van de roosters efficiënter en effectiever gebeurt. Het is namelijk gebleken dat dit niet bij iedere roostermaker het geval is. Zijn er factoren die er voor zorgen dat de ene roostermaker wel efficiënt en effectief is, en de andere niet? Om deze vraag te onderzoeken is er een aantal hypotheses opgesteld: H1:
hoe meer ervaring een roostermaker heeft met ZKR, hoe meer kennis hij/zij heeft over roosterprocedures
H2:
hoe positiever de attitude van een roostermaker t.a.v. ZKR is, hoe meer kennis hij/zij heeft over roosterprocedures
H3:
hoe groter de ervaring van een roostermaker is, hoe meer kennis hij/zij heeft over roosterprocedures en roostergegevens
H4:
hoe langer iemand werkt bij De Bartiem, hoe meer kennis hij/zij heeft over roostergegevens. Deze relatie is positiever (dus sterker) naarmate iemand een hogere functie binnen De Bartiem heeft gehad
H5:
hoe meer kennis over roosterprocedures een roostermaker heeft, hoe efficiënter en effectiever het rooster gemaakt wordt
H6:
hoe meer kennis over roostergegevens een roostermaker heeft, hoe effectiever het rooster gemaakt wordt.
Vragen A
Geef het conceptueel model dat correspondeert met de hypotheses 1 tot en met 6.
B
Geef methodologisch verantwoorde operationalisaties van “effectiviteit”, “attitude tav ZKR”, en “tijd dat iemand werkt bij De Bartiem”.
C
Hoe zou je in dit geval de construct validiteit van “efficiëntie” kunnen bepalen? Wees concreet in je beantwoording.
30
Syllabus Kwantitatieve Onderzoeksmethoden
D
Stel dat je op basis van theorie veronderstelt dat er ook een pijl (met positief teken) loopt van “declaratieve kennis” naar “efficiëntie”. Hoe zou de hypothese (in woorden) van deze relatie luiden?
Opgave 2 Alan Shapinsky is de manager van de human resource afdeling van een grote chemische productiefaciliteit. Alan wil aan alle 541 medewerkers van het bedrijf die hun werk als stressvol ervaren een cursus op het gebied van stress management aanbieden. Om te onderzoeken of dit aanbod zinvol is, wil hij onderzoeken hoeveel medewerkers hun werk als stressvol ervaren, en op welke aspecten van het werk dat betrekking heeft. Hij richt zijn onderzoek op drie groepen werknemers, aangezien hij verwacht dat met name deze drie groepen extra gevoelig zullen zijn voor stress. De eerste groep bestaat uit de 81 werknemers van de mengafdeling en de wasafdeling: zij moeten brandgevaarlijke chemicaliën met elkaar mengen of bijtende chemicaliën gebruiken voor het wasproces. Ten tweede zijn dat de 12 productiemanagers aangezien zij constant onder druk staan om de productiequota te halen. De laatste groep wordt gevormd door de 9 arbeidsconsulenten van het bedrijf. Zij horen de problemen van de medewerkers van het bedrijf aan, proberen hen zo goed mogelijk te helpen, maar kunnen het probleem soms maar gedeeltelijk of helemaal niet wegnemen. Omdat Alan niet voldoende tijd heeft om iedereen te benaderen, trekt hij uit deze drie groepen een steekproef van in totaal 15 medewerkers. Aan deze medewerkers gaat hij dan een korte vragenlijst voorleggen. Vragen A
Hoe groot is in Alans onderzoek het verschil tussen de operationele en de doelpopulatie? Wat zijn de gevolgen voor Alans onderzoek van dit verschil? Motiveer je antwoord.
B
Geef aan waarom in dit geval een proportioneel gestratificeerde aselecte steekproef te prefereren is boven een enkelvoudige aselecte steekproef.
C
Ontwerp 3 vragen, plus de bijbehorende antwoordmogelijkheden, voor de vragenlijst over hoe en in welke mate de werknemers hun werk als stressvol ervaren. De vragen moeten van verschillend meetniveau zijn en methodologisch verantwoord zijn. Geef voor iedere vraag aan wat het meetniveau is.
31
Syllabus Kwantitatieve Onderzoeksmethoden
Opgave 3 De Green Valley Assembly Company is gespecialiseerd in de assemblage van producten in de consumentenelektronica. Ze doet dit met name voor producenten die tijdelijk extra productiecapaciteit nodig hebben. Omdat Green Valley door verschillende producenten ingehuurd wordt, zijn er periodieke veranderingen in de assemblagelijnen. Hoewel deze veranderingen hun invloed op de processen binnen Green Valley hebben, streeft het management van Green Valley naar een constant hoge kwaliteit van de geassembleerde producten. Tom Bradley van de HRM-afdeling van Green Valley heeft recent nogal wat artikelen gelezen over job enrichment (dit is: het werk meer inhoud geven door motivationele factoren die op (doorgaans) nietfinanciële wijze tegemoetkomen aan de aspiraties (wensen) van de werknemers). Met name de artikelen waarin een toename van de productkwaliteit als gevolg van job enrichment programma’s beschreven werd, trokken zijn aandacht. Echter, niet alle artikelen over job enrichment waren positief. Er waren een paar die lieten zien dat er geen significante verbeteringen in de kwaliteit waren, en dat de investeringen in job enrichment weggegooid geld waren. Tom wil kijken of het invoeren van job enrichment programma’s iets voor Green Valley is. Hij neemt daartoe contact op met Sandra Hansen, de productiemanager van Green Valley. Sandra is pessimistisch over de mogelijkheden van job enrichment, maar ze is bereid om samen met Tom een quasi-experiment uit te voeren. Voor het onderzoek worden twee afdelingen van Green Valley geselecteerd: op één van deze afdelingen wordt een job enrichment programma ingevoerd, terwijl op de andere afdeling alles bij het oude blijft. Na 6 maanden kijken ze naar de effectiviteit van het job enrichment programma. Ze gebruiken hiervoor een vragenlijst waarin verschillende vragen over job enrichment opgenomen worden. Maar ze kijken ook naar de productkwaliteit. Een van de vragen die werknemers in beide afdelingen moeten invullen door middel van een 6-punts schaal is in hoeverre de kwaliteit van de producten in de afgelopen 6 maanden veranderd is (1 = de kwaliteit is sterk verslechterd, 2 = de kwaliteit is verslechterd, 3 = de kwaliteit is gelijk gebleven, 4 = de kwaliteit is enigszins verbeterd, 5 = de kwaliteit is verbeterd, 6 = de kwaliteit is sterk verbeterd). Vragen: A
Wat is in dit quasi-experiment de onafhankelijke variabele? En wat zijn de treatment levels?
De kwaliteitsmetingen op de 6-punts schaal zijn ingevoerd in SPSS. Omdat Tom en Sandra niet zeker waren van de statistische toets die ze moesten uitvoeren om te kijken of er een significant verschil in kwaliteit was tussen beide afdelingen, hebben ze voor verschillende toetsen SPSS-output gegenereerd.
32
Syllabus Kwantitatieve Onderzoeksmethoden
Indepedent samples t-toets
Mann-Whitney-U toets (Wilcoxon rank sum toets)
Statistics
Statistics
Ervaren_Kwaliteit Afdeling zonder
Ervaren_Kwaliteit Afdeling met job
job enrichment
enrichment
N
Valid Missing
Median
34
N
0 2,0000
Valid
34
Missing Median
0 5,0000
33
Syllabus Kwantitatieve Onderzoeksmethoden
Wilcoxon-toets (Wilcoxon signed rank sum toets)
Statistics
Statistics
Ervaren_Kwaliteit Afdeling zonder
Ervaren_Kwaliteit Afdeling met job
job enrichment
enrichment
N
Valid Missing
Median
34
N
0 2,0000
Valid
34
Missing Median
0 5,0000
B
Welke toets is hier statistisch verantwoord om te onderzoeken of de (ervaren) kwaliteit in een afdeling met job enrichment verschilt van de (ervaren) kwaliteit in een afdeling zonder job enrichment. Motiveer je antwoord.
C
Welke H0 en H1 (in “formules”) moeten in dit onderzoek gebruikt worden?
Gebruik de juiste output om antwoord te geven op de volgende vraag. D
Wat zeggen de resultaten met betrekking tot de hypothese (gebruik hierbij α = 5%)? Beargumenteer je antwoord door de data stapsgewijs te rapporteren.
34
Syllabus Kwantitatieve Onderzoeksmethoden
Voorbeeld Multiple-choice vragen 1. Om als klant geclassificeerd te worden, moet iemand in de afgelopen twee jaar minstens twee keer in de desbetreffende winkel een aankoop met een waarde boven de €10 gedaan hebben. Dit is een voorbeeld van: a. b. c. d.
Hypothetisch construct Conceptuele definitie Mediërende variabele Operationale definitie
2. De neiging van respondenten om geen extreme antwoorden te geven, wordt ook wel ........................ genoemd. a. b. c. d.
Halo-effect centrale tendentie fout (central tendency error) non-respons fout “toegevelijksheid”fout (error of leniency)
3. Welke manier is niet geschikt voor het testen van de betrouwbaarheid van een meetinstrument? a. b. c. d.
Test/hertest Regressie-analyse Parallelle test op observaties/scores Cronbach’s alpha
4. Om te kunnen zeggen dat prestatie A een bepaald percentage groter is dan prestatie B, dan moeten prestatie A en B gemeten worden op: a. b. c. d.
Interval of ratio meetniveau Ordinaal of hoger meetniveau Ordinaal meetniveau volstaat Nominaal meetniveau volstaat
5. Je hebt het idee dat geslacht invloed heeft op het beeld (perceptie) van de tijdsdruk op het werk. De perceptie van de tijdsdruk meet je door te vragen naar of men gevoel heeft achter de feiten aan te lopen (1 = ja, constant, 2 = minstens 2 keer per week, 3 = minstens 1 keer per week, 4 = slechts een keer per maand, 5 = nooit). Welke test moet je gebruiken om te onderzoeken of vrouwen verschillen van mannen? a. b. c. d.
Wilcoxon Signed Ranks Sum test Independent samples t-test Wilcoxon Rank Sum test/MWU-test Kruistabel met Chi-Square
35
Syllabus Kwantitatieve Onderzoeksmethoden
7.
CHECKLIST
De checklist biedt je een extra hulpmiddel om te controleren of je aan alle eisen van de opdracht hebt voldaan. Je werkgroepdocent zal feedback geven op de opdracht, maar dat betekent niet dat wanneer je enkel deze feedback verwerkt je een voldoende verslag hebt. Controleer dus altijd zelf je opdracht aan de hand van de checklist! A 1 2
1 2 1 2
3
1
4
1 2
5
1 2
6 7
B 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Het opstellen van Inleiding, CM, definities en relationele hypothesen Het is niet duidelijk wat het probleem is Het is niet duidelijk wat de vraagstelling binnen het onderzoek is Het is niet duidelijk op wie (persoon) en/of op wat (object) het concept betrekking heeft (onduidelijke conceptuele definitie). De eigenschappen die een persoon of object moet hebben opdat het concept van toepassing is zijn niet duidelijk omschreven (onduidelijke conceptuele definitie). Het is niet duidelijk wat de operationele definitie is van het concept (zo kan de operationele definitie afwijken van de conceptuele definitie vanwege bijv. praktische redenen) Deze eigenschappen (indicatoren) hebben geen of onvoldoende betrekking op het concept (te lage face validity). Een concept wordt onvoldoende uitgewerkt in de indicatoren (te lage content validity). De hypothesen zijn niet helder geformuleerd. Het conceptuele model wordt niet gegeven en/of bevat geen mediator Er staan geen controlevariabelen (minstens twee) in het model Er is niet voldoende gebruik gemaakt van onderbouwing d.m.v. wetenschappelijke literatuur De ontwikkeling van het meetinstrument Spelfouten of taalfouten Een begrip heeft op meerdere aspecten betrekking Vage terminologie (b.v. “wel eens”) In één vraag worden meerdere onderwerpen behandeld Gebruik van moeilijke woorden Zin is te lang Werkwoorden staan in passieve vorm In vraag staat (dubbele) ontkenning De vraag is suggestief De vraag veronderstelt (misschien niet aanwezige) voorkennis De antwoordcategorieën zijn niet uitputtend De antwoordcategorieën zijn overlappend De antwoordschaal is niet gebalanceerd De middelste antwoordcategorie is “geen mening” “Geen mening” antwoordcategorie heeft geen betekenis “Geen mening” antwoordcategorie zou zinvol kunnen zijn De vraag kan op een hoger meetniveau gemeten worden De lay-out is onduidelijk
36
Syllabus Kwantitatieve Onderzoeksmethoden
C 1 2 3 4 5 6
D 7
1 1 2 1 1 1 2 1
1 2
E 1 2 3 4 5 6 7 8 9 10
F 1 2 3 4 5 6
Het bepalen van de steekproef Doelpopulatie Beschrijving steekproefkader Herkomst steekproefkader Verschil doel- en onderzoekspopulatie Type steekproef Steekproefprocedure (hoe wordt steekproef daadwerkelijk getrokken) De bepaling van de clusters of strata Grootte van de steekproef
Dataverzameling Inleidende tekst vragenlijst ontbreekt/foutief (o.a., achtergrond info; evt. beloning voor deelname) Daadwerkelijke uitvoering niet duidelijk/ontbreekt (tijdslijn; distributie; verzamelen vragenlijsten; non-respons)
De data-analyse De rol van de controlevariabelen op de afhankelijke variabele wordt niet beschreven en/of algemene beschrijvende statistieken ontbreken De indicatoren worden niet, onvoldoende of foutief beschreven (beschrijvende statistieken) Construct validiteit en/of betrouwbaarheid van de indicatoren is niet juist bepaald (bijv. correlaties; cronbach’s alpha) Indicatoren zijn onterecht samengenomen Indicatoren zijn onjuist omgerekend naar een nieuwe variabele Voor een of meer van de analyses is niet de juiste statistische techniek gekozen De rapportage van een of meerdere testen is niet correct (missende parameters, gemiddeldes, medianen, etc.) Er worden onjuiste conclusies m.b.t. de hypothesen getrokken Er wordt geen overall conclusie gegeven Er worden geen theoretische en praktische implicaties gegeven
Algemene punten Spellingsfouten Onduidelijke structuur en logica Onduidelijke layout gehele opdracht (bijv. direct overnemen SPSS-tabellen is niet toegestaan) Geen/slechte literatuurverwijzingen in tekst Ontbreken/onvolledige literatuurlijst Namen, studentnummers en/of werkgroepnummer ontbreken
37
Syllabus Kwantitatieve Onderzoeksmethoden
8.
BIJLAGEN
UNIVARIATE EN BIVARIATE ANALYSES
Univariate analyses (beschrijvende statistieken)
Centrale tendentie
Nominaal
Ordinaal
Interval
Modus
Mediaan
Gemiddelde
Range (niet heel precies)
Standaarddeviatie
Verdeling
Bivariate analyses: symmetrisch vs. asymmetrisch Asymmetrisch wanneer:
1) variabelen verschillend meetniveau hebben
OF
2) wanneer je een afhankelijke variabele wilt voorspellen op basis van onafhankelijke variabele
Symmetrische, bivariate analyses (“X
X”)
X X Nominaal
Ordinaal
Nominaal
Ordinaal
Interval
Kruistabel met Chikwadraat test
Spearman Rank correlatie coëfficient
Pearson correlatie coëfficient
Interval
38
Syllabus Kwantitatieve Onderzoeksmethoden
Asymmetrische, bivariate analyses (“X
Y X Nominal
Y”)
Nominal
Ordinal
Interval
Cross table with Chisquare of independence
k=2 Unrelated samples: Wilcoxon Rank Sum test = MannWhitney U test Related samples: Wilcoxon Signed Rank Sum test
k=2 Unrelated samples: t2-test (independent samples t-test) Related samples: tD-test (paired samples t-test)
k>2 Unrelated samples: Kruskal-Wallis test
k>2 Unrelated samples: One-way ANOVA Related samples: Repeated measures ANOVAa
Ordinal Interval
Regression analysis
k=2 Logistic regression analysisa k>2 Discriminant analysisa
Notes • k = number of categories of the nominal variable (i.e., in case of 1 = male and 2 = woman, k = 2; in case of 1 = catholic, 2 = protestant, 3 = jewish, 4 = atheist, 5 = else, k = 5) • Related samples: person X indicated his/her preference for product A, B and C. Question is whether preferences differ between A, B, and C. Answers for A, B and C are related. Unrelated samples: person X indicated preference for product A, person Y for product B, and person Z for product C. Question is whether preferences differ between A, B, and C. Answers for A, B and C are now unrelated. a
These are more advanced techniques and are beyond the scope of present course. In other words, you do not have to use these techniques. Moreover, in these cases (almost often) more than 2 variables are involved and are technically multivariate analysis techniques (e.g., MANOVA, multiple regression, loglinear analysis, factor analysis, canonical discriminant analysis). You can find more about these techniques in books on advanced multivariate statistics.
39
Syllabus Kwantitatieve Onderzoeksmethoden
EDITIES BUSINESS RESEARCH METHODS VAN BLUMBERG ET AL EN COOPER & SCHINDLER Let op: Het tentamen zal gaan over Blumberg et al. 4e editie, hoofdstukken 1 (p27-36), 6-7, 12-14 (andere hoofdstukken worden aangeraden te raadplegen, maar behoren niet tot tentamenliteratuur). Het gebruik van een andere editie dan Blumberg et al. 4e editie is op eigen verantwoordelijkheid. BC&S, 4th ed.
BC&S, 3rd ed.
BC&S, 2nd ed.
BC&S, 1st ed.
C&S, 10th ed.
C&S, 9th ed.
1
1
1
1
1, 3
1, 2
2
2
2
2
4
3
make copy of BC&S, 2nd ed., ch.3
3 3
3
5
make a copy of BC&S, 2nd ed., ch. 3
4
4
4
3
2
5
5
5
5
4
6, 7
6, 8
6
6
6
6
14
15
7
7
7
7
9
10
9
8
8
10
5
7
9
10
make copy of BC&S, 2nd ed., ch.10
make copy of BC&S, 3rd ed., ch.9
make copy of BC&S, 3rd ed., ch.9
10&11
10 & 11
9
8
8
9
12
12
11
9
10
11
14
13
12
11
11,12
12, 13
13
14
13
12
13
14
12
15
14
13
20
21
8
40