MTO A College 1 Bronnen van kennis • Intuïtie: geen legitieme evidentie voor een theorie of hypothese omdat intuïtie vaak obscuur en niet repliceerbaar is • Autoriteit: geen legitieme evidentie omdat het gebaseerd is op macht en vertrouwen en niet op feiten. • Common sense: massa’s mensen kunnen volstrekt verkeerde ideeën hebben over de wereld • Persoonlijke ervaring: geen legitieme evidentie door: sampling bias, observer bias, confounding Validiteitsbedreigingen • Sampling bias: waarnemingen zijn mogelijk niet representatief voor de populatie. (oplossing: random trekken van deelnemers voor de steekproef) • Observer bias: waarneming beïnvloed door verwachtingen (oplossing: (dubbel) blind onderzoek, dubbelblind placebo-gecontroleerd onderzoek) • Confounding: wanneer de factor waarin je geïnteresseerd bent systematisch samenhangt met andere factoren die ook effect kunnen hebben. (oplossing: substract it out, take it out, check it out) De wetenschappelijke methode • Falsificeerbaarheid: weerlegbaarheid. Falsificeren biedt meer zekerheid dan bevestigen. Wanneer een theorie onweerlegbaar is is deze wetenschappelijk gezien waardeloos De empirische cyclus 1. Observatie 2. Theorievorming 3. Voorspelling 4. Toetsing 5. Evaluatie Correctiemechanismen • Peer review: De barrière tussen jou en publicatie in een wetenschappelijk tijdschrift. Peer staat voor gelijken. Deze peers zijn reviewers en worden door een editor van het tijdschrift uitgezocht om jouw onderzoek te reviewen. • Replicatie: onderzoekers vertrouwen vrijwel nooit op een enkel onderzoek. Pas wanneer het onderzoek wordt gerepliceerd door verschillende onderzoekers, op verschillende plekken, met verschillende methodes en wanneer al deze replicaties dezelfde resultaten opleveren, worden de resultaten betiteld als feit. College 2 •
•
Theorie Een stelsel van algemene principes dat pretendeert ons te vertellen hoe de wereld werkt. Het principe is algemeen want er wordt niet gespecificeerd over bij wie, wanneer, hoe en op welke plaats iets gebeurd. Een theorie is dan ook niet direct toetsbaar omdat een onderzoek altijd een concrete situatie betreft. Voorspelling Een voorspelling is concreet, er wordt precies gespecificeerd wat er wanneer en bij wie zal gebeuren. Een voorspelling kan getoetst worden en daarmee dus ook gefalsificeerd. Theorie (algemeen)> Hypothese (iets specifieker) > Voorspelling (specifiek)
• •
•
• • • • • •
• • • • • • •
Toetsing: Toetsing is van belang vanwege de falsificeerbaarheid Bevestiging: Wat als de voorspelling uit komt? Als de voorspelling uitkomt wil dat niet zeggen dat de theorie bewezen is maar dat hij in ieder geval niet weerlegd is. Het is vrijwel onmogelijk om een theorie te bewijzen omdat je nooit alle alternatieve verklaringen kunt uitsluiten en een theorie bijna oneindig veel concrete voorspellingen bevat Weerlegging Wat als de voorspelling niet uit komt? Als de voorspelling niet uitkomt, is de theorie weerlegd en is er dus een probleem. Wanneer de theorie niet aangepast kan worden, er geen fouten in het onderzoek te vinden zijn en het onderzoek gerepliceerd kan worden met hetzelfde resultaat, dan ontstaat er een anamolie: een onbegrepen inconsistentie tussen theorie en data. Het is vrijwel onmogelijk om een theorie met een enkel onderzoek te weerleggen omdat er altijd iets fout kan zijn gegaan. Falsificeerbaarheid Wat als er geen voorspellingen uit een theorie kunnen worden afgeleid en de theorie dus niet getoetst kan worden? De theorie is onweerlegbaar en daardoor wetenschappelijk gezien waardeloos. Present-present bias De tendentie om in een kans verdeling op de ja-ja cel te focussen Variabelen en hun waarden Een variabele is een eigenschap in een populatie die varieert. Verschillende mensen hebben dus verschillende waarden op die variabele. Categorische variabelen Kwalitatieve variabelen (sommige eigenschappen vormen categorieën) Continue variabelen kwantitatieve variabelen (sommige eigenschappen vormen een soort lijn) Normale verdeling
Gemiddeldes en variantie Bij een normale verdeling bepaald het gemiddelde de locatie van de verdeling en de variantie de spreiding van de verdeling. IQ Wat men onder intelligentie verstaat is niet geheel duidelijk. Binet kwam met de eerste IQ test. Een IQ test bestaat uit een aantal subtests die elk weer bestaan uit items. Normering Er is maar een manier om vast te stellen waar iemand zit in de populatie: een grote representatieve steekproef trekken uit de populatie. Operationaliseren Over het algemeen wil men dat variabelen een theoretisch construct representeren. Wanneer je zo een theoretisch construct meetbaar of concreet wil maken dan ben je aan het operationaliseren Diagnostiek: Vaststellen aan wat voor stoornis iemand lijdt. Validiteit: Meet de test wat hij moet meten? Waarden en normen van de wetenschap: - Openheid, geen dogma 1. Je mag aan alles twijfelen. 2. Theorieën worden voorlopig aanvaard op basis van empirisch bewijs. Niet voor waar aangenomen. 3. Bewijs voor theorieën moet publiek beschikbaar zijn - Grondigheid, de hele cyclus doorlopen Observatie, theorievorming, voorspelling, toetsing, evaluatie - eerlijkheid, niet liegen
• •
Fraude: fabricatie en falsificatie (NIET falsificeerbaarheid) Fabriceren: het verzinnen van onderzoeksgegevens Falsificatie: het vervalsen van onderzoeksgegevens Plagiaat: het zonder bronvermelding overschrijven van teksten.
College 3 • •
• • • • • •
•
•
• •
Validiteit gaat over de vraag of het plaatje eigenlijk wel klopt en of de test meet wat hij moet meten. Als een onderzoek niet valide is kan het wel nog betrouwbaar zijn. Betrouwbaarheid Hoe precies zijn de metingen? Je kunt een schatting maken van het aantal meetfouten in een test zonder dat je precies weet wat de test meet. Hiervoor kun je test-hertest of interne consistentie gebruiken. Als een onderzoek niet betrouwbaar is kan het ook niet valide zijn. Face validity Is de test ‘op het eerste gezicht’ valide? Vertrouwt op het vermogen van mensen om intuïtief aan te voelen of een test iets meet of niet. Het oordeel van mensen is echter niet erg scherp. Predictieve validiteit De procedure correleert met toekomstig gedrag. Constructvaliditeit Constructen zijn theoretische begrippen die een rol spelen in een netwerk van wetten: het zogenaamde nomologisch netwerk. Constructvaliditeit meet in hoeverre de scores/variabele het construct weerspiegelen. Convergente validiteit De procedure correleert met een andere procedure die als valide wordt beschouwd. Discriminante validiteit De procedure correleert niet met een een andere procedure die als valide wordt beschouwd. Correlatie ≠ causaliteit Correlatie (r) meet in hoeverre twee variabelen in een lineair verband samenhangen. - Hoge positieve samenhang (1), als de ene lijn omhoog gaat gaat de andere dat ook. - geen samenhang (0) - hoge negatieve samenhang (-1), als de ene lijn omhoog gaat gaat de andere omlaag. Men gaat er vaak vanuit dat wanneer er een correlatie is tussen x en y, x de oorzaak is van y (causaliteit). Dit hoeft echter niet zo te zijn. (confounds, third variables) Test-hertest correlatie De correlatie tussen de score op de eerste meting en de score op de tweede meting is een maat voor betrouwbaarheid. Hij moet positief zijn en hoe hoger hoe beter. Een nadeel van de test-hertest correlatie als maat voor betrouwbaarheid is dat je alleen stabiele eigenschappen kunt meten, want zodra een eigenschap veranderd klopt de theorie niet meer. Een oplossing hiervoor is interne consistentie Interne Consistentie Neem de test een keer af en Correleer verschillende onderdelen van de test. Dit kunnen helften zijn (bijvoorbeeld deel A en deel B van de test) en zelfs individuele items. Bepaal vervolgens betrouwbaarheid van de hele test op grond van een formule (formule niet van belang voor MTO A). Third variables Als er een correlatie is tussen X en Y dan kan dat betekenen dat er een gemeenschappelijke oorzaak van X en Y is die de correlatie verklaart. Confounds Als er een correlatie is tussen X en Y dan kan dat betekenen dat een variabele die samenhangt met X de oorzaak is van Y.
College 4 •
• •
•
• • • • • • • • •
• •
•
Case studies Gevalsbeschrijvingen, diepgaande onderzoeken van 1 of meerdere gevallen. Voordelen van case studies zijn dat het diepgaand is, veel informatie geeft, zeldzame gevallen bekijkt en dat het veel ideeën genereert. Nadelen zijn dat het moeilijk is om causale verbanden op te stellen, gevoeligheid voor vertekening en gebrekkige generalisatie. Naturalistische observatie Een observatie waarbij de onderzoeker zich niet bemoeid met de situatie. Hij laat de ‘natuur’ zijn gang gaan. Participerende observatie De onderzoeker neemt actief deel aan het bestudeerde proces. Voordelen van Participerende observatie zijn dat je in de echte wereld zit waardoor het nut van de studie eerder duidelijk is en het resulteert vaak in een indrukwekkend verhaal met diepgaande informatie. Nadelen zijn dat het vaak onduidelijk is welke hypothese er precies getoetst word, observer effects, moeilijk te generaliseren en moeilijk causaliteit te bepalen. Directe gestructureerde observatie Bij directe gestructureerde observatie worden mensen in een bepaalde situatie gebracht waarin hun gedrag geobserveerd wordt. Deze observatie verloopt meestal via een protocol waarbij geteld of gescoord wordt hoe vaak en in welke mate mensen gedrag vertonen. Survey een soort vragenlijst om wat over je proefpersonen te weten te komen Sampling bias Is wanneer de bestudeerde steekproef op relevante variabelen systematisch afwijkt van de doelpopulatie. Populatie vs. sample (steekproef) De populatie die je onderzoekt is bijvoorbeeld ‘mannen van Nederland’, de steekproef die je dan neemt zijn een selectie mannen die zo goed mogelijk alle mannen van Nederland moeten vertegenwoordigen. Random sample Is de oplossing voor Sampling Bias. Je laat kans bepalen wie er in de steekproef komt. Purposive sampling expres een bepaalde groep mensen bekijken Convenience sample Onderzoek doen bij wie er ook maar langs komt Stratified sample Zorgt er voor dat je een steekproef hebt die de populatie perfect vertegenwoordigd. Alle demografische variabelen zoals geslacht of opleidingsniveau komen in proporties overeen. Observer effects De geobserveerde situatie verandert doordat er observatie plaatsvindt. Rosenthal effect (is een voorbeeld van Pygmalion effect) Rosenthall gaf onderzoekers twee groepen ratten mee en betitelde de ene groep als slim en de andere als dom. In werkelijkheid waren beide groepen ratten gewoon verdeeld uit dezelfde groep. De ratten met de titel ‘slim’ bleken sneller te leren. Pygmalion effect Wanneer mensen hogere verwachtingen hebben bij bepaalde mensen gaan deze mensen vanzelf beter presteren. Observer bias De observator neemt dingen verkeerd waar door de verwachtingen die hij heeft bij het experiment. Oplossing: 1) Blind onderzoek, de onderzoeker weet niet wie in welke conditie zit. 2) Dubbel blind onderzoek, de onderzoeker weet niet wie in welke conditie zit en de proefpersoon weet niet in welke conditie hij zit 3) Placebo-gecontroleerd dubbel blind onderzoek, de onderzoeker weet niet wie in welke conditie zit, de proefpersoon weet niet in welke conditie hij zit en de controle conditie krijgt een placebo. Inter-beoordelaarsbetrouwbaarheid Doen verschillende observatoren overeenkomstige observaties?
College 5 • • • • • • • • • • • • • • • • • •
Experiment De onderzoeker manipuleert een variabele en bekijkt het effect daarvan op een andere variabele Controle conditie Is een conditie die je gebruikt om te vergelijken met de conditie die je gebruikt bij je manipulatie. Onafhankelijke variabele (Independent variable) en Afhankelijke variabele (Dependent variable) De onafhankelijke variabele wordt gemanipuleerd en de afhankelijke variabele wordt geobserveerd/gemeten. Experimentele condities Is de conditie die je gebruikt om te kijken of je manipulatie inderdaad effect heeft op de proefpersonen. Experimentele controle Een controle groep die een ijkpunt vormt voor de resultaten die je vindt binnen je experiment Experimentele behandeling (Experimental treatment) De manier waarop je een groep proefpersonen die je wilt onderzoeken behandeld Experimenteel design De methode Onafhankelijke groepen design (Independent-groups design) of between-subjects design Afhankelijk van kans krijgt een proefpersoon een conditie van de onafhankelijke variabele toegewezen Matching Ervoor zorgen dat de bestudeerde groepen vergelijkbaar zijn en het verschil tussen de condities dus niet toe te wijzen kan zijn aan verschillen binnen de groepen. Beperkingen van experimenten (Limitations of experiments) Het is handig om een onderzoek uit te voeren maar een experiment zal nooit dezelfde resultaten opleveren als in het echte leven omdat het vrijwel onmogelijk is om een perfecte situatie na te bouwen Manipulatie check Informeren bij andere mensen dan je proefpersonen of de manipulatie wel het effect heeft dat je verwacht. Lab experiment (Laboratory experiment) en Veld experiment (Field experiment) Een lab experiment is veel kunstmatiger dan een Veld experiment. Interne validiteit Er is interne validiteit wanneer er geen confounds zijn. Ecologische validiteit Bij generaliseerbaarheid naar het dagelijks leven. Selectieprobleem (sampling bias?) Aselecte toewijzing (Random assignment) Gemiddeld genomen is er geen verschil tussen de eigenschappen van proefpersonen in de condities. (Verwachte waarden zijn gelijk) Validiteitsbedreigingen worden zo evenredig over condities verdeeld. Uitval van proefpersonen (Subject loss) Uitval van proefpersonen is alleen een probleem als deze selectief uitvallen uit beide condities. Om dit te voorkomen meet je relevante persoonsvariabelen en eventueel matchen op deze variabelen. Samenvallende variabelen (Confounded variables)
College 6 • • • •
Onafhankelijke groepen design (Independent-groups design) of between-subjects Design Afhankelijk van kans krijgt een proefpersoon een conditie van de onafhankelijke variabele toegewezen Binnen-persoons design (Within-subjects design) Elke proefpersoon krijgt elke conditie toegewezen. Verduisterende factoren in experimenten (Obscuring factors in experiments) Samenvallende factoren (Confounding factors)
• • • • •
• • •
Niet-significant resultaat Een resultaat waarbij de kans (P-waarde) op toevalligheid groter is dan 0,05 Vloer- en plafond-eff ffect (Floor- and Ceiling eff ffect) Vloer-effect: de test was te moeilijk, iedereen scoort laag Plafond-effect: de test was te makkelijk iedereen scoort hoog Variabiliteit Individuele verschillen Variabiliteit in de experimentele situatie (Variability in the experimental situation) 1. Individuele verschillen die te maken hebben met de afhankelijke variabele 2. Toevallige meetfouten 3. omgevingsinvloeden Statistische significantie (Statistical significance) Effect grootte geeft aan hoe groot het gemiddelde verschil is t.o.v. de variatie (spreiding) van scores binnen de condities. T-toets voor het gemiddelde verschil tussen groepen (T-test of the diff fference Between group means) Stel een 0-hypothese op. Dit houdt in dat er geen gemiddelde verschil is tussen condities/groepen. Bereken de T-waarde en daarna de kans (Pwaarde) dat het gevonden verschil toevallig is. Is deze kans P < 0.05 dan is er sprake van een significant verschil. De P-waarde die bij de t-toets hoort is dus de kans dat het effect louter aan toeval kan worden toegeschreven.
College 7 • • • • • • • • • • • • • • • •
Interactie Factorieel design Hoofdeff ffect (Main eff ffect) ffect Simple main eff Gemixed design Tussen-persoons design (Between-subjects design) Binnen-persoons design (within subjects design) Persoonsvariabele (Subject variable) Twee-wegsdesigns (two-way designs) Hogere-orde en drie-wegsdesigns (Higher-order and three–way designs) Drie-weg interactie (Three-way interaction) Factoren, levels Replicatie Interne validiteit Counterbalancing Constructvaliditeit van het experiment
College 8
• • • • • • • • • • • • •
Kleine-N experiment Stabiel baseline design Meervoudige baselines design ‘Reversal design’ Quasi-experiment Selectie versus toewijzing van proefpersonen Niet-equivalent controle group design Longitudinale studie Tijdserie design Beperkingen van quasi-experimenten Regression Bedreigingen van interne validiteit: Selecition, History, Maturation (of Spontaneous remission), Regression, Testing Wait-list control group
College 9 • • • • • •
‘Peer review’ Directe replicatie Systematische replicatie Conceptuele replicatie Meta-analyse Publication bias (file drawer probleem)
College10 • • • • • • • • • • • • • • •
Ethische richtlijnen van de APA ‘Debriefing’ ‘Informed consent’ Deceptie in onderzoek (Deception in research) Commissie Ethiek (Institutional Review Board) Preconcepties Good story heurisitic (just-so story) Ad hominem argument Correlatie en causaliteit Systematisch werken Verifieerbaarheid Falsificeerbaarheid Self-delusion en overconfidence Availability heurisitic Folk wisdom
