1 Inleiding Opbouw Bronnen en verantwoording Doelgroep Effectonderzoek in de toegepaste gedragswetenschappen 16

Inhoud

1 1.1 1.2 1.3 1.4

Inleiding Opbouw Bronnen en verantwoording Doelgroep Effectonderzoek in de toegepaste gedragswetenschappen

11 13 13 15 16

2 2.1 2.2 2.2.1 2.2.2 2.3 2.3.1

21 22 24 26 27 28

2.4 2.5 2.5.1 2.5.2 2.6

Empirische methodologie Schets van de historie van de methodologie Wat is methodologie? Verklaren en begrijpen Hermeneutiek en fenomenologie De empirische methodologie volgens A.D. de Groot De empirische cyclus van het verwerven van (wetenschappelijke) kennis De regulatieve cyclus De karakteristieke bijdrage van De Groot aan de wetenschapsontwikkeling Typen van onderzoek Objectiviteit en intersubjectiviteit Objectiviteit Intersubjectiviteit Samenvatting van hoofdstuk 2

39 41 44 44 46 47

3 3.1 3.2 3.3 3.4 3.5 3.6 3.7

Definities van relevante begrippen Inleiding Gedragswetenschappen Interventie(programma) Effectiviteit van interventies Effectonderzoek Effect size Samenvatting van hoofdstuk 3

51 51 51 52 53 58 64 65

4 4.1

Ideaalmodel voor effectonderzoek Inleiding

67 67

2.3.2 2.3.3

28 37

8

4.2 4.2.1 4.2.2 4.3 4.4 4.4.1 4.4.2 4.5 4.5.1 4.5.2 4.5.3 4.6 4.6.1 4.6.2 4.6.3 4.7 4.8 5 5.1 5.2 5.2.1 5.2.2 5.3 5.3.1 5.3.2 5.4 5.4.1 5.4.2 5.5 5.5.1 5.5.2 5.5.3 5.6

Effectonderzoek in de gedragswetenschappen

Algemene richtlijnen bij het inventariseren van begrippen en doelen op basis van het theoretisch raam Theoretische onderbouwing Beschrijven van (het doel van) de interventie Algemene richtlijnen bij het operationaliseren van variabelen in criteria Algemene richtlijnen bij het opstellen van meetinstrumenten Betrouwbaarheid en validiteit Meetmethoden Algemene richtlijnen bij het kiezen van het onderzoeksdesign Voor- en nametingen Experimentele groep en controlegroep Voorbeeld van een zuiver experimenteel design: Solomon FourGroup Design Algemene richtlijnen bij het verzamelen, analyseren en interpreteren van data Dataverzameling Data-analyse Interpretatie van de data Algemene richtlijnen bij het rapporteren van het effectonderzoek Samenvatting van hoofdstuk 4

Methodologische problemen Inleiding Problemen bij het inventariseren van variabelen en doelen Problemen bij de theoretische onderbouwing Problemen bij het beschrijven van (het doel van) de interventie Problemen bij het operationaliseren van variabelen in criteria Complexiteit van de criteriummaten Objectiviteit versus subjectiviteit Instrumentatieproblemen Beschikbaarheid van meetinstrumenten Meetmethoden afwegen Problemen bij het kiezen van het onderzoeksdesign Methodologisch-praktisch probleem: bedreigingen van de validiteit Ethische problemen bij een experimenteel onderzoek Problemen met een longitudinaal design Problemen bij het verzamelen, analyseren en interpreteren van de data 5.6.1 Problemen bij de dataverzameling 5.6.2 Problemen bij de data-analyse 5.6.3 Problemen bij de interpretatie van de data 5.7 Problemen bij het rapporteren van het effectonderzoek 5.8 Samenvatting van hoofdstuk 5

69 69 74 79 86 88 90 95 96 98 103 104 104 106 111 112 115 123 123 123 124 126 130 132 133 134 134 138 141 142 146 148 150 150 151 155 156 158

9

Inhoud

6 6.1 6.2 6.2.1 6.2.2 6.2.3 6.2.4 6.3

6.8.1 6.8.2 6.9

Methodologische mogelijkheden Inleiding Hulpmiddelen bij het inventariseren van variabelen en doelen Logic model DoelenhieÈrarchie Paradigma voor het onderscheiden van effecten Programma-template Mogelijkheden bij het operationaliseren van doelen: het meten van verandering Indices of Change in relatie tot ontwikkeling van kinderen Indices of Change toepasbaar bij volwassenen Andere mogelijkheden voor het vaststellen van verandering Mogelijkheden bij het opstellen van meetinstrumenten Interpretatie van gestandaardiseerde meetinstrumenten Testconstructie ad hoc Alternatieve paradigma's Multipele maten en informanten Mogelijkheden bij het kiezen van het onderzoeksdesign Omgaan met ethische problematiek Quasi-experimentele designs Pre-experimentele designs Suggesties bij een longitudinaal design Oplossingen bij de verzameling, analyse en interpretatie van de data Omgaan met de kwetsbaarheid van de doelgroep Combinatie van kwantitatieve en kwalitatieve methoden Mogelijkheden bij de data-analyse Suggesties bij de interpretatie van de data Mogelijkheden bij het rapporteren van het effectonderzoek Checklists voor de opzet van een methodologisch robuuste effectstudie Checklist voor effectonderzoek met groepen Checklist voor N=1-studies Samenvatting van hoofdstuk 6

7 7.1 7.1.1 7.1.2 7.1.3 7.1.4 7.1.5 7.2 7.2.1

Capita selecta Poweranalyse De a priori-poweranalyse (voorafgaande aan het onderzoek) De post hoc-poweranalyse (na afloop van het onderzoek) De compromis-poweranalyse De sensitiviteitsanalyse De criteriumanalyse Effect sizes (ES) Effect size voor twee onafhankelijke groepen

6.3.1 6.3.2 6.3.3 6.4 6.4.1 6.4.2 6.4.3 6.4.4 6.5 6.5.1 6.5.2 6.5.3 6.5.4 6.6 6.6.1 6.6.2 6.6.3 6.6.4 6.7 6.8

163 163 163 164 166 169 171 172 173 176 178 179 179 180 181 181 183 184 187 192 197 199 199 200 204 209 214 215 215 216 217 223 223 226 227 228 228 228 229 229

10


7.2.2 Effect size voor twee afhankelijke groepen 7.3 Enkele voorbeelden van eenvoudige data-analyse in effectonderzoek 7.3.1 Static Group Design 7.3.2 One-Group Pretest-Posttest Design 7.3.3 Non-Equivalent Control Group Design

234 234 238 242

8

247

Discussie

233

Bijlage A: Stellingen De Groot Èr is maar eÂeÂn methodologie'

255

Literatuur

259

Trefwoordenregister

279

Over de auteurs

285

2

Empirische methodologie

Dit hoofdstuk geeft achtergrondkennis waar het gaat om methodologie en effectonderzoek in de gedragswetenschappen. Het is grotendeels gebaseerd op het standaardwerk van de Nederlandse psycholoog en methodoloog Adriaan Dingeman de Groot (1961): Methodologie: grondslagen van onderzoek en denken in de gedragswetenschappen. Dit unieke boek is in de vorige eeuw bijna veertig jaren lang de leidraad geweest voor Nederlandse onderzoekers in opleiding. Het boek heeft ook een internationale editie gekend (De Groot, 1969b: Methodology. Foundations of inference and research in the behavioral sciences), met name bestemd voor de Amerikaanse wetenschappelijke markt. Deze editie is minder succesvol geweest dan de oorspronkelijk Nederlandse. Het Nederlandstalige boek verscheen in 1961 en riep destijds discussie op in met name het Nederlands Tijdschrift voor de Psychologie en haar grensgebieden. De geõÈnteresseerde lezer wordt verwezen naar een bewonderaar in de vorm van Snijders (1963) die een zeer lezenswaardige recensie schrijft en tot een voor ons toch wel bijzondere conclusie komt. In de wetenschapsfilosofie en de methodologie is er altijd strijd geweest omtrent de eenheid der wetenschappen en omtrent de verschillende soorten van onderzoek en denken. Uiteraard een fundamentele discussie, die door De Groot beslecht wordt in de uitspraak dat die eenheid gevormd wordt door de methode, gebaseerd op de empirische cyclus van kennisverwerving. Snijders komt in zijn recensie over de bijdrage van De Groot tot een ander object dat de eenheid der wetenschappen zou symboliseren, namelijk het streven naar objectiviteit. In dit hoofdstuk besteden wij dan ook aandacht aan: · de historie van de methodologie (paragraaf 2.1); · wat methodologie precies is (paragraaf 2.2); · het stramien van wetenschappelijk denken en handelen in het licht van De Groots methodologie (paragraaf 2.3); · verschillende soorten onderzoek (paragraaf 2.4); · objectiviteit en intersubjectiviteit in het kader van grondslagen van onderzoek en denken in de gedragswetenschappen (paragraaf 2.5). Het hoofdstuk sluit af met een bondige samenvatting (paragraaf 2.6).

22

2.1


Schets van de historie van de methodologie

Als inleiding op de (empirische) methodologie is het wijsheid om op beknopte wijze de historie van de methodologie als context voor de bijdrage van De Groot te beschrijven. De basis voor de methodologie ± omschreven als de leer van de kennisontwikkeling ± is gelegd door Aristoteles. GeõÈnspireerd door de dialectiek van Plato en de retoriek der sofisten legt Aristoteles de basis in de formele logica. Kernpunt in Aristoteles' logica is de leer van de redenering en het bewijs (Delfgaauw, 1965). Later werkt Aristoteles ook de leer van de kennisontwikkeling uit (namelijk in de Analytica posteriora). De term methodologie is voor het eerst prominent aanwezig in de 17de eeuw, met name in de Discours de la meÂthode van Descartes. De centrale vraag die Descartes zich stelt (en die vandaag nog steeds actueel is) luidt: `Hoe kan een mens uit een veelheid van (wetenschappelijke) opvattingen en theorieeÈn de juiste kiezen?' In de 18de eeuw is methodologie synoniem met logica en dialectiek in de betekenis van discipline van de methodenreflectie. In deze discipline worden de regels voor het uitvinden van de waarheid en van haar bewijsvoering nagegaan. Eind 18de eeuw werkt Kant (1781) in zijn boek Kritik der reinen Vernunft een transcendentale methodenleer uit. Hieronder verstaat Kant een geheel van bepalingen van de formele voorwaarden voor een systeem van de zuivere rede. In de 19de eeuw wordt de methodenleer weer opgevat in de traditionele 18de eeuwse betekenis van logica. Filosofen zoals Stuart Mill en Wundt verwijzen met methodologie naar het gebruik van de logica in onderzoek en in kennisontwikkeling. In de 19de eeuw verschijnt de bijdrage van Hagenbach (de eerste versie in 1833, de twaalfde in 1889) EnzyklopaÈdie und Methodologie der theologischen Wissenschaften en van Stoy (in 1878) EnzyklopaÈdie, Methodologie und Literatur der PaÈdagogik. In hun terugblik op de historische bijdrage van Hagenbach en Stoy stellen Oelkers, Osterwalder en Tenorth (2003) terecht de vraag waarom Hagenbach en Stoy voor de vorm van een encyclopedie eÂn methodologie en dus voor een bepaalde systematisering van (pedagogische) kennis kiezen. Zij concluderen dat de methodologie van Hagenbach en Stoy niet is bedoeld als een receptenboek, maar wel als een topografische kaart die de (pedagogische) praktijk op systematische wijze wil ondersteunen. De schakel tussen methodologie en de (evidentie voor de) praktijk wordt hiermee uitdrukkelijk gelegd. Pas halverwege de 20ste eeuw ontwikkelt de methodologie zich tot een zelfstandig specialisme. Het is de belangrijkste filosoof en grondlegger van de experimentele psychologie in Nederland, namelijk Heymans (1941), die het eerste boek schrijft dat expliciet over methodologie handelt: Inleiding tot de logica en methodologie. Bochenski (1954, 1962) beschrijft de methodologie vanuit een wetenschapstheoretisch perspectief en sluit daarbij ook aan bij de logica. Om een oordeel te kunnen vormen over de wetenschappelijkheid van methoden die in wetenschappen gebruikt worden om tot kennisverwerving te kunnen komen, doet Bochenski beroep op de kennisleer en op historisch onderzoek naar eerder behaalde successen en naar

2 Empirische methodologie

23

dwaalwegen in de wetenschap. Ook de wetenschapsfilosoof Lakatos (1970) beklemtoont het historische perspectief in de methodologie, of met andere woorden in de pogingen tot het verwerven van wetenschappelijke kennis, temeer omdat een theorie beoordeeld moet worden op lange termijn. Lakatos stelt dan ook dat een theorie een structuur (a scientific research programme) moet zijn die richting geeft aan het onderzoek. Voor een omvattend overzicht van de methodologie als wetenschapshistorische benadering verwijzen we naar Menne (1980). In 1961 brengt De Groot zijn magnum opus uit. Hij stelt vast dat er geen scherpe grens te trekken is tussen wetenschappelijk en onwetenschappelijk denken, maar dat er wel regels bestaan die onderzoekers in acht dienen te nemen ± de do's and don'ts ± om adequater te redeneren. De Groot is een gedreven pleitbezorger voor onderzoek, gebaseerd op het kwantificeren van kwalitatieve gegevens en op het vormen en toetsen van theorieeÈn en hypothesen. Met deze stellingname komt hij regelrecht in conflict met de Utrechtse hoogleraar Langeveld, die in de pedagogiek bekend is als een der oprichters van de beroepsvereniging NVO (Nederlandse Vereniging van Pedagogen en Onderwijskundigen). Langeveld is een pleidooibezorger van een meer fenomenologische benadering, een benadering die de waargenomen verschijnselen zo nauwkeurig en grondig mogelijk wil beschrijven, waarbij bewust geen theorie of hypothese over de oorzaken van die verschijnselen wordt geformuleerd. In die tijd ontwikkelt de controverse tussen de pedagogiek en de psychologie zich steeds meer in de richting van de bekende karikatuur van de psycholoog als onmenselijke meetfanaat en van de pedagoog als onwetenschappelijk idealist (Van Hilvoorde, 2002). Deze controverse beleeft in Nederland haar hoogtepunt in de confrontatie tussen Langeveld en De Groot. Langeveld (1970) is het absoluut niet eens met De Groot. De repliek van De Groot (1970) op Langeveld laat niet lang op zich wachten. In twaalf stellingen wordt de kritiek weerlegd. Deze stellingen (zie Bijlage A) worden verder in dit hoofdstuk besproken. Het boek van De Groot en daarmee ook de empirische methodologie wordt niet alleen bekritiseerd door de meer normatief georieÈnteerde pedagogen, maar ook door de empirisch georieÈnteerde psychologen (De Wit, 1970) om reden dat de epistemologie (namelijk de kennisleer) gemist wordt. Een methodologie opbouwen zonder kennistheoretische vooronderstellingen kan echt niet, volgens Langeveld (1970). Hij sluit daarmee aan bij de kennistheoretische benadering van Bochenski (1954, 1962). De epistemologie terzijde schuiven als irrelevant, zou volgens De Wit (1970) het expliciteringsproces (namelijk de criteria voor de geldigheid van empirische kennis expliciet maken) in de methodologie afremmen en dit is des te meer van toepassing wanneer de ter zake geeÈngageerde deskundigen (bij De Groot omschreven als het Forum of ook wel de geleerden) het onderling niet eens zijn. Het antwoord van De Groot (1970, 1971) is vrij simpel: kennisleer is buitengewoon belangrijk, maar kan worden gemist als fundament van de methodologie, want het

24


Forum ± in haar streven naar de wetenschappelijke houding ± neemt in het praktische geval de positie in van de abstracte kennisleer. De (ingetogen) felheid waarmee de discussie in die jaren werd gevoerd in het Nederlands Tijdschrift voor de Psychologie en haar grensgebieden, doet vermoeden dat evidence-based onderzoek vanaf het midden van de 20ste eeuw nog een lange weg te gaan had. Om die reden is het dan ook onontbeerlijk om stil te staan bij wat methodologie nu precies is.

2.2

Wat is methodologie?

Methodologie wordt ook wel methodenleer of methodiek genoemd. Het woord methodologie is afgeleid van het Griekse meta (na, verder, over), hodos (de weg) en logos (het woord, het geheel van woorden of de leer), en betekent dan ook de leer van de weg waarlangs men tot kennis komt, of met andere woorden de studie van de af te leggen weg. Het gaat immers om de theorie van de methoden om kennis te verwerven, om het doel van de wetenschapsbeoefening te kunnen bereiken. Methodologie is de studie van de wetenschappelijke methoden en technieken, die in de wetenschap worden voorgeschreven en die moeten worden gebruikt om kennis te verwerven en om de wetenschap vooruit te helpen. Elke discipline heeft zo haar eigen methoden en technieken en heeft daarenboven vaak een specifieke organisatie met onderzoeksgroepen en vakliteratuur, waar deze specifieke methodologie wordt bestudeerd. Er zijn ook algemene methoden, technieken en principes die voor alle wetenschappen gelden, en deze beginselen worden bestudeerd in de wetenschapsfilosofie (Kroes, 1996). De ondertitel van ons boek luidt: Methodologische moeilijkheden en mogelijkheden. In essentie gaat het in dit boek dus om methodologie. De Groot (1994) zegt het volgende over methodologie: `De methodenleer van de empirische wetenschappen is een product van een lange ontwikkeling. Door een voortdurend, zich over eeuwen uitstrekkend proces van onderlinge uitwisseling ± waarin de onderlinge kritiek een belangrijke, productieve rol heeft gespeeld en nog speelt ± is het mogelijk geweest normen op te stellen en daarop aansluitende methoden en technieken te ontwikkelen voor het wetenschappelijke onderzoeken en denken¼ De methodologie omvat niet alleen do's and don'ts, zij is niet alleen normatief, maar ook descriptief en vergelijkend: bepaalde technieken worden beschreven, met andere vergeleken, in een groter verband gebracht, geeÈvalueerd, met zekere restricties aanbevolen of afgeraden, enzovoort. Ditzelfde geldt tot op zekere hoogte voor de logica.' (pp. 24-25). Samenvattend kunnen we stellen dat methodologie volgens De Groot gaat over de normen, die betrekking hebben op de methoden en technieken van onderzoek, en de daaruit voortvloeiende richtlijnen voor het wetenschappelijk denken en handelen. De Groot (1994, p. 25) omschrijft deze normen en richtlijnen als de normatieve methodologie.


25

Ter verduidelijking vergelijkt De Groot (1994) het wetenschappelijk bedrijf met een (schaak)spel. De normen van logica en methodologie zijn dan de vastgelegde spelregels, die aangeven wat mag en wat niet mag. De daarop aansluitende methoden en technieken vormen tezamen de aanbevolen speelmethoden. Hierin kan men bijvoorbeeld vinden op welke manieren men het (schaak)spel kan beginnen en hoe men in bepaalde typen situaties het beste te werk kan gaan. Bij dit geheel spelen ten slotte impliciete normen en gewoonten een rol, die men met de ongeschreven, impliciete spelregels en speelmethoden kan vergelijken (men mag bijvoorbeeld niet vals spelen, geen uitkomsten vervalsen, geen omstandigheden verzwijgen). Impliciete normen in de wetenschap zijn normen en bijbehorende methoden, die binnen de groep van serieuze wetenschapsbeoefenaars als min of meer vanzelfsprekend worden aanvaard. Het gaat hierbij om een wetenschappelijke houding en bekwaamheid, een besef van het belang van objectiviteit en van open spel, en een vaardigheid in het onderzoeken en redeneren. Ons boek begeeft zich niet alleen op het gebied van de aanbevolen speelmethoden (zie de ideaaltypische onderzoekssituatie in hoofdstuk 4), maar ook op het gebied van de vastgelegde spelregels en de impliciete normen, wanneer de methodologische moeilijkheden en mogelijkheden in respectievelijk hoofdstuk 5 en 6 worden besproken. Kenmerkend voor de wetenschapsbeoefening is het systematisch streven naar waarheid en zekerheid. De empirische wetenschapsbeoefenaar tracht de verschijnselen in zijn vakgebied systematisch te beschrijven, te registreren, te ordenen, te begrijpen, te verklaren, en is erop gericht nieuwe verschijnselen (of varianten van reeds bekende verschijnselen) te kunnen voorspellen om via die voorspellingen grip te krijgen op de verschijnselen en deze (beheersmatig, doelgericht) te kunnen beõÈnvloeden. Doel van de wetenschap is het verwerven van kennis, maar in dat streven wordt niet naar persoonlijke kennis, maar wel naar openbare, expliciete en overdraagbare kennis van de werkelijkheid gestreefd. Deze geeÈxpliciteerde kennis wordt neergelegd in de vorm van beweringen, waaraan verschillende eisen worden gesteld (zie paragraaf 2.3). Wetenschappelijke beweringen over de werkelijkheid moeten waar zijn; met andere woorden wetenschappelijke kennis moet ware kennis zijn (zie De Groot, 1994). Om reden dat het begrip waarheid geenszins vrij is van interpretatieproblemen en dat de wetenschapper niet snel tevreden is met het gevonden resultaat eÂn met de formulering ervan, streeft de wetenschapper naar grotere zekerheden dan in het dagelijkse leven gebruikelijk is. De wetenschapper neemt minder snel aan daÂt iets waar is. Bij voorkeur stopt de empirische wetenschapper niet bij het feitelijke beschrijven, en bij voorkeur ook niet bij het ordenen en registreren (of met andere woorden bij het meten) van verschijnselen. Wetenschappers hebben een uitgesproken gerichtheid op begrijpen en verklaren, op het verkrijgen van diepere en/of verder strekkende inzichten, op het vinden van algemene samenhangen. Op die wijze pogen

26


wetenschappers dan voor grotere gebieden van verschijnselen voorspellingen te maken en pogen ze die verschijnselen te beheersen. Het uiteindelijke doel is om algemene samenhangen in omvattende, inzichtelijke en logisch samenhangende systemen onder te brengen en te ordenen. Deze systemen ± die hele gebieden van verschijnselen bestrijken ± worden theorieeÈn genoemd (De Groot, 1994). Alvorens de empirische methodologie van De Groot te belichten is het essentieel stil te staan bij de verschillende methoden om kennis te verwerven. Deze methoden vormen reeds lange tijd de basis voor de indeling der wetenschappen. Een belangrijke indeling die al in de 19de eeuw door Droysen aangedragen wordt, is de terminologie van het ErklaÈren en het Verstehen. In deze indeling is niet alleen aandacht voor het verklaren en het begrijpen (paragraaf 2.2.1), maar ook voor de hermeneutiek en de fenomenologie (paragraaf 2.2.2). We gaan dieper in op deze indeling omdat ze essentieÈle bouwstenen vormt voor de empirische methodologie van De Groot. 2.2.1

Verklaren en begrijpen

Het onderscheid tussen ErklaÈren en Verstehen is voor het eerst geõÈntroduceerd door Droysen (1868), om de methodologische en filosofische eigenheid van de gedragswetenschappen en de geschiedenis te onderscheiden van die van de natuurwetenschappen (zie ook Burger, 1978). Verklaren is in het algemeen het opstellen van wettelijkheden c.q. correlaties (uitdrukking van een samenhang), namelijk de verschijnselen worden toegeschreven aan de werking van een regelmaat, van een (min of meer algemene) wettelijkheid. De stimulus-respons schema's van Skinner (1953) zijn voorbeelden van een verklaring. Deze schema's geven de voorwaarden aan waaronder welbepaald gedrag al dan niet optreedt, maar ze gaan voorbij aan het hoe en waarom van de wettelijkheden. Begrijpen is het duiden van de verschijnselen, het interpreteren van het unieke in context. Verklaren en begrijpen zijn contextuele benaderingen van de werkelijkheid: de eerste is erop gericht om wetten op te stellen die de algemene en noodzakelijke relaties tussen de vele verschijnselen formuleren (nomothetische methode); de tweede is vooral geõÈnteresseerd in het bijzondere, in het beschrijven van het individuele (idiografische methode). Hoewel het contrast tussen de op verklaring gerichte natuurwetenschappen en de op begrijpen gerichte gedrags- en maatschappijwetenschappen duidelijk moge zijn, is dit onderscheid geenszins absoluut. Zo is de evolutietheorie van Darwin een voorbeeld van Verstehen in de natuurwetenschappen. In de empirische wetenschappen komen beide methoden samen voor (bijvoorbeeld bij een remedieÈring voor begrijpend lezen zoeken naar wetmatigheden die opgaan voor alle kinderen in groep 5, en tegelijkertijd het unieke interesseprofiel van het kind betrekken in


27

de remedieÈring). Het gaat om wat overheerst: in de natuurwetenschappen is dat het verklaren en in de geesteswetenschappen het begrijpen. 2.2.2

Hermeneutiek en fenomenologie

Een van de meest voorkomende algemene methoden binnen het Verstehen is de hermeneutiek. Dit is de leer van de interpretatie. Hoewel de hermeneutiek haar oorspong vindt in het vertalen (begrijpen) van de berichten die de Goden der Griekse mythologie aan de mensen gaven en later ook in de leer der tekstinterpretatie (met name om historische en/of theologische teksten te begrijpen), heeft deze vandaag de dag betrekking op de door de mens beleefde werkelijkheid. Hermeneutiek is typisch verstehend en wordt dan ook bedreigd door het gevaar dat aan elk begrijpen kleeft, namelijk de invloed van het subjectieve in het interpretatieproces. Professionele hulpverleners zoals psychologen, pedagogen, artsen, maar ook rechters, advocaten en politieagenten hebben hier dagelijks mee te maken. Om die reden dient een interpretatie door middel van (valide) criteria te worden getoetst, onderbouwd en vergeleken met andere interpretaties (zie Howitt & Cramer, 2010). De analyse van het proces van het (leren) begrijpen van complexe verschijnselen staat centraal in de bijdrage van Jaspers (1959). Jaspers' analyse is niet gebaseerd op experimenteel onderzoek, maar wel op persoonlijke ervaringen en op grondig doordenken. Hij beschrijft hoe de professionele hulpverlener langzamerhand begrijpend (verstehend) doordringt in de leefwereld van zijn/haar clieÈnt. De hulpverlener probeert stap voor stap de patronen in de verschijnselen (betreffende de ziekte, het karakter, of de manier van denken en handelen) van de clieÈnt te doorzien. Hij focust expliciet op interpretatieve stappen in het empirische proces van het Verstehen waarin waarnemingen leiden tot vermoedens (tentatieve interpretaties) en daarop gebaseerde verwachtingen, deze verwachtingen leiden tot toetsingen en evaluaties, die dan weer leiden tot nieuwe, meer omvattende interpretaties, enzovoort. Jaspers omschrijft dit weerkerende fenomeen als de hermeneutische cirkel van het Verstehen. Belangrijk is Jaspers' idee van een cyclus in het proces van begrijpen. Een andere frequent voorkomende algemene methode binnen het Verstehen is de fenomenologie. Deze methode gaat uit van de directe ervaring van de verschijnselen zelf; we dienen de verschijnselen zelf te laten spreken. Zoals in paragraaf 2.1 aangegeven, wil deze benadering de verschijnselen zo grondig en nauwkeurig mogelijk beschrijven, waarbij weloverwogen geen theorie of hypothese over de oorzaken van die verschijnselen wordt geformuleerd. De fenomenologie komt als methode zowel in de gedrags-, maatschappij- en taalwetenschappen voor, als in de natuurwetenschappen. De geõÈnteresseerde lezer verwijzen we naar de Nieuwe inleiding tot de existentieÈle fenomenologie van Luijpen (2008).

28

2.3


De empirische methodologie volgens A.D. de Groot

Het boek Methodologie: grondslagen van onderzoek en denken in de gedragswetenschappen van De Groot (1961) is maatgevend geweest voor de wetenschapsbeoefening. De crux van het boek is dat de groei van wetenschappelijke kennis plaatsvindt via een kritisch rationeel proces van theorievorming en hypothesetoetsing, aan de hand van empirische gegevens. De Groot gaat uit van een doordachte opvatting van wetenschap. Hij onderscheidt zich hiermee van andere opvattingen. Ten eerste, empirische wetenschap ± zo stelt De Groot (1994) in het voorwoord van zijn boek ± wordt gezien 'als een proces, dat voortschrijdt en waarin zelden onaanvechtbaar definitieve resultaten worden bereikt. Natuurlijk neemt onze kennis ± en de graad van zekerheid daarvan ± steeds toe, maar de ontwikkeling kenmerkt zich toch ook doordat telkens weer gedeeltelijk wordt verworpen wat zeker scheen te zijn'. (p. X). Een tweede opmerkelijk onderscheid is dat 'Het proces wordt in gang gehouden door de activiteit van de onderzoeker. Wetenschap wordt dus niet zozeer, of althans niet alleen gezien als een systeem van begrippen en/of uitspraken, maar vooral als een systeem van activiteiten'. (p. X). De Groot beschrijft wat de onderzoeker doet en schrijft voor wat hij moet doen, uiteraard voor zover dit mogelijk is. De Groot beklemtoont dat de onderzoeker een nogal grote vrijheid heeft in het stellen van zijn doelen en het kiezen van zijn methoden. Dit alles mondt uit in een pleidooi voor de generieke (algemene) toepasbaarheid en noodzakelijkheid van een empirische cyclus en van een cyclische, spiraalsgewijze voortgang bij het verwerven van kennis. De Groots opvatting van wetenschap is in lijn met de eerder besproken kennistheoretische bijdrage van Bochenski, de wetenschapsfilosofische bijdrage van Lakatos en met de cyclische ideeeÈn van Jaspers. De empirische cyclus is vooral gericht op theoriegericht onderzoek. Voor meer praktijkgericht onderzoek zijn gelijksoortige cycli ontwikkeld. De bekendste daarvan is de regulatieve cyclus, ontwikkeld door Van Strien (1986). In lijn met de (methodologische) doelstellingen van ons boek zullen we de empirische (paragraaf 2.3.1) en de regulatieve (paragraaf 2.3.2) cyclus belichten, maar relatief meer aandacht besteden aan de wetenschappelijke bijdrage van De Groot. Daarom gaan we ook in op de belangrijke ontwikkelingen in de wetenschap die centraal staan in de empirische methodologie van De Groot: falsificatie als basis van wetenschappelijkheid en de functie van het forum in (de ontwikkeling van) de wetenschap (paragraaf 2.3.3). 2.3.1

De empirische cyclus van het verwerven van (wetenschappelijke) kennis

De empirische cyclus, zoals geformuleerd door De Groot (1961), is als grondschema voor een logisch-methodologisch stramien van wetenschappelijk denken en handelen een veelgebruikte fasering van onderzoek in de empirische wetenschap (Korzilius, 2000). Deze cyclus is kenmerkend voor de stappen van theoriegericht onderzoek. In groep 4 van het basisonderwijs wordt bijvoorbeeld vastgesteld dat Roland


29

en Anne een tekort hebben aan rekenkennis (met name inzake de overschrijding van het tiental) waardoor het rekenen niet wil vlotten en automatisering niet tot stand komt. Het kennisprobleem ± zoals onderkend bij Roland en Anne ± vormt de start van het onderzoeksproces naar de rol van rekenkennis in het automatiseren van sommen. Bij de bespreking van de empirische cyclus zullen we vaak teruggrijpen naar dit gefingeerde onderzoek om de verschillende begrippen te verduidelijken. In de empirische cyclus van De Groot worden de stappen weergegeven die binnen een empirisch-wetenschappelijke opvatting genomen worden om kennis over de verschijnselen c.q. de werkelijkheid te verwerven. De stappen in de empirische cyclus zijn: observatie, inductie, deductie, toetsing en evaluatie (cf. De Groot, 1994): · Fase 1: Observatie: Verzamelen en groeperen van empirisch feitenmateriaal; vorming van hypothese(n); · Fase 2: Inductie: Formulering van hypothese(n); · Fase 3: Deductie: Afleiding van speciale consequenties uit de hypothese(n) in de vorm van toetsbare voorspellingen; · Fase 4: Toetsing: Toetsing van de hypothese(n) aan het al dan niet uitkomen van de voorspellingen in nieuw empirisch materiaal; · Fase 5: Evaluatie: Evaluatie van de uitkomsten van de toetsing als feedback (terugkoppeling) naar de gestelde hypothese(n), theorie(eÈn), en als feedforward (voorwaartskoppeling) naar potentieel nieuwe, aansluitende onderzoekingen. Observatie Hoe probleemstellingen, hypothesen en theorieeÈn precies tot stand komen is moeilijk in algemene termen te beschrijven. In het kader van de empirische methodologie is het van belang (a) op zoek te gaan naar logische regels en methodologische voorschriften (normatief doel), en (b) een beschrijving te geven van de processen in iedere fase van de empirische cyclus met het oog op methoden en technieken die aanknopingspunten bieden voor methodologische beschouwingen (descriptief doel). Aan de hand van observaties of waarnemingen in de empirie worden ideeeÈn en vermoedens ontwikkeld over een bepaald probleem. Bij Roland en Anne werd onderkend dat ze problemen hadden met het vlot automatiseren van sommen. Het gaat hier om een systematische, doelgerichte houding die verder gaat dan gewoon waarnemen (De Groot, 1994, p. 29). Normatief gezien zijn er in deze fase geen dwingende logische of methodologische eisen met betrekking tot de keuze van het onderwerp. Er mogen dan wel verschillende onderzoekstradities zijn: de ene onderzoeksgroep heeft meer aandacht voor taal en rekenen, een andere meer voor autisme, en nog een andere meer voor motorische en visuele beperkingen, toch geldt in deze fase de vrijheid van ontwerp. Dit geeft dan ook ruimte voor het ontstaan van nieuwe onderzoeksdomeinen (bijvoorbeeld: de neurologische basis die verantwoordelijk is voor de automatisering van rekensommen). Consequentie van de vrijheid van ontwerp is de vrijheid die de onderzoeker heeft inzake de formulering van

30


theoretische begrippen, of met andere woorden de vrijheid van begripsvorming. Zijn er dan geen dwingende logische of methodologische eisen aan de invoering en het gebruik van theoretische begrippen1? Indien iedere onderzoeker op eigen houtje nieuwe begrippen gaat invoeren of indien bepaalde begrippen een echte hype worden, dan ontstaat er snel een Babylonische spraakverwarring en kunnen we de implementaties en de resultaten van verschillende (effect)onderzoeken niet meer met elkaar vergelijken (zie Minnaert & Vermunt, 2006). Ons standpunt is dan ook dat er sprake is van een vrijheid van begripsvorming, maar wel een vrijheid in gebondenheid: aan de formulering van de begrippen worden wel eisen gesteld (zie volgende fasen in de empirische cyclus). In de eerste fase van de empirische cyclus spreekt De Groot ook over de vorming van hypothesen, of met andere woorden de (psychologische) start van het inductieproces wordt ook bij de eerste fase ondergebracht. Een onderzoeker start immers zelden of nooit met het verzamelen van materiaal zonder enig gezichtspunt. Meestal vloeien hypothesen voort uit een theorie of uit een raamwerk van theorieeÈn over welbepaalde verschijnselen. Onder een theorie verstaat De Groot (1994): èen systeem van logisch, samenhangende, met name niet strijdige, beweringen, opvattingen en begrippen betreffende een werkelijkheidsgebied, die zo zijn geformuleerd, dat het mogelijk is er toetsbare hypothesen uit af te leiden' (p. 42). Dit systeem fungeert in de empirische wetenschappen als een model, als een benadering van de werkelijkheid en kan niet de volledige werkelijkheid reflecteren (Burnham & Anderson, 2002). De verbinding met de empirie wordt tot stand gebracht via de hypothesen. Indien er ± om welke reden dan ook ± geen afleidingen uit de theorie mogelijk zijn, dan is het volgens De Groot geen theorie (p. 42). Belangrijk in dit perspectief is het uitgangspunt van De Groot dat er bij empirisch-wetenschappelijke hypothesevorming niet altijd sprake is van een theorie, maar wel een theoretisch raam, met andere woorden er is altijd een algemener leidende gedachte en een streven naar uitwerking daarvan tot een theorie (zie ook paragraaf 2.3.3). In de fase van hypothesevorming is er altijd ervaringsmateriaal waarover de onderzoeker beschikt (bijvoorbeeld de observatie dat de sommen met overschrijding van het tiental veel tijd en energie vragen van Roland en Anne). Vaak is er een interpretatie van het materiaal aanwezig die aanleiding kan geven tot het formuleren van een hypothese. Afgrenzing van wat bedoeld wordt met hypothese en interpretatie, maar ook met verklaring is hier onafwendbaar. Verklaren en interpreteren heeft altijd betrekking 1. De Groot (1994) maakt een onderscheid tussen empirische begrippen en hypothetische begrippen. Empirische begrippen zijn onmiddellijk waarneembaar en meetbaar (bijvoorbeeld de snelheid waarmee een rekensom wordt opgelost). Bij hypothetische begrippen wordt het bestaan van het begrip verondersteld, maar is zelf niet waarneembaar en ook niet direct uit waarnemingsfeiten af te leiden (bijvoorbeeld een minderwaardigheidscomplex voor rekenen).


31

op een welomschreven, gesloten verzameling van verschijnselen (alle allochtone kinderen in groep 4 te Groningen; alle leerlingen met rekenen aandachtsproblemen van deze school). De verklaring of interpretatie heeft betrekking op de gesloten verzameling, dat wil zeggen ze streeft geen nieuwe data na of verwijzingen buiten de verzameling. Beide willen de verschijnselen kunnen toeschrijven aan een meer algemene wettelijkheid (een uitdrukking van samenhang) die zich ook buiten de welomschreven, gesloten verzameling uitstrekt. Hierin onderscheidt de hypothese zich van verklaring c.q. interpretatie: de hypothese is een open, veronderstelde, meer algemene wettelijkheid (betrekking hebbend op een welomschreven universum, dus verder gaand dan de gesloten verzameling). Het verschil tussen verklaring en interpretatie is gelegen in de acceptatie van de wettelijkheid in algemene zin en in de toepasselijkheid ervan op de gesloten verzameling. De eis die gesteld wordt aan een empirisch vruchtbare interpretatie is dat ze zich moet lenen tot omvorming in toetsbare hypothese(n). Indien een interpretatie ± om welke reden dan ook ± zich niet leent tot een omvorming tot hypothesen, dan is het volgens De Groot (1994, p. 47) geen interpretatie. In het proces van hypothesevorming zijn eigen intuõÈtie van de onderzoeker van belang, maar er is ook behoefte aan systematische procedures. Goede ideeeÈn, maar ook relevante feiten zijn onontbeerlijk om goede hypothesen en theorieeÈn te construeren. Onder de systematische methoden voor hypothesevorming rekenen we (De Groot, 1994): · De systematiek van deze procedures kan varieÈ ren van de systematiek van descriptie, dit zijn systematische descriptieve activiteiten zoals registreren, ordenen, groeperen, classificeren, tot de systematiek van bezinning in lijn met de fenomenologische benadering (zie paragraaf 2.2.2); · literatuurstudie: een systematische bestudering van de vakliteratuur is een belangrijk en onmisbaar hulpmiddel voor de hypothesevorming. Nagaan wat de uitkomsten zijn van reeds eerder verricht onderzoek, maar ook kennis nemen van de relevante begrippen, theorieeÈn, hypothesen en opvattingen zijn van grote betekenis in het proces van hypothesevorming; · empirische exploratie: dit is een orieÈnterend of exploratief onderzoek met het doel samenhangen te zoeken c.q. te exploreren. Het oogmerk is het verzamelen van empirisch materiaal om op ideeeÈn te komen of om bepaalde ideeeÈn te genereren; · materiaalexploratie: het materiaal op verschillende manieren, vanuit verschillende gezichtspunten en met verschillende methoden doorploegen met als doel samenhangen c.q. inzichten (zie Verstehen in paragraaf 2.2.2) te vinden die als uitgangspunt kunnen dienen voor hypothesevorming. Zoals eerder besproken worden er aan het ontwerp van de hypothese of theorie geen dwingende logische of methodologische eisen gesteld. Wel zijn er methodologische eisen te stellen met betrekking tot de formulering van de hypothesen en theorieeÈn. In de volgende fasen van de empirische cyclus bij de formulering, deduc-

32


tieve uitwerking en toetsing van theorieeÈn en hypothesen kunnen die eisen wel gesteld worden. Inductie In deze fase worden feiten en ideeeÈn via het proces van inductie vervat in een theorie (eventueel in een theoretisch raam) of in een hypothese. Inductie wil zeggen dat vanuit het bijzondere naar het algemene wordt geredeneerd. In de theorie en in de hypothesen worden de veronderstellingen over de werkelijkheid zo precies mogelijk weergegeven c.q. worden de veronderstelde verbanden tussen de waargenomen verschijnselen weergegeven. Op basis van het inductieproces moet duidelijk worden waar het onderzoek zich op richt (de onderzoekselementen), welke eigenschappen (kenmerken, variabelen) van belang zijn en welke relaties of hypothesen tussen eigenschappen worden verondersteld. De vraag is nu welke logische en methodologische eisen gesteld moeten worden aan de formulering van het resultaat van het inductieproces. Deze eisen staan in direct verband met de processen van deductie, toetsing en evaluatie die op de fase van inductie (of hypotheseformulering) moeten kunnen volgen. Een scherpe formulering vooraf dient ter beschikking te staan om afleiding van toetsbare consequenties uit die hypothesen mogelijk te maken. De volgende vier principes hebben betrekking op de scherpe formulering vooraf (De Groot, 1961, 1994). Inzake theorieeÈn en hypothesen gelden volgende eisen: · logische consistentie: een theorie (ook hypothese) moet als (benaderend) model van de werkelijkheid vrij zijn van contradicties. Het mag niet voorkomen dat verschillende consequenties, die uit eenzelfde theoretisch raam zijn afgeleid, met elkaar in strijd zijn. Deze eis is in principe evident, maar is uitermate van belang bij minder mathematische en meer verbale theorieeÈn waarin veel hypothetische begrippen gehanteerd worden (zoals in de gedragswetenschappen); · economisch principe: een theorie (of hypothese) moet zo eenvoudig mogelijk zijn qua vormgeving. Onderzoekers moeten spaarzaam zijn met het invoeren van (met name hypothetische) begrippen en van aannamen; · toetsbaarheid: een theorie moet tenminste op een aantal punten getoetst kunnen worden. Dit betekent dat het mogelijk moet zijn om hypothesen af te leiden uit de verbanden in het model en dat er uit die hypothesen verifieerbare voorspellingen kunnen worden afgeleid. Alleen op basis hiervan kan bij empirisch onderzoek nagegaan worden of de voorspelling al dan niet is uitgekomen en welke de beoordeling is inzake acceptatie van de hypothese; · omlijnde empirische referenties: bij de formulering van een theorie of hypothese moet nauwkeurig worden omlijnd, op welk gebied (welk universum) de theorie of hypothese betrekking heeft. Met het oog op de eisen die gesteld worden aan het wetenschappelijk publiceren van theorieeÈn en hypothesen reduceert De Groot (1994, p. 125) de vier formuleringseisen tot eÂeÂn, namelijk tot de eis der toetsbaarheid. In haar brede betekenis


33

omvat de eis van de toetsbaarheid ook de eis van logische consistentie, economische eis en de eis van de omlijnde empirische referenties. De eis der toetsbaarheid is een minimumeis: er moeten duidelijke relaties zijn tussen theorie en empirie en er mogen geen belemmeringen zijn van een zo ruim mogelijke toetsing. Wil een onderzoeker een theorie of hypothese publiceren, dan moet hij ± tenminste op een aantal punten ± aangeven op welke wijze de theorie of hypothese kan worden geexpliciteerd en kan worden getoetst aan verifieerbare voorspellingen. Deze eis noemen we de expliciteringsplicht. De theorie of hypothese wordt in deze fase nog op een vrij abstract niveau geformuleerd en is derhalve nog niet volledig bruikbaar om te worden getoetst aan de empirie. Dat gebeurt in de fase van deductie. Deductie Om toetsing van de hypothese te realiseren worden via het proces van deductie toetsbare voorspellingen uit de hypothese afgeleid. Met deductie gaan we van het algemene naar het bijzondere: een vertaling van de theorie (of theoretisch raam) naar concrete onderzoekselementen (cf. kinderen met automatiseringsproblemen bij rekenen), eigenschappen worden vertaald in meetbare variabelen (symboolkennis, minsommen tot 10, plus- en minsommen tot 20) en in concrete verbanden of relaties (rekenkennis bevordert het automatiseren van sommen tot 20; rekenprestaties zijn minder bij sommen tot 20 in geval van geringe rekenkennis dan in geval van goede rekenkennis). Deductie betekent niet alleen concrete, verifieerbare voorspellingen afleiden uit hypothesen, maar ook het meetbaar maken en operationeel definieÈren van begrippen (vastleggen hoe een begrip bij de toetsing empirisch zal worden bepaald: bijvoorbeeld intelligentie zoals gemeten door de Nederlandstalige versie van de Wechsler Intelligence Scale for Children, WISC-III-NL) en het toetsbaar maken van algemene uitspraken door verbijzonderingen in te roepen (alle leerlingen in groep 4, of alleen autochtone leerlingen in groep 4, of alle leerlingen in groep 4 zonder taalachterstand). De empirische toetsing van een theorie of hypothese moet geschieden door toetsing van voorspellingen die via deductieve stappen worden verkregen. Dit vraagt om explicitering van die theorie of hypothese: hieronder verstaan we de uitwerking van een algemene theorie of hypothese tot een vertakt systeem van bij elkaar aansluitende, specifieke hypothesen en voorspellingen. Een theorie met al haar expliciteringen (vertakkingen) noemt De Groot (1994) een nomologisch netwerk van die theorie. In een nomologisch netwerk worden drie typen uitdrukkingen onderscheiden. Het gaat hier om beweringen over relaties tussen: a. theoretische begrippen onderling: uitspraken over de relaties tussen de kernbegrippen, dit zijn definities, postulaten, via deductie afgeleide theoretische uitspraken; b. waarneembare variabelen onderling: uitspraken over feitelijke bevindingen, resultaten, uitkomsten van onderzoeken;

34


c. theoretische begrippen en waarneembare variabelen: relatie tussen theorie en empirie of met andere woorden, het gaat hier om de empirische specificaties. Deze specificaties worden verder besproken in de fase der toetsing. De voorspelling is de laatste schakel bij het expliciteren van het nomologisch netwerk van een theorie. De voorspelling neemt een sleutelpositie in en wel omdat ze de brug legt tussen hypothese en uitkomst van het onderzoek. Ze verstrekt immers informatie over de geldigheid van een hypothese. De methodologische eis die aan een voorspelling gesteld wordt is dat ze strikt verifieerbaar moet zijn. Met deze eis wordt bedoeld dat het toetsingsonderzoek zo moet worden ontworpen dat van tevoren precieze verificatienormen zijn vastgesteld en dat er verifieerbaarheidscondities worden bepaald. Onder de verifieerbaarheidscondities worden condities verstaan die de verifieerbaarheid mogelijk maken: bijvoorbeeld dat er geen menselijke fouten kunnen optreden, dat er goede meetinstrumenten gekozen worden, dat er geen storende factoren tijdens het onderzoek kunnen optreden. De verificatienormen zijn de normen die aangeven wanneer de voorspelling met zekerheid uitkomt of niet uitkomt; het gaat hier om het voorspellingsgebied waarbinnen de voorspelling uitkomt of het weerleggingsgebied waarbinnen de voorspelling niet uitkomt. Klassiek worden de grenzen van het interval of gebied bepaald door het significantieniveau. In die zin gaat het nooit om een absolute zekerheid, maar om een aan zekerheid grenzende waarschijnlijkheid. Drie situaties kunnen zich voordoen bij strikte verifieerbaarheid van een voorspelling, namelijk de voorspelling (a) is uitgekomen, (b) is niet uitgekomen, of (c) kan niet worden geverifieerd. Situatie (c) treedt op wanneer niet is voldaan aan de verifieerbaarheidscondities of wanneer de voorspelling niet falsifieerbaar is. Een voorspelling als Òp den duur zullen Roland en Anne wel vlot kunnen rekenen' is wel te verifieÈren als ze meteen uitkomt, maar niet als ze vele jaren later nog steeds niet uitkomt. Het is geen wetenschappelijke voorspelling omdat de tijdslimiet ontbreekt en daardoor de voorspelling niet falsifieerbaar maakt. Toetsing De Groot (1994) ziet het proces van voorbereiding van een toetsingsonderzoek als een reeks keuzen, als een reeks beslissingen die de onderzoeker moet nemen. Bij elke beslissing heeft de onderzoeker een zekere vrijheid van keuze. De eerste stap kent de meeste vrijheid, namelijk de keuze van het onderwerp van onderzoek. Daarna volgen stappen van vrijheid in relatieve gebondenheid door spelregels en (impliciete) normen. De onderzoeker moet keuzen maken. In de eerste plaats zal de onderzoeker een keuze moeten maken om eÂeÂn of meer consequenties (vertakkingen) uit een hypothese te toetsen, omdat het ± in het algemeen ± niet mogelijk zal zijn om een hypothese (en zeker een theorie) in zijn geheel te toetsen. Het is bijvoorbeeld onmogelijk om in eÂeÂn onderzoek alle mogelijke invloeden van rekenkennis op automatisering van sommen te onderzoeken (verschil-


35

lende types aan rekenkennis, verschillende niveaus aan automatisering van plus-, min- en keersommen). In de tweede plaats komt het dikwijls voor dat de onderzoeker tot deductieve verbijzonderingen dient over te gaan (bij jongens en/of bij meisjes, bij kinderen met of zonder rekenproblemen, bij autochtone of bij allochtone kinderen). Empirische specificaties kunnen niet ontbreken: de keuze van het operationeel definieÈren, dit is de omzetting van het begrip zoals bedoeld via instrumentkeuze tot de uiteindelijke empirische variabele (welke rekenkennis, welke rekentoetsen, sommen tot 10 of tot 20 of tot 100, met of zonder tijdsdruk). In de derde plaats moet de onderzoeker keuzen doen met betrekking tot de toetsingsprocedure: populatie afbakenen, steekproef trekken of samenstellen, de gang van zaken vooraf vastleggen, materiaal kiezen (proefleiders, instructies, volgorde instrumenten, controlegroep organiseren). In de vierde plaats moeten beslissingen worden getroffen met betrekking tot de logische confirmatieprocedure, dit betreft de keuze over de wijze waarop de uitkomsten van de toetsing verwerkt zullen worden om na te gaan of (en in hoeverre) de gestelde hypothese geconfirmeerd wordt. De nulhypothese in ons onderzoek kan bijvoorbeeld als volgt omschreven worden: er is geen verband tussen rekenkennis en het automatiseren van sommen tot 20. Daarenboven moeten we ook het significantieniveau bepalen. De methodologische operationalisering van het toetsingsonderzoek wordt vastgelegd in het zogenaamde onderzoeksplan. Een zo volledig mogelijke uitwerking op papier van de onderzoeksopzet vooraf strekt tot aanbeveling om storende factoren van tevoren uit te kunnen schakelen (zie ook paragraaf 2.5). Dit onderzoeksplan moet dan bevatten: · Een korte expositie van de theorie (of theoretisch raam) en een formulering van de te toetsen hypothese(n) (of van de meer exploratief geformuleerde onderzoeksvragen); · Een precieze weergave van de deducties die tot de voorspellingen leiden; · Een beschrijving van de (meet)instrumenten met inbegrip van de operationele definities en met bepaling van de te gebruiken variabelen; · Een duidelijke bepaling van de doelgroep waarop de hypothese en de voorspelling betrekking hebben; · Een precieze beschrijving van de wijze waarop men steekproeven wil trekken of samenstellen; · Een vastlegging van de confirmatiecriteria, inclusief formulering van eventuele nulhypothese (n), keuze voor statistische toetsen, significantieniveau en confirmatie-intervallen. Daarna vindt ± idealiter volgens plan ± de toetsing van de theorie of hypothese plaats op basis van nieuw materiaal. De onderzoeksgegevens (de data) worden verzameld via observaties, interviews, schriftelijke vragenlijsten, toetsen, instrumenten. Met behulp van de onderzoeksgegevens wordt nagegaan hoe en in welke

36


mate de hypothese uit het onderzoeksontwerp wordt ondersteund. Indirect wordt hiermee ook aangegeven hoe en in welke mate de vertaling van de hypothese in een voorspelling (deductie) en de formulering van een hypothese afgeleid uit de theorie (inductie) geldig zijn. Toetsing omvat dus niet alleen het nagaan of de voorspelling uitkomt, maar ook de toetsing van de hypothese, namelijk de schakel tussen de uitkomst en de hypothese waaruit de voorspelling is afgeleid. Daarmee wordt vervolgens een antwoord gegeven op de onderzoeksvragen. Zeker wanneer statistische methoden van hypothesetoetsing worden toegepast, spelen computer en statistiek een centrale rol in deze fase. Een belangrijk vraag in de fase van toetsing en evaluatie is hoe de confirmatie van hypothesen en theorieeÈn verloopt (zie De Groot, 1994). Hoe worden uit de resultaten van het onderzoek conclusies getrokken met betrekking tot de geldigheid en/of de waarde van hypothesen en theorieeÈn? De beantwoording van deze vraag is afhankelijk van het type hypothese dat gesteld wordt. Bij een enkelvoudige, deterministische hypothese (in de zin van Alle A's zijn B; alle kinderen met ADHD maken rekenfouten) is falsificatie mogelijk, maar is niet positief te verifieÈren, te bewijzen. De hypothese is meteen gefalsificeerd indien er eÂeÂn kind met ADHD is dat geen rekenfouten maakt. Maar indien alle ADHD-kinderen in het onderzoek rekenfouten maken, dan is de hypothese nog niet bewezen. Het hele universum zou onderzocht moeten worden om te bewijzen dat alle A's B zijn. Bij een deterministische, existentiehypothese (in de zin van Er is minstens een A die B is; er is minstens een ADHD-kind dat rekenfouten maakt) is dan wel positief te verifieren, maar niet te falsifieÈren. EeÂn kind met ADHD dat rekenfouten maakt is voldoende om deze hypothese te bewijzen. Maar de hypothese is niet te weerleggen op basis van de nog zo vele ADHD-kinderen die geen rekenfouten maken. Ook hier geldt dat het hele universum moet worden onderzocht om de hypothese te kunnen falsifieÈren. Kenmerkend voor de probabilistische hypothese (in de zin van De meeste A's zijn B of Een A heeft 80% kans B te zijn; de meeste kinderen met ADHD maken rekenfouten of een kind met ADHD heeft 80% kans om rekenfouten te maken) is dat ze noch bewijsbaar, noch weerlegbaar is. Een tegenvoorbeeld is niet voldoende voor de weerlegging van de hypothese en het vinden van een ADHD-kind dat rekenfouten maakt is ook niet voldoende om de waarschijnlijkheidshypothese te bewijzen. Om uÈberhaupt iets te kunnen zeggen over de confirmatie van een probabilistische hypothese zijn probabilistische confirmatiecriteria nodig. Deze criteria ± die van tevoren worden vastgelegd ± geven aan wanneer een hypothese (niet) bevestigd wordt. De Groot beroept zich op de wetenschapsfilosoof Popper (1959; zie paragraaf 2.3.3) door te stellen dat wetenschappelijk toetsingsonderzoek niet streeft naar het bewijzen van een hypothese of theorie, maar wel naar weerlegging van de hypothese of theorie. Om reden dat algemeenheden nu eenmaal niet empirisch bewijsbaar zijn, is empirisch-wetenschappelijk onderzoek noodzakelijkerwijze gericht op falsificatie, op weerlegging.


37

Evaluatie De laatste fase is de evaluatie van de resultaten in het licht van de theorie. In deze stap vindt een terugkoppeling plaats naar de eerder veronderstelde verbanden. Moet naar aanleiding van de resultaten van het onderzoek de theorie worden aangepast of worden verworpen? Indien rekenkennis empirisch niet lijkt bij te dragen tot het voorspellen van de automatisering van sommen tot 20, kan de vraag worden gesteld of rekenkennis wel deel moet uitmaken van het theoretisch raam inzake automatisering van rekensommen. De evaluatie is steeds tweevoudig: enerzijds is het een evaluatie van de uitkomsten van de toetsing als feedback (terugkoppeling) naar de gestelde hypothese(n) en/of theorie(eÈn), en anderzijds als een feedforward (voorwaartskoppeling) naar potentieel nieuwe, aansluitende onderzoekingen. Welke eis(en) moet(en) er gesteld worden aan de evaluatie: de facto geldt dat er in deze fase veel vrijheid is. De enige eis die in deze fase gesteld wordt is die van het objectief rapporteren (zie ook paragraaf 2.5.1). Vaak komen in de loop van het onderzoek nieuwe vragen naar boven (bijvoorbeeld: draagt rekenkennis meer bij tot de automatisering van minsommen dan van plussommen?). Op basis daarvan vinden nieuwe observaties plaats, gevolgd door inductie, deductie, toetsing en evaluatie. We spreken dan ook van een spiraal van de empirische cyclus. Of zoals De Groot (1994) het formuleert: Ìeder wetenschappelijk onderzoek vraagt om en leidt tot nieuw, nader en beter gericht onderzoek; het werk gaat voort, de spiraal draait verder.' (p. 170). 2.3.2

De regulatieve cyclus

De empirische cyclus is vooral gericht op theoriegericht onderzoek. Voor meer praktijkgericht onderzoek zijn gelijksoortige cycli ontwikkeld. De bekendste daarvan is de regulatieve cyclus, ontwikkeld door Van Strien (1986). Met de term regulatief verwijst Van Strien naar het nemen van beslissingen (in de verschillende fasen van het hulpverleningsproces). Hulpverleners nemen hetzij expliciet, hetzij impliciet vele beslissingen: welke informatie heb ik nodig? Wat ga ik eerst doen? Welke korte- en langetermijndoelen streef ik na? En hoe ga ik bepalen of het plan effectief is? Maar lang niet altijd worden de beslissingen in het hulpverleningsproces geeÈxpliciteerd. Het gebrek aan explicitering maakt het moeilijk om zicht te houden op het hulpverleningsproces. Meer nog, het maakt bijsturing en verantwoording zo goed als onmogelijk. De behoefte in de praktijk aan een methode die systematisch, planmatig werken mogelijk maakt met het oog op doelgericht, probleemoplossend handelen in de hulpverleningspraktijk werd reeds in 1986 door Van Strien onderkend. Nog steeds is het planmatig, systematisch handelen in de hulpverleningspraktijk een belangrijk aandachtsgebied (zie bijvoorbeeld Knorth & Smit, 1999; De Bruyn, Ruijssenaars, Pameijer & Van Aarle, 2003).

38


De regulatieve onderzoekscyclus geeft een aantal denkstappen weer, vertrekkende van een theorie die beschrijft hoe mensen in het algemeen probleemoplossend te werk gaan. De verschillende fasen in de regulatieve cyclus zijn (Van Strien, 1986): 1. Probleemstelling: In deze fase dient vastgesteld te worden wat het probleem (op school, in het gezin, of op de werkplek) is, welke doelen nagestreefd worden en welke middelen hiervoor ingezet worden. Is er een geschikte probleemstelling gevonden, dan kan de volgende fase ingegaan worden. Indien er (nog) geen consensus is over de probleemstelling tussen alle belanghebbenden, dan is de regulatieve cyclus (nog) niet geschikt. 2. Diagnose: In deze fase wordt de probleemsituatie volledig onderzocht en gaat men op zoek naar de oorzaken van het probleem. Het gaat hier om een analyse van de bestaande, de huidige situatie. In deze fase wordt tijd en ruimte gegeven aan alle theoretische kennis en praktische mogelijkheden alvorens over te gaan naar een geschikt ontwerp om dit probleem op te lossen. 3. Plan (of ontwerp): Deze fase omvat het ontwikkelen van mogelijke oplossingen en de keuze van een bepaalde oplossing om tot een verbeterde situatie te (kunnen) komen. Dit plan omvat met andere woorden de korte- en langetermijndoelen, de inzet van middelen en methodieken en het formuleren van criteria om te bepalen of het plan effectief is of niet. 4. Ingreep: In deze fase wordt het plan tot uitvoer gebracht; de oplossing wordt geõÈmplementeerd. Idealiter wordt de implementatie goed in de gaten gehouden om (in de evaluatiefase) uÈberhaupt iets te kunnen zeggen over de effectiviteit van de ingreep zelf. 5. Evaluatie: In deze fase wordt nagegaan of het probleem is opgelost c.q. verminderd. Niet alleen worden de effecten van de ingreep kritisch geeÈvalueerd, maar ook worden de effectiviteit en efficieÈntie (in termen van tijd en geld) van het gehele plan onder de loep genomen. Kievit en Tak (2002) omschrijven de regulatieve cyclus als een modelmatige reconstructie van een wijze van probleemoplossen. In tegenstelling tot de empirische cyclus is de regulatieve cyclus gericht op een praktijkprobleem, op eÂeÂn welbepaalde situatie en op het nemen van beslissingen. Daarenboven participeert de onderzoeker in het onderzoeksproces door de interventies die hij ontwikkelt en is hij vaak de opdrachtgever van de empirisch-regulatieve cyclus. Hoewel de regulatieve cyclus een hulpmiddel is om het hulpverleningsproces te expliciteren, te professionaliseren en te verantwoorden, geeft Van Strien (1986) aan dat de kwaliteit van handelen en de kans op succes mede bepaald worden door de wijze waarop professionals integer en ethisch verantwoord kunnen omgaan met (de waarden, normen en emoties van) hun clieÈnten. Kenmerkend voor beide cycli, voor de empirische eÂn de regulatieve cyclus, is dat ze essentieÈle aspecten van empirisch onderzoek expliciteren. Voor beide geldt ook dat het gaat om een cyclus die opgebouwd is in fasen teneinde het denken en handelen logisch en methodisch te systematiseren. Bij beide gaat het om een stappen-


39

plan, maar de ultieme doelstelling is verschillend. Bij de empirische cyclus gaat het om een stramien van denken en handelen met het oog op het verwerven van wetenschappelijk getoetste kennis over de werkelijkheid, gericht op verklaring van de verschijnselen. Bij de regulatieve cyclus gaat het om een stramien van denken en handelen met het oog op de effectiviteit van de geboden hulp of oplossing voor het probleem, gericht op het veranderen van verschijnselen. Hoewel soms het verschil tussen beide modellen wordt beklemtoond, zijn ze eerder op te vatten als aanvullend aan elkaar (Knorth & Smit, 1999). Kievit en Tak (2002) bepleiten een integratie van de empirische en de regulatieve cyclus op het niveau van iedere afzonderlijke behandeling en op het niveau van het gehele hulpverleningsproces van het begin tot en met het eind. Zolang het probleem van de hulpvrager voor de hulpverlener nog onvoldoende duidelijk is om gerichte hulp te kunnen bieden, zal de hulpverlener de eerste fasen van de empirische cyclus doorwerken en pas daarna overgaan tot de regulatieve activiteiten. De geõÈnteresseerde lezer die meer wil weten over een geõÈntegreerd schema van de empirische en de regulatieve cyclus verwijzen we naar Kievit en Tak (2002). 2.3.3

De karakteristieke bijdrage van De Groot aan de wetenschapsontwikkeling

Welke karakteristieke bijdrage heeft De Groot aan de methodologie, aan de ontwikkeling van wetenschap geleverd? Het wetenschapstheoretisch kader van De Groot (1961, 1994) is het kritisch rationalisme van de wetenschapsfilosoof Karl Popper. Dit kader wordt voor de onderzoeker operationeel gemaakt door het te combineren met richtlijnen voor het formuleren van theorieeÈn, het toetsen van hypothesen, het meten van variabelen, het (objectief) verzamelen van gegevens en interpreteren van onderzoeksresultaten. In lijn met de wetenschapsfilosoof Popper (1959) dient de empirische cyclus van De Groot gericht te zijn op falsificatie, dit is weerlegging (van een hypothese of theorie). Een karakteristieke bijdrage van De Groot is dat empirisch onderzoek niet gericht is op het verifieÈren (bewijzen) van een wetenschappelijke theorie, maar wel op het falsifieÈren (weerleggen) van een theorie. Wetenschap steunt op falsificatie, zo schreef Popper (1959), omdat falsificatie een geldige redeneervorm is (i.e. de geldige modus tollendo tollens). Verificatie is daarentegen geen geldige redeneervorm: de ex consequentia-redenering is ongeldig. Deze stelt dat als p dan q, welnu q doet zich voor, dus p is het geval. Deze redenering is niet geldig: bijvoorbeeld als ik gok bij meerkeuzevragen duid ik het foutieve antwoord aan, nu ik heb een foutief antwoord aangeduid, dus ik heb gegokt (in deze redenatie worden andere oorzaken van het foutieve antwoord aanduiden genegeerd; een rekenfout kan ook oorzaak zijn van een foutief antwoord). Kortom, de wetenschap is een geheel van uitspraken die de onderzoeker in alle voorlopigheid aanhoudt, namelijk zolang ze niet gefalsifieerd zijn. Wetenschappelijkheid houdt in dat men steeds poogt stellingen te weerleggen. Het sterkst zijn de uitspraken die het langst pogingen tot falsificatie hebben weerstaan. Door falsi-

40


ficatie worden de zwakke relaties in een theorie (of met andere woorden, in een nomologisch netwerk, zie paragraaf 2.3.1) verwijderd en krijgen de sterkere relaties de kans om verder uitgewerkt te worden. Hetzelfde geldt voor een hypothese: onderzoek is niet gericht op het bewijzen van een hypothese, maar op het weerleggen van de (nul)hypothese en ± als gevolg daarvan ± het (tijdelijk) aanhouden van de alternatieve hypothese. In het rekenonderzoek naar de problemen van Roland en Anne wordt de nulhypothese dat er geen verband is tussen rekenkennis en het automatiseren van sommen empirisch getoetst. Indien op grond van de data en de a priori vastgelegde confirmatiecriteria blijkt dat er wel een significant verband is, dan wordt de nulhypothese verworpen en de alternatieve hypothese aangehouden (voor verder onderzoek). Een tweede karakteristieke bijdrage van de empirische methodologie van De Groot is dat er minimaal een theoretisch raam aan de onderzoeksgegevens vooraf dient te gaan. In de wetenschapstheorie wordt het vaak omschreven als volgt: Àll (observational) data are theory-laden' (Suppe, 1977, pp. 151-166); pas door het theoretisch raam zijn het (betekenisvol geobserveerde) gegevens. Om reden dat een onderzoeksgegeven mede wordt bepaald door een theorie, vervalt de neutraliteit van de (meet)methode: `Without theoretical interpretations observation remains blind' (Popper, 1963, p. 190). De Groot stipuleert glashelder dat bij empirisch-wetenschappelijke hypothesevorming er niet altijd sprake is (kan zijn) van een theorie, maar er is tenminste altijd een algemener leidende gedachte en een streven naar uitwerking daarvan tot een theorie (zie De Groot, 1994, pp. 42-43). Soms is een theoretisch raam nog te impliciet om het predictaat theorie te krijgen, soms zijn onderzoekers opzettelijk terughoudend in hun theorievorming (omdat ze de theorie stap voor stap op basis van empirische bevindingen willen opbouwen), of soms is het wetenschapsdomein (nog) niet ver genoeg en gaat het om op zichzelf staande (probleemgerichte) hypothesen. Kortom, een theoretisch raam is volgens de Groot onmisbaar om te komen tot hypothesevorming. Een derde karakteristieke bijdrage van De Groot (1961, 1971) aan wetenschapsontwikkeling is het wetenschappelijk forum. Dit forum is een open verzameling van alle ter zake doende deskundigen. Dit forum heeft volgens De Groot de taak tot overeenstemming te komen over wat in empirisch-analytische aangelegenheden als waarheid kan gelden. TheorieeÈn zijn geen wetten die de werkelijkheid overstijgen, maar ze zijn het voorwerp van voortdurend kritisch gesprek tussen alle betrokken deskundigen. Deze discussie en de betrokkenen worden door De Groot, het wetenschappelijk forum genoemd. De juistheid van een theorie kan nooit worden vastgesteld, maar wel de instemming die de theorie geniet in het forum. Hoewel critici het waarheidsbegrip van De Groot als conventionalistisch bestempelen, heeft De Groot (1970, 1971) bij herhaling beklemtoond dat er voor wetenschappers geen hogere instantie is om zich op te beroepen dan het wetenschappelijk forum. In zijn repliek aan Langeveld (zie paragraaf 2.1) en ook in zijn rede bij de aanvaarding van het ambt van gewoon


41

hoogleraar in de grondslagen en methoden van de sociale wetenschappen aan de Universiteit van Amsterdam beklemtoont De Groot (1971) het toenemende belang van de forum-functie in de wetenschapsbeoefening. Vooruitlopend op zijn tijd zinspeelt De Groot hier op wetenschapsbeleid, researchprogramma's, beleidsvoorbereidend overleg, debatten over maatschappelijke relevantie, het prioriteren van onderzoeksthema's, discussie en overleg gericht op convergente oordeelsvorming inzake onderzoeksmethoden en -bevindingen. De forum-idee van De Groot is niet alleen nieuw, maar werkt zelfs als een paradigmawisseling. Dit is vergelijkbaar met de idee van Kuhn (1962) uit zijn werk The Structure of Scientific Revolutions. In tegenstelling tot Poppers idee van geleidelijke veranderingen in de wetenschap, stelt Kuhn dat wetenschap niet geleidelijk, maar door paradigmawisselingen sprongsgewijze verandert. Zo'n paradigma in de wetenschap vindt haar fundamenten in de algemene acceptatie van een forum (zoals bedoeld door De Groot). De forum-idee van De Groot is een prototype van zo'n paradigmawisseling waardoor onderzoekers in afwezigheid van (of gebrek aan) harde, objectieve, beslissende criteria het toch wetenschappelijk eens kunnen worden (over een theorie, over het gebruik van bepaalde onderzoeksmethoden). Het forum is ± volgens de Groot ± de ultieme instantie die een oordeel uitspreekt over de aanvaardbaarheid van theorieeÈn en hypothesen.

2.4

Typen van onderzoek

Bij De Groot (1961, 1994) fungeert eÂeÂn type van empirisch-wetenschappelijk onderzoek als model voor de empirische methodologie, namelijk het toetsingsonderzoek. Dit is onderzoek waarbij eÂeÂn of enkele uit een theorie afgeleide hypothesen aan de empirie worden getoetst. Hoewel het toetsingsonderzoek ± aldus De Groot ± methodologisch gezien het beste uitgewerkt is en het meest frequent in vele, maar niet in alle wetenschappen benut wordt omwille van de karakteristieke inductieve werkwijze, is het zeker niet het enige type wetenschappelijk onderzoek. Toch dient opgemerkt te worden dat andere typen van wetenschappelijk onderzoek vaak opereren binnen slechts eÂeÂn of enkele fasen van de volledige cyclus en dat ook daar een cyclus wordt doorlopen, zij het niet exact dezelfde cyclus of op dezelfde manier2. Niettegenstaande het toetsingsonderzoek internationaal een voorrangspositie heeft opgebouwd, waarschuwen wij voor een eenzijdig, dogmatisch kwaliteitslabel dat alleen toetsingsonderzoek goed en respectabel zou zijn. Meer nog, de verwaarlozing of negatieve connotatie van descriptief, exploratief en hermeneutisch-interpretatief onderzoek maakt dat hypothese- en theorievorming wordt verschraald c.q. van wetenschappelijkheid wordt gedepriveerd (cf. paragraaf 2.2). In lijn met De Groots ideeeÈn over de methodologie (1970) is deze gedachte niet alleen onwense2. In paragraaf 2.3.2 beschreven we reeds dat Kievit en Tak (2002) de integratie van de empirische en de regulatieve cyclus bepleiten.

42


lijk, maar zelfs volkomen strijdig met de wetenschappelijke houding en met het streven te komen tot een consistent geheel van kennis (zie ook de stellingen van De Groot in Bijlage A). Om die reden zullen we bondig ingaan op andere hoofdtypen van wetenschappelijk onderzoek dan het reeds uitvoerig besproken toetsingsonderzoek in paragraaf 2.3. Instrumenteel-nomologisch onderzoek Tot dit type onderzoek behoort de testconstructie en -validatie, maar ook de constructie en ijking van een vragenlijst. Wanneer een onderzoeker zich tot doel stelt een instrument te maken, te standaardiseren, te valideren en normen te bepalen, dan spreken we van een instrumenteel-nomologisch onderzoek. Een andere vorm van dit type onderzoek is die waarbij de onderzoeker zich ten doel stelt een bijdrage te leveren tot het nomologisch netwerk van een bepaald begrip (voorbeelden zijn quality of life of dimensies van de persoonlijkheid). Typerend is het werken aan het nomologisch netwerk rondom een bepaald begrip en het instrumentele karakter van het onderzoek. Dit type onderzoek is vooral aangewezen wanneer het instrumentarium ontbreekt, onvoldoende valide of onvoldoende uitgewerkt is om vorderingen te kunnen maken in de ontwikkeling en toetsing van bruikbare theorieeÈn, hypothesen en/of methoden. Dit komt vaak voor in de gedragswetenschappen. Weliswaar is het niet onmogelijk om in het kader van een toetsingsonderzoek of exploratief onderzoek de nodige instrumenten ad hoc te construeren, maar vaak is de constructie en de (begrips)validatie van het instrument op zichzelf zo omvangrijk en bewerkelijk dat dit een afzonderlijk onderzoek rechtvaardigt. Descriptief onderzoek Voorbeelden van descriptief onderzoek zijn te vinden in wetenschappen die een systematische beschrijving en catalogisering van verschijnselen nastreven: denk bijvoorbeeld aan de biologie. Maar evenzo kan gedacht worden aan beschrijvend, statistisch onderzoek zoals dat door het Centraal Bureau voor de Statistiek (CBS) wordt verricht. Maar ook etnografisch onderzoek onder Marokkaanse jongeren in Amsterdam Nieuw-West behoort tot de mogelijkheden. Typerend voor descriptief onderzoek is dat het gaat om een beschrijving en een systematische ordening van wat er is, zonder te streven naar generalisaties. Het doel van descriptief onderzoek is geenszins hypothesevormend of hypothesetoetsend, maar wel de zuiver descriptieve (systematische) uitwerking van de onderzoeksgegevens. Descriptief onderzoek is plausibel als men ter voorbereiding van een uit te werken theorie, van hypothesevorming, of ter voorbereiding van de instrumentele realisering van begrippen een overzicht nodig heeft van wat er is of van wat er volgens een bepaalde systematiek relevant is op een gebied van verschijnselen. Deze situatie doet zich de facto vaker voor dan dat er descriptief onderzoek wordt verricht. De Groot (1994) schrijft dit toe aan de vooroordelen die kleven aan interview, introspectie of hardop-denkmethoden evenals aan de gerin-


43

gere erkenning dat descriptief onderzoek krijgt in vergelijking met toetsingsonderzoek. Exploratief onderzoek Dit type van onderzoek is het beste te beschrijven als een tussenvorm tussen descriptief en toetsingsonderzoek. Doel van de onderzoeker is niet in de eerste plaats om het veld te verkennen of de verschijnselen te beschrijven, maar wel om hypothesen te vormen. Exploratief onderzoek verschilt van toetsingsonderzoek in die zin dat het inductieve proces en de toetsing niet in zijn exacte vorm wordt aangehouden. De onderzoeker gaat wel uit van zekere verwachtingen en van een min of meer vaag theoretisch raam. Hij is gericht op het vinden van bepaalde soorten samenhangen in zijn materiaal, maar deze nemen niet de vorm aan van scherp geformuleerde hypothesen vooraf. Hierdoor kunnen de hypothesen niet in de gebruikelijke zin getoetst worden. Karakteristieke voorbeelden van exploratief onderzoek zijn klinische en casuõÈstische studies in de medische, maar ook in de gedragswetenschappen. Maar ook onderzoek op grotere steekproeven kan exploratief zijn als bij de opzet uitdrukkelijk wordt gedacht aan de vorming of uitwerking van een theorie of van afzonderlijke hypothesen. Het gaat niet alleen om een verzameling en/of ordening van feiten of om een overzicht van wat er is (descriptief onderzoek), maar tenminste ook samenhangen te exploreren die relevant worden geacht voor een bepaald (theoretisch of praktisch) doel. Om reden dat er geen scherp geformuleerde hypothesen vooraf zijn, is toetsing op gebruikelijke wijze niet mogelijk. Exploratief onderzoek is aangewezen wanneer men beschikt over een veelheid aan gegevens op een domein waarover nog weinig bruikbare theorie voorhanden is en waarover weinig bekend inzake relevantie. De expliciete gerichtheid om samenhangen te exploreren bepaalt dan ook welke gegevens men zal opnemen, wat men zal meten en welke verbanden men zal nagaan. De Groot (1994) stelt dan ook dat exploratief onderzoek vooronderzoek behoort te zijn. Indien de exacte theorie- en/of hypothesevorming en -toetsing achterwege blijft, dan is het van weinig waarde (geweest). Interpretatief-theoretisch onderzoek In tegenstelling tot het instrumenteel, descriptief, exploratief en toetsingsonderzoek, wordt hier geÂeÂn nieuw feitenmateriaal verzameld. Het gaat hier om interpretatie en theoretische evaluatie van een gegeven, gesloten verzameling van bevindingen. De variatiebreedte naar onderwerp en naar omvang van wat er wordt geõÈnterpreteerd is bijzonder groot: enerzijds het oplossingsgedrag van eÂeÂn kind met een automatiseringsprobleem voor rekenen, anderzijds het ontstaan van faalangst in het rekenen wiskundeonderwijs in verschillende EU-landen. Kenmerkend is dat de onderzoeker een theorie, een visie of hypothese op het gegeven materiaal van toepassing acht. Zoals besproken in paragraaf 2.3.1 is de acceptatie van de wettelijkheid in algemene zin en/of in de toepasselijkheid ervan op

44


dit materiaal dubieus en tentatief van karakter. In dit type onderzoek gaat het niet om toetsing van een algemene hypothese, maar om een interpretatie van het feitenmateriaal. In geval van een theoretische interpretatie van een groot aantal gegevens wordt de interpretatie beperkt tot de verzameling van gegevens zoals die nu beschikbaar zijn. Deze interpretatieve werkwijze is vergelijkbaar met de eerder besproken methode van het Verstehen (cf. paragraaf 2.2.2) en maakt deel uit van de methodologie (zie stelling 2 en 6 in Bijlage A). De eis die aan een vruchtbare interpretatie wordt gesteld (cf. paragraaf 2.3.1) is dat ze zich moet lenen tot omvorming in toetsbare hypothese(n). En daarmee is de weg geeÈffend naar een volgende stap in de empirische cyclus (De Groot, 1994).

2.5

Objectiviteit en intersubjectiviteit

Zoals aan het begin van dit hoofdstuk aangegeven, beklemtoont Snijders (1963) in zijn recensie over de bijdrage van De Groot een ander object dat de eenheid der wetenschappen zou symboliseren, namelijk het streven naar objectiviteit. Snijders is gecharmeerd door het objectiviteitsbeginsel dat De Groot introduceert. Een bespreking van het begrip objectiviteit, van de objectiviteitseis, en van de objectiviteitsproblemen in de verschillende fasen van de empirische cyclus is nu aan de orde (paragraaf 2.5.1). Een bijzondere situatie treedt op wanneer gekozen wordt voor beoordelaars (experts, betrokkenen, maar ook buitenstaanders) als meetinstrument. Wanneer nu verschillende beoordelaars worden ingeschakeld dan spreken we van intersubjectiviteit tussen de beoordelaars (paragraaf 2.5.2). 2.5.1

Objectiviteit

Volgens De Groot (1994) wordt het (resultaat van) handelen objectief genoemd als het in overeenstemming is met het gestelde studiedoel (het object), of met andere woorden er wordt recht gedaan aan het voorwerp van de studie. De onderzoeker mag zich daarbij niet laten leiden door persoonlijke opvattingen, gevoelens of belangen. Een tweede (meest voorkomende) definitie van objectief handelen is het streven naar afwezigheid van subjectiviteit als storende factor. Er mag wel subjectiviteit zijn volgens De Groot, maar deze mag niet storend zijn. Afwezigheid van subjectiviteit kan niet zonder meer geeÈist worden. Een eis is wel dat de subjectiviteit het studiedoel of object niet mag contamineren. De algemene objectiviteitseis omschrijft De Groot (1994) dan als volgt: `dat de onderzoeker zo ''objectief'' mogelijk moet handelen als in zijn vermogen ligt, d.w.z. zonder dat persoonlijke opinies, preferenties, waarnemingswijzen, opvattingen, belangen, sentimenten daarbij interfereren of zelfs kunnen interfereren'. (p. 172). Hoewel objectiviteit een grondhouding is van de wetenschapper, mogen we niet blind zijn voor het gegeven dat mensen ± en ook onderzoekers ± gebukt gaan onder subjectiviteit in waarneming en oordeelsvorming (zie Nisbett & Ross, 1980).


45

De Groot (1994) spreekt in dit verband van een machine-definitie van objectiviteit: een handelswijze is objectief als deze door een machine kan worden overgenomen. Hedendaags zouden we het handelen als objectief kunnen definieÈren als het door de computer kan worden overgenomen, tenminste zolang computerprogramma's vrij zijn van (storende) subjectiviteit als onderdeel van de geprogrammeerde instructie. Objectiviteitsproblemen spelen in alle fasen van de empirisch-wetenschappelijke cyclus een rol (De Groot, 1994), maar bij uitstek in de fase van deductie en toetsing3. Deze problemen doen zich voor bij (a) het empirisch specificeren of instrumenteel maken van de begrippen, (b) het selecteren van toetsingsmateriaal, (c) de steekproeftrekking, (d) het observeren, registreren en bewerken van de onderzoeksgegevens, en (e) het regelen van de onderzoekscondities. Objectiviteit is van toepassing op de operationele definitie van een begrip, of met andere woorden op de instrumentele realisering van een begrip. Objectiviteit speelt een cruciale rol bij de vertaling van het begrip naar een variabele: een volledige operationele definitie is nodig. Een variabele is pas volledig operationeel gedefinieerd als het instrument ± om de waarde per individu vast te kunnen stellen ± (a) tot in alle details vastligt en (b) alle instructies bevat betreffende de manier waarop materiaal moet worden verkregen, geregistreerd en verwerkt. Een instrument is daarom pas objectief te noemen wanneer een testboekje voorhanden is met ondubbelzinnige voorschriften over de toepasbaarheid (voor welke doelgroep de test kan worden gebruikt), over de instructie (presentatie van de test, omstandigheden waaronder de test mag afgenomen worden, afbreekregels), over de scoring (objectief scoren van de antwoorden op basis van een antwoordprotocol: wanneer is het antwoord goed of fout, of wanneer wordt het niet meegeteld), en over de interpretatie van de (subtest)scores. Meer informatie inzake algemene richtlijnen voor het opstellen van meetinstrumenten wordt in paragraaf 4.4 besproken. Maar objectiviteit is ook van toepassing op de steekproeftrekking. Voor de verschillende methoden van steekproeftrekking verwijzen we naar de algemene richtlijnen bij het kiezen van het onderzoeksdesign die in paragraaf 4.5 worden besproken. In het licht van de algemene objectiviteitseis stelt zich echter het volgende probleem dat bij de codering en de verwerking van de onderzoeksgegevens frequent voorkomt. Mag een onderzoeker steekproefelementen uitschakelen? Het kan hier bijvoorbeeld gaan om het uitschakelen van eÂeÂn antwoord van een leerling, maar het kan ook gaan om het uitschakelen van een leerling uit de steekproef. Het antwoord (of de logische en methodologische eis) is hier eenvoudig: achteraf steekproefelementen uitschakelen is uit den boze zonder a priori reden. Uitschakelbeslissingen moeten vooraf geregeld worden en moeten objectief vastgelegd worden. 3. In de fase van inductie is er ± net als in de observatiefase ± nog sprake van veel vrijheid (en dus geen objectiviteitsproblemen). Bij de inductie zijn er daarentegen wel logische en methodologische eisen met betrekking tot de formulering van hypothesen en theorieeÈn en is er ook een expliciteringsplicht (cf. paragraaf 2.3.1).

46


Soms is vastlegging vooraf niet mogelijk, bijvoorbeeld omwille van te geringe (voor)kennis van het materiaal of om redenen die buiten het vermogen van de onderzoeker vallen. Dit is bijvoorbeeld het geval wanneer leerlingen met ADHD zonder medicatiegebruik de doelgroep van een onderzoek zijn, maar waarbij pas na de afname blijkt dat een van de leerlingen alsnog medicatie heeft gebruikt. Om reden dat die leerling niet voldoet aan de van tevoren opgestelde (diagnostische) criteria, mag deze uitgeschakeld worden. 2.5.2

Intersubjectiviteit

Sommige situaties zijn zo complex of ongrijpbaar, dat een objectieve maatstaf voor het te definieÈren begrip of de te onderzoeken factor niet of nauwelijks te vinden is. In dergelijke situaties wordt wel eens de toevlucht genomen tot een beoordelaar als meetinstrument. De beoordelaar verricht een beoordelingstaak, die niet of niet gemakkelijk door een machine zou kunnen worden overgenomen. Deze oplossing geniet bijval in het geval dat (a) er geen betere (objectieve) oplossing is, of (b) dat het nu eenmaal gebruikelijk en sociaal aanvaard is op het betreffende gebied om het oordeel van experts te bevragen (bijvoorbeeld bij artsen of orthopedagoog-generalisten, of GZ-psychologen). Essentieel is dat de onderzoeker voldoende vertrouwen heeft in de mate van objectiviteit waarmee de beoordelaars te werk gaan. De facto gaat de onderzoeker er dan van uit dat de beoordelaar niet zomaar wat zegt, maar wel bewust of intuõÈtief een systeem heeft en volgt van redelijk stabiele normen. Dit kan blijken uit de consistentie in de antwoorden van de beoordelaar en uit de betrouwbaarheid van zijn antwoorden bij een onafhankelijke herhaling van de beoordelingsprocedure. In een onderzoek waarbij verschillende beoordelaars worden ingeschakeld kan men de mate van intersubjectieve overeenstemming (inter-judge reliability4) empirisch bepalen. Deze intersubjectieve overeenstemming is een empirische maatstaf die aangeeft in welke mate er overeenstemming is in de beoordelingen tussen de beoordelaars. Dit noemt De Groot (1994) het intersubjectiviteitscriterium dat bij inschakeling van beoordelaars in de plaats komt van de objectiviteitseis zoals besproken in paragraaf 2.5.1. Vooral bij de constructie van criteriumvariabelen wordt deze maatstaf vaak gehanteerd. Om de effectiviteit van bepaalde rekenmethoden te bepalen of om de effectiviteit van verschillende assertiviteitstrainingen na te gaan worden vaak beoordelaars bevraagd: verschillende leerkrachten geven hun oordeel over de leerling, verschillende trainers geven hun oordeel over de participanten aan de training, of de leerlingen c.q. de participanten worden zelf bevraagd over hun (effectiviteits)beleving. Kortom, met name in effectonderzoek is intersubjectieve overeenstemming een veelvoorkomende maatstaf om bepaalde (criterium)begrippen te meten. Het zal dan ook niet verwonderlijk zijn dat de overeenstemming tussen beoordelaars nog meermaals in ons boek ter sprake zal komen. 4. Ook bekend als interbeoordelaarsbetrouwbaarheid.


2.6

47

Samenvatting van hoofdstuk 2

De methodologische bijdrage van Adriaan Dingeman de Groot stond centraal in dit hoofdstuk. Als inleiding op de empirische methodologie is een schets van de historie van de methodologie uitgewerkt. Hierdoor plaatsen we de bijdrage van De Groot meteen in zijn context. Er is ingegaan op wat methodologie precies is, om vervolgens de empirische methodologie van De Groot en zijn begrippenkader nader te expliciteren. We zoomden daarbij ook in op de karakteristieke bijdrage van De Groot aan de wetenschapsontwikkeling. Om reden dat het toetsingsonderzoek bijzonder centraal staat in de empirische cyclus, zijn op bondige wijze nog enkele typen van (empirisch) onderzoek besproken. In het kader van de grondslagen van onderzoek en denken (in de gedragswetenschappen) sloten we dit hoofdstuk af met een bespreking van objectiviteit en intersubjectiviteit. Hier geven wij een samenvatting van de belangrijkste begrippen, inzichten en ideeeÈn. Schets van de historie van de methodologie (paragraaf 2.1) In de 17de eeuw stelt Descartes zich de vraag: `Hoe kan een mens uit een veelheid van (wetenschappelijke) opvattingen en theorieeÈn de juiste kiezen?' In die tijd was methodologie synomiem met logica en met de discipline van de methodenreflectie. Pas halverwege de 20ste eeuw ontwikkelt de methodologie zich tot een zelfstandig specialisme. In 1961 brengt De Groot zijn boek Methodologie: grondslagen van onderzoek en denken in de gedragswetenschappen uit. Als pleitbezorger voor onderzoek gebaseerd op het kwantificeren van kwalitatieve gegevens en op het vormen en toetsen van theorieeÈn en hypothesen komt hij (in Nederland) regelmatig in conflict met enkele wetenschappers. Van andere wetenschappers krijgt hij daarentegen juist veel waardering voor zijn (paradigmatische) bijdrage. Wat is methodologie? (paragraaf 2.2) Methodologie is de studie van de wetenschappelijke methoden en technieken, die in de wetenschap worden voorgeschreven en die moeten worden gebruikt om kennis te verwerven en om de wetenschap vooruit te helpen. De Groot stelt dat methodologie gaat over de normen, die betrekking hebben op de methoden en technieken van onderzoek, en de daaruit voortvloeiende richtlijnen voor het wetenschappelijk denken en handelen. Kenmerkend voor de wetenschapsbeoefening is het systematisch streven naar waarheid en zekerheid. Bij voorkeur stopt de empirische wetenschapper niet bij het feitelijke beschrijven, en bij voorkeur ook niet bij het meten van verschijnselen. Wetenschappers hebben een uitgesproken gerichtheid op begrijpen (Verstehen) en verklaren (ErklaÈren), op het verkrijgen van diepere en/of verder strekkende inzichten, op het vinden van algemene samenhangen (ook via methoden als de hermeneutiek en de fenomenologie). Op die wijze pogen wetenschappers dan voor grotere gebieden van verschijnselen voorspellingen te maken en pogen ze die verschijnselen te beheersen. Het uiteindelijke doel is om algemene samenhangen in omvattende, inzichtelijke en logisch samenhangende systemen (theorieeÈn) onder te brengen en te ordenen.

48


De empirische methodologie volgens A.D. De Groot (paragraaf 2.3) De kerngedachte van De Groot is dat de groei van wetenschappelijke kennis plaatsvindt via een kritisch rationeel proces van theorievorming en hypothesetoetsing aan de hand van empirische gegevens. De empirische cyclus zoals door hem geformuleerd is als grondschema voor een logisch-methodologisch stramien van wetenschappelijk denken en handelen een veelgebruikte fasering van onderzoek in de empirische wetenschappen. De stappen in de empirische cyclus zijn: · Fase 1: Observatie: Verzamelen en groeperen van empirisch feitenmateriaal; vorming van hypothese(n); · Fase 2: Inductie: Formulering van hypothese(n); · Fase 3: Deductie: Afleiding van speciale consequenties uit de hypothese(n) in de vorm van toetsbare voorspellingen; · Fase 4: Toetsing: Toetsing van de hypothese(n) aan het al dan niet uitkomen van de voorspellingen in nieuw empirisch materiaal; · Fase 5: Evaluatie: Evaluatie van de uitkomsten van de toetsing als terugkoppeling naar de gestelde hypothese(n), theorie(eÈn), en als voorwaartskoppeling naar potentieel nieuwe, aansluitende onderzoekingen. De empirische cyclus is vooral gericht op theoriegericht onderzoek. Voor meer praktijkgericht onderzoek zijn gelijksoortige cycli ontwikkeld. De bekendste daarvan is de regulatieve cyclus, die juist als methode systematisch, planmatig werken mogelijk wil maken met het oog op doelgericht, probleemoplossend handelen in de hulpverleningspraktijk. Beide cycli worden met elkaar vergeleken. De karakteristieke bijdrage van De Groot aan de wetenschapsontwikkeling is (a) de gerichtheid op falsificatie, op weerlegging van hypothesen en theorieeÈn (in lijn met Popper); (b) het theoretisch raam als basis voor de hypothesevorming, de daaruit af te leiden voorspelling, toetsing en evaluatie; en (c) het introduceren van het wetenschappelijke forum als de ultieme instantie van alle ter zake doende deskundigen; het forum heeft als taak tot een oordeel te komen over de aanvaardbaarheid van hypothesen en theorieeÈn. Typen van onderzoek (paragraaf 2.4) In de empirische methodologie van De Groot staat toetsingsonderzoek centraal. Dit is onderzoek waarbij eÂeÂn of enkele uit een theorie afgeleide hypothesen aan de empirie worden getoetst. Om reden dat abusievelijk kan worden besloten dat geen ander type dan toetsingsonderzoek mogelijk zou zijn in de empirische cyclus, gaan we bondig in op instrumenteel-nomologisch onderzoek, descriptief onderzoek, exploratief onderzoek en interpretatief-theoretisch onderzoek. Objectiviteit en intersubjectiviteit (paragraaf 2.5) Objectiviteit, namelijk handelen in overeenstemming met het gestelde studiedoel, in afwezigheid van subjectiviteit als storende factor, dient een grondhouding te zijn van de wetenschapper. Er wordt dan ook een objectiviteitseis gesteld aan het empirisch-wetenschappelijk onderzoek: de onderzoeker moet zo òbjectief' mogelijk handelen als in zijn vermogen ligt, dat wil zeggen zonder dat persoonlijke opinies, preferenties, waarne-


49

mingswijzen, opvattingen, belangen, sentimenten daarbij interfereren of zelfs kunnen interfereren. Objectiviteitsproblemen spelen in alle fasen van de empirische cyclus een rol, maar bij uitstek in de fase van deductie en toetsing. In specifieke situaties, en met name bij effectonderzoek in de gedragswetenschappen, worden beoordelaars (experts of de personen zelf) als meetinstrument benut. Participanten aan een training worden wel eens gevraagd naar hun beleving. Om na te gaan of er nu overeenstemming is in de belevingsoordelen tussen de beoordelaars maken we gebruik van de mate van intersubjectieve overeenstemming (interbeoordelaarsbetrouwbaarheid).

1 Inleiding Opbouw Bronnen en verantwoording Doelgroep Effectonderzoek in de toegepaste gedragswetenschappen 16

Recommend Documents