Wat moet je voor onderzoek naar de praktijk kunnen en doen? Petra Ponte en Piet Hein van de Ven
1 Kiezen en verantwoorden van onderzoeksmethoden Sinds het ontstaan van de sociale wetenschappen begin 19de eeuw is er sprake van een methodestrijd tussen positivistische en interpretatieve opvattingen. Positivistische benaderingen gaan er vanuit dat menselijk gedrag te vergelijken is met de fysieke wereld en dus te bestuderen met methoden afkomstig uit de natuurwetenschappen. Het positivisme heeft zich ontwikkeld tot de huidige empirisch-analytische wetenschap. Zij wordt nog steeds gekenmerkt door het zoeken naar causaliteit, met als doel gedrag te verklaren en te voorspellen met regelmatigheden die algemeen geldig zijn. In het onderwijs is deze benadering vooral gericht op de vraag welke interventies effectief zijn, de vraag dus naar het ‘what works’. Biesta (2007) noemt dit een causaal model voor professioneel handelen. Dit model is volgens hem te beperkt. Hij stelt: Even if we were able to identify the most effective way of achieving a particular end, we might still decide not to act accordingly. Knowledge about the effectiveness of interventions is not, as such, a sufficient basis for decisions about educational action. There is always the question as to whether particular interventions are desirable. (p. 9)
Klaslokalen bijvoorbeeld bevatten allerlei controleerbare en voorspelbare objecten als tafels, stoelen, borden van diverse aard. Het ‘gedrag’ van deze objecten is eenduidig te verklaren en te voorspellen. Wat er echter in de klas gebeurt is het resultaat van complexe relaties tussen leraar en leerlingen en tussen leerlingen onderling. Die laten zich niet ten volle controleren noch voorspellen met algemeen geldende regelmatigheden. Biesta (2007) benadrukt dus dat onderwijs meer inhoudt dan het uitvoeren van activiteiten gericht op een efficiënte input–output-relatie. Onderwijs impliceert ook nadenken over wat wenselijk is. Zijn betoog ligt in het verlengde van het werk van Dilthey die in de beginperiode van de sociale wetenschappen stelde dat de menselijk realiteit niet met dezelfde methoden kan worden onderzocht als de fysieke wereld. De menselijke realiteit is intentioneel en die is alleen te kennen door menselijke betekenisverlening in kaart te brengen en te begrijpen: ‘een berg is een berg (het fysieke ding), maar voor mensen kan het een sta in de weg zijn, een fenomeen om van te genieten, een ding om te beklimmen’, aldus Ponte (2010a, p. 272). Dilthey’s ideeën zijn uitgegroeid tot de interpretatieve wetenschap waarin via uiteenlopende werkwijzen onderzoek wordt gedaan. Zij kent naast narratief onderzoek en discourse analyse (gericht op het begrijpen van gesproken of geschreven teksten) ook vele strategieën om empirische data (informatie over de praktijk) op een systematische wijze te verzamelen en te analyseren (verschillende soorten gevalsstudies, beschrijvende surveys, veldonderzoek, exploratief experiment, actieonderzoek, enzovoort) en uiteenlopende maatregelen om de kwaliteit (de interne en externe validiteit) te waarborgen (uiteenlopende vormen van inhoudsanalyses, peerdebriefing, memberchecks, triangulatie, enzovoorts).
Empirisch-analytisch onderzoek wil bijdragen aan het oplossen van praktijkproblemen via de ontwikkeling van causale kennis om vervolgens deze kennis via toegepast onderzoek - overwegend uitgevoerd door academische onderzoekers - om te zetten naar toepassingen in de praktijk. In deze visie op onderzoek bestaat er, aldus Ponte (2010a), een strikte scheiding tussen onderzoek en veranderen: ‘tijdens het onderzoek mag de praktijk niet veranderd worden, want dan zijn er immers geen regelmatigheden vast te stellen. Als er wel veranderd wordt, mag dat alleen onder experimentele en gecontroleerde condities’. (p. 274). Ponte stelt echter dat de scherpe scheiding tussen onderzoek en veranderen nooit bedoeld is voor onderzoek met of door professionals in de praktijk. De scheiding is volgens haar ook onhoudbaar. Voor professionals is zelf onderzoek doen immers alleen zinvol als zij daar al doende hun intenties en handelen beter door leren begrijpen en in het verlengde daarvan veranderen. (vgl. Ponte 2010a, p. 274). Ideeën over praktijkonderzoek door professionals zijn dan ook ingebed in de interpretatieve onderzoekbenaderingen. Dat onderzoek moet volgens Ponte (2009) leiden tot ‘controleerbare en navolgbare interpretaties van de werkelijkheid met als doel een bijdrage te leveren aan een transparante en publiek toegankelijke ontwikkeling van de educatieve praktijk’ (p. 27). De methoden die daarbij gebruikt worden moeten volgens Verschuren (2009) beoordeeld worden naar zowel de context of justification als de context of discovery. Bij de context of justification gaat het – simpel gezegd – om de vraag of de methoden juist zijn ingezet om de onderzoeksvraag te beantwoorden. De context of discovery vult dit aan met de inhoudelijke rechtvaardiging van de vragen die men stelt en de focus van waaruit die vraag beantwoord wordt. Zo stelt Ericson (in Moss e.a. 2009): The two questions that dominate current deliberations have become ‘Is this effective?’ and ‘Is this efficient?’ (…), however, a prior question lurks: ‘do we want to do this in the first place?’. (p. 505)
Dit zijn dan ook de vragen die professionals zich bij het vormgeven en verantwoorden van hun onderzoeksmethode steeds moeten kunnen stellen.
2 Praktijkonderzoek als cyclisch, recursief proces. De laatste jaren verschenen ook in Nederland diverse handleidingen voor het doen van onderzoek door of in samenwerking met mensen uit de praktijk. Daaruit blijkt dat het doen van dit soort onderzoek verloopt in een cyclisch en recursief proces. Een paar voorbeelden. Oost en Markenhof (2005) zien als belangrijkste activiteiten: onderzoek voorbereiden, materiaal verzamelen, materiaal analyseren en rapporteren. Ponte (2002, 2011) schetst een cyclus bestaande uit de volgende fasen: formuleren van een algemeen idee over wat het probleem is en het formuleren van de onderzoeksvraag, verdere verkenning van het probleem, het opstellen van een algemeen verbeterplan, en uitvoeren en monitoren van concrete verbeteracties. Deze cyclus wordt herhaald tot men tevreden is over het resultaat, waarna de resultaten publiek worden gemaakt in de vorm van een casestudy (een rapportage waarin zowel het onderzoeksproces als de onderzoeksresultaten
wordt beschreven). Essentieel is dat elke fase kan leiden tot bijstelling van eerdere fasen. Van der Donk en Van Lanen (2009) onderscheiden als fasen: oriënteren, richten, plannen, ontwerpen, verzamelen van data, analyseren van data en concluderen, rapporteren en presenteren. Daarna kan de cyclus herstarten met hernieuwde oriëntatie. Ook in deze cyclus is het mogelijk terug te grijpen op een eerdere fase. Van de Ven, Martens en Imants (2005) noemen als fasen: delen van ervaringen, ontwikkelen en uitproberen van nieuwe werkwijzen, uitwisseling van ervaringen, bijstelling en hernieuwd uitproberen, en uiteindelijk kiezen voor verder toepassen of het verwerpen van werkwijzen. In alle modellen worden de voorgestelde cycli voortdurend ondersteund door het systematisch verzamelen en analyseren van data; onderlinge observatie, coaching en consultatie (het critical friends principe); kritisch debat over wat men denkt, doet en concludeert en – niet te vergeten – door gebruik van theorie.
Essentieel in de modellen zijn de volgende aspecten. Ten eerste gaan de modellen uit van een grondige voorbereiding die leidt tot een analyse van wat men wil onderzoeken en waarom men dat wil. Centraal staat een vorm van probleemanalyse – waarom wordt iets als een probleem ervaren, wat is het probleem precies en hoe luidt dan de onderzoeksvraag. Het cyclisch-recursieve karakter van praktijkonderzoek kan tot uiting komen in de mogelijkheid dat de probleemanalyse zelf al een onderzoekscyclus vormt (Van de Ven e.a., 2005, Ponte 2002, 2011). Deze mogelijkheid illustreert een belangrijk aspect van praktijkonderzoek: het moeten beschikken over voldoende geduld. Onderzoek doen is immers gericht op de langere termijn. Probleemanalyses, het ontwerpen, uitproberen en onderzoeken van alternatieve werkwijzen kost vaak meer tijd dan verhoopt. Een ander belangrijk aspect van de voorbereiding is de oriëntatie op literatuur vanuit de vraag wat er theoretisch en/of empirisch al bekend is over het te onderzoeken probleem. Deze oriëntatie wordt vaak te gemakkelijk overgeslagen, waardoor men opnieuw het wiel uit gaat vinden.
Ten tweede gaan de modellen uit van een gecontroleerde verzameling van gegevens (data) om de onderzoeksvraag te beantwoorden. Een eerste vraag daarbij is bij wie gegevens verzameld worden. Een onderzoeksvraag naar de professionele ontwikkeling van docenten, vergt andere gegevens dan een vraag naar het leren van leerlingen De tweede vraag is welke gegevens nodig zijn. Het is niet steeds nodig nieuwe gegevens te genereren. Werkstukken en proefwerken van leerlingen, lesvoorbereidingen en opdrachten van leraren, evaluaties en verslagen van bijeenkomsten zijn ook vaak bruikbaar. Deze gegevens kunnen worden aangevuld met individuele of groepsinterviews, observaties hardopdenk-protocollen, foto-, audio- of videoregistraties, learner reports, focusgroepen, kleine enquêtes enzovoort. Ten derde gaan de meeste modellen uit van een gecontroleerde data-analyse. Bij de data-analyse laat men zich in principe leiden door de onderzoeksvragen, maar ook aandacht voor onverwachte dingen is belangrijk. Men kan bijvoorbeeld learner reports direct ‘lezen’ vanuit de vraag of leerlingen bijvoorbeeld over
‘leren’ hebben gerapporteerd. Men kan in zulke learner reports echter ook ‘tussen de regels’ lezen en ontdekken dat achter de rapportage van de leerlingen over ‘leren’, ook andere informatie is te vinden waar men niet direct naar op zoek was. Dergelijke informatie kan leiden tot een hernieuwd perspectief op het probleem en/of de onderzoeksvraag – een recursieve benadering dus. De analyse kan ook worden gestuurd door de literatuur. Theoretische concepten dienen dan als categorisering en labeling van data. Een van de belangrijkste methoden om data zorgvuldig te analyseren is het toepassen van triangulatie. Interpretatief onderzoek werkt vaak met kwalitatieve data (gegevens die niet in cijfers maar in tekst zijn uitgedrukt). Die gegevens geven meestal geen directe antwoorden op de onderzoeksvraag: de onderzoeker moet die antwoorden zelf met behulp van zijn of haar gegevens construeren. Door meer typen gegevens te combineren kan een completer en overtuigender interpretatie worden opgebouwd. Er zijn meerdere vormen van triangulatie, onder andere: • Triangulatie ten aanzien van de databronnen: data, verzameld bij verschillende personen, op verschillende tijdstippen en in verschillende situaties. • Methodische triangulatie: data, verzameld met behulp van verschillende onderzoeksinstrumenten, zoals interviews, observaties, documentanalyses. • Triangulatie ten aanzien van het soort data: analyse van zowel kwalitatieve als kwantitatieve gegevens. • Onderzoekers-triangulatie: data die door meerdere onderzoekers onafhankelijk van elkaar geanalyseerd worden.
Ten vierde wordt in alle modellen uiteraard benadrukt dat de conclusies antwoord moeten geven op de onderzoeksvraag. Dat kan in de vorm van oplossingen, maar ook in de vorm van nieuwe vragen. Conclusies moeten ook refereren aan wat daarover in de literatuur wordt gezegd. Na de conclusie komt een discussieparagraaf. De onderzoeker gaat in op wat hij of zij heeft geleerd van het onderzoek, de sterke en zwakke aspecten van het onderzoek en de relevantie van de resultaten. Ten slotte moet de kennis die het onderzoek heeft opgeleverd publiek gemaakt worden (via bijvoorbeeld een onderzoeksrapport of een artikel). Alleen dan is er sprake van onderzoek (Ponte, 2002, 2011). Aan deze eis tot rapportage liggen verschillende principes ten grondslag. Ten eerste geeft men zo anderen de mogelijkheid onderzoeksresultaten kritisch onder de loep te nemen en verder te ontwikkelen. Ten tweede dwingt zo’n rapportage tot zorgvuldige verwoording en conceptualisatie van het onderzoeksproces en het onderzoeksresultaat (schrijven is denken).
3 Onderzoekskwaliteit Aan empirisch-analytisch onderzoek worden eisen gesteld als objectiviteit, betrouwbaarheid, validiteit, herhaalbaarheid en generalisatie. Aan interpretatief onderzoek worden andere eisen gesteld, eisen die ook ruimte laten voor de ethische (wenselijkheid van veranderingen) dimensie van praktijkonderzoek. De volgende set van eisen is gebaseerd op het werk van Kvale (1996; zie ook Hesse-
Biber & Leavy, 2006) en van Anderson & Herr (1999; zie ook Lunenberg, Ponte & Van de Ven, 2007, Ponte, 2010b). Praktijkonderzoek moet: • • • • • •
navolgbare en controleerbare beschrijvingen van praktijkontwikkeling opleveren. onderzoek en verandering combineren en zo gelijktijdig bijdragen aan kennisontwikkeling, professionele ontwikkeling en praktijkontwikkeling. aandacht besteden aan de wenselijkheid van veranderingen, c.q. de ethische, politieke, en maatschappelijke dimensie van onderwijs en onderzoek; verbanden leggen met kennis van anderen (academische kennis, kennis van onderzoek door anderen); moet degenen die deel uitmaken van de te veranderen situatie op een of andere manier laten participeren in het onderzoek; dit is niet alleen een methodologische, maar ook een ethische eis. resultaten publiek maken, zodat deze kritisch besproken kunnen worden met ‘het forum van collega’s’ en andere betrokkenen; dit kan worden gezien als een aanvulling op het triangulatieprincipe.
Literatuur Anderson, G.L. & Herr, K. (1999). The New Paradigm wars: Is there Room for Rigorous Practitioner Knowledge in Schools and Universities? Educational Researcher, 28 (5), 12-21. Biesta, G. (2007). Why ‘What works’ won’t work: Evidence-based practice and the democratic deficit in educational research. Educational Theory, 57(1),1-22. Hesse-Biber, S. Nagy & Leavy, P. (2006). The practice of Qualitative research. Thousand Oaks, London & New Delhi: Sage. Kvale, S. (1996). Interviews: An introduction to qualitative research interviewing. Thousand Oaks, CA: Sage. Lunenberg, M., Ponte, P., & Van de Ven, P.H. (2006). Waarom zouden docenten en opleiders geen onderzoek mogen doen? Velon Tijdschrift voor lerarenopleiders, 27 (2), 4-12. Moss, P.M., Phillips, D.C., Ericson, D., Floden, R.E., Lather, P.A. & Schneider, B.L. (2009). Learning from our differences: a dialogue across perspectives on quality in educational research. Educational Researcher, 38(7), 501-517. Oost, H. & Markenhof, A. (2005). Een onderzoek voorbereiden. Baarn: HB Uitgevers. Ponte, P. (2002). Onderwijs van eigen makelij. Actieonderzoek in scholen en opleidingen. Baarn: Nelissen Ponte, P. (2011, in voorbereiding). Actie (en) onderzoek van eigen makelij. Den Haag: Boom Academics Ponte, P. (2009). Gedrag en onderzoek in de educatieve praxis: plaatsbepaling. Oratie. Utrecht:Hogeschool Utrecht.(beschikbaar via www.lectoraatgedrag.hu.nl) Ponte, P. (2010a). Action research as a tool for teacher’s professional development. In Baker, E., McGaw, B. & Peterson, P. (Eds.) International encyclopedia of education (3rd ed). Oxford: Elsevier. Ponte, P. (2010b). Met karikaturen zijn geen werelden te winnen. Tijdschrift voor Orthopedagogiek, 49(2010), p. 269-276 Van der Donk, C. & Van Lanen, B. (2009). Praktijkonderzoek in de school. Bussum: Coutinho.
Van de Ven, P.H., Martens, J. & Imants, J. (2005). Praktijkgericht onderzoek bij de ontwikkeling van actief en zelfstandig leren binnen het schoolvak Nederlands. Pedagogische Studiën 82 (4), p. 293-309. Verschuren, (2009). Praktijkgericht onderzoek. Ontwerp van organisatie- en beleidsonderzoek. Den Haag: Boom Academic.
