Teachers Academy
Evidence based verbeteren van het onderwijs
Evidence based verbeteren van het onderwijs
Inhoudsopgave
4 De harde werkelijkheid van evidence based werken Voorwoord
8 Leiden leesstrategieën voor zwakke lezers tot beter begrijpend lezen? John van der Kant
18 Heeft peertutoring effect op toetsresultaten in het hoger onderwijs? Een experiment Annemarie Bergsma 24 Het effect van een teamtraining pedagogisch klassenmanagement op ongewenst gedrag van studenten in het middelbaar beroepsonderwijs Marleen Bovee 40 Inrichten van een evidence-based praktijkopleiding voor de opleiding tot verpleegkundig specialist Een keuze maken voor bewezen effectieve toetsmethoden, praktijkopleiders trainen en studenten ondersteunen in leervaardigheden Lia van Straalen 56 Ondersteuning van reflectie in Hoger Beroepsonderwijs Rapportage van een onderzoek naar de effectiviteit van schriftelijke reflectie Welmoed Steenstra 69 Notities 72 Contact
3
Inhoudsopgave
De harde werkelijkheid van evidence based werken
In zijn boek ‘De eeuw van de familie Platter’ uit 1996 beschrijft de Franse historicus Emmanuel le Roy Ladurie hoe in 1552 de dan zestienjarige Felix Platter van Bazel naar Montpellier reist om daar aan de universiteit geneeskunde te gaan studeren. De universiteit van Montpellier gold in die tijd als één van de bekendste in Europa. Na een reis van bijna drie weken komt Platter in de Zuid-Franse universiteitsstad aan. Felix Platter was in Montpellier niet de enige buitenlandse student, aldus Le Roy Ladurie: “Het studentenmilieu is tamelijk kosmopolitisch te noemen. Vanaf het allereerste begin tot aan het einde van de zestiende eeuw, kwamen er op ruim drieëndertighonderd inschrijvingen zeshonderdtweeënnegentig van studenten uit het buitenland. (…) Over het algemeen waren de bisdommen die toentertijd het best vertegenwoordigd waren aan de faculteit van geneeskunde in Montpellier die van Bazel, Konstanz, Geneve, Utrecht, Luik en Doornik, plus vijf Spaanse bisdommen” (p. 242-243). Wat opvalt aan het verhaal over Felix Platter is dat de studentenmobiliteit in de zestiende eeuw groot was - misschien wel relatief groter dan tegenwoordig - ondanks dat de verbindingen een stuk minder en de reisafstanden een stuk langer waren. Voor geen enkele universiteit ter wereld hoeft men tegenwoordig nog drie weken te reizen. Hoewel hierbij natuurlijk wel moet worden bedacht dat een universitaire opleiding in de 16e eeuw voor veel minder mensen was weggelegd dan tegenwoordig. Intellectuele vorming werd in de 16e eeuw serieus genomen. Daarvoor was men bereid grote opofferingen te brengen en verre afstanden te overbruggen. Hoewel de reisafstanden korter zijn, moeten veel deelnemers aan de Master Evidence Based Innovation in Teaching (Mebit) ook een flinke afstand afleggen om maandelijks in Maastricht het contactonderwijs te kunnen volgen. De Mebit opleiding trekt deelnemers uit het hele land. Sinds enige tijd wordt daarom de opleiding op twee locaties aangeboden. Naast de groep docenten uit het voortgezet onderwijs die de opleiding in Maastricht volgen, is in september 2012 een groep hbo-docenten op locatie aan de Universiteit van Amsterdam aan de Mebit opleiding begonnen. Een tweede parallel met het verhaal van Felix Platter is dat ook de Mebit deelnemers worden gemotiveerd door de behoefte naar (verdere) academische vorming. Dit vergt inspanning en opofferingen. Het resultaat hiervan ligt nu voor u: de tweede bundel in de reeks Academische Meesterwerken. Net als de eerste bundel bevat ook deze een reeks van verslagen van evaluaties van concrete innovaties in de onderwijspraktijk.
Voorwoord 4
5
Inhoudsopgave
De toename van het aantal Mebit deelnemers is een indicatie van groeiende belangstelling voor evidence based werken in het onderwijs. Dit is verheugend. Met de verspreiding van evidence based werken loopt de onderwijspraktijk duidelijk voor op het onderwijsbeleid. Hoewel in het beleid vaak wel lippendienst wordt bewezen aan evidence based werken, blijkt de praktijk vaak weerbarstiger. Politiek en beleid laten wetenschappelijk bewijs nog te vaak links liggen. Een goed voorbeeld hiervan zijn de pleidooien voor de vorming van brede scholen in het basis- en voortgezet onderwijs. Veel politieke partijen omarmen de gedachte van brede scholen. Brede scholen bieden niet alleen onderwijs, maar ook naschoolse opvang, sport, cultuur, jeugdzorg en maatschappelijk werk. Deze voorzieningen zijn in de school ondergebracht. Scholen omvormen tot brede scholen kost geld. Of hiermee het onderwijs wordt verbeterd is twijfelachtig. Er is geen enkel bewijs dat brede scholen leerprestaties verbeteren. Het enige beschikbare onderzoek naar de effecten van brede scholen, concludeert dat brede scholen in het vmbo niet tot minder voortijdig schooluitval leidt (Heers et. al. 2012).
TIER is ontwikkeld, zijn van een groot aantal onderwijsinterventies korte samenvattingen gemaakt over de beschikbare wetenschappelijke evidentie. Wij hopen dat de onderzoeksverslagen in deze tweede bundel Academische Meesterwerken nog meer docenten - en ook politici en beleidsmakers - zullen inspireren tot evidence based werken.
Maastricht, oktober 2012 Wim Groot en Henriëtte Maassen van den Brink Hoogleraren Evidence Based Education en Wetenschappelijk-directeuren TIER en Teachers Academy, Universiteit Maastricht
Ook van andere onder politici en beleidsmakers populaire maatregelen - zoals het invoeren van zomerscholen - is bekend dat deze weinig opleveren (Meyer et. al. 2012). Wetenschappelijk onderzoek is heel duidelijk over wat wel werkt in het onderwijs. Goed onderwijs wordt bepaald door de kwaliteit van de instructie en de kwaliteit van het commentaar dat leerlingen krijgen op hun werk (feedback). Goed onderwijs begint en eindigt met leraren die goed les geven. Waarom richten partijen zich op plannen die niet werken en hebben ze zo weinig aandacht voor wat wel werkt in het onderwijs? Grootse plannen als het invoeren van brede scholen en zomerscholen maken misschien meer indruk, dan aandacht voor de kwaliteit van lesgeven. Het gevolg is wel dat veel geld wordt uitgetrokken voor interventies die weinig opleveren. Ondanks dat alle politieke partijen het onderwijs een warm hart toedragen, schiet het onderwijs met dergelijk beleid niet veel op. De Mebit opleiding wil een bijdrage leveren aan de verdere verbetering van het onderwijs door te investeren in de kwaliteit van docenten. Docenten die de weg weten te vinden in de wetenschappelijke literatuur en de kennis en vaardigheden hebben om zelfstandig wetenschappelijk onderzoek te doen, zijn beter in staat om kritisch te reflecteren op hun eigen professionele handelen en hun professionele handelen te baseren op de best beschikbare wetenschappelijke kennis over wat werkt en wat niet. Sinds enige tijd kunnen docenten - maar ook beleidsmakers en andere belangstellenden - hiervoor ook terecht op de website www.bestevidence.nl. Op deze website die door
6
7
Inhoudsopgave
Leiden leesstrategieën voor zwakke lezers tot beter begrijpend lezen?
Samenvatting Goed kunnen begrijpend lezen is in deze informatiemaatschappij van cruciaal belang. Onderliggende vaardigheden als technisch lezen, woordenschat en taalvaardigheid, kennis van de wereld en leesstrategieën hangen nauw met elkaar samen. Zwakke lezers ontbreekt het veelal aan strategisch kunnen lezen. Een groot deel van de leerlingen in het vmbo scharen we onder de noemer ‘zwakke lezer’. Aan de hand van een quasi-experimenteel design is op Pleincollege Nuenen, een school voor alle leerwegen van het vmbo, onderzocht of een interventie van strategieonderwijs effect heeft op de leerresultaten van leerlingen in het tweede leerjaar. Op basis van post- en retentietests wordt zichtbaar dat strategieonderwijs loont.
Kern Wat moet leerlingen en studenten kennen en kunnen in het Nederlandse onderwijs? Buiten de eindexamens is tot midden jaren 2000 nergens goed en officieel vastgelegd wat we van leerlingen en studenten mogen verwachten als het gaat om fundamentele vaardigheden als taal en rekenen. Voor het bewerkstelligen van transparante, doorlopende leerlijnen zijn referentieniveaus opgesteld. Deze geven het minimale niveau aan dat bij de overgang van primair naar voortgezet, en van voortgezet naar beroeps- of wetenschappelijk onderwijs vereist is. De Expertgroep Doorlopende Leerlijnen Taal en Rekenen - ook bekend als de commissie Meijerink - heeft vier referentieniveaus concreet omschreven en gedetailleerd uitgewerkt. Sinds 2010 zijn de referentieniveaus van kracht en vanaf schooljaar 2013-2014 maken leerlingen in het voortgezet onderwijs verplicht taal- en rekentoetsen. Leerlingen in het vmbo moeten niveau 2F behalen. Dat niveau is op te vatten als ‘een algemeen maatschappelijk niveau dat voor Nederlanders van belang is’. Vooruitlopend op de verplichte afname van taal- en rekentoetsen heeft Pleincollege Nuenen bij leerlingen toetsen afgenomen naar analogie van de referentieniveaus. Bij de taaltoets gaan leerlingen massaal onderuit op het domein leesvaardigheid (begrijpend lezen). Analyse van proefwerken en examens van Nederlands van de afgelopen vijf schooljaren laat eenzelfde beeld zien. Om het niveau van begrijpend lezen te verbeteren zijn de onderliggende vaardigheden kritisch tegen het licht gehouden.
John van der Kant 8
9
Inhoudsopgave
Begrijpend lezen leunt op vier pijlers: technisch lezen, woordenschat en taalvaardigheid, kennis van de wereld en leesstrategieën. Bij technisch lezen zijn fonetisch en fonemisch bewustzijn belangrijk. De lezer moet letters als zodanig herkennen en kunnen verklanken tot woorden, zinnen, passages en uiteindelijk tot een hele tekst. Woordenschat en taalvaardigheid zijn niet los van elkaar te zien. Bij woordenschat gaat het om het kennen van woorden, en met taalvaardigheid kan de lezer die woorden verbuigen, vervoegen, samenstellen, associëren of herleiden. Hoe groter de woordenschat, des te groter de taalvaardigheid - omgekeerd geldt hetzelfde. Kennis van de wereld doet de lezer vooral op in buitenschoolse settings: bij sociale activiteiten, met vrienden, familie of kennissen. Leesstrategieën stellen de lezer in staat zijn leesdoel te behalen. Het primaire doel is om te komen tot begrip. De lezer kan de tekst op waarde schatten, er vragen over beantwoorden en als de tekst daarom vraagt: handelingen verrichten. We onderscheiden twee typen lezers: de sterke en zwakke lezer. De sterke lezer is een vlotte lezer met een grote woordenschat en taalvaardigheid. De sterke lezer beschikt tevens over fundamentele kennis van de wereld en koppelt deze aan nieuwe kennis in leesteksten. Bovendien beschikt hij over een repertoire van uiteenlopende leesstrategieën waaruit hij flexibel weet te putten. De zwakke lezer daarentegen kenmerkt zich door minder vlot te kunnen lezen. Daarnaast is er vaak sprake van een geringere woordenschat en taalvaardigheid, en een beperkte kennis van de wereld. Bij een groot deel van de zwakke lezers ontbreekt het volledig aan strategisch kunnen lezen. In veel gevallen heeft de zwakke lezer een lage self-efficacy (het geloof in eigen kunnen) en is weinig gemotiveerd om fictionele of zakelijke teksten te lezen. Het gevolg daarvan is dat de zwakke lezer vaak ook aanzienlijk minder vaak leest. Een deel van de zwakke lezers is het ‘slachtoffer’ van ondermaatse instructie in leesvaardigheid waar een of meerdere onderliggende vaardigheden structureel onderbelicht zijn.
Op welke wijze moet strategieonderwijs vorm krijgen voor de grootste effecten? De literatuur laat zien dat modeling, reciprocal teaching met ruimte voor peer-discussie en werkbladen sterk bijdragen aan het verbeteren van begrijpend lezen en zijn om die reden structureel in de lessen geïntegreerd. Leerlingen van vergelijkbare klassen in het tweede leerjaar van Pleincollege Nuenen zijn verdeeld over een experimentele en een controlegroep. Deze laatste groep heeft les genoten op de traditionele wijze, terwijl de experimentele groep instructie in zes leesstrategieën heeft gekregen. Op basis van de resultaten op een gestandaardiseerde pretest wordt zichtbaar dat de resultaten tussen experimentele en controlegroep niet significant van elkaar verschillen: we kunnen het toeval bij het tot stand komen van (minimale) verschillen niet uitsluiten. Direct na de interventie is een vergelijkbare gestandaardiseerde posttest afgenomen, waaruit blijkt dat beide groepen beter hebben gepresteerd. Echter, in hoeverre is er een significante verbetering opgetreden? In de experimentele groep is de verbetering van het resultaat significant. In de controlegroep is er een ogenschijnlijke verbetering opgetreden. Na statistische analyse blijkt deze verbetering echter niet significant. Ten opzichte van elkaar scoort de experimentele groep tevens significant beter dan de controlegroep. tabel 1 Beschrijvende statistieken van de resultaten op de pre- en posttest Experimentele groep n=50
Controlegroep n=39
Gem
SD
SE
Gem
SD
SE
6.18
0.73
0.10
5.99
0.62
0.12
Posttest
6.42**
0.69
0.10
6.09
0.75
0.10
Verschilscore
0.24
Pretest
0.10
** Eenzijdig significant 5%
In deze studie ligt de focus op strategieonderwijs: het bewerkstelligen van een transfer van leesstrategieën die leerlingen volledig zelfstandig kunnen inzetten bij het behalen van hun leesdoel. Met behulp van de literatuur zijn zes leesstrategieën als effectief gemarkeerd: • activeren van voorkennis • doen van voorspellingen • zelf monitoren van het leesproces • gebruik maken van de context • samenvatten • controle van de tekst achteraf 10
Punt van discussie is de duur van de interventie: zes weken is immers relatief kort voor het bewerkstelligen van een ‘waar’ effect. Er kunnen, met andere woorden, impulseffecten zijn opgetreden. Om na te gaan wat de effecten van een verlengd programma zijn, is de experimentele groep gesplitst: een deel van de experimentele groep heeft een follow-up van nogmaals zes weken van het leesprogramma ontvangen, terwijl het andere deel les op de traditionele wijze heeft genoten. De oorspronkelijke controlegroep is intact gebleven. Na retentietests blijkt dat het effect nog altijd zichtbaar is bij de experimentele groep die de follow-up heeft genoten. Opmerkelijk is dat het effect bij de experimentele groep die geen follow-up heeft genoten compleet verdwenen is.
11
Inhoudsopgave
De controlegroep scoort in lijn met eerdere resultaten. De retentietest geeft aanwijzingen voor het structureel integreren van strategieonderwijs in het curriculum. Daarbij is het goed om stil te staan bij het ontwikkelingsperspectief van de lezer. Bij het ouder worden van leerlingen leggen we ze complexere teksten voor. Deze vragen om andere en mogelijk beter aansluitende leesstrategieën.
Referenties • Alexander, P. (2005). “The Path to Competence: A Lifespan Developmental Perspective on Reading.” Journal of Literacy Research 37(1): 413-436. • Alvermann, D. (2002). “Effective Literacy Instruction for Adolescents.” Journal of Literacy Research 34(2): 189-208. • Anderson, R., P. Wilson et al. (1988). “Growth in reading and how children spend their time outside school.” Reading Research Quarterly 23(1): 285-303. • Bakker, M. en J. Oosterman (2009). Taal en rekenen op grens van po-vo en vo-vervolgonderwijs. Amersfoort, CPS. • Berkeley S., M. Mastropieri et al. (2011). “Reading Comprehension Strategy Instruction and Attribution Retraining for Secondary Students With Learning and Other Mild Disabilities.” Journal of Learning Disabilities 44(1): 18-32. • Bimmel, P. and E. v. Schooten (2004). “The Relationshop between Strategic Reading Activities and Reading Comprehension.” Educational Studies in Language and Literature 4: 85-102. • Boulware-Gooden, R., S. Carreker et al. (2007). “”Instruction of Metacognitive Strategies Enhances Reading Comprehension and Vocabulary Achievement of Third-Grade Students.” The Reading Teacher 61(1): 70-77. • Broek, P. v. d. (2009). Cognitieve en neurologische processen tijdens begrijpend lezen: Fundamenteel onderzoek en onderwijskundige toepassing. Pedagogische Wetenschappen. Leiden, Universiteit Leiden: 16. • Brown, R. en M. Pressley (1995). A Quasi-Experimental Validation of Transactional Strategies Instruction with Previously Low-Achieving Second-Grade Readers. Maryland, National Reading Research Center: 33. • Chambers Cantrell, S., J. Almasi et al. (2010). “The Impact of a Strategy-Based Intervention on the Comprehension and Strategy Use of Struggling Adolescent Readers.” Journal of Educational Psychology 102(2): 257-280. • Cordón, L. en J. Day (1996). “Strategy Use on Standardized Reading Comprehension Tests.” Journal of Educational Psychology 88(2): 288-295. • Cromley, J. en R. Azevedo (2011). “Measuring Strategy Use in Context with Multiple-Choice Items.” Metacognition And learning 6(2): 155-177. • Dorn, L. en C. Soffos (2005). Teaching for Deep Comprehension. Portland, Stenhouse Publishers. • Field, A. (2009). Discovering Statistics Using SPSS. Londen, SAGE Publications Ltd. • Fink, A. (2008). Practising Research. Discovering Evidence That Matters. Londen, SAGE Publications Ltd. • Gelderblom, G. en J. Oosterman (2008). Taal en rekenen op de grens van primair en voortgezet onderwijs. Amersfoort, CPS. • Guthrie, J., A. Hoa et al. (2007). “Reading motivation and reading comprehension growth in the later elementary years.” Contemporary Educational Psychology 32(3): 282-313. • Guthrie, J., A. McRae et al. (2009). “Impacts of Comprehensive Reading Instruction on Diverse Outcomes of Low- and High-Achieving Readers.” Journal of Reading Disabilities 42(3): 195-214.
12
13
Inhoudsopgave
• Guthrie, J. en A. Wigfield (2000). “Effects of Integrated Instruction on Motivation and Strategy Use in Reading.” Journal of Educational Psychology 92(2): 331-341. • Guthrie, J., A. Wigfield et al. (2004). “Increasing Reading Comprehension and Engagement Through Concept-Oriented Reading Instruction.” Journal of Educational Psychology 96(3): 403-423. • Hattie, J. (2009). Visible learning. A synthesis of over 800 meta-analyses relating to achievement. New York, Routledge. • Hock, M. en D. Mellard (2005). “Reading Comprehension Strategies for Adult Literacy Outcomes.” Journal Of Adolescent & Adult Literacy 49(3): 192-200. • Hock, M. en D. Mellard (2011). “Efficacy of Learning Strategies Instruction in Adult Education.” Journal of Research on Educational Effectiveness 4(2): 134-153. • Izawa, M., M. French et al. (2011). “Shining New Light on the Hawthorne Illumination Experiments.” The Journal of the Human Factors and Ergonomics Society 53(1): 528-547. • Katims, D. en J. Harmon (2000). “Strategic Instruction in Middle School Social Studies: Enhancing Academic and Literacy Outcomes for At-Risk Students.” Intervention in School and Clinic 35(5): 280-289. • Kelley, M. en J. Clausen-Grace (2010). “Guiding Students through Expository Text with Text Feature Walks.” Reading Teacher 64(3): 191-195. • Kim, J. (2006). “Effects of a Voluntary Summer Reading Intervention on Reading Achievement: Results From a Randomized Field Trial “ Educational Evaluation and Policy Analysis 28(4): 335-355. • Land, J. (2009). Zwakke lezers, sterke teksten. Effecten van tekst- en lezerskenmerken op het tekstbegrip en de tekstwaardering van vmbo-leerlingen,. Amsterdam, Stichting Lezen. • Logan, S., E. Medford et al. (2011). “The importance of intrinsic motivation for high and low ability readers’ reading comprehension performance.” Learning and Individual Differences 21(1): 124-128. • Meestringa T., C. Ravesloot et al. (2010). Concretisering referentieniveaus schrijven en lezen in het voortgezet onderwijs. Enschede, SLO. • Meijerink, H., J. Letschert et al. (2009). Doorlopende leerlijnen taal en rekenen. Een nadere beschouwing. Enschede, Ministerie van Onderwijs, Cultuur en Wetenschap.
• Palincsar, A., A. Brown et al. (1987). “Peer Interaction in Reading Comprehension Instruction.” Educational Psychologist 22((3&4)): 231-253. • Pressley, M. (2006). Reading Instruction That Works. New York, The Guilford Press. • Pressley, M., P. El-Dinary et al. (1992). “Beyond Direct Explanation: Transactional Instruction of Reading Comprehension Strategies.” The Elementary School Journal 92(5): 513-555. • Roberts, G., J. Torgesen et al. (2008). “Evidence-Based Strategies for Reading Instruction of Older Students with Learning Disabilities.” Learning Disabilities Research & Practice 23(2): 63-69. • Rupley, W., T. Blair et al. (2009). “Effective Reading Instruction for Struggling Readers: The Role of Direct/ Explicit Teaching.” Reading & Writing Quarterly 25((2-3)). • Salkind, N. (2008). Statistics for people who (think) they hate statistics. California, SAGE Publications Ltd. • Schunk, D. en B. Zimmerman (2007). “Influencing Children’s Self-Efficacy and Self-Regulation of Reading and Writing through Modeling.” Reading & Writing Quarterly 23(1): 7-25. • Slavin, E., C. Lake et al. (2011). “Effective programs for struggling readers: A best-evidence synthesis.” Educational Research Review 6(1): 1-26. • Speece, D., K. Ritchey et al. (2010). “Identifying Children in Middle Childhood Who Are at Risk for Reading Problems.” School Psychology Review 39(2): 258-276. • Spörer, N., J. Brunstein et al. (2009). “Improving students’ reading comprehension skills: Effects of strategy instruction and reciprocal teaching.” Learning and Instruction 19(3): 272-286. • Takala, M. (2006). “The Effects of Reciprocal Teaching on Reading Comprehension in Mainstream and Special (SLI) Education.” Scandinavian Journal of Educational Research 50(5): 559-576. • Van Keer, H. en J. Verhaeghe (2005). “Effects of Explicit Reading Strategies Instruction and Peer Tutoring on Second and Fifth Graders’ Reading Comprehension and Self-Efficacy Perceptions.” The Journal of Experimental Education 73(4): 291-329. • Vernooy, K. (2007). Effectief Leesonderwijs Nader Bekeken. Utrecht, Projectbureau Kwaliteit. • Walraven, M. (1995). Instructie in leesstrategieën: problemen met begrijpend lezen en het effect van instructie aan zwakke lezers. Academisch proefschrift. Paedologisch Instituut. Amsterdam/Duivendrecht.
• Moelands, F., I. Jongen et al. (2007). Balans over leesstrategieën in het primair onderwijs. Arnhem, Cito. 35.
• Watson, S., R. Gable et al. (2012). “Evidence-Based Strategies for Improving the Reading Comprehension of
• Moore, D., W. Bean et al. (1999). “Adolescent Literacy: A Positive Statement.” Journal Of Adolescent & Adult
Secondary Students: Implications for Students with Learning Disabilities.” Learning Disabilities Research &
Literacy 43(1): 97-112. • Morgan, P. en D. Fuchs (2007). “Is there a bidirectional relationship between children’s reading skills and reading motivation?” Exceptional Children 73(1): 165-183.
Practice 27(2): 79-89. • Willis, J. (2009). “What Brain Research Suggests for Teaching Reading Strategies.” Educational Forum 73(4): 333-346.
• National Reading Panel (2000). Teaching children to read: An evidence-based assessment of the scientific research literature on reading and its implication for reading instruction: Reports of the subgroups. Washington, DC, National Institute of Child Health and Development. • Ness, M. (2011). “Explicit Reading Comprehension Instruction in Elementary Classrooms: Teacher Use of Reading Comprehension Strategies.” Journal Of Research In Childhood Education 25(1): 98-117. • Inspectie van het Onderwijs (2006-2007). Onderwijsverslag. Utrecht. • Oosterman, J., C. Ballering et al. (2009). Taal en rekenen op de grens van voortgezet onderwijs en mbo, hbo en wo. Amersfoort, CPS.
14
15
Biografie
Inhoudsopgave
John van der Kant John van der Kant (1980) studeerde Communicatie (2003) en werkte als copywriter bij een communicatiebureau. In 2005 maakte hij als zij-instromer de overstap naar het voortgezet onderwijs op Pleincollege Nuenen en behaalde zijn bevoegdheid als docent Nederlands een jaar later. Op dit moment combineert hij het docentschap met een taak als coördinator van de mavo-afdeling. Zijn interesses gaan uit naar PR, ICT, activerende didactiek, doorlopende leerlijnen en onderzoek ter versterking van het onderwijs.
16
17
Inhoudsopgave
Heeft peertutoring effect op toetsresultaten in het hoger onderwijs? Een experiment
Samenvatting Het behalen van slechte studieresultaten is een belangrijke reden voor eerstejaars studenten in het hoger onderwijs (HO) om vroegtijdig met de studie te stoppen. Dit experiment onderzoekt de vraag of begeleiding van eerstejaars studenten door ouderejaars studenten (‘tutoring’) een positief effect kan hebben op toetsresultaten. Tutoring werd aangeboden, waarna 22 studenten zich vrijwillig aanmeldden. De helft van hen werd - gebalanceerd op een pre-test - willekeurig geselecteerd om daadwerkelijk tutoring te ontvangen. Zij ontvingen drie keer tutoring van een ouderejaars student (‘tutor’). Aan het einde van deze interventie werd een herkansingstoets afgenomen. Uit de resultaten blijkt dat, wanneer wordt gecontroleerd voor bepaalde studentkenmerken, tutoring een significant en substantieel (65% van een standaard deviatie) effect heeft op toetscijfers. Beperkingen en implicaties van deze studie worden bediscussieerd.
Kern Aanleiding Goede studieresultaten zijn van belang voor studiesucces en essentieel voor zowel school als student. Door hogere eisen van de overheid en het stijgend aantal studenten in het HO, bereikt de hulp van docenten aan slecht presterende studenten zijn grenzen. Toch wil het HO deze studenten ondersteunen. Volgens literatuuronderzoek wordt tutoring gebruikt voor het verhogen van zelfverantwoording en zelfregie, motivatie, leervaardigheid en academische resultaten. Daarnaast verbetert het studieresultaten, studievaardigheden, betrokkenheid, tevredenheid en affectieve binding, voorkomt het uitval, behalen tuttees minder onvoldoendes bij herkansingen en blijkt het kosteneffectief. De literatuur betreft voornamelijk internationaal onderzoek bij het basis en voortgezet onderwijs. In dit onderzoek staat de vraag centraal of vrijwillige één-op-één tutoring door ouderejaars studenten effect heeft op toetsresultaten bij eerstejaars studenten in het HO in Nederland.
Annemarie Bergsma 18
Opzet onderzoek Dit experiment vond plaats bij een opleiding verpleegkunde in het HO. Veel eerstejaars studenten zakken voor de verplichte toets biologie, waardoor zij mogelijk dienen te stoppen met hun studie. Alle studenten die een onvoldoende voor de eerste toets hebben behaald (n=53), konden zich vrijwillig inschrijven voor tutoring. Van de ingeschreven studenten (n=22) werd de helft willekeurig toegewezen aan de interventie(‘tuttee’, n=11) of de controlegroep (n=11), waarbij is gebalanceerd op het eerst behaalde cijfer.
19
Inhoudsopgave
Tussen beide groepen werden geen significante verschillen in persoonskenmerken geobserveerd. Tuttees werden willekeurig door de onderzoeker aan een ouderejaars tutor toegewezen, waarbij geen enkele tutor meer dan 1 tuttee kreeg.
Referenties
Interventie In vier weken tijd ontvingen de tuttees drie keer een wekelijkse tutorsessie met ongeveer 10 dagen ertussen. Tutorsessies van 60 tot 90 minuten organiseerden de tuttees en tutoren zelf en stonden niet ingeroosterd. Door middel van een vaste didactiek en gespreksformat werden tutorsessies zo veel mogelijk hetzelfde gehouden. Tutoren werden geselecteerd op eerder behaalde resultaten voor biologie en op motivatie door middel van een motivatiegesprek. Zij namen deel aan een verplichte tutortraining, kregen een gelijk aantal studiepunten voor deelname en ontvingen vakmateriaal. Per tutorsessie is in een logboek door de tutoren bijgehouden of de tuttee aanwezig is, hoe lang sessies duren en wat behandeld is.
• Chavis, D. M.; Pretty, G. M. H. (1999). Journal of Community Psychology, Vol 27(6), Nov, 1999. Special issue:
• Bowles, T. J., McCoy, A. C. & Bates, S. (2008). The effect of supplemental instruction on timely graduation. College Student Journal, 42(3), 853-859.
Sense of community II. pp. 635-642. • Chi, M. H., Siler, S. A., Jeong, H., Yamauchi, T. & Hausmann, R. G. (2001). Learning from human tutoring. Cognitive Science, 25(4), 471. • Hoi Kwan, N. & Downing, K. (2010). The impact of supplemental instruction on learning competence and academic performance. Studies in Higher Education, 35(8), 921-939. • Munley, V.G., Garvey, E. & McConnell, M.J. (2010). The effectiveness of peer tutoring on student achievement at the university level. American Economic Review: papers & proceedings 100: 277-282. • Parkinson, M. (2009). The Effect of Peer Assisted Learning Support (PALS) on Performance in Mathematics and Chemistry. Innovations in Education and Teaching International, 46(4), 381-392. • Salinitri, G. (2005). The Effects of Formal Mentoring on the Retention Rates for First-Year, Low Achieving
Na de interventie maakten de studenten een herkansingstoets. Geen van de eerstejaars viel tijdens het experiment af; iedereen heeft de herkansing gemaakt en niemand heeft zich voor de studie uitgeschreven.
Students. Canadian Journal of Education, 28(4), 853-873. • Sanchez, R. J., Bauer, T. N. & Paronto, M. E. (2006). Peer-Mentoring Freshmen: Implications for Satisfaction, Commitment, and Retention to Graduation. Academy of Management Learning & Education, 5(1), 25-37. • Topping, K. J., Miller, D. D., Murray, P. P., Henderson, S. S., Fortuna, C. C. & Conlin, N. N. (2011). Outcomes in a
Uit literatuur blijkt dat gemeenschapszin (‘een gevoel van thuisvoelen’) een mechanisme is waardoor toetsscores beïnvloed zouden kunnen worden. Gemeenschapszin is een aantal weken na de interventie gemeten door middel van een gevalideerde vragenlijst. Hierin worden vier factoren van gemeenschapszin belicht: lidmaatschap, invloed, ontmoetingsbehoeften en emotionele verbinding. Toetsscores van interventie- en controlegroep werden vergeleken. Daarnaast werden de scores van de gemeenschapszinvragenlijst vergeleken.
randomised controlled trial of mathematics tutoring. Educational Research, 53(1), 51-63.
Resultaten Naast normaliteitstoets, robuustheidstoets en t-toetsen is een regressieanalyse uitgevoerd op herkansingscijfer, met daarin de covariabelen leeftijd, geslacht, toetsinzage vooraf, culturele achtergrond, voorkennis van biologie en eerder bindend negatief studieadvies. Bewijs is gevonden voor een significant positief effect van tutoring op toetsresultaten in deze context en opzet, wanneer rekening wordt gehouden met achtergrondkenmerken van de studenten. In dit onderzoek is een middelgroot effect gevonden van ongeveer 0.65 standaard deviatie toename in toetsscores, wat significant is (in een eenzijdige toets). De interventiegroep behaalde op de totale gemeenschapszinscore en alle vier factoren van gemeenschapszin een (niet significant) hogere score dan de controlegroep.
20
21
Biografie
Inhoudsopgave
Annemarie Bergsma Annemarie Bergsma (1978) studeerde Tropische Landbouw (2002) in Deventer en verpleegkunde (2004) in haar geboortestad Enschede. Hierna verhuisde zij naar de randstad om in het Erasmus MC te werken als verpleegkundige. Daarna werkte ze als verpleegkundige op een verpleegafdeling van het Leger des Heils in Rotterdam. In 2007 rondde ze de post-HBO opleiding Community Health (Leiden) af. Sinds januari 2009 werkt zij fulltime als docent verpleegkunde op de Haagse Hogeschool. Naast het begeleiden van studenten, hebben interventies met bijbehorend onderzoek op het gebied van studievoortgang en binding, PR, excellentie en ICT in het onderwijs haar interesse.
22
23
Inhoudsopgave
Het effect van een teamtraining pedagogisch klassenmanagement op ongewenst gedrag van studenten in het middelbaar beroepsonderwijs
Samenvatting Ongewenst gedrag van leerlingen, zoals spijbelen, geen schoolwerk maken, pesten en introvert gedrag is een belangrijke indicator voor vroegtijdig de school verlaten. Docenten die de hele dag deze jongeren met ongewenst gedrag in huis hebben en de eerste verdedigingslinie zijn, voelen zich handelingsverlegen. Een effectieve interventie om ongewenst gedrag te voorkomen is het verbeteren van het klassenmanagement waarbij een goede docent-student verhouding het fundament is. Een goede inter-persoonlijke relatie zorgt tevens voor een aangenaam klassenklimaat en leersucces. Interventies die zich richten op het verbeteren van het klassenklimaat en de docent-student verhouding in relatie tot ongewenst gedrag zijn schaars. Deze quasi-experimentele studie op het ROC Midden Nederland doet een poging deze leemte op te vullen en onderzoekt of een teamtraining in pedagogisch klassenmanagement effectief bijdraagt aan het verminderen van ongewenst gedrag in het middelbaar beroepsonderwijs.
De strijd tegen voortijdig schooluitval is nog niet gestreden! Vanuit het onderwijs, de maatschappij en de regering is er een gevoel van noodzaak om duurzaam te investeren in jongeren die voortijdig uitvallen, zodat ze minimaal een startkwalificatie1 behalen en daarmee de kans om succesvol te participeren in de maatschappij aanzienlijk vergroten. Consequenties van voortijdig de school verlaten (VSV) zijn onder andere minder kans op een baan, slechter betaalde banen (ROA, 2012; van der Steeg & Webbink, 2006), een grotere kans om met justitie in aanraking te komen (Traag, Lubbers & Velden, 2012) en een lagere gezondheidsstatus (Groot & Maassen van den Brink, 20072). Het besluit van het kabinet om in 2016 het aantal nieuwe voortijdig schoolverlaters terug te brengen naar maximaal 25.000 per jaar doet een extra beroep op docenten en schoolleiding. De Europese VSV-doelstellingen en de Nederlandse/ ROCMN bewerking hiervan hebben sindsdien voor een vermindering van uitval gezorgd, maar zijn nauwelijks vertaald naar het niveau van de docent, terwijl docenten de meeste contactmomenten met de studenten hebben en zien als het niet goed gaat.
Een startkwalificatie is een diploma op ten minste middelbaar beroepsonderwijs (mbo) niveau 2, een havo of vwodiploma (www.rijksoverheid.nl). Een VSV‘er is een jongere tussen de 12 en 23 jaar die zonder startkwalificatie de school verlaat of langer dan 1 maand aaneengesloten verzuimt. Een startkwalificatie is een diploma op ten minste middelbaar beroepsonderwijs (mbo) niveau 2, een havo of vwo-diploma (www.rijksoverheid.nl).
1
2
Marleen Bovee 24
25
Inhoudsopgave
Uit onderzoek blijkt dat een hoge mate van ongewenst gedrag van studenten een belangrijke indicatie is voor schooluitval (Archambault, Janosz, Morizot & Pagani, 2009; Beekhoven, 2005; De Witte & Csillag, 2012; Elffers, 2012; J.D. Finn & Rock, 1997; Henry, 2007; Rumberger, 1983). Docenten geven aan dat ze last hebben van ongewenst gedrag in de klas en professioneel niet voldoende toegerust zijn om dit gedrag te voorkomen (Groenenberg & Hermanussen, 2012; Wolf & Beukering, 2009). Hierdoor ontstaan ordeproblemen waar vervolgens klasgenoten last van hebben, waardoor het leersucces daalt en extra uitval kan ontstaan (Ream & Rumberger, 2008; Traag et al., 2012). In deze effectstudie is onderzocht of ongewenst gedrag op school afneemt door de docent beter toe te rusten op pedagogisch gebied, zodat de docent vanuit visie en verlangen waarneemt en verbindt en vanuit leiderschap een verschil maakt voor de individuele student en de hele klas. Het ongewenst gedrag van de student neemt dan af, het leersucces neemt toe en docenten beleven minder stress en meer arbeidsvreugde op hun werk (Brophy, 1996; Everaert & van der Wolf, 2006; Onderwijsraad, 2010).
Ongewenst gedrag op school In de praktijk wordt het begrip ongewenst gedrag door iedereen anders ingevuld, maar het heeft te maken met verwachtingen. Docenten bepalen vanuit de voor hen geldende normen of bepaald gedrag een probleem is of niet. Een definitie die veel wordt gebruikt en waarvoor in deze studie gekozen is, luidt als volgt: “Iemand heeft gedragsproblemen als hij regelmatig gedrag vertoont dat voor anderen storend is” (Junger, 2003; van der Ploeg, 1990).
(Wolf & Beukering, 2009). Uit deze analyses is af te leiden dat de balans tussen aandacht krijgen en aandacht nodig hebben, niet optimaal is. Uit literatuuronderzoek (Bovee, 2011) blijkt dat de effectiefste interventies om ongewenst gedrag te voorkomen, alle te maken hebben met klassenmanagement, waarbij de docent-student relatie, duidelijke regels en afspraken, ordemaatregelen en de mentale houding van de docent het effectiefst zijn (Borg & Ascione, 1982; Hattie, 2009; Marzano, Marzano & Pickering, 2003; Wolf & Beukering, 2009; T. Wubbels, 2007). De meest fundamentele is de docent-student relatie. De mentale houding van de docent wordt omschreven als het bewust omgaan met je omgeving, wat gepaard gaat met een bewuste beheersing van de gedachten over eigen gedrag in een bepaalde situatie (Langer, 1989 in Marzano, Marzano & Pickering, 2003) en speelt een belangrijke rol bij het observeren, interpreteren en omgaan met ongewenst gedrag in de klas. In dit onderzoek is ervoor gekozen om ongewenst gedrag op school te benaderen vanuit het primaire proces. Dit komt overeen met het advies van de Onderwijsraad (2010), dat aangeeft dat gedragsproblemen altijd in hun context bestudeerd moeten worden en dat het vooral effectief is om binnen het primaire proces de zorg aan studenten met ongewenst gedrag te versterken. Bij het bepalen van de effectiviteit van de interventie moet rekening gehouden worden met het multicausale karakter van ongewenst gedrag op school, dat z’n oorsprong vindt in onder andere omgevingsniveau (school, de buurt, peers) en op kind- en gezinsniveau (Bronfenbrenner, 1979).
De docent-student relatie en ongewenst gedrag Het aantal jongeren met ongewenst gedrag en een specifieke onderwijs- of zorgbehoefte binnen het mbo neemt toe en hun zorgvraag is complexer (Onderwijsinspectie, 2012). Sinds enkele jaren bestaat de kwalificatieplicht, die vastgelegd is in de Wetgeving Educatie in Beroepsonderwijs (WEB), waardoor jongeren langer op school blijven en er een stijging is in deelnemers op niveau 1 en 2 binnen het mbo. Externaliserend gedrag zoals dwars liggen en druk zijn worden door docenten als de moeilijkste gedragingen ervaren en krijgen de meeste aandacht ( (Wolf & Beukering, 2009). De longitudinale studie van McFadden & Marsch in Marzano, Marzano & Pickering (2003) laat zien dat op school vooral disciplinaire maatregelen moeten worden genomen voor spijbelen en anderen lastig vallen. Internaliserend zoals teruggetrokken gedrag komt minder voor dan externaliserend gedrag en wordt meer bij meisjes dan jongens geconstateerd (Everaert & van der Wolf, 2006; Onderwijsraad, 2010). Internaliserend krijgt minder aandacht in de klas omdat de omgeving daar nauwelijks last van heeft
26
In relatie tot het aanpakken van ongewenst gedrag blijkt dat docenten zich niet altijd realiseren wat hun aandeel kan zijn en wijten het ongewenste gedrag aan de student zelf of aan de gezinssituatie, wat machteloosheid creëert (Wolf & Beukering, 2009). De onderzoeksgroep in dit paper bestaat uit ongeveer 90% allochtone studenten, echter het meeste onderzoek betreft autochtone klassen. Over het algemeen blijken leerlingen/studenten in binnen- en buitenland de voorkeur te geven aan een invloedrijke emotioneel nabije leraar. Ook leerlingen van multiculturele klassen3 en leerlingen van het mbo (T. Wubbels, Brekelmans, den Brok & van Tartwijk, 2006). Een meta-analyse naar de rol van de docent-student relatie laat zien dat in hogere leerjaren deze relatie steeds meer effect heeft op de student (Roorda, Koomen, Split & Oort, 2011). Een multiculturele klas bestaat uit ten minste twee nationaliteiten en er moeten minimaal vijf leerlingen in de klas zitten met een niet-Nederlandse nationaliteit en/of ouders hebben met een niet- Nederlandse nationaliteit (den Brok & Levy, 2005).
3
27
Inhoudsopgave
In de praktijk blijkt dat veel beginnende docenten maar ook oudere docenten niet voorbereid zijn om te werken met leerlingen bij wie het aan basale sociale vaardigheden ontbreekt of die een gedragsprobleem of stoornis hebben (den Brok, Wubbels, Brekelmans & van Tartwijk, 2011). Om ongewenst gedrag structureel aan te pakken is professionalisering van het hele team noodzakelijk, zodat studenten een consequente aanpak van het hele docententeam te zien krijgen (Brekelmans, 2010). Naar aanleiding van de literatuurstudie is geconcludeerd dat er weinig onderzoek gedaan is naar klassenmanagement en ongewenst gedrag van leerlingen en nog minder naar specifieke groepen zoals de heterogene groepen op het mbo. Er is wel veel wetenschappelijke informatie te vinden over de kwaliteit van de docent in relatie tot de kwaliteit van het onderwijs en levert aanknopingspunten voor dit onderzoek en interventieontwikkeling, omdat ongewenst gedrag van jongeren op alle niveaus van het onderwijs voorkomt (Wolf & Beukering, 2009) en als een sectoroverstijgend probleem beschouwd wordt (WRR, 2010).
Gedurende het onderzoek blijkt dat alleen de opleiding handel voldoet aan de eisen die gesteld worden aan een experiment en worden de data van de opleiding administratie en de zelfrapportage van de studenten meegenomen in de gemiddelde verschilscore analyses en is de invloed van de onafhankelijke variabelen op de afhankelijke variabelen berekend. In totaal hebben 99 studenten en 27 docenten geparticipeerd. Hiervan zijn 31 studenten uitgevallen. Het experiment telde 12 studenten en 6 docenten in de controlegroep, in de interventiegroep 12 studenten en 5 docenten. Vanuit de literatuur is bekend dat onder andere de sociaal-economische achtergrond (zoals krachtwijken4) en persoonskenmerken (bijvoorbeeld geslacht, leeftijd, etnische achtergrond) van invloed zijn op ongewenst gedrag op school. Het verzamelen van de data is gestart drie maanden na de start van het schooljaar, als de studenten gesetteld zijn en hun meest gangbare gedrag vertonen. Vervolgens is na 6 en 9 maanden gemeten.
De interventie, een training in pedagogisch klassenmanagement De Methode De centrale vraag in dit onderzoek is of een docententraining in pedagogisch klassenmanagement een positief effect heeft op de docent-student relatie en op het ongewenst gedrag van voltijd eerstejaars studenten en docenten van de opleiding detailhandel en administratie niveau 2 van het Business & Administration college van ROC Midden Nederland. Bij dit college vindt relatief veel uitval plaats, zowel landelijk als op het ROCMN (www.aanvalopschooluitval.nl). Het onderzoek is quasi- experimenteel opgezet en omvat een interventiegroep, een controlegroep en een voor- en nameting. Om het effect van de interventie op het gedrag van de leerlingen te bepalen, is het essentieel om ook het interventie-effect op het gedrag van de docenten te meten. Een eventueel effect op het gedrag van studenten kan toegeschreven worden aan de interventie als het gedrag van de docent ook veranderd is. De gedragsveranderingen zijn gemeten aan de hand van bestaande vragenlijsten die betrouwbaar en valide zijn bevonden bij eerdere onderzoeken en in dit onderzoek. De vragenlijst Sociaal Ongewenst Gedrag Op School (SOGOS) is door docenten en studenten ingevuld (Koerhuis & Hijzen, 2009). De vragenlijst voor Interpersoonlijk Docentgedrag (VIL) is ingevuld door de docenten (den Brok, Wubbels, Veldman & van Tartwijk, 2009).
Op basis van het literatuuronderzoek (Bovee, 2011) is geconcludeerd dat er geen effectief trainingsprogramma voorhanden is dat inhoudelijk voldoet aan de wensen van ROC-medewerkers. In overleg met de teamleden en de trainer is er een toegepast interventieprogramma ontworpen, gebaseerd op bewezen effectieve onderdelen uit vergelijkbare trainingen zoals: training over een langere tijdsperiode, externe trainers, betrokkenheid van de docenten, opvattingen docenten over leren studenten, uitwisseling van ervaring, peersupport, ondersteuning vanuit school (Desimone, 2009; Timperley, Wilson, Barrar & Fung, 2007). De training klassenmanagement bevat de volgende effectieve interventiemaatregelen: de docent-student relatie, regels en afspraken, ordemaatregelen en de mentale houding van docenten (Marzano et al. 2003, Hattie 2009, Wolf & Beukering 2007, Borg & Ascione 1982). De trainingen zijn verplicht voor alle docenten van een kernteam. Tijdens de bijeenkomsten is aan de hand van theoretische en praktische informatie (handelingswijzers) over gedragsproblematiek, inzicht verschaft over doelgericht omgaan met ongewenst
Krachtwijken of aandachtswijken zijn wijken met problemen rond wonen, werken, leren, integreren en veiligheid. In 40 wijken is de opeenstapeling van problemen zo groot dat ze sinds 2007 extra aandacht krijgen van de Rijksoverheid. Samen met gemeenten, woningcorporaties, lokale organisaties en bewoners werkt de Rijksoverheid aan het verbeteren van deze wijken (www.rijksoverheid.nl).
4
28
29
Inhoudsopgave
gedrag (herkennen, begrijpen en handelen) in relatie tot docent-student relatie en klassenmanagement. De verklaringsmodellen van het interactiemodel van Leary, de 10-stappen intervisiemethodiek (Hendriksen, 2000), het principe van handelingsgericht werken (Pameijer, van Beukering & de Lange, 2009) en de zeven factoren van Timperley en Desimone vormen de basis voor de training. Handelingsadviezen zijn gebaseerd op de REC 4 boekjes5. De handelingsadviezen vormen het centrale sturingsmodel voor de teams om te observeren, te interpreteren en om te gaan met ongewenst gedrag in de klas en gezamenlijk hierop terug te kijken.
tabel 1 Sociaal ongewenst gedrag van studenten lange en korte termijn opinie docenten docentmeting handel korte termijn gedrag studenten
voor n = 13 na n = 13 interventie Gem
SD
voor n = 12 na n = 12
controle Gem
lange termijn
t
voor n = 15 na n = 15
interventie
SD
Gem
SD
t
voor n = 12 na n = 12 controle Gem
SD
Resultaten
Ongewenst gedrag t.o.v. school(werk)
voor
40.23
10.91
42.13
9.403
40.58
11.317
35.58
9.403
Effect op ongewenst gedrag van studenten Het effect van de teamtraining pedagogisch handelen en klassenmanagement op sociaal ongewenst gedrag van studenten is op korte en lange termijn gemeten bij de opleiding handel aan de hand van de opinie van de docenten.
16 vragen
na
39.00
10.677
42.20
11.226
43.17
12.298
39.00
11.755
verschil
-1.23 (0.478)
+0.07 (-0.048)
Onvriendelijk gedrag
voor
13.00
4.813
11.87
4.838
13.42
4.776
9.83
4.838
8 vragen
na
13.69
4.803
13.87
4.274
16.58
6.934
12.83
3.186
verschil
+0.69 (-0.039)
Teruggetrokken gedrag
voor
21.08
6.886
19.47
8.425
20.42
6.748
17.25
8.425
9 vragen
na
19.77
4.693
22.27
6.892
20.83
4.489
20.92
4.420
verschil
-1.31 (0.964)
0.661
+2.00 (-2.842)*
+2.80 (-2.326)*
0.927
2.547
+2.59 (0.583)
+3.42 (0.964)
+3.16 (1.196)
+0.42 (0.160)
0.944
+3.00 (2.345)
+3.67 (1.498)
0.746
0.837
t waarden tussen haakjes
Voor de metingen zijn alleen de data van studenten gebruikt die bij de voor- en nameting een vragenlijst ingevuld hebben, zodat binnen de participerende groep voor maximale gelijkheid gezorgd is. Bij de docentwaarnemingen (tabel 1) op korte termijn van de controlegroep zijn onvriendelijk gedrag en teruggetrokken gedrag significant toegenomen. Op lange termijn is onvriendelijk gedrag significant. Al deze significante verschillen zijn ontstaan vanwege een toename van ongewenst gedrag. Zowel bij de interventiegroep als bij de controlegroep neemt het ongewenst gedrag in de loop van het jaar toe. Het lijkt alsof de docenten het gedrag van de studenten in de loop van het jaar beter observeren en kritischer bekijken. Beide redeneringen werken in het voordeel van de interventie, docenten leren de student beter kennen en kunnen werken aan hun docent-student relatie.
Deskundigheidsbevordering op het gebied van gemeenschappelijk pedagogische teamaanpak, ongewenst gedrag en gedragstoornissen. REC 4 Willem de Jong. www. rec45.nl
5
30
Om het effect van de interventie nog zuiverder te meten, worden de verschilscores van de controlegroep vergeleken met de verschilscores van de interventiegroep, waaruit
31
Inhoudsopgave
blijkt dat teruggetrokken gedrag significant is. Dit verschil is ontstaan omdat het gedrag van de controlegroep tussen de voor- en nameting toegenomen is en niet omdat het teruggetrokken gedrag bij de interventiegroep afgenomen is. Een van de redenen kan zijn dat de studenten met teruggetrokken gedrag in het begin van het jaar nog niet goed in beeld zijn bij de docenten, omdat de meeste aandacht uitgaat naar externaliserend gedrag (Marzano et al., 2003; Wolf & Beukering, 2009). Voor de zelfrapportages van studenten zijn de verschilscores niet berekend, omdat er een toename van ongewenst gedrag geconstateerd is bij de interventiegroep in plaats van de verwachte afname. Effect op de docent-student verhouding De berekeningen in dit onderzoek laten zien dat er geen significante verschillen tussen de interventie- en controlegroep gemeten zijn op de verschillende momenten in het jaar en dat de werkervaring van docenten niet van invloed is op een hogere BS/SB verhouding. Jongere en oudere docenten verschillen niet significant van elkaar in BS/SB verhouding.
tabel 2 Resultaat verschil-in-verschillen (DID) analyse voor ongewenst gedrag van studenten volgens docenten Ongewenst gedrag t.o.v. school(werk) Model I
n=24
Onafh.variabele
B
SE
t
Constante
35.58
3.28
10.84
Tijd (T)
3.42
4.64
Interventie (I)
5.00
Interactie (T*I )
-0.83
Model II p
SE
t
0.00
36.92
2.93
12.61
0.74
0.47
3.42
4.11
4.64
1.08
0.29
6.34
6.56
-0.13
0.90
Geslacht: man=0
Het resultaat laat uiteindelijk zien welke onafhankelijke variabelen samenhangen met de afhankelijke variabele, waardoor zuiverder gemeten wordt of de interventie voor het effect zorgt of dat onafhankelijke variabelen interfereren.
Model III p
n=24
B
SE
t
0.00
37.39
3.16
11.82
p 0.00
0.83
0.41
3.42
4.02
0.85
0.40
4.12
1.54
0.13
8.96
4.29
2.09
0.04*
-0.83
5.81
-0.14
0.89
-0.83
5.69
-0.15
0.89
-16.08
4.43
-3.63
0.002** -20.58
5.61
-3.97
0.002**
Krachtwijk
- 9.02
4.98
-1.81
0.08
Leeftijd:18+=0
-1.12
3.43
-0.33
0.75
Afkomst: allochtoon=0
4.54
5.99
0.76
0.45
R²= 0.06 ΔR²= -0.004 F(3.24) = 0.93
Effect op ongewenst gedrag van studenten met controle voor covariaten Om na te gaan of exogene onafhankelijke variabelen zoals socio-economische factoren en studentkenmerken de effectmeting van de interventie te beïnvloeden zijn, is een meervoudige regressieanalyse uitgevoerd: de verschil-in-verschillen of difference in differences analyse (DID). Voor deze analyse zijn drie modellen uitgewerkt, waarbij successievelijk extra voorspellers van ongewenst gedrag opgenomen zijn, zoals tijdseffect, interventie, interactiegeslacht, krachtwijk, leeftijd en etnische achtergrond.
n=24
B
R²= 0.28 ΔR²=0.21
F(4.24) = 4.20
R²= 0.36 ΔR²= 0.25
F(7.24)= 3.20
Tabel 2 toont de resultaten van de DID regressieanalyse van ongewenst gedrag t.o.v. school en schoolwerk. Uit de analyse voor ongewenst gedrag t.o.v. school blijkt dat in model II de R2 28% van de variantie verklaart en geslacht een significante voorspeller van ongewenst gedrag is. Nadat in model III krachtwijk, afkomst en leeftijd toegevoegd zijn, wordt 36% van de variante verklaard en zijn geslacht en de interventie significant voorspellers van ongewenst gedrag. De interventie is significant, maar in plaats van dat de interventie ervoor zorgt dat het ongewenst gedrag afneemt, neemt het ongewenst gedrag toe. Geslacht is significant, wat betekent dat jongens voor meer ongewenst gedrag zorgen dan meiden. De significantie van de interventie is te danken aan de afname van ongewenst gedrag bij de controlegroep en de toename bij de interventiegroep, wat tegen de verwachtingen van de interventie ingaan. Voor teruggetrokken gedrag vertoont de DID-analyse voor geen enkele variabele van de drie regressiemodellen een significante invloed op dit studentengedrag.
32
33
Inhoudsopgave
Conclusies De t-toetsen en de verschil-in-verschillen regressieanalyse laten geen significante afname zien op korte en lange termijn voor ongewenst gedrag van studenten en het interpersoonlijke gedrag van docenten. Ook na controle voor de onafhankelijke variabelen leeftijd, krachtwijk, geslacht en etniciteit is er geen significant verschil tussen de onderzoeksgroepen gemeten. De regressieanalyse toont wel aan dat jongens significante voorspellers zijn van ongewenst gedrag ten opzichte van school. Verder is aangetoond dat ongewenst gedrag t.o.v. school het meeste voorkomt, gevolgd door teruggetrokken gedrag. Onvriendelijk gedrag komt gemiddeld het minste voor. Binnen ongewenst gedrag komt spijbelen/te laat komen het meeste voor en vertonen allochtone studenten significant meer ongewenst gedrag dan autochtone studenten. De studenten die tijdens het onderzoek uitgevallen zijn en jongeren uit krachtwijken vertonen significant niet meer ongewenst gedrag dan de andere studenten. De belangrijkste uitvalreden van de opleidingen zijn persoongebonden factoren, gevolgd door studie- en beroepskeuzegebonden factoren. Verder vallen Marokkaanse studenten het meeste uit.
Discussie Deze studie kent een aantal beperkingen. In deze paragraaf worden de kanttekeningen die gemaakt moeten worden bij de quasi-experimentele studie in beeld gebracht. Een van de eisen die aan een experiment gesteld worden, is dat de interventie- en controlegroep a-select gekozen is. In dit experiment bleek het niet mogelijk de onderzoeksgroepen (docenten en studenten) at-random te selecteren, omdat de interventie alleen effectief is als het hele docententeam deelneemt. Het is essentieel dat het hele kernteam dezelfde informatie krijgt, zodat alle docenten volgens dezelfde richtlijnen en structuur werken met de individuele studenten en de klas, zodat studenten van alle docenten voorspelbaar gedrag kunnen verwachten. Ook de studenten zijn niet at-random gekozen, omdat het onderzoek alleen uitgevoerd kan worden bij bestaande klassen en het onmogelijk is voor docenten om binnen een klas te werken met een interventiegroep en een controlegroep. Het nadeel van werken met bestaande klassen en met docenten die daar werkzaam zijn, is dat de toewijzing niet op een kans maar op een keuze gebaseerd is.
34
Allereerst is de grootte van de onderzoeksgroep bescheiden, waardoor er geen randomisatie plaatsgevonden heeft en er noodgedwongen gemeten is op klassenniveau, wat ten koste gaat van de robuustheid, betrouwbaarheid en de generaliseerbaarheid van het onderzoek. Het aantal studenten van de onderzoeksgroep is tijdens dit quasiexperiment sterk gereduceerd vanwege schooluitval of veelvuldig afwezig zijn. In dit onderzoek is gekeken naar het korte termijn (3 maanden)- en lange termijn (6 maanden) effect van een pedagogische klassenmanagement training op de docentstudent verhouding en op ongewenst gedrag van studenten. Het veranderen van klassenmanagement door onder andere de docent-student relatie te verbeteren kost tijd, omdat het te maken heeft met waarden en normen van een docent (Mainhard, Brekelmans, Wubbels & Brok, 2008). Het is dan ook belangrijk om door te gaan met leermogelijkheden. Kennisdeling moet continu aanwezig zijn en constant plaatsvinden (Desimone, 2009; Timperley et al., 2007). Volgens het quasi-experiment van Van der Sijde (1989) kan een training ook in korte tijd (2,5 maand) effect sorteren op het gedrag van de docenten, indien tussen de trainingen door docenten feedback krijgen op hun gedrag in de klas en deze bevindingen meegenomen worden naar de volgende training. Dit onderzoek heeft plaatsgevonden bij twee opleidingen bij één ROC, waardoor geconcludeerd moet worden dat de resultaten niet per definitie generaliseerbaar zijn naar andere opleidingen handel/administratie niveau 2, andere mbo- opleidingen of opleidingen binnen andere ROC’s. Bovendien bestond de onderzoeksgroep uit meer dan 90% allochtonen en 90% jongens, wat boven de gemiddelde klassensamenstelling ligt van opleidingen binnen het mbo (CBS, 2010).
Aanbevelingen voor vervolgonderzoek en verbeteringen interventie • De robuustheid van de onderzoeksresultaten versterken door de onderzoeksgroep uit te breiden. • De docent-student relatie vragenlijsten blijven gebruiken om persoonlijke effectiviteit te analyseren bij communicatie en interactie, het herkennen van eigen gedragspatronen, het bespreken van eigen gedragspatronen in probleemsituaties en het ontwikkelen van effectiever gedrag, werkboek Intervisie, Jeroen Hendriksen (2000).
35
Inhoudsopgave
• Duurzaam investeren in professionalisering van docenten betekent ook eisen stellen aan participatie en kwaliteit. Ingezette strategieën, zoals intervisie of collegiale consultatie, moeten inslijpen. Tussen trainingen door professioneel feedback geven aan docenten. Samenwerking op klassenniveau, teamniveau en schoolniveau is hierbij essentieel. • Ondanks dat er nu geen positief effect gemeten is, heeft de innovatie wel meerwaarde voor het ROCMN. Vanuit de wetenschappelijke literatuur is investeren in de docentstudent relatie een bewezen effectieve interventie. Het is dan ook belangrijk om door te gaan met het ingezette traject en effecten meten, zoals de daadwerkelijke veranderingen van de docenten in de klas naar aanleiding van de interventie.
Referenties • Cabus, S. J. & De Witte, K. (2011). Does School Time Matter? On the impact of compulsory education age on school drop out. Economics of Education Review, 30, 1384 - 1398. • Desimone, L. M. (2009). Improving impact studies of teachers’ professional development: Toward better conceptualizations and measures. Educational Researcher, 38(3), 181. • De Witte, K. & Csillag, M. (2012). Does anybody notice? On the impact of improved truancy reporting on school dropout. • Eimers, T., Kennis, R., Keppels, E. & Roelofs, M. (2011). Regiomonitor Voortijdig Schoolverlaten: Uitvalllers en Zorgdeelnemers van ROC Midden Nederland: Kenniscentrum Beroepsonderwijs Arbeidsmarkt, Nijmegen. • Elffers, L. (2012). Staying on track: behavioral engagement of at-risk and non-at-risk students in postsecondary vocational education. European Journal of Psychology of Education, 1-18. • Janosz, M., Archambault, I., Morizot, J. & Pagani, L. S. (2008). School engagement trajectories and their differential predictive relations to dropout. Journal of social Issues, 64(1), 21-40. • Glaude, M., van den Berg, J., Verbeek, F. & De Bruijn, E. (2011). Pedagogisch- didactisch handelen van docenten in het mbo: ecbo expertise beroepsonderwijs, Hogeschool Utrecht, Kohnstamm Instituut Universiteit van Amsterdam. • Groenenberg, R. & Hermanussen, J. (2012). Docent in het mbo niveau 1 of 2, een vak apart: ecbo Utrecht, Den Bosch. • Koerhuis, M. J. & Hijzen, D. (2009). Handleiding vragenlijst sociaal ongewenst gedrag (SOGOS): Henk Onderwijsadvies- en Onderzoek, Nederland. • Marzano, R. J., Marzano, J. S. & Pickering, D. J. (2003). Classroom management that works: Research-based strategies for every teacher. Alexandria, VA: Association for Supervision and Curriculum Development. • Pameijer, N., van Beukering, J. & de Lange, S. (2009). Handelingsgericht werken: een handreiking voor het schoolteam: samen met collega’s, leerlingen en ouders aan de slag: Acco. • ROA (2012). Schoolverlaters tussen school en arbeidsmarkt 2011: Universiteit van Maastricht, Researchcentrum voor Onderwijs en Arbeidsmarkt, ROA, Maastricht, ROA-F-2012 • Roorda, D. L., Koomen, H. M. Y., Split, J. L. & Oort, F. J. (2011). The influence of affective teacher-student relationships on students’ school engagement and achievement: A meta-analytic perspective. Review of Educational Research, 81(4), 493-529. • Rumberger, R. W. (1983). Dropping out of high school: The influence of race, sex, and family background. American Educational Research Journal, 20(2), 199-220. • Timperley, H., Wilson, A., Barrar, H. & Fung, I. (2007). Teacher professional development and learning: Best evidence synthesis iteration (BES): Wellington: Ministry of Education. • Traag, T., Lubbers, M. J. & Velden, R. (2012). That’s what friends are for?: The impact of peer characteristics on early school-leaving. Maastricht: Maastricht University, Research Centre for Education and Labour Market, ROA-RM-2012/6 • van der Ploeg, J. D. (1990). Gedragsproblemen. Ontwikkelingen en risico’s. Rotterdam: Lemniscaat.
36
37
Biografie
Inhoudsopgave
• Van der Sijde, P. C. (1989). The effect of a brief teacher training on student achievement. Teaching and Teacher Education, 5(4), 303-314. • van der Steeg, M. & Webbink, D. (2006). Voortijdig schoolverlaten in Nederland: omvang, beleid en resultaten: Netherlands. Centraal Planbureau. • Wolf, K. v. d. & Beukering, T. v. (2009). Gedragsproblemen in scholen. Het denken en handelen van leraren: Leuven: Acco. • Wubbels, Th., Brekelmans, M., Brok, P. den & Tartwijk, J. (2006). An interpersonal perspective on Classroom Management in Secondary Classrooms in the Netherlands. In C. Evertson & C. Weinstein (Eds.), 2006 Handbook of Classroom Management: Research, Practice, and Contemporary Issues
Marleen Bovee opleiding ROC Midden Nederland Utrecht (ROCMN) functie Programmamanager Voortijdig School verlaten (VSV), beleidsmedewerker Onderwijs, Innovatie & Informatie Sinds 2000 ben ik werkzaam in het onderwijs. Daarvoor heb ik 20 jaar in verschillende landen en sectoren in Afrika gewerkt, waarbij onderzoek en training als een rode draad door de verschillende werkzaamheden liep. Ooit begonnen binnen het biochemisch onderzoek in Nederland, verruilde ik na enkele jaren deze werkzaamheden voor het werken bij een kinderrechtenorganisatie en plattelandsontwikkelingsprojecten in Afrika. Binnen mijn huidige werk in het onderwijs, het terugdringen van VSV, speelt onderzoek weer een belangrijke rol. Het toepassen van de meest effectieve aanpakken, het monitoren en controleren of de aanpak in de nieuwe situatie werkt, zodat een kwaliteitsslag gemaakt kan worden, is een belangrijk aspect van dit werk. De keuze voor de studie Evidence Based Innovation in Teaching in Maastricht, heb ik gemaakt vanwege de gedegen wetenschappelijke benadering van onderzoek om mijn kennis om experimenten uit te kunnen voeren en op waarde te kunnen schatten, te verdiepen. Verder viel de keuze op de Universiteit Maastricht vanwege het feit dat verschillende onderzoekers werken aan de VSV problematiek. De opgedane kennis tijdens de studie wil ik ook inzetten om te zorgen dat wetenschap en praktijk dichter bij elkaar komen te staan en elkaars kennis beter benut wordt. In de dagelijkse praktijk ontstaan nieuwe inzichten die hun weg niet vinden naar andere plekken binnen het onderwijs of onderzoek. En het blijkt dat de wetenschap dat iets werkt niet voldoende is voor brede toepassing in de onderwijsinstellingen. 38
39
Inhoudsopgave
Inrichten van een evidence-based praktijkopleiding voor de opleiding tot verpleegkundig specialist Een keuze maken voor bewezen effectieve toetsmethoden, praktijkopleiders trainen en studenten ondersteunen in leervaardigheden
Introductie De opleiding tot verpleegkundig specialist of MANP van Hogeschool Utrecht is een professionele master opleiding die jaarlijks 60 verpleegkundigen opleidt tot verpleegkundig specialist. Het is een duale opleiding van 120 european credits (ec). Studenten komen een dag in de week naar school en leren in de praktijk onder supervisie van een praktijkopleider. De opleiding combineert een competentiegericht curriculum met de principes van het cognitive-apprenticeship model (Collins, 1991). Dit laatste betekent dat het vak geleerd wordt door onderwijs en oefenen in de praktijk onder leiding van een ‘meester’ of praktijkopleider. Het belang van de praktijkopleiding komt tot uiting in de verdeling van de studiepunten, 40 ec voor cursorisch onderwijs en 80 ec voor praktijkleren. De opleiding voor verpleegkundig specialist is nieuw en nog volop in ontwikkeling, dit geldt ook voor de inrichting en implementatie van het praktijkcurriculum. Een goed praktijkcurriculum bevat toetsinstrumenten die zich richten op actueel beroepsgedrag in de praktijk of het does niveau van de piramide van Miller (G. E. Miller, 1990), bevat bewezen effectieve toetsmethoden en is evenwichtig samengesteld zodat alle competenties aan bod komen (Norcini & Burch, 2007). Naast de inrichting van het praktijkcurriculum is de uitvoering in de praktijk bepalend voor het leerrendement. Goede uitvoering betekent dat de praktijkopleider de student kan aanzetten tot leren en dat de student voldoende gelegenheid krijgt (en neemt) om te leren. Niet alle praktijkopleiders zijn even competent. Vanuit het medisch beroepsonderwijs is bekend dat er een kloof bestaat tussen de eigen opvatting over goede begeleiding en de ervaring van studenten (Perera, Lee, Win, Perera & Wijesuriya, 2008). Onderzoeksresultaten naar de rol van praktijkopleiders van verpleegkundig specialisten zijn niet bekend. Vanwege de overeenkomsten tussen beide beroepsopleidingen lijkt het echter niet aannemelijk dat dit veel anders is. Wat betreft de rol van studenten speelt de nieuwheid van de opleiding een rol, rolmodellen zijn niet altijd beschikbaar en ook peer-learning in de praktijk is niet altijd mogelijk. Daarnaast worden studenten opgeleid op de afdeling waar zij soms al jaren als ervaren verpleegkundige werken. Een roltransitie van ervaren verpleegkundige naar verpleegkundig specialist in opleiding is noodzakelijk. Dit stelt hoge eisen aan de self-efficacy en het kritisch reflectief vermogen van de individuele student.
Lia van Straalen 40
41
Inhoudsopgave
Doelstelling Evidence-based inrichten van het praktijkcurriculum van de MANP Hoofdvraag en deelvragen Hoe kan het praktijkcurriculum voor de opleiding tot verpleegkundig specialist evidence-based worden ingericht? 1 Wat zijn goede toetsinstrumenten? 2 Zijn studenten tevredener over hun praktijkbeoordelingen als praktijkopleiders getraind worden? 3 Wat betekenen ervaringen van studenten met feedback en begeleiding in de praktijk voor de inrichting en/of uitvoering van het praktijkcurriculum?
Onderzoeksmethoden Deelvraag een is onderzocht door middel van literatuurstudie. De literatuurstudie heeft plaatsgevonden in het laatste kwartaal van 2010. Deelvraag twee is onderzocht door een mixed method onderzoek bestaande uit pre-experimenteel en quasi-experimenteel onderzoek in combinatie met kwalitatief onderzoek. De onderzochte interventie betrof een training van vier uur aan 29 praktijkopleiders van verpleegkundig specialisten. Deelvraag drie is beantwoord door een kwalitatief onderzoek via focusgroepinterviews, uit te voeren onder tien studenten van cohort 2011.
Resultaten 1 Literatuurstudie Onderzoeksvraag: Wat zijn goede toetsinstrumenten? Er is gezocht in de databases van Cinahl, ERIC en Medline met o.a. de volgende zoekwoorden en combinaties daarvan: workplace assessment, workplace based assessment, competency assessment, medical education, advanced nursing practice, clinical nurse specialist, nurse practitioner. De digitale search leverde 182 artikelen op. Na screening op relevantie zijn dertien artikelen gebruikt.
42
Toetsinstrumenten voor een praktijkcurriculum richten zich allen op het does niveau van de piramide van Miller, dat wil zeggen op actueel beroepsgedrag in de praktijk (Brand, Boendermaker & Venekamp, 2010). Voor de kwaliteit van toetsinstrumenten is het belangrijk ze op bruikbaarheid te selecteren. Bruikbaarheid wordt gedefinieerd als een combinatie van validiteit, betrouwbaarheid, educatieve impact, aanvaardbaarheid en kosteneffectiviteit (Holmboe, Sherbino, Long, Swing & Frank, 2010). Er werden zes instrumenten gevonden die voldoende bruikbaar zijn, althans voor het medisch beroepsonderwijs. Toetsinstrumenten voor het toetsen van beroepsgedrag van verpleegkundigen werden niet gevonden. Het gaat om de Case-based Discussion (CbD), de Clinical Encounter Card (CEC), de Mini-Clinical Evaluation Exercise (Mini-CEX), de Objective Structured Assessment of Technical Skills (OSATS), de Peer-assessment Tool (PAT) en de Multi-source Feedback (MSF) (Setna, Jha, Boursicot & Roberts, 2010), (Violato, Lockyer & Fidler, 2008), (Norcini & Burch, 2007). De Mini-Cex is in Nederland bekend als Korte Klinische Beoordeling of KKB. De CbD, CEC, Mini-CEX, OSATS zijn toetsinstrumenten die kortdurende toetsing van het klinisch handelen mogelijk maken. De PAT en MSF zijn belangrijk om inzicht te geven in competentiegroei over een langere periode. Beide type instrumenten moeten worden opgenomen in een goed praktijkcurriculum. De validiteit van het toetsinstrument heeft te maken met de criteria van ieder toetsinstrument maar vooral met de toepassingsspecificaties. Validiteit van toetsing wordt bedreigd als de toets situatie niet voldoende beroepsauthentiek is of niet passend complex (van der Vleuten, Schuwirth, Scheele, Driessen & Hodges, 2010). Betrouwbare toetsing is afhankelijk van voldoende spreiding over verschillende situaties en over verschillende beoordelaars. Voor ieder toetsinstrument gelden verschillende aantallen. Voor een MiniCEX geldt bijvoorbeeld dat resultaten reproduceerbaar zijn bij 10-14 metingen (Setna et al., 2010). Het educatieve aspect van toetsinstrumenten wordt bepaald door de inzet voor formatieve doeleinden. Klinische vaardigheden verbeteren als het formatieve aspect veel aandacht krijgt (A. Miller & Archer, 2010). Wat betreft aanvaardbaarheid is het tijdsaspect van belang. Toetsinstrumenten die veel uitvoeringstijd nodig hebben of die het risico in zich dragen van victimization zijn minder aanvaardbaar (Cohen, Farrant & Taibjee, 2009). 2 Interventieonderzoek Onderzoeksvraag: Zijn studenten tevredener over hun praktijkopleider als praktijkopleiders getraind worden? Om de onderzoeksvraag te kunnen beantwoorden werden de effecten van een korte training van vier uur in beoordelen en feedback geven onderzocht. Aan de training namen 27 praktijkopleiders deel. De training vond plaats in het eerste semester van studiejaar 2011-2012. Het effect van de training werd onderzocht op tevredenheid van
43
Inhoudsopgave
de deelnemers (pre-experimenteel design), leerresultaten (kwalitatief onderzoek) en effecten op tevredenheid van studenten (quasi-experimenteel onderzoek). De verschillende vragen werden geplaatst in het trainingsevaluatiemodel van Kirkpatrick (J. D. Kirkpatrick & Kirkpatrick, 2010) dat genuanceerde besluitvorming over kosteneffectiviteit mogelijk maakt. De tevredenheidsmeting onder studenten vond plaats met een gevalideerde vragenlijst de Maastricht Clinical Teaching Questionnaire (MCTQ) (Stalmeijer, Dolmans, Wolfhagen, Muijtjens & Scherpbier, 2010) bestaande uit veertien vragen en een schoolcijfer. 22 Deelnemers aan de training vulden de vragenlijst in. Zij waren tevreden over de training en waardeerden naast de theorie vooral het actieve oefenaspect. Zij gaven de training gemiddeld het schoolcijfer 7.73 (sd .88). Van de 29 deelnemers namen 15 deelnemers deel aan telefonisch interview om leerresultaten van de training in kaart te brengen. Het belangrijkste leerresultaat bleek te liggen in een duidelijkere opvatting over de eigen rol als praktijkopleider. De MCTQ werd ingevuld door 42 studenten over 135 beoordelingen. Negentien beoordelingen werden gegeven door getrainde praktijkopleiders en 116 beoordelingen door niet getrainde praktijkopleiders. 94 beoordelingen werden gegeven door artsen (gemiddeld schoolcijfer 7.76), 30 door verpleegkundig specialisten (gemiddeld schoolcijfer 7.68) en 11 door beoordelaars met een ander beroep (gemiddeld schoolcijfer 7.14). Geen van de verschillen in schoolcijfer is significant. Op variabele een werd een significant verschil gevonden tussen interventieen controlegroep (U = 450.500, z = -2.25, p < .05, r = -.20.). Maar ten gunste van de controlegroep.
tabel 1 Beschrijvende statistiek van kwaliteit van beoordelingen zoals ervaren door studenten in interventie (n=19) en controlegroep (n=116) gemeten met de MCTQ Mean (sd) De beoordelaar...
I
Median C
Mode
Min
Max
I
C
I
C
I
C
I
C
1 demonstreerde vaardigheden
2.77
(1.54)
3.70
(1.08)
2.00
4.00
2
4
1
1
5
5
2 creëerde gelegenheid tot observeren
4.00
(1.46)
3.96
(1.06)
5.00
4.00
5
4
1
1
5
5
3 vervulde een voorbeeldfunctie
3.31
(1.45)
3.54
(1.16)
4.00
4.00
4
4
1
1
5
5
4 gaf bruikbare feedback
3.94
(1.11)
4.15
(1.00)
4.00
4.00
4
5
1
1
5
5
5 stemde begeleiding af
4.06
(1.12)
4.02
(0.86)
4.00
4.00
5
4
1
2
5
5
6 gaf gelegenheid tot oefenen
4.37
(1.17)
4.47
(0.69)
5.00
5.00
5
5
1
2
5
5
7 vroeg om handelen te onderbouwen
4.28
(0.96)
4.06
(0.91)
4.00
4.00
4
5
1
1
5
5
8 stelde vragen om begrip te vergroten
3.89
(1.32)
3.85
(1.01)
4.00
4.00
5
4
1
1
5
5
9 stimuleerde inzicht te krijgen in sterktes en zwaktes
3.82
(1.33)
3.74
(0.99)
4.00
4.00
5
4
1
1
5
5
10 stimuleerde me om leerdoelen te formuleren
3.53
(1.17)
3.39
(1.13)
4.00
3.00
4
3
1
1
5
5
11 stimuleerde om leerdoelen tot uitvoering te brengen
3.58
(1.17)
3.71
(1.05)
4.00
4.00
4
4
1
1
5
5
12 zorgde voor een veilige leeromgeving
3.95
(1.43)
4.28
(0.80)
5.00
4.00
5
5
1
1
5
5
13 toonde interesse voor mij als student
4.16
(1.26)
4.35
(0.87)
5.00
5.00
5
5
1
1
5
5
14 toonde respect voor mij
4.21
(1.27)
4.59
(0.62)
5.00
5.00
5
5
1
1
5
5
Schoolcijfer
7.2
(1.84)
7.7
(0.95)
8.00
8.00
8
8
1
5
9
10
De ontwikkeling en uitvoering van de training kostte € 6.643, dit is € 230 per deelnemer gebaseerd op 29 deelnemers. Bij een volgende, vergelijkbare training vervallen ontwikkelkosten en zullen de kosten ongeveer € 170 per deelnemer zijn.
44
45
Inhoudsopgave
3 Kwalitatief onderzoek Onderzoeksvraag: Wat betekenen ervaringen van studenten met feedback en begeleiding in de praktijk voor de inrichting en/of uitvoering van het praktijkcurriculum? Het onderzoek werd uitgevoerd door middel van twee focusgroepgesprekken met totaal tien studenten. De gesprekken vonden plaats in juni 2012 en duurden 45 minuten. Er werd gewerkt met een vooraf gemaakte vragenroute. Alle onderzoeksgegevens zijn anoniem verwerkt en de audio-opnames zijn na transcriptie vernietigd. Voor de gegevensanalyse is gebruik gemaakt van het tekstanalyseprogramma MAXqda. Bij de analyse zijn de zeven stappen gevolgd zoals beschreven door Hennie Boeije (Boeije, 2005). Om de validiteit en betrouwbaarheid te borgen zijn de aanbevelingen gevolgd zoals beschreven in Maso & Smaling (Maso & Smaling, 1998). De analyses leverden zowel positieve als negatieve ervaringen op met begeleiding en feedback in de praktijk. De thema’s die uit de analyse naar voren kwamen, waren vertrouwdheid met de principes van feedback, de relatie met de feedbackgever, omgaan met feedback, functie van praktijkopdrachten, voorwaarden om goede feedback te krijgen en criteria waaraan goede feedback moet voldoen. Thema 1 Vertrouwdheid met de principes van feedback Alle respondenten blijken vertrouwd te zijn met de principes van feedback. Zij noemen voorbeelden waarin zij feedback geven, zowel in een werksituatie als privé. In het werk wordt feedback doelbewust ingezet ten behoeve van coaching of gedragsverandering van patiënten. In de samenwerking met collega’s wordt het begrip feedback zowel verbonden aan negatieve situaties bijvoorbeeld een conflict met een collega, als aan positieve situaties bijvoorbeeld om te leren van elkaar. Enkele respondenten geven aan dat feedback geven en vragen hoort bij het werken in een team. Zij verbinden het begrip feedback als vanzelfsprekend aan een leerproces bij zichzelf of anderen. Feedback heeft een positieve connotatie. Voor sommige respondenten is feedback ook een “trucje” dat doelgericht kan worden toegepast, zowel privé als in het werk, en dus ook achterwege gelaten kan worden. Je echt thuis voelen of op je gemak zijn maakt soms dat het “trucje” wordt overgeslagen en er meer primair vanuit emoties wordt gereageerd. Thema 2 De relatie met de feedbackgever De relatie met de feedbackgever is van cruciaal belang. Respondenten hechten aan gelijkwaardigheid, veiligheid, samenwerking en het samen bespreken van een beoordeling. Tweerichtingsverkeer is daarbij van belang. Er moet mogelijkheid zijn
46
tot weerwoord. Actieve betrokkenheid van de feedbackgever wordt erg gewaardeerd. Respondenten zijn echter ook voorzichtig met de feedbackgever. Hij mag niet overvraagd worden en er is begrip dat patiëntenzorg soms voor gaat. Als de relatie met de feedbackgever niet goed is, wordt feedback terzijde geschoven of minder serieus genomen. Feedback van onbekende personen accepteren is lastig. De persoon van de feedbackgever doet er toe maar ook de inhoudelijke vakbekwaamheid van de feedbackgever. Een aantal respondenten vond het een nadeel dat de feedbackgever niet tot dezelfde beroepsgroep behoorde. Hij kan zich minder goed inleven in de beroepscompetenties van een verpleegkundig specialist waardoor het doel van feedback onduidelijk wordt. Thema 3 Omgaan met feedback Wat betreft het omgaan met feedback zijn er opvallende verschillen tussen de respondenten. Vijf van de tien respondenten geven herhaaldelijk aan dat ze zich kwetsbaar voelen, dat kwetsbaarheid ook nodig is om te kunnen leren. Zij vinden het spannend om beoordeeld te worden en ervaren soms stress. Zij benadrukken de noodzaak zelf actief te zijn en dat het noodzakelijk is om leerervaringen te verwerken. Feedback moet altijd even bezinken. Zij maken duidelijk een verbinding tussen feedback en leren. Ongeveer de helft van de respondenten lijken de feedback veel meer te zien als bevestiging van wat ze al kunnen. Zij lijken minder bezig te zijn met het leren van nieuwe dingen en ervaren problemen met het verbinden van opdrachten aan leerdoelen. Randvoorwaarden trekken meer de aandacht zoals de formulieren zelf, het gebruik van de computer, het feit dat het portfolio gevuld moet worden etc. Thema 4 Functie van opdrachten Respondenten reageren verschillend op de opdrachten die door de school verstrekt worden. Enerzijds zorgt de verplichting om bepaalde opdrachten uit te voeren voor activering van het leerproces en rolneming (student zijn). De criteria die verbonden zijn aan een opdracht geven houvast om het gesprek met de mentor te voeren. Anderzijds worden niet alle praktijkopdrachten als zinvol ervaren. Ongeveer de helft van de respondenten ziet niet wat zij kunnen leren van sommige opdrachten en ervaren de uitvoering als ‘afvinken’ en vulling voor het portfolio. Herhaalde feedback op het klinisch handelen vinden zij niet altijd noodzakelijk omdat zij niet zien wat zij daarvan kunnen leren.
47
Inhoudsopgave
Thema 5 Voorwaarden Veel voorwaarden liggen in de relationele sfeer zoals eerder beschreven. Daarnaast wordt vaak de tijd als voorwaarde genoemd om goede feedback te krijgen. Er is tijd nodig voor de beoordelaar om de bedoeling van de opdracht goed te begrijpen. Daarnaast is er tijd nodig voor de nabespreking. Het wordt op prijs gesteld als beoordelaars de tijd nemen de feedback goed te formuleren. Naast de tijd worden er ook opmerkingen gemaakt over de criteria van formulieren als voorwaarde om goede feedback te krijgen. Als de beoordeling een verslag is van een gedragsobservatie kan volstaan worden met korte kernachtige feedback, vooral als er ook voldoende tijd is genomen voor de nabespreking. Een uitgebreid schriftelijk verslag is dan niet nodig. Als het gaat om de beoordeling van een schriftelijk stuk, vooral een grote opdracht, dan is uitgebreide feedback zeer gewenst. De feedback moet in verhouding staan met de omvang van de opdracht. Thema 6 Criteria voor goede feedback Studenten noemen talloze criteria waaraan goede feedback moet voldoen. Feedback moet kritisch zijn, moet direct gegeven worden, moet correcties bevatten, moet aangeven wat je beter moet doen, je moet er mee verder kunnen, feedback moet helder en duidelijk zijn, de lading dekken, nieuwe dingen bevatten, moet gericht zijn op het betrekkingsniveau, moet onderbouwd zijn, moet niet alleen maar positief zijn, moet niet negatief geformuleerd zijn, moet aangeven waar je de volgende keer op moet letten, moet tips voor vervolg bevatten, moet een duidelijk oordeel geven, moet duidelijke argumenten bevatten, moet onderscheidend zijn, moet motiverend werken en handvatten bieden, moet argumenten en tools geven om verder te kunnen.
Discussie Doelstelling De doelstelling van dit onderzoek is de advisering van de Master Advanced Nusing Practice (MANP) Hogeschool Utrecht over de inrichting en uitvoering van het praktijkcurriculum. Relevantie (context) De MANP leidt bachelor verpleegkundigen in een tweejarig duaal programma van totaal 120 ec op tot professionele masters met als beroepstitel verpleegkundig specialist. Het master niveau in de verpleegkunde is nieuw, de eerste inschrijving in het BIG-
48
register dateert van 26 maart 2009. Het beroep moet nog bewijzen welke bijdrage zij kan leveren aan een goede gezondheidszorg in Nederland. De verwachting is dat zij vooral bij complexe problematiek, waar sprake is van multi morbiditeit en gevaar voor fragmentatie van de zorg, een belangrijke bijdrage kunnen leveren aan kwaliteit en kostenbeheersing. Of dit werkelijk zo is wordt in 2017 voor het eerst geëvalueerd. Dit is vijf jaar na het in werking treden van het experimenteerartikel 36a in de wet BIG dat de zelfstandige behandelrelatie inclusief farmacotherapie regelt. Alle reden om te zorgen voor een goed praktijkcurriculum dat garanties biedt voor optimale ontwikkeling van beroepscompetenties op het juiste niveau. Een goed en evenwichtig praktijkcurriculum is daarvoor een voorwaarde sine qua non. Belangrijkste resultaten Er werden drie onderzoeken uitgevoerd: een literatuurstudie, een interventieonderzoek en een kwalitatief onderzoek naar ervaringen van studenten. In onderstaande paragraaf worden de belangrijkste resultaten in het licht van de doelstelling besproken. Uit de literatuurstudie werd duidelijk dat er voor het toetsen van verpleegkundig specialistische competenties in de praktijk geen toetsinstrumenten zijn ontwikkeld. Er werden althans geen publicaties gevonden. Dit wekt verwondering omdat het professionele master niveau in het buitenland al langer bestaat. Het gaat dan om functies als de clinical nurse specialist of de nurse practitioner (Hamric, Spross, Hanson & Hamric, 2009). Wel werden er toetsinstrumenten gevonden voor toetsing in een gesimuleerde omgeving zoals de Objective Structured Clinical Examination (OSCE) die ook voor toetsing van verpleegkundige competenties worden gebruikt (Ebbert & Connors, 2004). Deze toetsen kunnen beroepsgedrag in de praktijk goed voorspellen mits goed ingericht en uitgevoerd, maar het zijn geen praktijktoetsen. Duidelijk werd dat het bij praktijktoetsing gaat om instrumenten die zich in de eerste plaats richten op integratieve toetsing van verschillende competenties tegelijk en in de tweede plaats op actueel beroepsgedrag in de praktijk. Hiermee werd een cultuurverschil tussen verpleegkundige en medische opleidingen duidelijk. Verpleegkundige opleidingen kennen deze focus niet of minder en toetsen beroepscompetenties vaak via schriftelijke beroepsproducten die als een proxy voor beroepsgedrag gelden. Vanuit onderzoek naar toetsinstrumenten voor medische competenties werden verschillende toetsinstrumenten gevonden die ook geschikt lijken voor verpleegkundige competenties. Omdat beide beroepen een vergelijkbaar competentieprofiel hebben, gebaseerd op de CanMeds rollen, lijkt dit verdedigbaar. De kwaliteit van een toetsinstrument is goed als het bruikbaar is waarbij bruikbaarheid gedefinieerd wordt als de optelsom van validiteit, betrouwbaarheid, educatieve impact, aanvaardbaarheid
49
Inhoudsopgave
en kosteneffectiviteit. De toetsinstrumenten zijn allen valide, mits goed toegepast, en betrouwbaar mits voldoende herhaald. De educatieve impact is goed als zij voor formatieve doeleinden worden ingezet. De aanvaardbaarheid en kosteneffectiviteit zijn minder goed onderzocht, maar aanvaardbaarheid hangt vooral af van hoe met de instrumenten wordt omgegaan in de praktijk. Voor alle instrumenten geldt dat ieder ‘instrument zo goed is als zijn gebruiker’. Dit is eigenlijk de centrale boodschap die uit de resultaten naar voren komt. Het helpt om goede toetsinstrumenten te selecteren voor de samenstelling van het praktijkcurriculum, maar of de toetsinstrumenten ook werkelijk een goed resultaat opleveren, namelijk inzicht in de competenties van een verpleegkundig specialist in opleiding, hangt vooral af van de bekwaamheid van de praktijkopleider of ‘meester’. Als vervolg op de literatuurstudie werden de resultaten van een training voor praktijkopleiders in begeleiden en feedback geven onderzocht. Voor het in kaart brengen van effecten werd het trainingsevaluatiemodel van Kirkpatrick gebruikt (D. Kirkpatrick, 2010), dat er van uit gaat dat je eerst moet vaststellen of deelnemers tevreden zijn (niveau een), daarna of zij ook werkelijk de beoogde competenties hebben verworven (niveau twee). Pas daarna kun je gaan kijken of de gewenste effecten ook zijn bereikt (niveau drie en vier). Bij het niet optreden van een effect weet je dan dat dit in ieder geval niet ligt aan de tevredenheid van de deelnemers of de verworven competenties. In dit onderzoek werd aangetoond dat deelnemers tevreden waren, dat ze zich meer bewust waren van hun rol als praktijkopleider. Maar voor studenten maakte het niet uit of een praktijkopleider een training had gevolgd of niet. Dat deelnemers tevreden zijn, is een goed resultaat vooral vanuit het oogpunt van relatieopbouw met de praktijkinstellingen waar studenten worden opgeleid. Dat praktijkopleiders vinden dat zij zich meer bewust zijn van hun rol is ook een goed resultaat, maar omdat het hier gaat om een zelfevaluatie kan aan dit resultaat niet teveel waarde worden gehecht. Studenten blijken tevreden over hun praktijkopleiding. Dit is goed om te weten, omdat dit nog niet eerder is onderzocht. Er kon echter niet worden aangetoond dat dit een effect was van het trainen van praktijkopleiders. Ondanks het beperkte effect van de training is het organiseren en onderzoeken van de training van groot belang voor de MANP opleiding om verschillende redenen. Deze ervaring kan verder worden ontwikkeld zodat jaarlijks gegevens beschikbaar komen voor het interne kwaliteitssysteem van de opleiding, maar ook voor feedback naar de praktijkopleidingen. Het onderzoeken van de training heeft geleid tot meer inzicht in deze materie.
50
Het kwalitatieve onderzoek onder studenten maakte vooral duidelijk dat studenten heel tevreden zijn over hun praktijkopleider. Zij hechten aan een gelijkwaardige relatie en het samen bespreken van opdrachten en feedback. De criteria die zij aan feedback verbinden wijken niet af van wat al vanuit de literatuurstudie bekend was: • een respectvolle, vriendelijke, constructieve benadering • doel is duidelijk en bij voorkeur in gezamenlijk overleg overeengekomen tussen student en opleider • er is tweerichtingsverkeer, dat wil zeggen er is zowel inbreng van de student als van de opleider • de feedback is niet veroordelend, maar gericht op verbetering • de feedback richt zich op gedrag, niet op de persoon • de timing en de hoeveelheid zijn adequaat (Brand et al., 2010)) Nieuw en specifiek voor de kenmerken van de MANP student is dat niet alle studenten in staat zijn om de roltransitie naar student te maken. Zij gebruiken beoordelingen vooral voor bevestiging van wat zij al kunnen in plaats voor het leren van iets nieuws. Blijkbaar zien zij niet wat zij kunnen leren maar, en dat is eigenlijk nog belangrijker, zien ook hun praktijkopleiders dit niet voldoende. Een verklaring kan liggen bij de kenmerken van een individuele student of individuele praktijkopleider of bij het feit dat de opleiding nog maar kort bestaat en dat niet overal rolmodellen aanwezig zijn. Dit zou verder moeten worden onderzocht. Een tweede punt dat uit het kwalitatieve onderzoek naar voren kwam en dat te maken heeft met de rol van de student, is dat studenten de praktijkbeoordelaar lijken te beschermen tegen de eisen die aan praktijkbeoordelingen en praktijkopleiders worden gesteld door de opleiding. Studenten lijken veel begrip op te brengen voor praktijkopleiders die geen tijd maken en vinden dit ook gerechtvaardigd. Gevestigde en ingesleten rolpatronen die horen bij het verpleegkundig beroep lijken hier vooral voor verantwoordelijk. Enerzijds is er wellicht te weinig afstand naar de praktijkbeoordelaar vanwege bestaande collegiale samenwerkingsrelaties, anderzijds kan ook meespelen dat het gaat om beoordeling van een verpleegkundige door een arts. Verpleegkundigen zijn gewend om voorwaardenscheppend bezig te zijn op een afdeling, zowel naar patiënten als naar artsen.
51
Inhoudsopgave
Aanbevelingen
Referenties
Praktische aanbevelingen a Het praktijkcurriculum inrichten met toetsinstrumenten voor kortdurende toetsing en toetsing op langere termijn. De voorkeur gaat uit naar de Mini-Cex, in Nederland bekend als korte praktijkbeoordeling (KPB) of korte klinische beoordeling (KKB). Daarnaast aangevuld met een toetsing voor technische vaardigheden zoals de DOPS of de OSATS. Voor toetsing van competentiegroei op langere termijn lijkt de MSF het meest geschikt. b Veel aandacht blijven besteden aan de competenties van praktijkopleiders. De training opnieuw aanbieden in huidige vorm maar uitbreiden met twee of meer vervolginterventies bijvoorbeeld supervisie of intervisie bijeenkomsten. c Een toets ontwikkelen om de effecten van de training te meten op competenties van praktijkopleiders waardoor 0-meting en nameting mogelijk wordt. d De huidige leerstijlentest (Kolb) vervangen door de leerstijltest van Bering die speciaal is ontwikkeld voor leren van verpleegkundigen op de werkplek. Docenten leren hoe de resultaten van deze leerstijlentest gebruikt kunnen worden om studenten bewust te maken van de noodzakelijke roltransitie. e Studiecoaches scholen in de implicaties van het nieuwe opleidingsmodel (competentiegericht in combinatie met cognitive apprenticeship) voor praktijktoetsing en de gezamenlijke opleidingsverantwoordelijkheid van school en praktijk. f Aanbod ontwikkelen voor managers van instellingen om de nieuwe functie van verpleegkundig specialist te implementeren in de organisatie.
• Boeije, H. (2005; 2005). Analyseren in kwalitatief onderzoek : Denken en doen. Amsterdam: Boom onderwijs. • Brand, P., Boendermaker, P. & Venekamp, R. (2010; 2010). Klinisch onderwijs en opleiden in de praktijk. Houten: Prelum Uitgevers. • Cohen, S. N., Farrant, P. B. J. & Taibjee, S. M. (2009). Assessing the assessments: U.K. dermatology trainees’ views of the workplace assessment tools. British Journal of Dermatology, 161(1), 34-39. doi: 10.1111/j.1365-2133.2009.09097.x • Collins, A. (1991). Cognitive apprenticeship: Making things visible. American Educator, 15(3), 6. • Ebbert, D. W. & Connors, H. (2004). STANDARDIZED PATIENT EXPERIENCES: Evaluation of clinical performance and nurse practitioner student satisfaction. Nursing Education Perspectives, 25(1), 12-15. • Hamric, A. B., Spross, J. A., Hanson, C. M. & Hamric, A. B. (2009; 2009). Advanced practice nursing : An integrative approach (4th ed.). Philadelphia, Pa ; London: Saunders. • Holmboe, E. S., Sherbino, J., Long, D. M., Swing, S. R. & Frank, J. R. (2010). The role of assessment in competency-based medical education. Medical Teacher, 32(8), 676-682. doi: 10.3109/0142159X.2010.500704 • Kirkpatrick, D. (2010). 50 years of evaluation. T+D, 64(1), 14-14. • Kirkpatrick, J. D. & Kirkpatrick, W. K. (2010; 2010). Training on trial : How workplace learning must reinvent itself to remain relevant. New York: AMACOM. • Maso, I. & Smaling, A. (1998; 1998). Kwalitatief onderzoek : Praktijk en theorie. Amsterdam: Boom. • Miller, A. & Archer, J. (2010). Impact of workplace based assessment on doctors’ education and performance: A systematic review. BMJ (Clinical Research Ed.), 341, c5064-c5064. doi: 10.1136/bmj.c5064 • Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Academic Medicine:
Aanbevelingen voor vervolgonderzoek a Toetsinstrumenten ontwikkelen die gericht zijn op kenmerkende competenties van verpleegkundig specialisten zoals begeleiden bij therapietrouw of psychosociale begeleiding. b Onderzoeken wat de validiteit en betrouwbaarheid zijn van toetsinstrumenten die nu wel gebruikt worden maar waarover geen onderzoeksresultaten zijn aangetroffen, bijvoorbeeld de Critical Appraised Topic (CAT) of het Moreel beraad. c Onderzoeken welk meetinstrument (MCTQ?) om tevredenheid van studenten te meten over hun praktijkopleiding het meest geschikt is, dit instrument zo nodig aanpassen en inzetten voor feedback aan praktijkopleidingen maar ook ten behoeve van het interne kwaliteitssysteem. d Onderzoeken hoe evidence-based onderwijs, bijvoorbeeld supervisie of intervisie met als doel roltransitie kan worden ontwikkeld en geïmplementeerd.
Journal of the Association of American Medical Colleges, 65(9), S63-S67. • Norcini, J. & Burch, V. (2007). Workplace-based assessment as an educational tool: AMEE guide no. 31. Medical Teacher, 29(9), 855-871. • Perera, J., Lee, N., Win, K., Perera, J. & Wijesuriya, L. (2008). Formative feedback to students: The mismatch between faculty perceptions and student expectations. Medical Teacher, 30(4), 395-399. doi: 10.1080/01421590801949966 • Setna, Z., Jha, V., Boursicot, K. A. M. & Roberts, T. E. (2010). Evaluating the utility of workplace-based assessment tools for speciality training. Best Practice & Research. Clinical Obstetrics & Gynaecology, 24(6), 767-782. • Stalmeijer, R. E., Dolmans, D. H. J. M., Wolfhagen, I. H. A. P., Muijtjens, A. M. M. & Scherpbier, A. J. J. A. (2010). The maastricht clinical teaching questionnaire (MCTQ) as a valid and reliable instrument for the evaluation of clinical teachers. Academic Medicine: Journal of the Association of American Medical Colleges, 85(11), 1732-1738. • van der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W. & Hodges, B. (2010). The assessment of professional competence: Building blocks for theory development. Best Practice & Research Clinical
52
53
Biografie
Inhoudsopgave
Obstetrics & Gynaecology, 24(6), 703-719. doi: DOI: 10.1016/j.bpobgyn.2010.04.001 • Violato, C., Lockyer, J. M. & Fidler, H. (2008). Changes in performance: A 5-year longitudinal study of participants in a multi-source feedback programme. Medical Education, 42(10), 1007-1013.
Lia van Straalen Lia van Straalen (1953) studeerde Verplegingswetenschappen (2003) aan de Universiteit van Utrecht. Daarvoor werkte zij jarenlang als wijkverpleegkundige en kwaliteitsmedewerker in de thuiszorg. Sinds 2005 werkt zij fulltime als docent verpleegkunde op de Hogeschool Utrecht, eerst bij de bachelor opleiding en sinds 2009 bij de master opleiding (MANP). Zij geeft les in kwaliteitszorg, begeleidt studenten bij afstudeerprojecten maar haar belangrijkste aandachtspunt is het praktijkleren van de verpleegkundig specialist in opleiding.
54
55
Inhoudsopgave
Ondersteuning van reflectie in Hoger Beroepsonderwijs Rapportage van een onderzoek naar de effectiviteit van schriftelijke reflectie
In de eindtermen van de Bacheloropleiding Verpleegkunde is reflecteren één van de beschreven competenties. Ook in het beroepsprofiel van verpleegkundigen is de reflectieve beroepsbeoefenaar één van de competentiegebieden. In verpleegkunde is reflecteren belangrijk omdat het een hulpmiddel is om de transfer tussen theorie en beroepspraktijk te bevorderen en daarmee ook het professionele leren (Schön, 1987; Bolhuis, 2002; Koninklijke Nederlandsche Maatschappij tot bevordering der Geneeskunst, 2002; Verpleegkundige Beroepenstructuur OpleidingsContinuüm & Verpleegkundigen Verzorgenden Nederland, 2006; Verpleegkundigen & Verzorgenden Nederland, 2012). Studenten van de Bacheloropleiding Verpleegkunde van Hogeschool Utrecht hebben in evaluaties aangegeven het nut van reflecteren niet te zien en niet gemotiveerd te zijn voor reflectie1. Dit is de aanleiding geweest voor onderzoek naar reflectie. In reflectie zijn verschillende niveaus te onderscheiden, waarbij het hoogste niveau de kritische reflectie is (Duke & Appleton, 2000; Kember et al, 2008; Mezirow, 1997; Ward & McCotter, 2004). Bij kritische reflectie wordt verbetering van functioneren in de beroepspraktijk gerealiseerd. Omdat studenten aan de Bacheloropleiding Verpleegkunde van Hogeschool Utrecht niet herkennen dat door reflectie hun functioneren in de stage wordt bevorderd, is hieruit afgeleid dat zij het hoogste niveau van reflectie, de kritische reflectie, niet behalen. figuur 1 Het reflectieproces ontwikkeling resultaat
functioneren in de beroepspraktijk
ervaring
onderzoek
student
verandering
uitproberen
Welmoed Steenstra 56
alternatieven voor houding en gedrag
zelf anderen theorie
resultaat
Bron: interne publicatie Bacheloropleiding Verpleegkunde Hogeschool Utrecht, studentevaluaties 2008-2010
1
57
Inhoudsopgave
Uit literatuuronderzoek is gebleken dat schriftelijke reflectieopdrachten kunnen bijdragen aan het reflecteren op een hoger niveau (Connor-Greene, 2000; Epp, 2008; Lai & Calandra, 2010). Het onderzoek bij studenten van de Bacheloropleiding Verpleegkunde heeft zich daarom gericht op schriftelijke reflectie. De onderzoeksvraag was ‘Leidt gebruik van de Reflectiewijzer tot een hoger niveau van schriftelijke reflectie’? figuur 2 niveaus van reflectie
4 Kritische reflectie: fundamentele vragen worden gesteld en verandering wordt gerealiseerd. 3 Dialoog: Onderzoek is onderdeel van een proces van vragen stellen en actie, aandacht voor perspectieven van anderen, nieuwe inzichten. 2 Technisch: Instrumentele reactie op specifieke situaties zonder dat perspectieven veranderen. 1 Routine: Niet verbonden met verandering.
Om bias te voorkomen, is het niveau van reflectie in de reflectieverslagen die voor de posttest zijn gebruikt, niet alleen door de onderzoeker, maar ook door een tweede onafhankelijke beoordelaar vastgesteld. In de interventiegroep hebben de studenten voor elke reflectieles een reflectieverslag geschreven met behulp van de Reflectiewijzer. In de controlegroep hebben de studenten reflectieverslagen geschreven volgens andere methoden; de ‘ABCmethode’, kernreflectie en waarderende reflectie. Deze methoden waren al enkele jaren opgenomen in het curriculum. Voor de nameting is in de controlegroep voor de vierde les het reflectieverslag volgens Korthagen geschreven. Dit is de methode die in de eerste les door zowel de interventie- als de controlegroep is gebruikt ten behoeve van de voormeting. Voor de interventiegroep was dit het vierde verslag dat is geschreven met de Reflectiewijzer. Door middel van een onafhankelijke t-test is vastgesteld of er significante verschillen aanwezig zijn geweest in de kenmerken van de studenten uit de interventie- en de controlegroep. Dit is niet het geval geweest. Ook ten aanzien van de motivatiekenmerken en het niveau van reflectie zijn in de prétest geen significante verschillen tussen de interventiegroep en controlegroep naar voren gekomen (zie tabel 1 op pagina 60).
Er is een quasi experiment uitgevoerd met een pré- en posttest design, een interventiegroep en een controlegroep. De 56 tweedejaarsstudenten van die in september 2011 zijn gestart met hun stage, hebben allen deel uitgemaakt van de onderzoeksgroep. Er is gebruik gemaakt van natuurlijke groepen. De onderzoeksgroep is ingedeeld in vijf lesgroepen, zonder dat de onderzoeker op deze indeling invloed heeft gehad. De koppeling van de docenten aan een reflectiegroep heeft gerandomiseerd plaatsgevonden, evenals de toewijzing van een lesgroep aan de interventie- of controlegroep. Om vertekening van onderzoeksresultaten door significante verschillen in de interventieen controlegroep uit te sluiten, zijn in de pré- en posttest de studentkenmerken geïnventariseerd. In de gebruikte vragenlijst zijn de studentkenmerken opgenomen die het niveau van reflectie zouden kunnen beïnvloeden, zoals leeftijd en cognitieve vermogens, naast de gegevens die gebruikt zijn om de homogeniteit van de groepen te testen. Ook hebben vragen over motivatie deel uitgemaakt van de vragenlijst, omdat motivatiekenmerken de leerstijl en daarmee de reflectievaardigheden van studenten kunnen beïnvloeden (Hattie, 2009; Kyndt, 2010). Verder zijn in de pré- en posttest schriftelijke reflectieverslagen ingenomen waarvan het niveau van reflectie is bepaald met behulp van de Reflectiematrix (Ward & McCotter, 2004).
58
59
Inhoudsopgave
tabel 2 Wilcoxon-Signed Rankstest voor het gepaarde verschil in niveau van reflectie tussen voor- en nameting in de interventie- en de controlegroep
tabel 1 Beschrijvende statistiek over de studentkenmerken Studentenkenmerken Interventiegroep n=36
Controlegroep n= 20
Interventiegroep N = 22
Gem.
SD.
Gem.
SD.
Verschilscore
P-waarde
Leeftijd
19.81
1.7
19.68
1.7
0.13
0.743
Man / vrouw
88.9%
0.01
0.900
89.5%
Vooropleiding - Havo - VWO
77.8%
1.2
8.3%
- Overig
13.9%
aantal EC propedeuse
53.44
89.5%
0.8
Niveau Onderzoek
10.6% 52.53
7.94
1.24
Onvoldoende
27.8%
Voldoende
61.1%
Goed
11.1%
1.97
25%
1.85
0.12
0.651
55%
Mdn. nam.
Z
Negatief
7.38
2.0
2.0
-1.801(a)
Positief
8.23
Niveau Verandering
Sign
mdn voorm.
mdn. nam.
Z
6.63
Positief
7.17
0.036
2.00
2.0
3.0
-2.309(a)
0.010
2.0
2.5
-1.089(a)
0.138
1.0
2.0
-1.656(a)
0.049
2.0
3.0
-1.384(a)
0.083
3.50 2.88
-
Negatief
8.33
Positief
8.60
Gelijk
7.38
Sign.
4.86
1.5
Z a: gebaseerd op negatieve verschillen
20%
Controlegroep N = 10 Gem. Rang
-
Negatief
Gelijk
0.492
Stageresultaat
Mdn voorm.
Gelijk
0.300
-
5.84
Niveau Focus
Gem. Rang
2.0
-.994(a)
0.16
1.50 3.38
Mdn. = mediaan
Motivatiekenmerken studenten voormeting Interventiegroep n = 24
Controlegroep n = 17
Gem.
SD.
Gem.
SD.
Verschilscore
P-waarde
Vooropleiding
27.42
4.8
28.42
4.6
1.0
0.512
Reflectie
12.22
3.2
12.65
2.5
0.43
0.648
Niveau van reflectie voormeting Interventiegroep n = 31 Gem.
SD.
Controlegroep n = 12 Gem.
SD.
Verschilscore
P-waarde
Focus
1.97
.836
1.62
.650
0.35
0.183
Onderzoek
2.06
.680
1.69
.751
0.37
0.116
Verandering
1.65
.608
1.31
.480
0.34
0.083
Vervolgens is de verandering van niveau van reflectie tussen de voor- en nameting bepaald. Hieruit blijkt dat door het gebruik van de Reflectiewijzer als methode voor schriftelijke reflectie, geen significant hoger niveau van reflectie bereikt is (zie tabel 2).
60
Toch is er een aantal aanwijzingen dat de Reflectiewijzer effectief is bij het ondersteunen van studenten in het realiseren van een hoger niveau van reflectie. Een positief resultaat is gevonden met betrekking tot het onderdeel Onderzoek in de Reflectiewijzer. Studenten uit de interventiegroep hebben een hoger niveau van Onderzoek gerealiseerd dan de studenten uit de controlegroep. Het onderdeel Onderzoek van de Reflectiewijzer richt zich op het analyseren van een situatie, door deze vanuit verschillende invalshoeken te bekijken en zo ook het formele en informele leren aan elkaar te verbinden. Hiermee is dit een belangrijk onderdeel van de Reflectiewijzer. Ook zijn de reflectieverslagen van de interventiegroep langer en is er een positieve correlatie tussen de lengte van een reflectieverslag en het gerealiseerde niveau. Dit is een bevestiging van eerder onderzoek (Lai & Calandra, 2010). Het opvallendste verschil zit echter in de motivatie. Studenten uit de interventiegroep zijn in de posttest meer gemotiveerd gebleken voor reflectie dan de studenten uit de controlegroep (zie tabel 3). Dit is belangrijk omdat studenten bij intrinsieke motivatie meer betekenisvol leren. Betekenisvol leren hangt nauw samen met kritisch denken en kritische reflectie (Kyndt, 2010; Phuong Phan, 2009; Sobral, 2004; Vermunt & Vermetten, 2004). De significante resultaten in de correlatie tussen motivatie en het gerealiseerde niveau van reflectie, bevestigen dit. Ook corresponderen deze resultaten met het gegeven dat studenten en docenten uit de interventiegroep vinden dat de Reflectiewijzer tot denken aanzet. Opvallend is, dat één van de drie interventiegroepen afwijkend scoort ten opzichte van de andere twee. Uit onderzoek is bekend dat bij reflectieonderwijs een
61
Inhoudsopgave
veilige leeromgeving noodzakelijk is om tot leren te komen (Epp, 2008; Manning, 2009; Paget, 2001; Platzer, 2000; Ruth-Sahd, 2003). De afwijkende resultaten van één van de interventiegroepen lijken er op te wijzen dat deze veilige leeromgeving hier niet is gerealiseerd, met negatieve resultaten als gevolg.
tabel 4 Kendall’s Tau voor de correlatie tussen motivatie en niveau van reflectie Interventiegroep motivatie school
tabel 3 Gepaarde t-test voor het onderzoeken van de motivatie
Correlatie Coëfficiënt Motivatie school
Posttest Interventiegroep n = 8 Gem.
SE
r
Gem.
Sig. (eenzijdig) N
Int.groep afwijkend. n=4 SE
r
Motivatie opleiding
0.75
0.77
0.41
2.25
2.06
0.53
Motivatie reflectie
1.38
0.65
0.06
-2.25
1.11
0.63
1.000 . 32
r
Gem. 1.54 -2.0
SE
SE
r
p-waarde
1.39
0.36
> 0.5
1.39
0.37
> 0.5
Motivatie reflectie
0.367(*)
0.451(**)
0.167
0.248
0.015
0.004
0.163
32
Correlatie Coëfficiënt
0.092
Sig. (eenzijdig)
0.248
N
r
Controlegroep n = 15
32
25
1.000 . 32
Gem.
SE
motivatie school
Gem.
SE
Methode is prima
3.90
0.14
3.2
0.49
3.4
0.19
0.014
Methode zet aan tot denken
4.15
0.19
3.0
0.45
3.27
0.23
0.04
Cijfer aan reflectie
7.4
0.21
4.6
0.68
6.9
0.16
r
p-waarde Correlatie Coëfficiënt
25
Niveau Verandering
25
0.098
0.319(*)
0.340(*)
0.280
0.030
0.022
25
25
25
Motivatie school
1.000
Sig. (eenzijdig) N
. 22
motivatie reflectie
Niveau Focus
Niveau Onderzoek
Niveau Verandering
0.087
0.108
-0.037
-0.138
0.307
0.313
0.435
0.272
22
15
15
15
> 0.5
Uit de test blijkt dat de afname van motivatie voor reflectie in twee interventiegroepen heel klein is, met een effectgrootte van r = 0.06. De motivatie voor reflectie in de afwijkende groep is sterk afgenomen ( gem.= -2.25). Dit resultaat is niet significant, maar heeft wel een groot effect (r = 0.63). In de controlegroep is de motivatie voor school en stage toegenomen, terwijl de motivatie voor reflectie juist meer is afgenomen dan in de interventiegroep, met een gemiddelde effectgrootte (r = 0.37). De interventiegroep met de afwijkende scores geeft gemiddeld het cijfer 4.6 aan reflectie. Het cijfer dat de studenten uit de twee andere interventiegroepen aan reflectie geven, is gemiddeld 7.4, terwijl het gemiddelde cijfer voor de controlegroep 6.9 is. Studenten zijn significant positiever over de Reflectiewijzer als methode en over de vraag of deze tot denken aanzet.
62
0.092
Niveau Onderzoek
Controlegroep
Int.groep afwijkend n = 5 Gem.
Niveau Focus
Controlegroep n=13
Onafhankelijke t-test Interventiegroep n = 13
motivatie reflectie
Motivatie reflectie
Correlatie Coëfficiënt
0.087
Sig. (eenzijdig)
0.307
N
* p< 0.05 (1-zijdig)
22
1.000 . 22
-0.048
0.110
-0.125
0.415
0.312
0.292
15
15
15
** p< 0.01(1-zijdig)
Er is in de posttest geen significant verschil in niveau van reflectie geconstateerd tussen de interventie- en de controlegroep. Er is een aantal factoren dat hierop van invloed is geweest. De ontwikkeling van reflectievaardigheden vereist veel oefening en feedback (Gagné,1984; Hattie, 2007; Manning, 2009; Mezirow, 1997; Platzer, 2000). De onderzoeksperiode duurde 20 weken, maar studenten hebben tijdens het onderzoek slechts vijf reflectieverslagen geschreven, waardoor de mogelijkheid tot oefenen beperkt is geweest. In de tussenliggende lessen zijn de reflectieverslagen besproken, maar heeft feedback van docenten niet het expliciete doel gehad om daardoor een hoger niveau van reflectie te behalen. Ook het geringe aantal deelnemers is een beperking van het
63
Inhoudsopgave
onderzoek geweest. Door de kleine aantallen was het niet mogelijk een regressieanalyse uit te voeren en zijn de resultaten van het onderzoek minder betrouwbaar. Om de effectiviteit van de Reflectiewijzer daadwerkelijk vast te stellen is verder onderzoek, met een grotere groep deelnemers noodzakelijk. Er zijn nu wel aanwijzingen voor een positief effect van de Reflectiewijzer, maar een causaal verband is nog niet aangetoond.
Referenties • Bolhuis, S. (2002). Professioneel leren: wat is het en hoe bevorderen we het? Tijdschrift voor Medisch Onderwijs, 21(4), 173-182. • Connor-Greene, P. (2000). Making Connections: Evaluating the Effectiveness of Journal Writing in enhancing Student learning. Teaching of Psychology, 27(1), 44-46. • Duke, S. & Appleton, J. (2000). The use of reflection in a palliative care programme: a quantitative study of the development of reflective skills over an academic year. Journal of Advanced Nursing, 32 (6), 1557 1568. • Dyment, J. E. & O’Connell, T. S. (2010). The Quality of Reflection in Student Journals: A Review of Limiting and Enabling Factors. Innov High Education, 35, 233-244. • Epp, S. (2008). The value of reflective journaling in undergraduate nursing education: A literature review. International Journal of Nursing Studies 45 1379-1388. • Facione, P. A. (1990). Critical thinking: a statement of expert consensus for purposes of educational assessment and instruction. American Philosophical Association.1-50. • Gagne, R. M. (1984). Learning Outcomes and Their Effects: Useful Categories of Human Performance. American Psychologist, 39(4), 377-385. • Hattie, J. & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, Vol. 77(No 1), 81-112. • Kember, D., McKay, J., Sinclair, K. & Wong, F. K. Y. (2008). A Four-Category Scheme for Coding and Assessing the Level of Reflection in Written Work. Assessment & Evaluation in Higher Education, 33(4), 369-379. • Korthagen, F.A.J. (1998). Leren reflecteren, naar systematiek in het leren van je werk als docent. Uit: Begeleiden van docenten. Baarn: H. Nelissen, B.V. • Koninklijke Nederlandsche Maatschappij tot bevordring der Geneeskunst, e. a. (2002). De arts van straks, een nieuw medisch opleidingscontinuüm, KNMG versie 3.0. • Kyndt, E, Dochy, F., Struyven, K. & Cascallara, E. (2010) The direct and indirect effect of motivation for learning on students’ approaches to learning through the perceptions of workload and task complexity. Higher Education Research & Development. 30 (2) 135–150. • Lai, G. & Calandra, B. (2010). Examining the effects of computer-based scaffolds on novice teachers’ reflective journal writing. Education Tech Research Dev (58), 421-437. • Manning, A., Cronin, P., Monaghan, A. & Rawlings-Anderson, K. (2009). Supporting students in practice: An exploration of reflective groups as a means of support. Nurse Education in Practice, 9, 176-183. • Mezirow, J. (1997). Transformative Learning: Theory to Practice. New Directions for Adult and Continuing Education, 74, 5 -12. • Paget, T. (2001). Reflective practice and clinical outcomes: practitioners’ views on how reflective practice has influenced their clinical practice 10. Journal of Clinical Nursing(10), 204- 214. • Platzer, H., Blake, D. & Ashford, D. (2000). An evaluation of process and outcomes from learning through reflective practice groups on a post-registration nursing course. Journal of Advanced Nursing, 31(3), 689695.
64
65
Biografie
Inhoudsopgave
• Phuong Phan, H. (2009) Exploring students’ reflective thinking practice, deep processing strategies, effort, and achievement goal orientations. Educational Psychology Vol. 29 (3), 297–313 • Ruth-Sahd, L. A. (2003). Reflective Practice: A Critical Analysis of Data-Based Studies and implications for Nursing Education. Journal of Nursing Education 488 - 497. • Schön, D.A. (1987) Educating the Reflective Practioner. The Jossey-Bass Higher Education Series, San Fransisco. • Sobral. D. (2004). What kind of motivation drives medical students’ learning quests? Medical Education; 38: 950–957 • Verpleegkundige Beroepenstructuur OpleidingsContinuüm & Verpleegkundigen & Verzorgenden Nederland (2006). Rapport Verpleegkundige toekomst in goede banen. Utrecht. • Verpleegkundigen & Verzorgenden Nederland (2012) Leren van de toekomst. Verpleegkundigen & Verzorgenden 2020. • Vermunt, J. & Vermetten, Y. (2004). Patterns in Student Learning: Relationships Between Learning Strategies, Conceptions of Learning, and Learning Orientations. Educational Psychology Review, Vol. 16 (4), 359-382.
Welmoed Steenstra
• Ward, J. & McCotter, S. (2004). Reflection as a visible outcome for preservice teachers Teaching and Teacher Education 20, 243-257.
opleiding Bacheloropleiding Verpleegkunde Hogeschool Utrecht functie Docent Verpleegkunde, voorzitter curriculumcommissie, coördinator reflectieonderwijs In de gezondheidszorg is Evidence Based werken ingeburgerd. Ook in de Bacheloropleiding Verpleegkunde krijgen de studenten les in evidence based werken en doen zij praktijkonderzoek. Het beter in staat zijn om de studenten te begeleiden bij hun onderzoek was voor mij één van de redenen om met MEBIT te beginnen. De tweede reden was dat wij als docenten nauwelijks bezig zijn met het zoeken naar evidence als basis voor het invoeren van vernieuwingen in het onderwijs. Ik vind dit wel heel belangrijk en dit motiveerde mij verder om me juist bij MEBIT aan te melden. Ik ben in semester 2 begonnen met onderzoek naar reflectie. Wat ik me op dat moment niet realiseerde, is dat over reflectie heel veel verschillende opvattingen bestaan en dat er weinig kwantitatief onderzoek naar is gedaan – wat wel één van de doelstellingen van MEBIT is. Ook was er geen gevalideerde interventie of beoordelingssysteem te vinden dat toepasbaar was in de Bacheloropleiding Verpleegkunde en dat ik in onderzoek kon gebruiken. Ik ben daarom in semester 3 begonnen met exploratief onderzoek, waarbij de Reflectiewijzer is ontwikkeld. Ook heb ik in semester 3 de Reflectiematrix, bedoelt om het niveau van reflectie te bepalen, getest. Vervolgens heb ik in semester 4 de effectiviteit van de Reflectiewijzer onderzocht. Waar ik trots op ben, is dat ondertussen de Reflectiewijzer blijvend is opgenomen in het curriculum.
66
67
Inhoudsopgave
Een uitdaging ligt in het vasthouden en verder uitbouwen van het doen van onderzoek naar onderwijs in de opleiding. Ik heb hiermee al een begin kunnen maken. Als voorzitter van de curriculumcommissie probeer ik evidence based werken binnen de opleiding verder op de agenda te zetten!
Notities
Hoewel MEBIT voor mij niet altijd ‘van een leien dakje’ is verlopen, kijk ik met plezier en voldoening terug. Het was een uitdaging om ook kwantitatief onderzoek te doen. Ik heb veel geleerd!
68
69
Inhoudsopgave
Inhoudsopgave
Contact TA - Teachers Academy is onderdeel van TIER Teachers Academy | Universiteit Maastricht bezoekadres Kapoenstraat 2 postadres Postbus 616 6200 MD Maastricht www.maastrichtuniversity.nl/web/Faculteiten/FHS/TIERTeachersAcademy/ MasterOfEvidenceBasedInnovationInTeaching.htm
TIER-UM is onderdeel van Faculty of Humanities and Sciences TIER | Top Institute for Evidence Based Education Research | Universiteit Maastricht bezoekadres Kapoenstraat 2 postadres Postbus 616 6200 MD Maastricht www.tierweb.nl
met dank aan Wim Groot | Henriëtte Maassen van den Brink John van der Kant | Annemarie Bergsma | Marleen Bovee Lia van Straalen | Welmoed Steenstra
72
Evidence based verbeteren van het onderwijs
Based in Europe, focused on the world. Maastricht University is a stimulating environment. Where research and teaching are complementary. Where innovation is our focus. Where talent can flourish. A truly student oriented research university.
www.maastrichtuniversity.nl
concept & design BONNÉ+JAN | 0137
Evidence based werken in het onderwijs staat sterk in de belangstelling. Deze bundel is de tweede in de reeks Academische Meesterwerken en geeft een aantal nieuwe voorbeelden hoe docenten evidence based kunnen werken. Het toont aan dat docenten ontwikkelaar en onderzoeker van innovaties in het onderwijs zijn en zo bijdragen aan verbetering van de kwaliteit van onderwijs.
