Percepties van studenten over de tutor, de casussen en het groepsfunctioneren bij probleemgestuurd onderwijs: Een survey-onderzoek bij tweede en derde bachelor Geneeskunde
Masterproef neergelegd tot het behalen van de graad van master in de pedagogische wetenschappen, afstudeerrichting pedagogiek en onderwijskunde
Promotor: Prof. Dr. Bram De Wever
Ruth Boelens Studentennummer: 00801410
Academiejaar 2012-2013 Eerste examenperiode
Ondergetekende, Ruth Boelens, geeft toelating tot het raadplegen van deze masterproef door derden.
Voorwoord Bij het schrijven van dit voorwoord en het afwerken van deze masterproef is het mei 2013. Het lijkt al een hele tijd geleden wanneer ik terugdenk aan de keuze voor een onderwerp voor deze masterproef. Voor volgende onderzoeksgebieden kreeg ik gedurende mijn opleiding een expliciete interesse: hoger onderwijs en onderwijsbeleid, kwaliteitszorg en onderwijs, innoverende aanpakken in het onderwijs en professionele ontwikkeling van leraren. Bij het kiezen van een onderwerp voor deze masterproef richtte ik me op deze domeinen. De implementatie van probleemgestuurd onderwijs in het curriculum van de opleiding Geneeskunde sprak me dan ook direct aan en mijn keuze was reeds snel gemaakt. Op basis van een raadpleging in de wetenschappelijke literatuur en enkele gesprekken met mijn promotor Prof. Dr. Bram De Wever en met de voorzitter van het Centrum voor Onderwijsontwikkeling (COO), Prof. Dr. Anselme Derese, besliste ik een evaluatie te doen van het probleemgestuurd onderwijs in de tweede en derde bachelor Geneeskunde. Dit om de huidige situatie van het probleemgestuurd onderwijs in kaart te brengen waardoor nadien eventuele veranderingen of verbeteringen kunnen doorgevoerd worden. Ik gaf met andere woorden de voorkeur aan een vraag uit de praktijk. Dit omdat de gegevens uit mijn masterproef dan daadwerkelijk kunnen gebruikt worden. Tevens hoop ik ook een wetenschappelijke bijdrage geleverd te hebben aan het onderzoek binnen het domein van probleemgestuurd onderwijs. Intussen ben ik talrijke bladzijden en heel veel kennis over probleemgestuurd onderwijs rijker en zijn mijn inzichten en resultaten gebundeld in deze masterproef. Ik hoop met deze masterproef aan de voornaamste verwachtingen van verschillende actoren (binnen en buiten de faculteit Geneeskunde) te voldoen. Deze masterproef mag hopelijk een opstap betekenen voor een leerrijke toekomst met verdere uitbreiding van het probleemgestuurd onderwijs binnen en buiten het domein van de geneeskunde. Tijdens het schrijven van deze masterproef kreeg ik steun, advies, informatie en zo veel meer van tal van mensen. Het is moeilijk om mensen te bedanken, want zo wordt het gemakkelijk om mensen te vergeten. Toch zijn er enkele mensen die in dit voorwoord een expliciete bedanking krijgen. Ten eerste mijn promotor, Prof. Dr. Bram De Wever, die mij de kans gaf om deze masterproef te schrijven, me ondersteund, geholpen en bijgestuurd heeft waar nodig. Ten tweede de actoren binnen de faculteit Geneeskunde waaronder in het bijzonder Prof. Dr. Anselme Derese voor de goede begeleiding en inhoudelijke ondersteuning. Daarnaast bedank ik ook Prof. Dr. Alain Verstraete en Prof. Dr. Veronique Cocquyt voor de leerzame bijeenkomsten die me hielpen bij het schrijven van deze masterproef. Ook bedank ik graag Leen Aper en haar collega’s die klaar stonden voor de nodige hulp en ondersteuning. Ten derde wil ik mijn gezin, familie en Joeri bedanken voor het nalezen en de steun bij het schrijven van deze masterproef. Tot slot wil ik de tutoren en studenten bedanken, door hun medewerking kon ik deze masterproef tot een goed einde brengen. Ruth Boelens
Voor referenties en andere stijlkenmerken in deze masterproef heb ik gebruik gemaakt van: Publication Manual of the American Psychological Association (APA), Sixth Edition en van de richtlijnen voor auteurs van ‘Pedagogische Studiën’. I
Abstract Deze masterproef gaat het probleemgestuurd onderwijs na, een innovatieve onderwijsleermethode, en de implementatie ervan in de opleiding Geneeskunde aan de Universiteit Gent. Het doel van deze masterproef is de huidige situatie van het probleemgestuurd onderwijs in kaart brengen waarbij een focus ligt op de rol van de tutor. Het gedrag van de tutor wordt opgesplitst in vijf competenties: actief leren, zelfregulerend leren, toegepast leren, samenwerkend leren en de houding van de tutor. Enerzijds wordt een vragenlijst (gevalideerd in eerder onderzoek) afgenomen bij de studenten om hun percepties na te gaan, anderzijds worden enkele tutorialsessies geanalyseerd op basis van video-opnames. De vragenlijst gaat na hoe de tutoren, de kwaliteit van de casussen en het groepsfunctioneren gepercipieerd worden, hoe tutoren met verschillende scores op de vijf competenties gepercipieerd worden en welke tips worden gegeven door de studenten. Daarnaast wordt nagegaan of het geschetste beeld door de studenten overeenkomt met bevindingen van een externe beoordelaar. Vervolgens wordt er gefocust op het soort vragen dat de tutor stelt en hoe de tutor omgaat met vragen of onzekerheden van studenten. Ten slotte wordt de invloed van de tutor op verschillende contextvariabelen bekeken en wordt nagegaan of het gedrag van de tutoren stabiel is over twee academiejaren heen. Uit de resultaten blijkt dat de tutoren gemotiveerd zijn om de rol als tutor te vervullen en dat de casussen en het groepsfunctioneren een relatief hoge score krijgen. Tutoren die relatief laag scoren op de vijf competenties krijgen de laagste score voor het functioneren van de tutor en hetzelfde geldt omgekeerd bij een relatief hoge score. Wanneer de tutor het samenwerkend leren minder stimuleert krijgt hij/zij een hogere score dan als de tutor het zelfregulerend leren of actief leren minder stimuleert. De meest voorkomende tips zijn er met betrekking tot het actiever aanwezig zijn van de tutor. Daarnaast ligt het geschetste beeld van de tutoren in lijn met de bevindingen van de externe beoordelaar. Vervolgens stellen tutoren vooral verticale vragen en verkiezen ze om vragen zelf te beantwoorden in plaats van vragen door te spelen. Er is een positief effect van actief leren en van zelfregulerend leren op de kwaliteit van de casussen en een positief effect van de kwaliteit van de casussen op het groepsfunctioneren. Ten slotte is het gedrag van de tutoren op de factoren actief, zelfregulerend en toegepast leren stabiel over twee academiejaren heen. Op de factoren samenwerkend leren en houding van de tutor en op het item functioneren van de tutor is het gedrag van de tutor niet stabiel over twee academiejaren heen. Implicaties, beperkingen en verdere onderzoeksmogelijkheden worden geformuleerd in de sectie algemene discussie.
II
Inhoudsopgave Voorwoord ......................................................................................................................................... I Abstract ............................................................................................................................................. II Inleiding en probleemstelling ..............................................................................................................1 Literatuurstudie...................................................................................................................................2 Probleemgestuurd onderwijs ...........................................................................................................2 Samenwerkend leren .......................................................................................................................4 Uitkomsten van probleemgestuurd onderwijs ..................................................................................5 Problemen in de praktijk .................................................................................................................6 De kwaliteit van de casussen ...........................................................................................................7 De rol van de tutor ..........................................................................................................................8 Stabiliteit van het gedrag van de tutor ..........................................................................................9 Evaluatie van tutoren ................................................................................................................. 10 Invloed van de tutor op contextvariabelen.................................................................................. 12 Praktische overwegingen bij het tot stand komen van de onderzoeksvragen ................................... 13 Onderzoeksvragen en hypothesen .................................................................................................. 13 Methode ........................................................................................................................................... 14 Onderzoekssetting ......................................................................................................................... 14 Meetinstrumenten ......................................................................................................................... 14 Dataverzameling ........................................................................................................................... 15 Participanten ................................................................................................................................. 16 Analyse......................................................................................................................................... 17 Onderzoeksvraag 1: Hoe beoordelen de studenten hun tutor, de casussen en het groepsfunctioneren? .................................................................................................................. 17 Onderzoeksvraag 2: Hoe effectief zijn tutoren met verschillende scores op de vijf competenties in de perceptie van de studenten? .................................................................................................. 17 Onderzoeksvraag 3: Welke tips worden gegeven door de studenten om het gedrag van de tutor te verbeteren? ............................................................................................................................... 17 Onderzoeksvraag 4: Komt het geschetste beeld van de tutoren overeen met de bevindingen van de externe beoordelaar op basis van de videoanalyse? .................................................................... 18 Onderzoeksvraag 5: Welk soort vragen stellen de tutoren? Hoe gaan tutoren om met vragen of onzekerheden van studenten? .................................................................................................... 18 Onderzoeksvraag 6: Wat is de invloed van de tutor op verschillende contextvariabelen (kwaliteit van de casussen, groepsfunctioneren en leeruitkomsten van de studenten) van PGO? ................. 19 Onderzoeksvraag 7: Is het gedrag van de tutoren stabiel over twee academiejaren? .................... 19 Resultaten en specifieke discussie ..................................................................................................... 19 Onderzoeksvraag 1: hoe beoordelen de studenten hun tutor, de casussen en het groepsfunctioneren? ...................................................................................................................... 20 Discussie ................................................................................................................................... 21 Onderzoeksvraag 2: Hoe effectief zijn tutoren met verschillende scores op de vijf competenties in de perceptie van de studenten? ...................................................................................................... 21 Discussie ................................................................................................................................... 22 III
Onderzoeksvraag 3: Welke tips worden gegeven door de studenten om het gedrag van de tutor te verbeteren? ................................................................................................................................... 23 Discussie ................................................................................................................................... 24 Onderzoeksvraag 4: Komt het geschetste beeld van de tutoren overeen met de bevindingen van de externe beoordelaar op basis van de videoanalyse? ........................................................................ 24 Discussie ................................................................................................................................... 27 Onderzoeksvraag 5: Welk soort vragen stellen de tutoren? Hoe gaan tutoren om met vragen of onzekerheden van studenten? ........................................................................................................ 28 Discussie ................................................................................................................................... 29 Onderzoeksvraag 6: Wat is de invloed van de tutor op verschillende contextvariabelen (kwaliteit van de casussen, groepsfunctioneren en leeruitkomsten van de studenten) van PGO?..................... 29 Discussie ................................................................................................................................... 30 Onderzoeksvraag 7: Is het gedrag van de tutor stabiel over beide academiejaren? .......................... 31 Discussie ................................................................................................................................... 32 Algemene discussie en conclusie....................................................................................................... 32 Conclusies .................................................................................................................................... 32 Implicaties .................................................................................................................................... 33 Beperkingen.................................................................................................................................. 33 Verdere onderzoeksmogelijkheden ................................................................................................ 34 Literatuurlijst .................................................................................................................................... 36 Appendices ....................................................................................................................................... 40 Appendix 1: Vragenlijst die gebruikt werd om de tutoren te evalueren, Universiteit Gent .............. 40 Appendix 2: Analyseschema bij het analyseren van het videomateriaal .......................................... 41 Appendix 3: Het aantal items per factor en Cronbach’s alpha betrouwbaarheidscoëfficient ............ 42 Appendix 4: Correlaties tussen de factorscores, n= 555 ................................................................. 43 Appendix 5: Aantal tutoren en exacte scores per factor bij de groepen ‘relatief lage score’, ‘gemiddelde score’ en ‘relatief hoge score’ ................................................................................... 44 Appendix 6: De volledige lijst met tips voor de tutor, Universiteit Gent, 2011-2013 ...................... 45
IV
Inleiding en probleemstelling Binnen de snel evoluerende maatschappij moet ook het onderwijs up-to-date blijven en zijn innovaties binnen de onderwijsleeromgeving onontbeerlijk. Onderzoekers en mensen uit de praktijk zijn voortdurend bezig met het optimaliseren en het verbeteren van de onderwijspraktijk. Een belangrijk doel binnen het onderwijs is een leeromgeving creëren die studenten voorbereidt op een leven lang leren en een succesvolle beroepsloopbaan (Dolmans, 2012). Het probleemgestuurd onderwijs is een voorbeeld van zo’n innovatieve onderwijsleeromgeving. Probleemgestuurd onderwijs sluit enerzijds aan bij hedendaagse inzichten over leren, maar anderzijds is permanente innovatie van probleemgestuurd onderwijs nodig om aan te zetten tot beter leren (Dolmans, 2012). Deze masterproef focust op het probleemgestuurd onderwijs binnen de opleiding Geneeskunde aan de Universiteit Gent. Het in 1997 verschenen visitatierapport met betrekking tot de opleiding Geneeskunde leidde ertoe dat het tutorialonderwijs, een variant van probleemgestuurd onderwijs, ingevoerd werd om studenten betere inzichten bij te brengen in bepaalde concepten uit de basiswetenschappen (De Maeseneer, 2008; De onderwijsvisitatie Geneeskunde en Biomedische Wetenschappen, 2008). Uit ervaringen van professoren binnen de opleiding Geneeskunde die met de tutorials bezig zijn en uit het jaarverslag van de Studenten Werkgroep Opleiding (SWOP) blijkt dat intussen een evaluatie van het tutorialonderwijs aangewezen is. Daarnaast is de Studenten Werkgroep Opleiding (2011, p. 31) positief over de tutorials: “In de derde bachelor komen de tutorials aan bod. Als student zijn we zeer enthousiast over de kwaliteit en kwantiteit van deze tutorials. Hierin hebben we een unieke gelegenheid om de aangeleerde vaardigheden uit de eerste twee bachelorjaren toe te passen op casuïstiek.” Bij het uitvoeren van deze masterproef wordt zowel met de vraag uit de praktijk rekening gehouden als met de vaststelling uit wetenschappelijk onderzoek dat het evalueren van innovaties in het onderwijs een prioriteit moet zijn (Dolmans, 2012; van Wyk & McLean, 2007). De bedoeling van deze masterproef is dus tweeërlei: enerzijds wordt op maatschappelijk vlak een bijdrage geleverd (voor de opleiding Geneeskunde), anderzijds wil deze masterproef ook op wetenschappelijk vlak iets bijdragen. De gevonden resultaten en inzichten kunnen vergeleken worden met wetenschappelijke inzichten uit bestaand onderzoek. De evaluatie van het probleemgestuurd onderwijs in de opleiding Geneeskunde wordt geconcretiseerd door enerzijds een vragenlijst af te nemen bij de studenten in de tweede en de derde bachelor en door anderzijds video-opnames van enkele tutorialgroepen te analyseren. Deze vragenlijst (gevalideerd in eerder onderzoek) gaat het gedrag van de tutor, de kwaliteit van de casussen en het groepsfunctioneren na. Daarnaast worden de bevindingen van de studenten vergeleken met de bevindingen van een externe beoordelaar, wat een tekortkoming is in huidig onderzoek (van Wyk & McLean, 2007). Ook wordt nagegaan welk soort vragen de tutoren stellen en hoe tutoren omgaan met vragen en onzekerheden van studenten. Vervolgens wordt de (mogelijke) invloed van de tutor op verschillende contextvariabelen van PGO vastgesteld. Ten slotte wordt de stabiliteit van het gedrag van de tutoren over twee academiejaren nagegaan, gezien daar in huidig onderzoek geen eenduidigheid over is (Dolmans, Gijselaers, Moust, de Grave, Wolfhagen, & van der Vleuten, 2002; Williams, Alwis, & Rotgans, 2011).
1
In de literatuurstudie van deze masterproef wordt een beschrijving gegeven van probleemgestuurd onderwijs en wordt verduidelijkt hoe deze onderwijsvorm het leren van studenten kan beïnvloeden. De focus bij deze masterproef ligt vooral op de rol van tutoren en de competenties van tutoren binnen het probleemgestuurd onderwijs.
Literatuurstudie In deze literatuurstudie wordt het theoretisch kader geschetst waarbinnen deze masterproef is opgebouwd. Verschillende begrippen en concepten worden verklaard en eerder wetenschappelijk en empirisch onderzoek wordt geduid. Eerst worden de concepten probleemgestuurd onderwijs en samenwerkend leren toegelicht. Nadien worden de uitkomsten van het probleemgestuurd onderwijs beschreven en worden de vaak voorkomende problemen in de praktijk aangehaald. Vervolgens worden de kwaliteit van de casussen en de rol van de tutor bestudeerd. Binnen de rol van de tutor wordt de stabiliteit van het gedrag van de tutor, de evaluatie van de tutor en de invloed van tutor op contextvariabelen nagegaan. Ten slotte worden de specifieke onderzoeksvragen van deze studie gepresenteerd. Probleemgestuurd onderwijs In 1966 ontstond een nieuwe benadering binnen het medisch onderwijs: ‘De McMaster Philosophy’ (Neufeld & Barrows, 1974). Deze filosofie werd voor het eerst uitgeoefend in de faculteit Geneeskunde aan de McMaster Universiteit te Hamilton, Ontario (Canada). Neufeld en Barrows (1974) spreken over drie componenten bij deze nieuwe benadering: (1) zelfsturend leren, (2) probleemgestuurd onderwijs en (3) tutorialonderwijs in kleine groepen. De focus ligt hier op de individuele student-arts (Neufeld & Barrows, 1974). Deze innovatieve onderwijsvorm was een reactie op de onvrede die er heerste met betrekking tot het bestaande onderwijs. Daarin was veel van wat onderwezen werd irrelevant voor de latere beroepspraktijk en er lag vooral nadruk op het verwerven van kennis en niet op de toepassing er van (Dolmans, 2012; Neufeld & Barrows, 1974). Deze stroming heeft de opeenvolgende jaren een grote invloed gehad op het medisch onderwijs en ook op andere domeinen binnen het onderwijs. Hieronder wordt verder ingegaan op het probleemgestuurd onderwijs en de bijhorende concepten zoals zelfsturend leren en tutorialonderwijs. Probleemgestuurd onderwijs (PGO) is een leermethode waarin studenten een probleem gepresenteerd krijgen en vervolgens door een studentgericht onderzoeksproces dit probleem trachten op te lossen. Zowel het leerproces als de -inhoud worden hierbij benadrukt (Mennin, Gordan, Majoor, & Osman, 2003). Mennin e.a. (2003) stellen dat er veel varianten van PGO bestaan. Doorgaans worden studenten in groepen verdeeld en ontmoeten zij elkaar om het probleem of de casus op te lossen. Het oplossen van het probleem bestaat meestal uit enerzijds twee tutorialsessies waarbij de studenten samen komen in groep en anderzijds een periode van individuele zelfstudie. Er is met andere woorden sprake van een leercyclus die bestaat uit drie onderdelen (Mennin et al., 2003): (1) een eerste tutorialsessie of bijeenkomst, (2) een periode van zelfstudie en (3) een tweede tutorialsessie of bijeenkomst. Het eerste deel betreft een tutorialsessie waarin het probleem wordt gepresenteerd zonder voorafgaande voorbereiding van de studenten. De presentatie van het probleem of de casus dient als eerste stimulus voor de studenten om hun voorkennis te activeren en te weten welke bijkomende
2
kennis noodzakelijk is voor het oplossen van de casus. Het probleem kan niet opgelost worden zonder bijkomende informatie. Tijdens de eerste tutorialsessie wordt de casus geanalyseerd en verfijnd, worden hypotheses ontwikkeld en wordt er relevante voorkennis met betrekking tot het probleem opgehaald. Het tweede deel betreft een periode van zelfstudie waarin de studenten individueel extra informatie opzoeken. Dit wordt gevolgd door het derde deel: een tweede tutorialsessie in groep waarin er naar elkaar toe gerapporteerd wordt over de bijkomende informatie die men gevonden heeft. Aan de hand daarvan wordt de casus in groep verder opgelost (Mennin et al., 2003). Ook andere auteurs spreken over drie fasen bij PGO: (1) discussie over het probleem, (2) zelfstudie en (3) rapportering (Chng, Yew, & Schmidt, 2011; Dolmans & Wilkerson, 2011; Moust & Schmidt, 1995). Schmidt (1983) beschrijft het proces van PGO in zeven stappen. De eerste stap na het presenteren van het probleem is dat onduidelijke termen en concepten verduidelijkt worden. Ten tweede wordt het probleem gedefinieerd binnen de groep. Dit wordt gevolgd door de derde stap, een probleemanalyse. Als vierde stap maakt men een overzicht van de verklaringen uit stap drie. In de vijfde stap worden de leerdoelen geformuleerd. Voorgaande vijf stappen gebeuren in de eerste tutorialsessie. Na deze eerste sessie volgt de zesde stap: zelfstandig informatie verzamelen buiten de groep. Als laatste en zevende stap, in de tweede tutorialsessie, komt men tot een synthese en wordt de nieuwe verworven kennis getest of toegepast op de casus. Normaliter werkt een groep van vijf tot acht studenten samen tijdens de tutorialsessies onder leiding van een of meerdere begeleiders (tutoren) uit de faculteit. De groepen worden at random samengesteld. Hoe lang de groep samen blijft, varieert van programma tot programma. Over het algemeen is dit ongeveer één semester. De tutorialgroep komt één of meerdere keren per week samen in sessies van twee tot drie uren (Mennin et al., 2003). Probleemgestuurd onderwijs kan geplaatst worden binnen de theorie van het constructivisme (Van Berkel & Dolmans, 2006). PGO is een van de beste voorbeelden van een constructivistische leeromgeving (Savery & Duffy, 2001). Leren binnen het constructivisme wordt door Savery en Duffy (2001) beschreven als een proces dat voortkomt uit interacties met de omgeving. In PGO wordt de informatie niet rechtstreeks overgebracht van de docent naar de studenten, maar de studenten leren zelf antwoorden te vinden op hun eigen vragen. De studenten construeren zelf nieuwe kennis en geven zelf vorm aan hun leerproces. De tutor faciliteert het leerproces en voorziet de studenten van feedback. Mennin e.a. (2003) spreken in dit verband over actief studentgericht leren. Dolmans e.a. (2002) en Van Berkel en Dolmans (2006) stellen dat tutoring en PGO in het algemeen actief, zelfregulerend, toegepast en samenwerkend leren bij de studenten moet stimuleren. Het PGO is met andere woorden gebaseerd op deze moderne inzichten met betrekking tot het leren (Dolmans, de Grave, Wolfhagen, & van der Vleuten, 2005). Een korte uitleg bij de begrippen is gegeven in Tabel 1. Tabel 1 Vier moderne inzichten met betrekking tot het leren (Dolmans et al., 2005) Actief leren
Leren is een actief proces waarin studenten hun kennisnetwerken construeren en reconstrueren
Zelfregulerend leren
Studenten hebben een actieve rol in het plannen, monitoren en evalueren van het leerproces
Toegepast leren
Leren komt voor in een betekenisvolle context
Samenwerkend leren
Twee of meer mensen in mutuele interactie
3
Het hoofddoel van de tutorialsessies is uiteraard het probleem of de casus zo goed en zo volledig mogelijk oplossen. Kwaliteitsvolle casussen zijn hierbij van belang. Mennin e.a. (2003) menen dat relevante casussen geselecteerd moeten worden opdat de studenten de onderliggende inhoudelijke concepten van de casus kunnen leren en inoefenen, zowel individueel als in groep. Verder in deze literatuurstudie wordt dieper ingegaan op de rol van de casussen. Samenvattend zijn verschillende auteurs het met elkaar eens dat PGO over volgende karakteristieken beschikt: (1) het gebruik van problemen als startpunt van het leren, (2) samenwerken in kleine groepen, (3) begeleiding door een tutor, (4) het aantal hoorcolleges is minimaal, (5) het leren komt voort uit de studenten zelf en (6) er is tijd voorzien voor zelfstudie (Chng et al., 2011; Dochy, Segers, Van den Bossche, & Gijbels, 2003; Dolmans et al., 2005; Hmelo-Silver, 2004; Schmidt, van der Molen, te Winkel, & Wijnen, 2009). Samenwerkend leren Het probleemgestuurd onderwijs, en meer bepaald de leeractiviteit binnen een tutorialgroep, is een vorm van samenwerkend leren (Dolmans, Wolfhagen, & van der Vleuten, 1998). Slavin (1996) onderscheidt vier theoretische perspectieven die een invloed kunnen hebben op de uitkomsten van samenwerkend leren. Als eerste beschrijft Slavin (1996) het motivationeel perspectief. Vanuit dit perspectief moet men een situatie creëren waarin de individuele studenten enkel hun persoonlijke doelen kunnen bereiken indien de volledige groep succesvol is. Het feit dat de individuele uitkomsten afhankelijk zijn van het gedrag van de andere studenten, is voldoende om de studenten te motiveren om zich te engageren in de groep. Johnson en Johnson (1999) spreken in dit verband over positieve onderlinge afhankelijkheid. Een tweede perspectief dat Slavin (1996) beschrijft, is dat van de sociale cohesie. Dit is de mate waarin studenten elkaar helpen bij het leren omdat ze begaan zijn met de ander en willen dat de ander slaagt. Het derde perspectief is het ontwikkelingsperspectief. Dit houdt in dat interactie tussen studenten zoals discussiëren, presenteren en elkaars standpunten aanhoren met betrekking tot de casus het begrip van de concepten verhoogt. Het vierde perspectief is het elaboratieperspectief. Een van de meest effectieve manieren van elaboratie is het leermateriaal uitleggen aan iemand anders. Verhoogde leerresultaten vinden plaats wanneer studenten begrippen, concepten en oplossingen aan elkaar uitleggen. Zowel de uitlegger als de luisteraar strijken hier voordelen bij op (Slavin, 1996). Elaboratie kan ook voorkomen bij het beantwoorden van vragen bij een tekst, door notities te nemen, door samenvattingen te schrijven of door hypotheses te formuleren bij een bepaald probleem (Schmidt, 1983). Elaboratie houdt in dat de geheugenstructuur op een bepaalde manier wordt gevormd waardoor er minder snel vergeten wordt en er gemakkelijk en efficiënt kennis kan opgehaald of herinnerd worden (Schmidt, 1983). Slavin (1996) plaatst de eerste twee perspectieven onder een motivationele benadering. Het derde en vierde perspectief behoren tot een cognitieve benadering die als uitgangspunt heeft dat interacties tussen studenten de leeruitkomsten verhogen. De vier perspectieven geven een beeld van hoe verschillende vormen van samenwerkend leren een invloed kunnen hebben op het leren van de studenten. Dolmans e.a. (1998) concluderen dat het succes van een tutorial afhangt van de interactie (ontwikkelingsperspectief) en van de motivatie (motivationeel perspectief) binnen de groep. Met andere woorden zijn deze twee perspectieven het meest belangrijk bij PGO. Slavin (1996) sluit daar bij aan door te stellen dat niet alle vier de perspectieven noodzakelijk zijn in een bepaalde context. 4
Deze vaststelling houdt in dat tutoren moeten getraind zijn om de groepsinteractie te stimuleren en om de studenten te motiveren door onder andere een goede sfeer te creëren (Dolmans et al., 1998). Een andere factor die positieve uitkomsten bij samenwerkend leren kan bevorderen, is de individuele verantwoordelijkheid van studenten (Johnson & Johnson, 1999; Slavin, 1996). Dit houdt in dat de inzet van elke individuele student beoordeeld wordt en er zowel een resultaat aan de groep als aan het individu gegeven wordt (Johnson & Johnson, 1999). Dit zou eventueel geplaatst kunnen worden onder het motivationeel perspectief van Slavin (1996). Tot slot stellen Johnson en Johnson (1999) vast dat het evalueren van het groepsfunctioneren één van de basiselementen is om samenwerkend leren effectief te maken. Het proces van de groep kan nagegaan worden door een discussie tussen de groepsleden over hoe goed ze hun doelen bereiken en hoe ze de effectieve samenwerking kunnen onderhouden. De groep kan aangeven welke inbreng of welk gedrag van leden ze al dan niet goed vinden. Wanneer er moeilijkheden zijn binnen de groep, moeten deze zichtbaar en duidelijk worden gemaakt opdat de problemen effectief kunnen opgelost worden. Uitkomsten van probleemgestuurd onderwijs De doelen van PGO worden door Hmelo-Silver (2004) als volgt omschreven: studenten helpen bij het ontwikkelen van (1) flexibel kennis verwerven, (2) effectieve probleemoplossende vaardigheden, (3) zelfregulerend leren, (4) effectieve vaardigheden om samen te werken en (5) intrinsieke motivatie. In wat volgt worden een aantal uitkomsten van PGO beschreven die al dan niet aansluiten bij deze vooropgestelde doelen. Dolmans en Schmidt (2006) stelden volgende cognitieve effecten vast: (1) de groepsdiscussies activeren de voorkennis van studenten, (2) het opbouwen van een theorie en het denken in causale verbanden vindt zowel verbaal plaats als in het denken van de studenten, (3) cognitieve conflicten kunnen leiden tot veranderingen in het begrip en (4) samenwerkend leren en het opbouwen van kennis vindt plaats in het proces van probleemoplossen. Neufeld en Barrows (1974) menen dat PGO het kritisch denken van de studenten in de tutorialgroepen aanmoedigt. Uit de onderzoeken van Van Blankenstein, Dolmans, van der Vleuten en Schmidt (2011) en Mennin e.a. (2003) blijkt dat het actief geven van uitleg tijdens een discussie een positieve invloed heeft op het lange termijn geheugen. Studenten die tutorialonderwijs genieten, kunnen met andere woorden de leerstof beter ophalen op lange termijn. Dochy e.a. (2003) bevestigen dit en menen dat studenten bij PGO iets minder kennis opdoen, maar meer van de verworven kennis kunnen onthouden. Studenten herinneren zich beter de leerstof door de hogere elaboratie bij PGO (Dochy et al., 2003). Mennin e.a. (2003) stellen echter vast dat er geen significante verschillen zijn in de leerresultaten wanneer studenten uit het traditionele onderwijs vergeleken worden met studenten die PGO volgen. Dolmans en Schmidt (2006) sluiten zich daar bij aan en stellen dat het leren in kleine groepen niet altijd als effectief beschouwd wordt. Verschillende oorzaken kunnen hiervan aan de basis liggen, zoals oppervlakkige discussies en slecht georganiseerde tutorials. Ten slotte blijken er verschillen te zijn in de manier waarop studenten leren (Mennin et al., 2003). In een traditioneel curriculum studeert men eerder voor het leren en memoriseren, in een curriculum gebaseerd op PGO ligt er meer nadruk op begrip en betekenis. Deze laatste groep studenten zou meer verschillende bronnen hanteren om tot kennis te komen. Naast cognitieve uitkomsten, zijn er ook effecten van PGO op de motivatie van studenten. Dolmans en Schmidt (2006) en Moust en Schmidt (1995) menen dat groepsdiscussies bij studenten een positief 5
effect hebben op de intrinsieke motivatie en interesse in het onderwerp. Studenten raken door te discussiëren over het onderwerp onzeker over hun initiële verklaringen, wat hun nieuwsgierigheid, interesse en motivatie opwekt. Daarnaast kunnen studenten gemotiveerd worden door elementen uit het hierboven beschreven motivationeel perspectief (Slavin, 1996) of de positieve onderlinge onafhankelijkheid (Johnson & Johnson, 1999) toe te voegen. Ten slotte kan de kwaliteit van de casus bijdragen tot meer motivatie bij studenten (Moust & Schmidt, 1995). Later in deze literatuurstudie wordt verder ingegaan op de kwaliteit van de casussen. Vervolgens zijn er mogelijke effecten van PGO met betrekking tot de sociale vaardigheden. Neufeld en Barrows (1974) stellen dat PGO een mogelijkheid biedt voor de studenten om te leren luisteren, kritiek te ontvangen en zelf constructieve kritiek of feedback te geven aan medestudenten. Hmelo-Silver (2004) en Prince, Van Eijs, Boshuizen, van der Vleuten en Scherpbier (2005) menen dat afgestudeerden uit een PGO-curriculum zichzelf positiever beoordelen op communicatie, samenwerking en omgaan met onzekerheden in vergelijking met hun collega’s die geen PGO kregen. Mennin e.a. (2003) stellen vast dat studenten die PGO volgen hoger scoren op testen rond mensenkennis en attitudes. Ten slotte beschrijven Mennin e.a. (2003) in hun studie dat de klinische vaardigheden van de studenten uit het tutorialonderwijs superieur zijn ten opzichte van studenten uit traditionele programma’s. Deze eerste groep studenten zou beter presteren in de klinische setting en hun resultaten op testen die klinische kennis meten zijn minstens gelijk of iets hoger in vergelijking met studenten uit meer traditionele curricula (Mennin et al., 2003). Dit stelt ook Schmidt (1983) vast in zijn onderzoek: een op PGO gebaseerd curriculum kan betere leermogelijkheden bieden voor studenten om medische problemen op te lossen. Schmidt (1983) concludeert dat mensen kennis kunnen verwerven zonder die daarom ook te kunnen toepassen. Ze beschikken met andere woorden over informatie maar kunnen die niet altijd gebruiken of toepassen binnen een bepaalde context. PGO als instructiemethode draagt bij tot de toepassing van de verworven kennis (Schmidt, 1983). Problemen in de praktijk Problemen komen meestal voor bij een slechte implementatie van PGO en de tutorials. Hieronder worden drie mogelijke oorzaken van problemen gegeven: (1) de casussen, (2) de tutor en (3) de groep studenten. Als eerste geven Dolmans e.a. (2005) aan dat te gestructureerde casussen voor problemen kunnen zorgen. Casussen met een gesloten einde die te simpel of niet realistisch zijn, dagen de studenten niet voldoende uit. Ten tweede zijn zowel te richtinggevende tutoren als te passieve tutoren problematisch (Dolmans et al., 2005; Dolmans, Janssen-Noordman, & Wolfhagen, 2006). Een gevolg hiervan is dat studenten zich niet betrokken voelen en dat de afwezigheidgraad zal verhogen (Dolmans et al., 2005). De verschuiving van docentgecentreerd onderwijs naar studentgecentreerd onderwijs is niet evident voor docenten/tutoren. Zij hebben geen ervaring met studentgericht onderwijs en hebben geen tutoren kunnen observeren. De tutoren beschikken over expertise in hun discipline, maar hebben slechts een gelimiteerde training wat lesgeven en tutoring betreft. Dit kan er voor zorgen dat de docenten zich niet comfortabel voelen met de rol als tutor in het PGO (Dolmans et al., 2002). Een derde probleem dat Dolmans e.a. (2005) aanhalen, zijn disfunctionele tutorialgroepen. Dit kan het gevolg zijn van een te passieve tutor, een apathische groep of een groep die cynisch staat tegenover PGO. Deze bevindingen tonen aan dat de kwaliteit van de casussen, de rol van de tutor en het
6
groepsfunctioneren essentieel zijn in het tutorialonderwijs. Hieronder wordt eerst ingegaan op de kwaliteit van de casussen en nadien op de rol van de docent als tutor. De kwaliteit van de casussen Hmelo-Silver (2004), Mamede, Schmidt en Norman (2006) Moust en Schmidt (1995) en Schmidt (1983) beschrijven kenmerken waar rekening mee kan worden gehouden bij het construeren van een probleem of een casus. Samengevat kunnen zes kenmerken opgesomd worden die kunnen bijdragen tot een kwaliteitsvolle casus. Ten eerste moet het probleem aansluiten bij de voorkennis van de studenten en moet het hun voorkennis activeren. Dit is belangrijk voor het onthouden van de nieuwe informatie (Moust & Schmidt, 1995; Schmidt, 1983). Ten tweede moet het probleem discussies uitlokken die er voor zorgen dat studenten hypotheses aan elkaar uitleggen. Op die manier is er sprake van elaboratie wat inhoudt dat studenten de inhouden voortdurend structureren en herstructureren (Moust & Schmidt, 1995; Schmidt, 1983). Zo worden de studenten ook gemotiveerd om het leerproces tot een goed einde te brengen (Hmelo-Silver, 2004). Ten derde moet het probleem realistisch zijn en overeenkomen met de belevingen en ervaringen van de studenten (Hmelo-Silver, 2004). Dit lokt intrinsieke motivatie en belangstelling voor het probleem uit (Hmelo-Silver, 2004; Moust & Schmidt, 1995). Doordat studenten op basis van hun ervaringen een verschillend perspectief innemen, ontstaat er een discussie waardoor ze onzeker worden over hun initiële verklaringen. Dit wekt de nieuwsgierigheid en motivatie van de studenten op (Moust & Schmidt, 1995). Ten vierde moet het probleem complex (“ill-structured”) zijn en moet het een open einde hebben omdat dit het flexibel denken aanmoedigt (Hmelo-Silver, 2004; Mamede et al., 2006; Schmidt, 1983). Complexe problemen kunnen gesitueerd worden binnen de theorie van het constructivisme (Jonassen, 1997). Jonassen (1997) beschrijft complexe problemen als volgt: (1) deze problemen komen meestal voor in een specifieke context, (2) één of meerdere aspecten van het probleem zijn onduidelijk gespecificeerd, (3) de oplossing is niet voorspelbaar of eenduidig en er zijn meerdere alternatieve oplossingen mogelijk, (4) er is een integratie van verschillende inhoudelijke domeinen nodig, (5) de doelen zijn vaag gedefinieerd of onduidelijk en (6) er zijn geen algemene regels of principes om tot een oplossing van het probleem te komen. Samengevat moeten studenten bij complexe problemen zelf leren oordelen over problemen en een eigen standpunt vormen en verdedigen. Het zijn dit soort problemen die ook in het dagdagelijks leven voorkomen (Jonassen, 1997). Een vijfde kenmerk voor het construeren van een casus of probleem sluit daar bij aan: het probleem moet multidisciplinaire antwoorden vereisen (Hmelo-Silver, 2004). Dit houdt in dat er kennis en vaardigheden nodig zijn van verschillende inhoudelijke domeinen. Zo gaan studenten inzien hoe die flexibele kennis van verschillende domeinen bruikbaar is bij het oplossen van het probleem. Daarnaast motiveert de samenhang van verschillende maar toch gerelateerde domeinen de studenten om zich te engageren in het leerproces (Hmelo-Silver, 2004). Een zesde en laatste kenmerk is dat het probleem de communicatievaardigheden moet stimuleren. Dit heeft als doel dat de studenten effectief leren samenwerken (Hmelo-Silver, 2004). Het is noodzakelijk dat de opleiding beschikt over goede en kwaliteitsvolle casussen maar dit is niet voldoende om van effectief PGO te spreken. De rol van de tutor is cruciaal om PGO te laten functioneren (Hmelo-Silver, 2004). In de volgende sectie wordt dieper ingegaan op de rol en het gedrag van de tutor.
7
De rol van de tutor De docent wordt bij PGO ‘de tutor’ genoemd (Moust & Schmidt, 1995). Voor de tutoren zijn de tutorials een aangename manier om in interactie te gaan met de studenten. PGO voorziet de mogelijkheid voor docenten/tutoren om meer tijd door te brengen met de studenten en dit op een kwaliteitsvolle manier (Mennin et al., 2003). Er is binnen de tutorialsessies zowel plaats voor kennisconstructie als voor informele gesprekken tussen de tutor en de studenten (Schmidt & Moust, 1995). De rol van de tutor is belangrijk voor het tot stand komen van leren binnen de tutorialgroep (Dolmans & Ginns, 2005; Neufeld & Barrows, 1974). Neufeld en Barrows (1974) omschrijven de rol van de tutor als een begeleider of facilitator, hij of zij moet de groepsinteracties managen en coördineren. Mennin e.a. (2003) geven een algemene beschrijving van de rol van de tutor. De auteurs stellen dat de tutor het leren faciliteert zonder direct bij te dragen tot de oplossing van het probleem, hij/zij dient niet als primaire informatiebron om de casus op te lossen. Verder moet de tutor gepaste vragen stellen die de studenten aanzetten tot nadenken. Hij of zij moet de studenten helpen een brug te bouwen tussen hun bestaande kennis en de nieuw geleerde kennis. Dit is een iteratief proces want er duiken steeds nieuwe vragen op bij de casus. Het iteratief proces van vraag en antwoord helpt de studenten om de casus te begrijpen en om de problemen van de patiënt op te lossen. Het is dus van belang dat de tutor vooral horizontale en reflectieve vragen stelt (De Wever, Schellens, Valcke, & Van Keer, 2006; Fahy, Ally, Crawford, Cookson, Keller, & Prosser, 2000). Horizontale vragen worden gesteld om een dialoog of reacties uit te lokken. Dit zou moeten resulteren in samenwerking om een accepteerbaar antwoord of oplossing te vinden in groep. Er is geen eenduidig correct antwoord waardoor discussie uitgelokt wordt. Reflectieve vragen komen voor wanneer er interne conflicten, waarden, overtuigingen, redeneringen, twijfels en andere inzichten in vraag worden gesteld. De tutor is hierbij geïnteresseerd in persoonlijke bijdragen (De Wever et al., 2006; Fahy et al., 2000). In tegenstelling tot horizontale en reflectieve vragen, richten verticale vragen zich op het verkrijgen van een antwoord of informatie. Hier ontstaat geen dialoog maar gaat het om ‘vraag’ en ‘antwoord’ (De Wever et al., 2006; Fahy et al., 2000). De tutor dient een optimale leeromgeving te creëren waardoor de studenten het gevoel hebben zichzelf te kunnen zijn en hun onzekerheden met betrekking tot het oplossen van de casus en het groepsproces te durven uitdrukken (Mennin et al., 2003). Turan, Elcin, Odabasi, Ward en Sayek (2009) stellen dat tutoren vaardigheden en attitudes moeten ontwikkelen om het leerproces en metacognitieve kennis bij de studenten aan te moedigen en om de studenten te evalueren en feedback te geven. Dolmans e.a. (2002) spreken over de ideale tutor wanneer die over twee eigenschappen beschikt. Een tutor moet ten eerste weten hoe hij/zij moet omgaan met vakinhoudelijke expertise (Schmidt & Moust, 1995) en ten tweede hoe hij/zij het leerproces kan faciliteren. Uit de studie van Dolmans e.a. (2002) bleek dat vakinhoudelijke experten hun vakinhoudelijke expertise gebruiken om de discussie in de tutorial te leiden. Dit leidt tot meer docentgerichte activiteiten in plaats van door de studenten geïnitieerde activiteiten. De tutor neemt hier een sturende rol in en er is vooral interactie tussen tutor en student. Daarentegen nemen tutoren die over geen of minder vakinhoudelijke expertise beschikken meer een rol als facilitator op en stimuleren ze activiteiten die met groepsdynamiek te maken hebben. Dit leidt ertoe dat zij meer het groepsfunctioneren evalueren en dat er meer interacties zijn tussen de studenten onderling. 8
Van Berkel en Dolmans (2006) beschrijven de taak van de tutor als het stimuleren van (1) actief, (2) zelfregulerend, (3) toegepast en (4) samenwerkend leren. Verder moet de tutor (5) intra-persoonlijk gedrag vertonen dat bevorderlijk is voor het leren van de studenten. Deze vijf competenties die het leerproces faciliteren, zouden een positief effect hebben op het leren van de studenten. Een algemene omschrijving van de vijf competenties, gebaseerd op de bevindingen van Dolmans e.a. (2005) en Van Berkel en Dolmans (2006), wordt weergegeven in Tabel 2. Tabel 2 Vijf competenties van tutoren (Dolmans et al., 2005; Van Berkel & Dolmans, 2006)
Actief leren
De tutor kan actief leren stimuleren door de studenten de leerstof te laten samenvatten in hun eigen woorden en door de studenten aan te moedigen verbanden te zoeken tussen de leerstof.
Zelfregulerend leren
Het stimuleren van zelfregulerend leren kan door studenten aan te zetten om goed gedefinieerde leerdoelen vast te stellen en door hen er op te wijzen dat ze verschillende bronnen kunnen gebruiken tijdens de zelfstudie. De studenten spelen zelf een belangrijke rol in het plannen, monitoren en evalueren van hun eigen leerproces. De tutor kan hen hierop wijzen.
Toegepast leren
Het toegepast leren kan gefaciliteerd worden door studenten te stimuleren hun voorkennis te gebruiken bij het oplossen van de casus of de studenten aan te zetten het probleem vanuit verschillende perspectieven te bekijken.
Samenwerkend leren
Samenwerkend leren wordt bevorderd door studenten regelmatig de samenwerking in de groep te laten evalueren. Dit kan door hen zelf constructieve feedback te laten geven over de samenwerking binnen de tutorialgroep. Belangrijk hierbij is dat studenten een gemeenschappelijk doel hebben, gedeelde verantwoordelijkheden en wederzijds afhankelijk zijn van elkaar. De studenten moeten gestimuleerd worden om in interactie te gaan met elkaar (zie ook hierboven bij de perspectieven van samenwerkend leren: Johnson & Johnson, 1999; Slavin, 1996).
Intra-persoonlijk gedrag
De tutor kan in zijn gedrag tonen dat hij/zij gemotiveerd is om de rol als tutor te vervullen. Verder kan hij/zij zich bewust worden van de eigen sterktes en zwaktes met betrekking tot de rol als tutor.
Stabiliteit van het gedrag van de tutor Er is geen eenduidig antwoord op de vraag of het gedrag van de tutor al dan niet stabiel is. Het gedrag van de tutor blijkt gedeeltelijk tutorspecifiek en gedeeltelijk situatiespecifiek te zijn. Uit de overzichtsstudie van Dolmans e.a. (2002) blijkt enerzijds dat het gedrag van de tutor geen stabiel kenmerk is. Contextfactoren die het gedrag van tutoren kunnen beïnvloeden zijn: kwaliteit van de casussen, structuur van de tutorials, de aansluiting van de casus bij de voorkennis van de studenten en het functioneren van de tutorialgroep. Schmidt (1994) stelt dat er een minimum aan structuur vereist is om PGO goed te laten verlopen. Dit kan door de casussen te laten aansluiten bij de voorkennis van de studenten of door aan te geven aan de studenten wat de focus van de tutorial is. Wanneer er weinig voorkennis bij de studenten aanwezig is en indien de omgeving weinig structuur biedt, vallen studenten terug op de hulp en sturing van de tutor (Schmidt, 1994). Dit kan veroorzaken dat de tutor zijn gedrag aanpast waardoor het dus niet stabiel is. Williams e.a. (2011) stellen anderzijds dat het gedrag van tutoren wel stabiel is. De auteurs namen drie maal dezelfde vragenlijst rond inhoudelijke expertise, sociale congruentie (informeel communiceren van de tutor met de studenten) en cognitieve congruentie (de tutor drukt zichzelf uit in verstaanbare taal voor de studenten) af bij dezelfde tutoren. Uit de resultaten kon afgeleid worden dat de tutoren hun gedrag consistent was en zelfs moeilijk te veranderen. Dit is in tegenstrijd met de bovenstaande bevindingen van Dolmans e.a. (2002). Er moet wel geduid worden op het feit dat in het onderzoek van Williams e.a. (2011) de contextfactoren (behalve de kenmerken van de tutorialgroep en de individuele studenten) ongeveer gelijk bleven gedurende de drie metingen.
9
Bovenstaande bevindingen over het belang en de invloed van contextfactoren sluiten aan bij de studies van Dolmans en Wilkerson (2011) en Van Berkel en Dolmans (2006). Deze studies tonen aan dat de belangrijkste factoren in PGO de casussen, het groepsfunctioneren en de competenties van de tutoren zijn. Deze drie factoren oefenen een invloed uit op elkaar en op het creëren van een al dan niet krachtige leeromgeving (Van Berkel & Dolmans, 2006). Hierna wordt eerst ingegaan op het evalueren van tutoren en nadien wordt de invloed van de tutor op verschillende contextvariabelen zoals de kwaliteit van de casussen en het groepsfunctioneren nagegaan. Evaluatie van tutoren Uit het voorgaande literatuuroverzicht blijkt dat de tutor een centrale rol speelt bij PGO, waardoor het aangewezen is om de tutor te evalueren en van feedback te voorzien over zijn of haar tutorcompetenties. Deze feedback kan gebruikt worden om het gedrag van de tutoren te verbeteren (Dolmans & Ginns, 2005; van Wyk & McLean, 2007). De evaluatie kan zowel door de studenten als door externe beoordelaars uitgevoerd worden (McLean & van Wyk, 2006). Dolmans en Ginns (2005) ontwikkelden een korte vragenlijst die door studenten kan worden ingevuld om hun tutor te evalueren. De vragenlijst meet de vijf competenties van een tutor zoals beschreven door Van Berkel en Dolmans (2006): bijdragen tot actief leren, zelfregulerend leren, toegepast leren, samenwerkend leren en intrapersoonlijk gedrag van de tutor. Deze competenties worden gemeten aan de hand van elf stellingen die de studenten moeten beantwoorden. McLean en van Wyk (2006) raden aan om deze vragenlijst te hanteren bij het evaluatieproces. Schaub-de Jong, Schönrock-Adema, Dekker, Verkerk en Cohen-Schotanus (2011) reduceerden een vragenlijst die het gedrag van tutoren meet van oorspronkelijk 241 items naar 47 items. Het instrument meet drie componenten: cognitieve, affectieve en metacognitieve functies. Onder cognitieve functies valt het verwerven van nieuwe inzichten over het eigen leren. Affectieve functies worden beantwoord door het creëren van een veilige leeromgeving en zelfregulerend leren behoort tot metacognitieve functies. Ook in dit instrument komen componenten van de hierboven vernoemde vragenlijst van Dolmans en Ginns (2005) terug. De vragenlijst van Schaub-de Jong e.a. (2011) is echter dubbel zo lang waardoor het invullen ervan veel tijd en moeite vergt van de studenten. De hierboven beschreven vragenlijst van Dolmans en Ginns (2005) is afgeleid uit een langere vragenlijst van Dolmans, Wolfhagen, Scherpbier en van der Vleuten (2003). De laatste auteurs gaven op basis van de resultaten van de vragenlijst (met 21 items voor de vijf factoren) feedback aan de betrokken tutoren. De percepties van tutoren over het ontvangen van feedback op basis van de evaluaties van studenten werden door van Wyk en McLean (2007) nagegaan. De auteurs komen tot de conclusie dat de tutoren de feedback nuttig vonden en dat dit positief inwerkte op de motivatie van de tutoren. De tutoren geven in het onderzoek aan dat de feedback gegeven moet worden alvorens ze een andere groep begeleiden. Verder komt naar voor dat de tutoren een externe validatie naast de evaluatie van de studenten gepast zouden vinden (van Wyk & McLean, 2007). Turan e.a. (2009) concluderen dat feedback van studenten naar tutoren toe de evaluatie verrijkt. Feedback door studenten is belangrijk en heeft prioriteit omwille van de redenen dat studenten zowel het subject van het leren zijn als het object van het lesgeven (Turan et al., 2009). Verder benadrukken deze onderzoekers dat een evaluatie van de tutoren kan helpen om te kijken of er nood is aan professionele ontwikkeling van tutoren binnen de faculteit. Ook Dolmans en Wolfhagen (2005) geven aan dat het nuttig is om trainingen voor tutoren te ontwikkelen en te organiseren. 10
Dolmans e.a. (2006) gaan na of studenten hun tutoren kunnen evalueren en hoe grondig ze die evaluatie uitvoeren. Studenten gaven enerzijds een score op vijf competenties van de tutor (Van Berkel & Dolmans, 2006: zie Tabel 2) en anderzijds een score voor het functioneren van de tutor (globaal oordeel). De uitkomst van het onderzoek is dat studenten duidelijke percepties hebben ten aanzien van effectieve tutoren. Ze kunnen differentiëren tussen tutoren met verschillende sterktes en zwaktes op bepaalde competenties, en niet enkel tussen een slechte of een goede tutor. Daarnaast gaan de auteurs na hoe effectief tutoren bevonden worden met verschillende scores op de vijf competenties die beschreven worden in Tabel 2. Een overzicht van de resultaten is gegeven in Tabel 3. Tutoren die relatief laag scoren op alle vijf de competenties (actief leren, zelfregulerend leren, toegepast leren, samenwerkend leren en houding van de tutor), krijgen de laagste score voor het functioneren van de tutor: gemiddeld 5.8 op een schaal van 1 tot 10. Tutoren die relatief hoog scoren op alle vijf de competenties krijgen de hoogste score voor het functioneren van de tutor: gemiddeld 8.5. De gemiddelde score voor tutoren met één relatief lage score en vier relatief hoge of gemiddelde scores op de vijf competenties varieert tussen 7.2 en 7.9. Tutoren die de studenten minder stimuleren tot actief leren maar wel gemiddeld of relatief hoog scoren op de andere vier competenties worden als minst effectief ervaren. Tutoren die de studenten minder stimuleren tot samenwerkend leren maar wel gemiddeld of relatief hoog scoren op de vier andere competenties worden als meest effectief ervaren. Dit houdt in dat studenten het stimuleren van actief leren belangrijker vinden dan het stimuleren van samenwerkend leren. Dolmans, Wolfhagen, Scherpbier en van der Vleuten (2001) komen tot een tegengestelde conclusie: tutoren die over vaardigheden beschikken om de groepsdynamiek te bevorderen worden effectiever ingeschat door de studenten (dan tutoren die deze vaardigheden niet bezitten). Onder een tutor die de groepsdynamiek bevordert, wordt verstaan: een tutor die regelmatig het groepsfunctioneren evalueert en afspraken maakt met de studenten op basis van die evaluatie. Tabel 3 Hoe effectief worden tutoren bevonden met verschillende scores op de competenties (Dolmans et al., 2006)? Score tutor
Gem. (schaal 1-10)
Relatief laag op alle 5 de factoren
5.8
Relatief laag op de factor actief leren, gemiddeld of relatief hoog op de andere 4 factoren
7.2
Relatief laag op de factor intra-persoonlijk gedrag van de tutor, gemiddeld of relatief hoog op de andere 4 factoren
7.5
Relatief laag op de factor zelfregulerend leren, gemiddeld of relatief hoog op de andere 4 factoren
7.7
Relatief laag op de factor toegepast leren, gemiddeld of relatief hoog op de andere 4 factoren
7.7
Relatief laag op de factor samenwerkend leren, gemiddeld of relatief hoog op de andere 4 factoren
7.9
Relatief hoog op alle 5 de factoren
8.5
Verder geven de studenten in het onderzoek van Dolmans e.a. (2006) de tutoren specifieke tips om hun kwaliteiten als tutor te verbeteren. Deze tips kunnen in vier categorieën worden onderverdeeld: (1) tips met betrekking tot het adequaat evalueren, (2) tips met betrekking tot het minder sturen van de tutorials, (3) tips met betrekking tot het actiever aanwezig zijn van de tutor en (4) tips met betrekking tot de inhoudelijke expertise van de tutor. Tutoren prefereren de geschreven, kwalitatieve feedback door studenten boven de resultaten die gemeten worden door te antwoorden met een Likertschaal (van Wyk & McLean, 2007).
11
Invloed van de tutor op contextvariabelen Van Berkel en Dolmans (2006) komen tot een theoretisch model dat de invloed van de tutor op verschillende contextvariabelen in PGO weergeeft. Dit theoretisch model is weergegeven in Figuur 1a. De vijf competenties van tutoren (het stimuleren van actief, zelfregulerend, toegepast en samenwerkend leren en het vertonen van intra-persoonlijk gedrag dat bevorderlijk is voor het leren van de studenten) worden gemeten aan de hand van de vragenlijst van Dolmans en Ginns (2005). De kwaliteit van de casussen en het groepsfunctioneren zijn ook gemeten op basis van de percepties van de studenten. De resultaten van het onderzoek tonen aan dat er een sterk direct effect is van de gepercipieerde kwaliteit van de casussen op het groepsfunctioneren en dat het groepsfunctioneren een direct effect heeft op de prestaties van de studenten. De auteurs konden, na het testen van het breed theoretisch model, twee input variabelen weglaten om over te gaan naar een vereenvoudigd model. De invloeden van het intra-persoonlijk gedrag van de tutor en het stimuleren van toegepast leren op het groepsfunctioneren werden niet significant bevonden en droegen niet bij aan de fit van het model. Daarom werden deze twee input variabelen verwijderd. De overige drie factoren die de competenties van de tutoren meten (actief, zelfregulerend en samenwerkend leren), hebben een effect op de kwaliteit van de casussen en/of op het groepsfunctioneren. Dit vereenvoudigd theoretisch model is weergegeven in Figuur 1b. Meer specifiek wordt het groepsfunctioneren positief beïnvloed door tutoren die samenwerkend leren of zelfregulerend leren bevorderen (Van Berkel & Dolmans, 2006). Ook Gijselaers en Schmidt (1990) concluderen dat er een impact is van het gedrag van tutoren op het groepsfunctioneren. Daarnaast stellen Van Berkel & Dolmans (2006) vast dat de perceptie van studenten over de kwaliteit van de casussen positief beïnvloed wordt door tutoren die actief leren of zelfregulerend leren stimuleren. Ten slotte heeft het groepsfunctioneren een significante en positieve invloed op de prestaties van de studenten.
(1a)
(1b)
Figuur 1a en 1b. Theoretisch model (1a) en vereenvoudigd theoretisch model (1b): invloed van de tutor op verschillende contextvariabelen (Van Berkel & Dolmans, 2006).
Van Berkel en Dolmans (2006) stellen dat tutoren die over deze (drie) competenties beschikken een positief effect kunnen hebben op de leerresultaten van de studenten. Daardoor menen zij dat trainingen voor tutoren en het geven van feedback aan tutoren belangrijk kunnen zijn. Als tekortkoming geven de onderzoekers aan dat het model getest moet worden op een andere dataset.
12
Praktische overwegingen bij het tot stand komen van de onderzoeksvragen Er worden enkele overwegingen gemaakt bij deze masterproef. Zoals vermeld in de inleiding gaat het hier om een evaluatie van PGO in de opleiding Geneeskunde aan de Universiteit Gent. Er wordt gefocust op de persoonlijke kwaliteiten van de tutor en niet op de inhoudelijke expertise. Deze keuze werd gemaakt aangezien het als leek op geneeskundig vlak moeilijk zou zijn om de inhoudelijke expertise te beoordelen. Daarnaast focussen de hierboven beschreven evaluatiemogelijkheden voor tutoren zich ook vooral op de persoonlijke kwaliteiten (zie bijvoorbeeld Dolmans et al., 2003; McLean & van Wyk, 2006; Schaub-de Jong et al., 2011). De evaluatie zal door de studenten gebeuren met daarnaast een externe beoordeling door de onderzoeker. Deze externe beoordeling is een tekortkoming in huidig onderzoek en het blijkt dat tutoren een externe validatie naast de evaluatie van de studenten gepast zouden vinden (van Wyk & McLean, 2007). Het vereenvoudigd theoretisch model dat is weergegeven in Figuur 1b wordt getest met behulp van de bekomen dataset aangezien Van Berkel en Dolmans (2006) als tekortkoming aangeven dat het model opnieuw getest moet worden op een andere dataset. Ten slotte wordt de stabiliteit van de tutoren nagegaan gezien daar in huidige literatuur geen eenduidige visie over is (zie bijvoorbeeld Dolmans et al., 2002; Williams et al., 2011). Onderzoeksvragen en hypothesen De volgende onderzoeksvragen en onderzoekshypotheses worden geformuleerd voor deze masterproef: 1. Hoe beoordelen de studenten hun tutor, de casussen en het groepsfunctioneren? 2. Hoe effectief zijn tutoren met verschillende scores op de vijf competenties in de perceptie van de studenten? a. Tutoren met een relatief lage score op alle vijf de competenties krijgen de laagste score voor het functioneren van de tutor. b. Tutoren met een relatief hoge score op alle vijf de competenties krijgen de hoogste score voor het functioneren van de tutor. 3. Welke tips worden gegeven door de studenten om het gedrag van de tutor te verbeteren? 4. Komt het geschetste beeld van de tutoren overeen met de bevindingen van de externe beoordelaar? a. De score die tutoren krijgen op een bepaalde factor ligt hoger wanneer een tutor vaker een bijdrage levert met betrekking tot deze factor. 5. Welk soort vragen stellen de tutoren? Hoe gaan tutoren om met vragen of onzekerheden van studenten? 6. Wat is de invloed van de tutor op verschillende contextvariabelen (kwaliteit van de casussen, groepsfunctioneren en leeruitkomsten van de studenten) van PGO? a. Actief leren en zelfregulerend leren hebben een positief effect op de gepercipieerde kwaliteit van de casussen, zelfregulerend leren en samenwerkend leren hebben een positief effect op het groepsfunctioneren, de gepercipieerde kwaliteit van de casussen heeft een positief effect op het groepsfunctioneren en het groepsfunctioneren heeft een positief effect op de prestaties van de studenten (zie Figuur 1b: Van Berkel & Dolmans, 2006). 7. Is het gedrag van de tutoren stabiel over twee academiejaren? a. Gezien de onenigheid in de literatuur wordt er geen specifieke hypothese vooropgesteld. 13
Methode Onderzoekssetting De data werd verzameld binnen de opleiding Geneeskunde aan de Universiteit Gent tijdens de academiejaren 2011-2012 en 2012-2013. De opleiding Geneeskunde gebruikt volgende definitie van een tutorial: “Een tutorial is een onderwijsvorm in kleine groep, bestaande uit twee sessies, met daartussen en periode van zelfstudie, die uitgaat van een probleem of situatieschets uit de reële praktijk, als start om nieuwe kennis, inzichten en metacognitieve vaardigheden te verwerven, waarbij studenten vooral onder elkaar interageren onder begeleiding van een tutor die verantwoordelijk is voor het leerproces en waarbij de groep wel omschreven leerdoelen op een inductieve wijze realiseert” (De Maeseneer, 2008, p. 144). Een belangrijke opmerking is dat het probleemgestuurd onderwijs aan de faculteit Geneeskunde van de Universiteit Gent op een andere manier geïmplementeerd is dan bijvoorbeeld het probleemgestuurd onderwijs in de opleiding Geneeskunde aan de Universiteit Maastricht. Aan de faculteit Geneeskunde te Gent is niet het volledige curriculum gebaseerd op PGO. De opbouw van de tutorials volgt wel de in de literatuur beschreven stappen. De eerste fase bestaat uit een eerste tutorialsessie waarin de casus wordt voorgesteld en bijhorende vragen overlopen worden. Een tweede fase bestaat uit een periode van zelfstudie. De studenten lossen hier individueel of in duo’s de vragen bij de casus op. Als laatste en derde fase vindt de tweede tutorialsessie plaats waarin men samen tot een oplossing van de casus komt. De tutorialgroepen bestonden bij de invoering van het tutorialonderwijs in 1999 uit tien studenten maar zijn door de toename van het aantal inschrijvingen progressief gestegen tot ongeveer zestien studenten per groep. De tutor of begeleider is een basiswetenschapper of arts verbonden aan de opleiding. Relevante casussen worden geselecteerd door de verantwoordelijke blok- of lijncommissie. Twee weken na de eerste sessie vindt in principe de tweede sessie plaats, waar men tijdens de tutorial samen tot een oplossing van de casus komt. Er wordt binnen de tutorials gewerkt met de rol van student-animator (De Maeseneer, 2001). De studenten wisselen deze rol af bij een nieuwe casus. De student-animator leidt de verschillende stappen binnen een tutorialsessie. Hij/zij controleert de participatie, discussies, interacties en zorgt voor een consensus. Deze student zorgt er voor dat men het doel van de bijeenkomst niet uit het oog verliest. Er zijn enkele verschillen tussen de tweede en derde bachelor. In de tweede bachelor horen de tutorials per twee of drie bij een thematisch blok. Een voorbeeld van een thematisch blok is ‘zenuwstelsel en zintuigen’. De bronnen waaruit de studenten kunnen putten verschillen naargelang het blok. Er is geen specifiek handboek voorhanden en geen specifieke indicator voor de verworven kennis van de studenten op basis van de tutorials. In de derde bachelor vallen de tutorials binnen het jaarvak ‘Medische probleemoplossing en evidence based medicine I’ dat gebruik maakt van een handboek waaruit studenten informatie kunnen halen. Er zijn in het totaal negen tutorials voorzien. Op het einde van het academiejaar wordt er in de derde bachelor een multiple choice-examen afgenomen over de inhoud van de tutorials. Meetinstrumenten Bij het oplossen van de onderzoeksvragen werd gebruik gemaakt van de vragenlijst die werd ontwikkeld door Dolmans en Ginns (2005) met aanvullingen uit het onderzoek van Van Berkel en 14
Dolmans (2006). Het instrument (zie Appendix 1) bestaat uit 11 items die vijf onderliggende factoren meten. Items 1, 2 en 3 meten de factor bevorderen van actief leren, items 4 en 5 meten de factor bevorderen van zelfregulerend leren, items 6 en 7 meten de factor bevorderen van toegepast leren, items 8 en 9 meten de factor bevorderen van samenwerkend leren en items 10 en 11 meten de factor houding van de tutor. De studenten konden antwoorden op een 5 punts-Likert schaal (1 = volledig oneens, 5 = volledig eens). Daarnaast werd bij item 12 aan de studenten gevraagd een globaal oordeel te geven voor het functioneren van de tutor op een schaal van één tot tien (6 = voldoende, 10 = excellent). Items 13 en 14 gingen na of de tutor vaak afwezig was en of hij al dan niet voor vervanging zorgde. Hier werd een extra item (15) toegevoegd: hoe die vervanging ervaren werd door de studenten. Op basis van de vragenlijst van Van Berkel en Dolmans (2006) werden items toegevoegd over de kwaliteit van de casussen (item 16 en 17) en het groepsfunctioneren (item 18 en 19). In de vragenlijst van Van Berkel en Dolmans (2006) wordt het functioneren van de groep met één item gemeten (item 19), in huidige studie werd er een item bijgevoegd (item 18). Het functioneren van de groep en de productiviteit van de groep werden opgesplitst voor de duidelijkheid. Bij beide items is een korte uitleg terug te vinden in de vragenlijst (zie Appendix 1). Ten slotte, bij item 20, werd aan de studenten gevraagd om de tutor tips ter verbetering te geven. De vragenlijst werd betrouwbaar bevonden en een voorwaarde voor de validiteit is dat minimum zes studenten de vragenlijst invullen voor één tutor (Dolmans & Ginns, 2005). In huidig onderzoek is aan dit criterium voldaan voor 44 tutorialgroepen (n = 50). Bij twee groepen werd de vragenlijst ingevuld door drie studenten, bij één groep werd de vragenlijst ingevuld door vier studenten en bij drie groepen werd de vragenlijst ingevuld door vijf studenten. Dataverzameling De hierboven beschreven vragenlijst werd afgenomen op het einde van het academiejaar 2011-2012 in de tweede en derde bachelor Geneeskunde aan de Universiteit Gent. Dezelfde vragenlijst werd nogmaals afgenomen na het eerste semester van het academiejaar 2012-2013 in de tweede en derde bachelor Geneeskunde aan de Universiteit Gent. In totaal werden 555 vragenlijsten ingevuld. Bij twee vragenlijsten ontbrak het groepsnummer waardoor er geen tutor aan gekoppeld kon worden. Daarnaast werden examenresultaten van het jaarvak ‘Medische probleemoplossing en evidence based medicine I’ in de derde bachelor verzameld in het academiejaar 2011-2012. De punten werden verkregen op basis van een multiple choice-examen dat de opgedane kennis uit de tutorials meet. Er konden 188 puntencijfers gekoppeld worden aan de 190 ingevulde vragenlijsten. De data met betrekking tot de prestaties van de studenten was nog niet beschikbaar voor het academiejaar 2012-2013. Voor de studenten uit de tweede bachelor kon geen prestatiescore verkregen worden. Ten slotte werden enkele sessies van vier tutorialgroepen opgenomen op video in het academiejaar 2012-2013. In Tabel 4 wordt weergegeven welke sessies opgenomen en geanalyseerd werden. De tutorials zijn uiteraard verschillend in de tweede en de derde bachelor. De tutoren en studenten gaven hun geïnformeerde toestemming om de data uit de vragenlijsten, de examenresultaten en het videomateriaal op een anonieme manier te verwerken in deze masterproef.
15
Tabel 4 Geanalyseerde sessies op basis van videomateriaal Tutorial
1
Sessie e
2 bachelor e
3 bachelor
A
2
B
Groep 1
X
X
X
Groep 2
X
X
X
X
X
X
X
B
X
Groep 4
A
5
A
X
A
4 B
Groep 3
B
3
6
A
B
A
X
X
X
B
X
Noot. Sessie A = eerste bijeenkomst met de tutorialgroep, sessie B = tweede bijeenkomst met de tutorialgroep.
Participanten In het academiejaar 2011-2012 werden er 254 vragenlijsten ingevuld waarvan 64 (25%) respondenten uit de tweede bachelor en 190 (75%) respondenten uit de derde bachelor kwamen. In het academiejaar 2012-2013 werden er 301 vragenlijsten ingevuld waarvan 146 (48.5%) respondenten uit de tweede bachelor en 155 (51.5%) respondenten uit de derde bachelor kwamen. In Tabel 5 wordt het responspercentage weergegeven per studiejaar en academiejaar. Het responspercentage over de volledige studie (twee academiejaren) bedraagt 56.2%. Het responspercentage van de tweede bachelor in beide academiejaren werd berekend op basis van het ruim geschatte aantal studenten dat participeert aan de tutorials. De percentages liggen iets lager dan die in de derde bachelor wat waarschijnlijk te wijten is aan een overschatting van het aantal studenten. Daarnaast ligt in het academiejaar 2011-2012 in de tweede bachelor het responspercentage vrij laag, dit kan te wijten zijn aan het feit dat de onderzoeker niet aanwezig was bij de afname van de vragenlijst. Tabel 5 Het responspercentage Academiejaar - bachelor
Responspercentage (%)
Academiejaar 2011-2012 Tweede bachelor Academiejaar 2011-2012 Derde bachelor Academiejaar 2012-2013 Tweede bachelor Academiejaar 2012-2013 Derde bachelor
22.5 73.1 60.8 76.4
Totaal
56.2
In beide academiejaren waren 16 tutoren per bachelorjaar aangesteld. In het academiejaar 2011-2012 werd informatie over 11 tutoren uit de tweede bachelor en 14 tutoren uit de derde bachelor verzameld. In het academiejaar 2012-2013 werd informatie over 12 tutoren uit de tweede bachelor en 13 tutoren uit de derde bachelor verzameld. In het totaal is er dus data beschikbaar over 50 tutorialgroepen. Twee tutoren gaven tutorials in zowel de tweede als de derde bachelor en over beide academiejaren komen dezelfde tutoren terug, met uitzondering van 3 tutoren die enkel in het academiejaar 2011-2012 geëvalueerd werden en 3 tutoren die enkel in het academiejaar 2012-2013 geëvalueerd werden. In totaal werd informatie verzameld over 28 verschillende tutoren. Het gemiddeld aantal studenten dat één tutor binnen eenzelfde tutorialgroep beoordeelde was over de volledige dataset 11 (SD = 3.39, range 3-16).
16
Analyse In wat volgt wordt iedere onderzoeksvraag apart behandeld. De statistische pakketten SPSS en R (Lavaan) werden gebruikt bij het uitvoeren van de analyses. Vooraleer de analyses met betrekking tot de onderzoeksvragen uit te voeren, werd de interne consistentie van de items uit de vragenlijst nagegaan. Hiervoor werden de Cronbach’s alpha betrouwbaarheidscoëfficiënten berekend in SPSS. Onderzoeksvraag 1: Hoe beoordelen de studenten hun tutor, de casussen en het groepsfunctioneren? De data die verkregen werd op basis van de vragenlijsten werd op dezelfde wijze geanalyseerd als in het equivalent onderzoek van Dolmans e.a. (2006). De data werd geaggregeerd op het niveau van de tutorialgroep en er werd voor elk item en elke factor van de vragenlijst een gemiddelde score berekend. Gemiddelde scores zijn beschikbaar voor 50 tutorialgroepen. De data met betrekking tot de afwezigheid/vervanging van de tutor wordt in deze masterproef niet behandeld, dit was louter informatief voor de opleidingverantwoordelijken en om na te gaan of de ingevulde vragenlijsten wel degelijk één dezelfde tutor beoordelen. Daarnaast is de vervanger niet altijd een opgeleide tutor en dat kan effect hebben op de kwaliteit van de begeleiding. Hiervan was geen sprake binnen de verzamelde data. Onderzoeksvraag 2: Hoe effectief zijn tutoren met verschillende scores op de vijf competenties in de perceptie van de studenten? Bij deze onderzoeksvraag werden twee specifieke hypotheses geformuleerd, gebaseerd op onderzoek van Dolmans e.a. (2006): (1) tutoren met een relatief lage score op alle vijf de competenties krijgen de laagste score voor het functioneren van de tutor en (2) tutoren met een relatief hoge score op alle vijf de competenties krijgen de hoogste score voor het functioneren van de tutor. Voor iedere tutor werd een gemiddelde score op elk van de vijf factoren/competenties berekend. Er werden per factor/competentie drie gelijke groepen gemaakt: relatief lage score, gemiddelde score en relatief hoge score. Gebaseerd op deze scores werden tutoren geclassificeerd in groepen met verschillende kwaliteiten (bijvoorbeeld: een relatief lage score op actief leren en een gemiddelde of relatief hoge score op de andere vier factoren). Daarenboven werd het globaal oordeel voor het functioneren van de tutor voor elke groep met (een) specifiek(e) relatieve lage score(s) berekend. Ter verduidelijking: een relatief lage score betekent niet altijd dat de score laag is, het is één derde van de tutoren die de laagste score heeft op een bepaalde competentie of factor. Onderzoeksvraag 3: Welke tips worden gegeven door de studenten om het gedrag van de tutor te verbeteren? Bij deze onderzoeksvraag werd aan de hand van een kwalitatieve analyse nagegaan of de tips van de studenten onderverdeeld konden worden volgens de vier categorieën die Dolmans e.a. (2006) onderscheiden: (1) tips met betrekking tot het adequaat evalueren, (2) tips met betrekking tot het minder sturen van de tutorial, (3) tips met betrekking tot het actiever aanwezig zijn van de tutor en (4) tips met betrekking tot de inhoudelijke expertise van de tutor. Daarnaast werden de tips die niet binnen deze categorieën pasten, verder geanalyseerd en in categorieën geplaatst. Deze categorieën zijn weergegeven in de sectie resultaten.
17
Onderzoeksvraag 4: Komt het geschetste beeld van de tutoren overeen met de bevindingen van de externe beoordelaar op basis van de videoanalyse? De video-opnames van de tutorialsessies werden geanalyseerd aan de hand van een door de onderzoeker samengesteld analyseschema. De video-opnames werden in fragmenten onderverdeeld telkens er van rol gewisseld werd. Er werd dus steeds gewisseld tussen de student(en) en de tutor. De helft van de fragmenten heeft daardoor betrekking op de studenten en de andere helft op de tutoren. De bijdragen die de tutor leverde werden gecategoriseerd volgens vier (van de vijf) factoren uit de vragenlijst (stimuleren van actief leren, zelfregulerend leren, toegepast leren en samenwerkend leren). Het gebruikte analyseschema is bijgevoegd in Appendix 2. Bij de vier competenties werden bijhorende items geanalyseerd. Bij de eerste categorie actief leren werd een onderscheid gemaakt tussen (1) de tutor stimuleert de studenten om het geleerde in eigen woorden samen te vatten, (2) de tutor stimuleert de studenten om inhoudelijk relaties te leggen tussen de verschillende onderdelen van de leerstof en (3) de tutor stimuleert de studenten om de onderliggende mechanismen/theorieën te begrijpen. Bij de tweede categorie zelfregulerend leren werden volgende twee items geanalyseerd: (1) de tutor stimuleert de studenten om zelf eenduidige leerdoelen te formuleren en (2) de tutor stimuleert de studenten om zelf op zoek te gaan naar verschillende leermiddelen. Bij de derde categorie toegepast leren werd een onderscheid gemaakt tussen (1) de tutor stimuleert de studenten om het geleerde toe te passen op de taak en (2) de tutor stimuleert de studenten om het geleerde toe te passen op andere situaties of problemen. Bij de vierde categorie samenwerkend leren werden volgende twee items geanalyseerd: (1) de tutor stimuleert de studenten om opbouwende feedback te geven in de onderwijsgroep en (2) de tutor stimuleert de studenten om regelmatig de wijze van samenwerken in de onderwijsgroep te evalueren. In de sectie resultaten wordt zowel een globaal beeld weergegeven als een beeld van de vier tutorialgroepen apart. Een kwalitatieve vergelijking gaat na of de score die tutoren kregen van studenten op een bepaalde factor hoger ligt wanneer de tutor vaker een bijdrage levert met betrekking tot die factor. Onderzoeksvraag 5: Welk soort vragen stellen de tutoren? Hoe gaan tutoren om met vragen of onzekerheden van studenten? De video-opnames van de tutorialsessies werden geanalyseerd aan de hand van een door de onderzoeker samengesteld analyseschema. Het gebruikte analyseschema is bijgevoegd in Appendix 2. Deze onderzoeksvraag maakt gebruik van de gegevens bij de categorieën vragen stellen en vragen doorspelen. Bij de categorie vragen stellen werd een onderscheid gemaakt tussen drie soorten vragen: (1) verticale vragen stellen, (2) horizontale vragen stellen en (3) reflectieve vragen stellen (De Wever et al., 2006; Fahy et al., 2000). Zoals eerder vermeld in de literatuurstudie focussen verticale vragen op het verkrijgen van een antwoord of informatie, het is niet de bedoeling dat er een dialoog ontstaat. Horizontale vragen daarentegen worden gesteld om een dialoog of reacties uit te lokken. Dit zou moeten resulteren in samenwerking om een accepteerbaar antwoord of oplossing te vinden in groep. Reflectieve vragen komen voor wanneer er interne conflicten, waarden, overtuigingen, redeneringen, twijfels en andere inzichten in vraag worden gesteld (De Wever et al., 2006; Fahy et al., 2000). Enkel vragen die naar kennis of inhoud peilden werden hier dus geanalyseerd. Andere vragen zoals “is dit duidelijk voor iedereen?” werden niet gecodeerd onder de noemer vragen stellen. 18
Onder de categorie vragen doorspelen vielen twee mogelijke items: (1) de tutor speelt op het moment dat er vragen/fouten zijn deze door naar de studenten en (2) de tutor geeft zelf antwoord/uitleg en speelt een vraag/onzekerheid niet door. Ook bij het beantwoorden van vragen werden enkel inhoudelijke vragen en antwoorden geanalyseerd. In de sectie resultaten wordt zowel een globaal beeld weergegeven als een beeld van de vier tutorialgroepen apart. Onderzoeksvraag 6: Wat is de invloed van de tutor op verschillende contextvariabelen (kwaliteit van de casussen, groepsfunctioneren en leeruitkomsten van de studenten) van PGO? Om deze onderzoeksvraag op te lossen werd gebruik gemaakt van structurele vergelijkingsmodellen. Volgende indices werden berekend via het programma Lavaan om de fit tussen de empirische data en het theoretisch model te meten: P-value (Chi-square), CFI (Comparative Fit Index), TLI (TuckerLewis Index), RMSEA (Root Mean Square Error of Approximation) en SRMR (Standardized Root Mean Square Residual). Eerst werd een confirmatorische factor analyse uitgevoerd om na te gaan of de vastgelegde factor-structuur in overeenstemming is met de data. Nadat het meetmodel adequaat werd bevonden, werden de structurele relaties tussen de factoren bestudeerd (Brown, 2006). Onderzoeksvraag 7: Is het gedrag van de tutoren stabiel over twee academiejaren? Om deze onderzoeksvraag op te lossen werd per tutorialgroep de gemiddelde score voor de vijf factoren (actief leren, zelfregulerend leren, toegepast leren, samenwerkend leren, houding tutor) en voor het algemeen functioneren van de tutor berekend. Voor 22 (van de 28) verschillende tutoren kon een score voor zowel academiejaar 2011-2012 als voor academiejaar 2012-2013 worden vastgesteld. De gemiddelde scores over de twee academiejaren werden telkens met elkaar vergeleken door een ‘Paired-Samples T Test’ uit te voeren.
Resultaten en specifieke discussie De resultaten worden per onderzoeksvraag weergegeven. Aansluitend vindt de specifieke discussie plaats. Een algemene discussie en conclusie volgt na deze sectie. In Tabel 6 zijn de Cronbach’s alpha betrouwbaarheidscoëfficiënten weergegeven voor de vijf factoren met betrekking tot de competenties van de tutoren, voor de factor die de kwaliteit van de casussen meet en voor de factor die het groepsfunctioneren meet. Drie van de zeven factoren hebben een betrouwbaarheidscoëfficiënt lager dan 0.70: zelfregulerend leren, toegepast leren en kwaliteit van de casussen. Dit houdt in dat deze schalen minder betrouwbaar zijn en dat daarmee rekening moet gehouden worden bij de interpretatie van de resultaten. Alle andere factoren hebben een score hoger dan 0.70, wat een goede interne consistentie van de schalen inhoudt (Dolmans & Ginns, 2005). Voor de geïnteresseerde lezer die de scores wil vergelijken met deze uit het onderzoek van Dolmans en Ginns (2005) is de tabel met de Cronbach’s alpha betrouwbaarheidscoëfficiënten op basis van de geaggregeerde scores per tutor (n = 50) toegevoegd in Appendix 3. Daarnaast zijn de correlaties tussen de factorscores weergegeven in Appendix 4.
19
Tabel 6 Het aantal items per factor en Cronbach’s alpha betrouwbaarheidscoëfficiënt (N = 555) Aantal items
Alpha coëfficiënt
Actief leren
3
0.77
Zelfregulerend leren
2
0.63
Toegepast leren
2
0.67
Samenwerkend leren
2
0.79
Houding van de tutor
2
0.78
Kwaliteit van de casussen
2
0.66
Groepsfunctioneren
2
0.86
Onderzoeksvraag 1: hoe beoordelen de studenten hun tutor, de casussen en het groepsfunctioneren? De gemiddelde scores op de elf items en de gemiddelde scores op de factoren met betrekking tot de competenties van de tutor zijn weergegeven in Tabel 7. De gemiddelde scores op de elf items variëren tussen 2.93 (SD = 0.47) en 4.11 (SD = 0.67). Het item waarop het laagst gescoord wordt, is het evalueren van de samenwerking in de groep (item 9). Het item waarop het hoogst gescoord wordt, is de motivatie voor de tutorrol (item 11). Wanneer op het niveau van de vijf factoren wordt gekeken, is de hoogst scorende factor actief leren (factor 1). De gemiddelde score op deze factor is 3.93 (SD = 0.42). De laagst scorende factor is samenwerkend leren (factor 4). De gemiddelde score op deze factor is 3.09 (SD = 0.44). Tabel 7 Gemiddelde score (schaal 1-5) en corresponderende standaardafwijkingen (SD) voor de elf items en de vijf factoren (F1 tot F5) met betrekking tot de competenties van de tutor, n = 50, N = 553 Gem. (1-5)
SD
F1 Actief leren
3.93
0.42
1 Samenvatten in eigen woorden
3.75
0.51
2 Zoeken naar relaties tussen verschillende onderdelen
3.94
0.45
3 Begrijpen mechanismen/theorieën
4.10
0.45
F2 Zelf-sturend leren
3.38
0.38
4 Eenduidige leerdoelen formuleren
3.41
0.46
5 Op zoek gaan naar verschillende leermiddelen
3.35
0.43
F3 Toegepast leren
3.71
0.43
6 Het geleerde toepassen op de taak
3.87
0.35
7 Het geleerde toepassen op andere situaties/problemen
3.56
0.59
F4 Samenwerkend leren
3.09
0.44
8 Opbouwende feedback geven
3.25
0.43
9 Evalueren van de samenwerking in de groep
2.93
0.47
F5 Houding tutor
3.92
0.59
10 Kennis van sterktes en zwaktes als tutor
3.72
0.57
11 Motivatie voor de tutorrol
4.11
0.67
De gemiddelde score voor het functioneren van de tutor is 7.92 (SD = 0.83, schaal 1-10). Slechts één tutor scoorde onder 6, waarvan verondersteld wordt dat dit onvoldoende is op een 10-puntenschaal (Dolmans et al., 2006). 8% (vier tutoren) had een score tussen 6 en 7, 34% (zeventien tutoren) had een 20
score tussen 7 en 8 en 56% (28 tutoren) had een score hoger dan 8. Daarnaast gingen twee items de kwaliteit van de casussen na: stimuleren de casussen voldoende groepsdiscussies en zetten de casussen aan tot zelfstudie. De respectievelijke gemiddelde scores zijn 3.50 (SD = 0.49) en 3.47 (SD = 0.41) op een schaal van 1 tot 5. De gemiddelde score voor deze factor is 3.49 (SD = 0.41). Ten slotte gingen twee items het groepsfunctioneren na: de samenwerking tussen studenten werd bevraagd en er werd nagegaan of de groep steeds tot een goed eindresultaat komt. De respectievelijke gemiddelde scores waren 7.72 (SD = 0.66) en 7.74 (SD = 0.62) op een schaal van 1 tot 10. De gemiddelde score voor de factor is 7.73 (SD = 0.62). Bovenstaande resultaten geven een algemeen beeld van de tutoren, de casussen en het groepsfunctioneren waardoor de eerste onderzoeksvraag kan worden beantwoord. Discussie Deze resultaten kunnen vergeleken worden met de resultaten uit het onderzoek van Dolmans e.a. (2006). In beide settings krijgt item 11 (de tutor was duidelijk gemotiveerd om de tutorrol te vervullen) de hoogste score. De hoge score voor de motivatie van de tutor in deze masterproef kan mogelijk verklaard worden door de selectieprocedure van de tutoren. In de tweede en derde bachelor worden de tutoren gecontacteerd door de verantwoordelijke die uitlegt wat er van een tutor verwacht wordt. De uitgenodigde docenten kiezen dan zelf of ze dit al dan niet willen doen. Er is dus sprake van vrije keuze wat eventueel een reden kan zijn voor de hoge score op de motivatie voor de rol als tutor. Een andere gelijkenis tussen beide studies is de laagste gemiddelde score op de factor samenwerkend leren. Deze moeilijkheid werd in vorige studies reeds vastgesteld (Dolmans et al., 2006; Kaufman & Holmes, 1996). Kaufman en Holmes (1996) stelden vast dat tutoren moeilijkheden ondervonden met de evaluatie van de studenten en bij het omgaan met moeilijke situaties in de groep (in Dolmans et al., 2006). De gemiddelde score voor het functioneren van de tutor ligt in deze masterproef iets hoger dan in het onderzoek van Dolmans e.a. (2006). De scores zijn respectievelijk 7.92 en 7.40. Dat slechts één tutor een score onder de 6 had in deze masterproef, geeft aan dat de studenten hun tutor een relatief hoog cijfer geven en dus tevreden zijn over hun tutor. Ook de factoren kwaliteit van de casussen en groepsfunctioneren krijgen vrij hoge gemiddelde scores, respectievelijk 3.49 (schaal 1-5) en 7.73 (schaal 1-10). Er kan geconcludeerd worden dat de studenten relatief hoge scores geven op de verschillende items van de vragenlijst en het wijst er dus op dat zij vrij tevreden zijn over hun tutor, de casussen en het groepsfunctioneren. Onderzoeksvraag 2: Hoe effectief zijn tutoren met verschillende scores op de vijf competenties in de perceptie van de studenten? Er werd voor verschillende groepen tutoren met een relatief lage of relatief hoge score op één of meerdere competenties, een gemiddelde score voor het functioneren van de tutor berekend. Een overzicht hiervan is weergegeven in Tabel 8. Beide vooropgestelde hypotheses worden bevestigd op basis van de resultaten. De hoogste score werd zoals verwacht gegeven aan tutoren die relatief hoog scoren op alle vijf de factoren. De score voor het functioneren van de tutor was hierbij 8.85 (SD = 0.21). De laagste score werd gegeven aan tutoren die relatief laag scoorden op alle vijf de factoren. De score voor het functioneren van de tutor was hierbij 6.42 (SD = 0.20). De gemiddelde score voor
21
tutoren met een relatief lage score op één van de vijf factoren en een gemiddelde of relatief hoge score op de andere vier factoren varieerde tussen 8.02 (SD = 0.24) en 8.55. Tabel 8 Aantal en percentage tutoren met een relatief lage of relatief hoge score op één of meerdere competenties en de bijhorende algemene score voor het functioneren van de tutor (schaal 1-10)
Relatief lage score op alle 5 factoren
F1
F2
F3
F4
F5
n
%
Gem. (1-10)
SD
L
L
L
L
L
3
6
6.42
0.20
15
30
7.29
0.78
Relatief lage score op 3 of 4 factoren Relatief lage score op factor 1, actief leren
L
G/H
G/H
G/H
G/H
1
2
8.08
-
Relatief lage score op factor 2, zelfregulerend leren
G/H
L
G/H
G/H
G/H
3
6
8.02
0.24
Relatief lage score op factor 3, toegepast leren
G/H
G/H
L
G/H
G/H
0
0
-
-
Relatief lage score op factor 4, samenwerkend leren
G/H
G/H
G/H
L
G/H
1
2
8.55
-
Relatief lage score op factor 5, houding tutor
G/H
G/H
G/H
G/H
L
1
2
8.27
-
4
8
8.75
0.29
Relatief hoge score op 4 factoren Relatief hoge score op alle 5 factoren
6
12
8.85
0.21
Alle andere combinaties
H
H
H
H
H
16
32
8.13
0.45
Totaal
50
100
7.92
0.83
Noot. L = relatief lage score, G = gemiddelde score, H = relatief hoge score.
Discussie De twee vooropgestelde hypotheses worden bevestigd op basis van de bovenstaande resultaten. Daarnaast geven de studenten een lagere score voor het functioneren van de tutor wanneer de tutor het zelfregulerend leren niet of minder stimuleert. De studenten geven een hogere score voor het functioneren van de tutor wanneer de tutor het samenwerkend leren niet of minder stimuleert. Hieruit zou kunnen afgeleid worden dat studenten het stimuleren van zelfregulerend leren belangrijker vinden dan het stimuleren van samenwerkend leren. Zowel uit bovenstaande resultaten als uit de studie van Dolmans e.a. (2006) blijkt dat een tutor die het samenwerkend leren minder stimuleert, een hogere score krijgt dan wanneer een tutor minder scoort op een andere competentie. Dolmans e.a. (2006) geven daar volgende mogelijke verklaring aan: studenten zien dit niet als tekortkoming zolang de tutorialgroep goed op zichzelf werkt en wanneer er geen problemen met de groepsdynamiek zijn. Dit wil zeggen dat wanneer een tutorialgroep goed werkt, de studenten er niet mee in zitten dat de tutor geen constructieve feedback geeft of de samenwerking in de groep evalueert. In deze masterproef wordt de laagste score gegeven aan een tutor die het zelfregulerend leren minder stimuleert. In het onderzoek van Dolmans e.a. (2006) wordt de laagste score gegeven aan een tutor die het actief leren minder stimuleert. Er moet hier nogmaals opgemerkt worden dat de groep tutoren met een relatief lage score daarom niet altijd een lage score heeft. De groep met een relatief lage score is één derde van de tutoren die het laagst scoren op deze factor. Deze tutoren worden dus niet als slechte tutoren gezien. De exacte scores per factor bij de verschillende groepen tutoren met een relatief lage score, een gemiddelde score of een relatief hoge score, worden weergegeven in Appendix 5. Daarnaast zijn deze uitkomsten gebaseerd op heel weinig tutoren. Wanneer er gekeken wordt naar tutoren met een relatief lage score op één factor en een gemiddelde of relatief hoge score op de andere vier factoren, bestaat deze groep uit zes tutoren wat 12% van de volledige steekproef is. Deze onderzoeksvraag werd zo uitgevoerd om de resultaten te kunnen vergelijken met de resultaten uit het onderzoek van Dolmans e.a. (2006). De resultaten op deze
22
onderzoeksvraag zijn met andere woorden niet generaliseerbaar en geven enkel een indicatie weer. Ten slotte kunnen lezers op basis van Tabel 3 de bovenstaande resultaten uit Tabel 8 vergelijken met de resultaten uit de studie van Dolmans e.a. (2006). Onderzoeksvraag 3: Welke tips worden gegeven door de studenten om het gedrag van de tutor te verbeteren? Van de 555 beantwoordde vragenlijsten werd 72 keer de vraag met tips voor de tutor ingevuld. Deze tips werden in volgende categorieën die onderscheiden werden door Dolmans e.a. (2006) geplaatst: (1) tips met betrekking tot het adequaat evalueren, (2) tips met betrekking tot het minder sturen van de tutorial, (3) tips met betrekking tot het actiever aanwezig zijn van de tutor, en (4) tips met betrekking tot de inhoudelijke expertise van de tutor. Nadien werden de resterende tips verder geanalyseerd en in de volgende categorieën geplaatst: (5) tips met betrekking tot informatie over het examen, (6) tips met betrekking tot het verdelen van de vragen bij de casus, (7) tips met betrekking tot de duur van de tutorial en (8) tips met betrekking tot structurele factoren. De tips met betrekking tot informatie over het examen en de tips met betrekking tot het verdelen van de vragen bij de casus focussen zich specifiek op de inrichting van het PGO in de onderzoekssetting. Enkel in de derde bachelor wordt een examen georganiseerd dat rechtstreeks betrekking heeft op de tutorials. Blijkbaar is daar onduidelijkheid over bij vier studenten. In de meeste tutorialgroepen worden de vragen bij de casus verdeeld onder de studenten. Niet iedereen lost dus alle vragen op. Ook daar formuleerden drie studenten een opmerking over. Bij de tips met betrekking tot de duur van de tutorials werden zowel tips gegeven om de sessies korter te laten duren als om de sessies langer te laten duren. De tips met betrekking tot structurele factoren zijn heel praktisch, zoals “op tijd komen” of “luider praten”. Ten slotte werden er commentaren gegeven die niet van toepassing waren op de tutor of die voor deze masterproef minder van belang waren, bijvoorbeeld “geef niet elk jaar exact dezelfde tutorials” of “ik ben heel tevreden over onze tutor, hij was gemotiveerd en begeleidend”. In Tabel 9 wordt weergegeven hoe veel tips er per categorie gegeven werden. Twee commentaren van studenten bestonden uit twee delen waardoor die in een verschillende categorie terecht kwamen, vandaar het totaal van 74 tips. Een volledig overzicht van de tips in categorieën onderverdeeld, is te vinden in Appendix 6. Tabel 9 Tips door de studenten gegeven om het gedrag van de tutor te verbeteren: verdeeld in acht categorieën Categorie
N
1. Tips met betrekking tot het adequaat evalueren
3
2. Tips met betrekking tot het minder sturen van de tutorials
2
3. Tips met betrekking tot het actiever aanwezig zijn van de tutor
26
4. Tips met betrekking tot de inhoudelijke expertise van de tutor
1
5. Tips met betrekking tot informatie over het examen
4
6. Tips met betrekking tot het verdelen van de vragen bij de casus
3
7. Tips met betrekking tot de duur van de tutorial
4
8. Tips met betrekking tot structurele factoren
4
Overige commentaren die niet gezien worden als ‘tips voor de tutor’
27
Totaal
74
23
Discussie De vier onderscheiden categorieën van Dolmans e.a. (2006) konden ook onderscheiden worden binnen deze masterproef. Er werden daarnaast nog enkele categorieën bijgevoegd die al dan niet contextspecifiek zijn. Het grootste aantal tips (n = 26) zijn er met betrekking tot het actiever aanwezig zijn van de tutor. Uit de eerste onderzoeksvraag blijkt dat de factor actief leren de hoogste score krijgt door de studenten in vergelijking met de andere factoren (gem. = 3.95, SD = 0.42). Deze bevindingen houden in dat de tutoren het actief leren van de studenten bevorderen, maar dat de studenten vinden dat de tutoren zelf ook actiever mogen zijn tijdens de tutorial. In de concrete tips geven de studenten aan dat ze meer sturing en actievere participatie van de tutor verwachten. Een mogelijke verklaring hiervoor kan zijn dat, gezien de nieuwe onderwijsmethode, de studenten soms onzeker zijn bij de sessies waarin het probleem wordt opgelost en daardoor dus meer inbreng van de tutor verwachten. Een andere mogelijke verklaring kan zijn dat door de rol van de student-animator (die de tutorial leidt) de tutoren niet goed weten wanneer ze al dan niet moeten tussenkomen. Binnen de andere categorieën tips worden er minimum één en maximum vier tips gegeven. Onderzoeksvraag 4: Komt het geschetste beeld van de tutoren overeen met de bevindingen van de externe beoordelaar op basis van de videoanalyse? In het totaal werden er zestien tutorialsessies op video opgenomen en geanalyseerd. De kortste sessie duurt 17 minuten, de langste 1 uur, 2 minuten en 24 seconden. De gemiddelde duur van één sessie is 34 minuten en 11 seconden (SD = 10:21 minuten). Wanneer er een opsplitsing wordt gemaakt tussen sessie A, het aanbrengen van de casus, en sessie B, het oplossen van de casus na een periode van zelfstudie, is er een verschil in duur. De gemiddelde duur van sessie A is 25 minuten en 56 seconden (SD = 05:42 minuten) en de gemiddelde duur van sessie B is 38 minuten en 21 seconden (SD = 09:40 minuten). Er werd in het totaal 510 keer een bijdrage van de tutor geregistreerd. Van de 510 bijdragen konden 379 bijdragen gecodeerd worden onder één van de vier factoren (actief leren, zelfregulerend leren, toegepast leren en samenwerkend leren). Eerst wordt een algemeen beeld van de bijdragen van de tutoren geschetst om nadien over te gaan naar de vergelijking van de tutorbijdragen van de vier geobserveerde groepen met de beoordeling van de studenten op de vier factoren. In Tabel 10 wordt weergegeven hoeveel keer een tutorbijdrage op een bepaald item werd geanalyseerd. In totaal focussen 271 tutorbijdragen (71.5%) op het bevorderen van actief leren. 58 tutorbijdragen (15.3%) bevorderen het toegepast leren en 33 tutorbijdragen (8.7%) bevorderen het zelfsturend leren. Het bevorderen van samenwerkend leren kwam het minste voor, in totaal werden 17 tutorbijdragen (4.5%) vastgesteld. Binnen de factor actief leren stimuleerden de tutoren 12 keer (4.4%) om het geleerde in eigen woorden samen te vatten, 20 keer (7.4%) om inhoudelijke relaties te leggen tussen de verschillende onderdelen van de leerstof en 239 keer (88.2%) om de onderliggende mechanismen/theorieën te begrijpen. Binnen de factor zelfregulerend leren stimuleerden de tutoren 18 keer (54.5%) om zelf eenduidige leerdoelen te formuleren en 15 keer (45.5%) om zelf op zoek te gaan naar verschillende leermiddelen. Binnen de factor toegepast leren stimuleerden de tutoren 39 keer (67.2%) om het geleerde toe te passen op de taak en 19 keer (32.8%) om het geleerde toe te passen op andere situaties of problemen. Ten slotte stimuleerden de tutoren binnen de factor samenwerkend leren 3 keer (17.6%) om opbouwende feedback te geven in de onderwijsgroep en 14 keer (82.4%) om regelmatig de wijze van samenwerken in de onderwijsgroep te evalueren. 24
Tabel 10 Aantal tutorbijdragen per item per geobserveerde tutorialgroep (n = 4) en algemeen beeld van de vier tutorialgroepen Groep 1 Aantal tutorbijdragen aan discussie
n=156
Groep 2 %
n=41
%
Groep 3 n=224
Groep 4 %
n=89
%
Totaal N=510
%
% zonder nvt
25
Bevorderen van actief leren De tutor stimuleerde ons… 1. … om het geleerde in eigen woorden samen te vatten 2. … om inhoudelijk relaties te leggen tussen de verschillende onderdelen van de leerstof 3. … om de onderliggende mechanismen/theorieën te begrijpen 4. Niet van toepassing
2 12 71 71
1.3 7.7 45.5 45.5
2 1 14 24
4.9 2.4 34.1 58.5
4 4 108 108
1.8 1.8 48.2 48.2
4 3 46 36
4.5 3.4 51.7 40.4
12 20 239 239
2.4 3.9 46.9 46.9
4.4 7.4 88.2
Bevorderen van zelf-sturend leren De tutor stimuleerde ons… 1. … om zelf eenduidige leerdoelen te formuleren 2. … om zelf op zoek te gaan naar verschillende leermiddelen 3. Niet van toepassing
1 5 150
0.6 3.2 96.2
4 1 36
9.8 2.4 87.8
9 7 208
4.0 3.1 92.9
4 2 83
4.5 2.2 93.3
18 15 477
3.5 2.9 93.5
54.5 45.5
Bevorderen van toepassingsgericht leren De tutor stimuleerde ons… 1. … om het geleerde toe te passen op de taak 2. … om het geleerde toe te passen op andere situaties/problemen 3. Niet van toepassing
11 11 134
7.1 7.1 85.9
8 2 31
19.5 4.9 75.6
13 4 207
5.8 1.8 92.4
7 2 80
7.9 2.2 89.9
39 19 452
7.6 3.7 88.6
67.2 32.8
Bevorderen van samenwerkend leren De tutor stimuleerde ons… 1. … om opbouwende feedback te geven in de onderwijsgroep 2. … om regelmatig de wijze van samenwerken in de onderwijsgroep te evalueren 3. Niet van toepassing
1 5 150
0.6 3.2 96.2
0 0 0
0 0 0
1 5 218
0.4 2.2 97.3
1 4 84
1.1 4.5 94.4
3 14 493
0.6 2.7 96.7
17.6 82.4
Wanneer er naar de vier tutorialgroepen apart wordt gekeken, verschilt de gemiddelde duur van de sessies. Bij groep 1 duurde de sessie gemiddeld 31 minuten en 26 seconden (SD = 05:39 minuten, range = 24:41 minuten - 38:13 minuten). Bij groep 2 duurde de sessie gemiddeld 30 minuten en 43 seconden (SD = 05:04 minuten, range = 23:14 minuten - 37:24 minuten). Bij groep 3 duurde de sessie gemiddeld 42 minuten en 27 seconden (SD = 13:49 minuten, range = 25:06 minuten - 01:02:24 uur). Bij groep 4 duurde de sessie gemiddeld 28 minuten en 5 seconden (SD = 08:12 minuten, range = 17:00 minuten - 34:17 minuten). In Tabel 11 worden per groep het aantal sessies, het aantal tutorbijdragen, het gemiddeld aantal tutorbijdragen per sessie, de gemiddelde duur per sessie en het gemiddeld aantal tutorbijdragen per minuut gepresenteerd. Dit is belangrijk voor de interpretatie van de bekomen resultaten in de discussie. Tabel 11 Per tutorialgroep: aantal sessies, aantal tutorbijdragen, gemiddeld aantal tutorbijdragen per sessie, gemiddelde duur van de sessies en het gemiddeld aantal tutorbijdragen per minuut Groep
Aantal sessies
Tutorbijdragen
Gem. aantal tutorbijdragen per sessie
Gem. duur sessie
Gem. aantal tutorbijdragen per minuut
2e bachelor
1
3 (1 x A, 2 x B)
156
52
31:26 minuten
1.7
2
3 (1 x A, 2 x B)
41
14
30:43 minuten
0.5
3e bachelor
3
4 (2 x A, 2 x B)
224
56
42:27 minuten
1.3
4
6 (3 x A, 3 x B)
89
15
28:05 minuten
0.5
Noot. Sessie A = eerste bijeenkomst met de tutorialgroep, sessie B = tweede bijeenkomst met de tutorialgroep
Ten slotte zijn per tutorialgroep het aantal tutorbijdragen op de vier factoren (actief, zelfregulerend, toegepast en samenwerkend leren) en de scores gegeven door de studenten op de vier factoren weergegeven in Tabel 12. Op basis van deze data kunnen de bevindingen van de studenten vergeleken worden met de bevindingen van de externe beoordelaar op basis van de videoanalyse. Om na te gaan waar de vier geobserveerde tutorialgroepen zich situeren ten opzichte van het geheel van groepen, kan teruggekeken worden naar Tabel 7 bij onderzoeksvraag 1. Van de 156 bijdragen die de tutor van groep 1 levert, worden er 119 gecategoriseerd onder één van de vier factoren. Bij groep 2 zijn dit er 32 van de 41, bij groep 3 zijn dit er 155 van de 224 en bij groep 4 zijn dit er 73 van de 89. In Tabel 12 is het aantal bijdragen van de tutoren op de vier factoren vermeld, bijhorend percentage, de gemiddelde score die de tutor van de studenten kreeg op de vier factoren (schaal 1 tot 5) met standaarddeviatie, aantal studenten die de vragenlijst invulden en range. Op basis van Tabel 12 kan het aantal tutorbijdragen op een bepaalde factor vergeleken worden met de scores die de tutoren kregen van de studenten op deze factor.
26
Tabel 12 Vergelijkende tabel tussen het aantal tutorbijdragen en de gemiddelde score (schaal 1 tot 5) gekregen door studenten
Groep 1 (3 sessies)
Tutorbijdragen (n=119) Percentage Gem. score Range
Groep 2 (3 sessies)
Tutorbijdragen (n=32) Percentage Gem. score Range
Groep 3 (4 sessies)
Tutorbijdragen (n=155) Percentage Gem. score Range
Groep 4 (6 sessies)
Tutorbijdragen (n=73) Percentage Gem. score Range
F1: Actief leren
F2: Zelfregulerend leren
F3: Toegepast leren
F4: Samenwerkend leren
85
6
22
6
71 %
5%
18%
5%
3.94 (SD=0.53, n=12)
3.46 (SD=0.75, n=12)
3.58 (SD=0.63, n=12)
2.88 (SD=0.96, n=12)
2.67-4.67
2.50-4.50
2.50-4.50
1.00-4.50
17
5
10
0
53%
16%
31%
0%
3.36 (SD=0.48, n=11)
2.68 (SD=0.78, n=11)
3.32 (SD=0.40, n=11)
2.69 (SD=0.53, n=8)
2.67-4.33
1.50-3.50
2.50-4.00
2.00-3.50
116
16
17
6
75%
10%
11%
4%
4.00 (SD=0.56, n=11)
4.05 (SD=0.72, n=11)
3.82 (SD=0.46, n=11)
3.68 (SD=0.68, n=11)
3.33-5.00
3.00-5.00
3.00-4.50
3.00-5.00
53
6
9
5
73%
8%
12%
7%
3.73 (SD=0.57, n=15)
3.67 (SD=0.56, n=15)
3.30 (SD=0.77, n=15)
2.83 (SD=0.75, n=15)
3.00-5.00
2.50-4.50
2.50-5.00
1.50-4.00
Discussie De gemiddelde duur van een tutorialsessie bij groep 3 (42:27 minuten) is vrij lang in vergelijking met de andere groepen (range van 28:05 minuten tot 31:26 minuten). De tutor uit groep 3 heeft ook het hoogst aantal gemiddelde bijdragen per sessie (56), wat vrij logisch is aangezien de tutorialsessie ongeveer 10 minuten langer duurt dan bij de andere groepen. De tutoren uit groep 2 en uit groep 4 hebben een vrij laag aantal gemiddelde bijdragen per sessie, respectievelijk 14 en 15. De tutor uit groep 1 draagt gemiddeld 52 keer iets bij tijdens de tutorialsessie. Er is met andere woorden een vrij grote range (14 – 56) wanneer het gemiddeld aantal tutorbijdragen per sessie wordt bekeken. De tutoren van groep 1 en groep 3 leveren duidelijk vaker een bijdrage (gemiddeld 1.7 en 1.3 keer per minuut) dan de tutoren uit groep 2 en 4 (gemiddeld 0.5 bijdragen per minuut). Een mogelijke verklaring waarom de tutorialsessie kort gehouden wordt, is dat tutoren niet over de vaardigheid bezitten om diepgaande vragen te stellen of om aandacht te besteden aan het leerproces van de verschillende studenten. Een andere mogelijke verklaring is dat de tutoren snel terug naar de kliniek willen omdat ze onder hoge tijdsdruk staan. Een derde mogelijke verklaring is dat tutoren niet onpopulair willen zijn en daarom de tutorial zo kort mogelijk houden. Een vierde mogelijke verklaring is dat er zich geen gelegenheid voordoet om tussen te komen, dit kan afhankelijk zijn van de medewerking van de studenten. Er kan een kwalitatieve vergelijking gemaakt worden tussen de percepties van de studenten en de beoordeling op basis van de videoanalyse. Bij drie van de vier de tutorialgroepen wordt de hoogste score gegeven aan de factor actief leren. Meer dan de helft van de bijdragen van deze tutoren zijn er 27
die het actief leren bevorderen (range = 53% - 73%). De tutor van groep 3 krijgt de hoogste score (4.05) op de factor zelfregulerend leren. Het corresponderend aantal bijdragen hierbij is 16 (10%). De factor actief leren krijgt bij groep 3 de tweede hoogste score (4.00). Het corresponderend aantal bijdragen hierbij is 116 (75%). De laagste scores worden gegeven op de factor samenwerkend leren (range = 2.69 - 3.68) en bij groep 2 ook op de factor zelfregulerend leren (2.68). De overeenstemmende percentages op de factor samenwerkend leren hebben een range van 0% tot 7%. Bij groep 2 bevordert de tutor 5 keer (16%) de factor zelfregulerend leren. Behalve de twee uitschieters bij groep 3 op de hoogste score en bij groep 2 op de laagste score, liggen het aantal tutorbijdragen en de gegeven score door de studenten in dezelfde lijn. Het lijkt er op dat de percepties van de studenten meestal gelijk lopen met de uitkomsten van de externe beoordelaar. Hierbij moet opgemerkt worden dat er vergeleken wordt tussen een momentopname (de videofragmenten) en een volledig semester (beoordeling van de studenten), er kan dus enkel gesproken worden over een trend of indicatie en niet over oorzakelijke verbanden. Op basis van de resultaten kan voorzichtig geconcludeerd worden dat de score die de tutoren krijgen van de studenten op een bepaalde factor hoger ligt wanneer de tutoren vaker een bijdrage leveren met betrekking tot die bepaalde factor. Met andere woorden: het geschetste beeld van de tutoren door de studenten komt overeen met de bevindingen van de externe beoordelaar. Onderzoeksvraag 5: Welk soort vragen stellen de tutoren? Hoe gaan tutoren om met vragen of onzekerheden van studenten? In Tabel 13 wordt weergegeven hoeveel keer een bijdrage van de tutor op een bepaald item werd geanalyseerd. Er wordt zowel een algemeen beeld van de vier tutorialgroepen als van iedere tutorialgroep apart gepresenteerd. Van de 510 tutorbijdragen werd 182 keer (35.7%) een vraag gesteld door de tutor en 130 keer (25.5%) een vraag doorgespeeld of zelf beantwoord door de tutor. Tabel 13 Aantal tutorbijdragen en percentages per item voor de geobserveerde tutorialgroepen (n=4) en algemeen beeld van de vier tutorialgroepen Vragen stellen
Groep 1
Groep 2
Groep 3
Groep 4
Totaal
Aantal bijdragen Percentage Aantal bijdragen Percentage Aantal bijdragen Percentage Aantal bijdragen Percentage Aantal bijdragen Percentage
Vragen doorspelen
Verticale vragen
Horizontale vragen
Reflectieve vragen
Totaal
Vragen doorspelen
Vragen zelf beantwoorden
Totaal
63
13
3
79
4
12
16
79.7%
16.5%
3.8%
100%
25%
75%
100%
9
0
0
9
0
8
8
100%
0%
0%
100%
0%
100%
100%
43
2
15
60
2
71
73
71.7%
3.3%
25.0%
100%
2.7%
97.3%
100%
28
4
2
34
1
32
33
82.4%
11.8%
5.9%
100%
3.0%
97.0%
100%
143
19
20
182
7
123
130
78.6%
10.4%
11.0%
100%
5.4%
94.6%
100%
28
Discussie Op basis van Tabel 13 kan er een vergelijking gemaakt worden tussen de vier geobserveerde tutorialgroepen. Iedere tutor stelt het meest verticale vragen (range 71.7% - 100%), de tutor van groep 2 stelt zelfs enkel verticale vragen. De tutor van groep 1 stelt in vergelijking met de andere tutoren meerdere horizontale vragen (13). De tutor uit groep 3 stelt in vergelijking met de andere tutoren meerdere reflectieve vragen (15). Het doorspelen van vragen of onzekerheden wordt bijna niet gedaan door de tutoren (7 keer in totaal). De tutor uit groep 1 doet dit het vaakst (4 keer). Het zelf geven van antwoorden of uitleg geniet duidelijk de voorkeur van de tutoren (123 keer in totaal). Hoewel de studenten hierover niet specifiek bevraagd werden (en eventuele interviews een betere kijk zouden bieden), zou een mogelijke verklaring voor het feit dat de tutoren van groep 1 en 3 respectievelijk meerdere horizontale vragen en meerdere reflectieve vragen stellen, kunnen zijn dat deze tutoren zeer gemotiveerd zijn om de rol van tutor te vervullen. De tutoren van groep 1 en groep 3 krijgen van de studenten een zeer hoge score op item 11, de tutor was duidelijk gemotiveerd om de tutorrol te vervullen. De scores zijn respectievelijk 4.67 (SD=0.65) en 4.36 (SD=0.67) op een schaal van 1 tot 5. De scores van de tutoren van groep 2 en groep 4 zijn respectievelijk 3.18 (SD=0.75) en 3.47 (SD=0.83). De resultaten kunnen ook gekoppeld worden aan de duur van de tutorialsessies (Tabel 11). De tutor van groep 3 stelt het meest van alle tutoren reflectieve vragen. Dit kan een reden zijn voor de relatief langer durende tutorialsessies, gezien zo’n vragen niet gemakkelijk of eenduidig te beantwoorden zijn. De tutor van groep 1 stelt het meest van alle tutoren horizontale vragen. De gemiddelde duur van de sessies bij groep 1 is iets langer dan bij de andere twee groepen dus ook hier kan dit mogelijk verklaard worden door het stellen van vragen waar geen eenduidig antwoord op bestaat. Samengevat stellen tutoren vooral verticale vragen en beantwoorden ze eerder zelf de vragen van studenten in plaats van vragen of onzekerheden door te spelen naar andere studenten. Onderzoeksvraag 6: Wat is de invloed van de tutor op verschillende contextvariabelen (kwaliteit van de casussen, groepsfunctioneren en leeruitkomsten van de studenten) van PGO? De hypothese gebaseerd op eerder onderzoek (Van Berkel en Dolmans, 2006) is dat actief leren en zelfregulerend leren een invloed hebben op de gepercipieerde kwaliteit van de casussen. Daarnaast hebben zelfregulerend leren en samenwerkend leren een invloed op het groepsfunctioneren. De gepercipieerde kwaliteit van de casussen heeft op zijn beurt een effect op het groepsfunctioneren en het groepsfunctioneren heeft een effect op de prestaties van de studenten. Het gaat hier telkens over positieve effecten. Aangezien de fit van het theoretisch model (Figuur 1a) minder goed werd bevonden dan de fit van het vereenvoudigd theoretisch model (Figuur 1b) wordt hier meteen ingegaan op de resultaten van het vereenvoudigd theoretisch model. In Tabel 14 worden de correlaties tussen de verschillende variabelen weergegeven. De waarden van de correlaties tussen de variabelen geven een indruk van de fit van het model (Van Berkel & Dolmans, 2006). De correlaties variëren tussen -0.13 en 0.62. In Tabel 15 zijn de fitmaten weergegeven voor het vereenvoudigd theoretisch model. Er werd rekening gehouden met de vuistregels en fitmaten die vooropgesteld worden door Rosseel (2011). Na interpretatie van deze fitmaten kan vastgesteld worden dat het model goed bij de data past. Het meetmodel wordt met andere woorden adequaat bevonden waardoor structurele relaties tussen de factoren kunnen worden bestudeerd (Brown, 2006). 29
Tabel 14 Correlaties tussen de variabelen (n = 182) 1 1. Actief leren
2
3
4
5
6
-
2. Zelfregulerend leren
0.58
-
3. Samenwerkend leren
0.57
0.62
-
4. Kwaliteit van de casussen
0.42
0.48
0.34
-
5. Groepsfunctioneren
0.33
0.42
0.39
0.50
-
6. Prestaties
-0.04
-0.06
-0.05
-0.07
-0.13
-
Tabel 15 Fitmaten van het vereenvoudigd theoretisch model (n = 182) Vuistregel
Vereenvoudigd theoretisch model
Chi-square p-waarde
> 0.05
0.27
CFI
> 0.95
0.99
TLI
> 0.95
0.99
RMSEA
< 0.05
0.03
SRMR
< 0.06
0.05
In Figuur 2 wordt het vereenvoudigd theoretisch model weergegeven met bijhorende regressiecoëfficiënten. Er wordt een positief significante invloed gevonden van actief leren en zelfregulerend leren op de kwaliteit van de casussen en van de kwaliteit van de casussen op het groepsfunctioneren. De andere verbanden zijn niet significant. Het is opmerkelijk dat de invloed van het groepsfunctioneren op de prestaties negatief is, hier wordt verder op ingegaan in de discussie.
Figuur 2. Vereenvoudigd theoretisch model met regressiecoëfficiënten. * p < 0.05 *** p ≤ 0.001.
Discussie De resultaten van het vereenvoudigd theoretisch model kunnen worden vergeleken met de resultaten die gevonden werden in het onderzoek van Van Berkel en Dolmans (2006), ermee rekening houdend dat de context heel verschillend is. Er worden drie verbanden uit het onderzoek van Van Berkel en Dolmans (2006) bevestigd. De vastgestelde effecten zijn iets groter dan de effecten die de auteurs vaststelden. Hieronder worden de coëfficiënten weergegeven die gevonden werden in deze 30
masterproef met tussen haakjes de coëfficiënten die Van Berkel en Dolmans (2006) vaststelden. De invloed van actief leren op de kwaliteit van de casussen heeft een coëfficiënt van 0.27 (0.25), de invloed van zelfregulerend leren op de kwaliteit van de casussen heeft een coëfficiënt van 0.40 (0.25) en de invloed van de kwaliteit van de casussen op het groepsfunctioneren heeft een coëfficiënt van 0.48 (0.41). De niet significante verbanden van zelfregulerend leren op het groepsfunctioneren en samenwerkend leren op het groepsfunctioneren hebben een respectievelijke coëfficiënt van 0.18 (0.22) en 0.26 (0.23). Een opmerkelijke bevinding is de negatieve, maar niet significante, coëfficiënt van het groepsfunctioneren op de prestaties van de studenten. De waarde van de coëfficiënt in deze masterproef bedraagt -0.15, terwijl die in het onderzoek van Van Berkel en Dolmans (2006) 0.32 bedraagt (en significant is). Hiervoor kunnen drie mogelijke verklaringen gegeven worden. Ten eerste zou het kunnen dat sommige studenten het groepsfunctioneren als goed quoteren wanneer de tutorial niet lang duurt en dus ook niet echt grondig doorlopen wordt. Dit zou hun lagere prestaties kunnen verklaren. Ten tweede stellen Machado, Machado, Grec, Bollela en Vieira (2008) vast dat de cijfers die studenten zichzelf geven op basis van zelfevaluatie niet steeds valide zijn. Lager presterende studenten geven zichzelf en peers een hogere score, terwijl hoog of gemiddeld presterende studenten kritischer zijn voor zichzelf en peers waardoor zij een meer accurate score geven (Evans, Leeson, & Peetrie, 2007; Langendyk, 2006; Machado et al., 2008). Het zou dus kunnen dat studenten, en dan vooral de studenten met lagere prestaties, het groepsfunctioneren te hoog inschatten waardoor dit geen valide cijfer is. Hoewel probleemgestuurd onderwijs zelfregulerend leren wil stimuleren, garandeert het geen ontwikkeling van vaardigheden met betrekking tot zelfevaluatie (Langendyk, 2006). Bovenstaande onderzoeken focussen zich niet specifiek op een zelfevaluatie van het groepsfunctioneren, maar toch kan deze trend hier vermeld worden en kan het een verklaring bieden voor de gevonden resultaten. Ten derde kan er nog een andere mogelijke verklaring gegeven worden voor de negatieve (niet significante) invloed van het groepsfunctioneren op de prestaties van de studenten: studenten die sterk prestatiegericht zijn en dus hoge cijfers halen, vinden het samenwerken met andere studenten maar niks en scoren het groepsfunctioneren dus laag. Onderzoeksvraag 7: Is het gedrag van de tutor stabiel over beide academiejaren? Er kon voor 22 tutoren een gemiddelde score op de vijf factoren en op het globaal functioneren van de tutor berekend worden voor beide academiejaren (2011-2012 en 2012-2013). In Tabel 16 worden de resultaten op basis van de ‘Paired-Samples T Test’ gepresenteerd. Voor de vijf factoren en voor het item functioneren van de tutor worden de gemiddelde scores voor academiejaar 1 (2011-2012) en academiejaar 2 (2012-2013) weergegeven samen met de toetsingsgrootheid en de p-waarde. Tabel 16 Vergelijking van de gemiddelde scores over de twee academiejaren, n=22 Academiejaar 1: gem.
Academiejaar 2: gem.
Toetsingsgrootheid en p-waarde
F1: Actief leren (schaal 1-5)
3.83 (SD=0.50)
3.98 (SD=0.37)
t(21) = -1.52, p = 0.14
F2: Zelfregulerend leren (schaal 1-5)
3.33 (SD=0.43)
3.43 (SD=0.34)
t(21) = -0.94, p = 0.36
F3: Toegepast leren (schaal 1-5)
3.63 (SD=0.52)
3.77 (SD=0.35)
t(21) = -1.44, p = 0.16
F4: Samenwerkend leren (schaal 1-5)
2.94 (SD=0.47)
3.19 (SD=0.35)
t(21) = -2.18, p = 0.04
F5: Houding tutor (schaal 1-5)
3.74 (SD=0.72)
4.09 (SD=0.39)
t(21) = -2.42, p = 0.03
Functioneren van de tutor (schaal 1-10)
7.69 (SD=1.04)
8.12 (SD=0.60)
t(21) = -2.08, p = 0.05
31
Discussie Uit de resultaten blijkt dat er geen verschil is binnen de gemiddelden van de factoren actief leren, zelfregulerend leren en toegepast leren. Met andere woorden: de gemiddelden die de tutoren in het academiejaar 2011-2012 voor deze factoren kregen, zijn niet significant verschillend van de gemiddelden die de tutoren in het academiejaar 2012-2013 voor deze factoren kregen. Voor deze factoren lijkt het gedrag van de tutor stabiel. Verder blijkt dat er wel een verschil is binnen de gemiddelden van de factoren samenwerkend leren en houding van de tutor en voor het item globaal functioneren van de tutor. Met andere woorden: de gemiddelden die de tutoren in het academiejaar 2011-2012 voor deze factoren en dit item kregen, zijn wel significant verschillend van de gemiddelden die de tutoren in het academiejaar 2012-2013 voor deze factoren kregen. Voor deze factoren en het item functioneren van de tutor lijkt het gedrag van de tutor niet stabiel te zijn. Ten slotte liggen de gemiddelde scores in het academiejaar 2012-2013 hoger dan in het academiejaar 2011-2012. De verschillen tussen de gemiddelden zijn mogelijk te wijten aan de kenmerken van de tutorialgroep en de individuele studenten, gezien de meeste andere contextfactoren ongeveer gelijk bleven (de casussen, de structuur van de tutorials, de voorkennis van de studenten). Deze bevinding komt met andere woorden niet overeen met de bevinding van Williams e.a. (2011) die concludeerden dat het gedrag van tutoren consistent was. De drie significante verschillen zouden er eventueel op kunnen wijzen dat er een invloed is van de contextfactoren op het gedrag van de tutor. Daarnaast kan er ook een andere mogelijke reden zijn waarom het gedrag van de tutoren op deze twee factoren en het item is verbeterd. In het academiejaar 2012-2013 hadden de tutoren weer een jaar meer ervaring dus hebben ze zichzelf mogelijk bijgestuurd.
Algemene discussie en conclusie In deze sectie worden eerst de algemene conclusies vermeld. Nadien wordt ingegaan op de implicaties van de resultaten en de beperkingen binnen deze masterproef. Ten slotte wordt er ingegaan op verdere onderzoeksmogelijkheden. Conclusies Een eerste doel van deze masterproef is nagaan hoe de studenten hun tutor, de casussen en het groepsfunctioneren beoordelen. In verband met het gedrag van de tutor blijkt uit de resultaten dat de tutoren gemotiveerd zijn om de tutorrol te vervullen en dat de tutoren de studenten vooral stimuleren tot actief leren. De tutoren stimuleren het minst het samenwerkend leren. De casussen krijgen een gemiddeld tot hoge score en het groepsfunctioneren krijgt een relatief hoge score. Er kan besloten worden dat de studenten vrij tevreden zijn over hun tutor, de casussen en het groepsfunctioneren. Het tweede doel van deze masterproef is nagaan hoe effectief tutoren met verschillende scores op de vijf competenties zijn in de perceptie van de studenten. Hierbij kunnen de twee vooropgestelde hypotheses bevestigd worden: (1) tutoren met een relatief lage score op alle vijf de competenties krijgen de laagste score voor het functioneren van de tutor en (2) tutoren met een relatief hoge score op alle vijf de competenties krijgen de hoogste score voor het functioneren van de tutor. Wanneer de tutor het samenwerkend leren minder stimuleert krijgt hij/zij een hogere score dan als de tutor het zelfregulerend leren of actief leren minder stimuleert. Dit zou kunnen betekenen dat de studenten het 32
stimuleren van samenwerkend leren minder belangrijk vinden dan het stimuleren van zelfregulerend en actief leren. Ten derde zijn de tips beschreven die gegeven worden door de studenten om het gedrag van de tutor te verbeteren. De meest voorkomende tips zijn er met betrekking tot het actiever aanwezig zijn van de tutor. De andere categorieën beschikken over een veel kleiner aantal tips. Het vierde doel is nagaan of het (door de studenten) geschetste beeld van de tutoren overeen komt met de bevindingen van de externe beoordelaar op basis van de videoanalyse. De score die een tutor krijgt van de studenten op een bepaalde factor lijkt hoger te liggen wanneer een tutor meer bijdragen levert op die bepaalde factor. Met andere woorden: de resultaten van de studenten en de externe beoordelaar liggen ongeveer in dezelfde lijn. Ten vijfde wordt onderzocht welk soort vragen tutoren stellen en hoe tutoren omgaan met vragen of onzekerheden van studenten. Uit de resultaten blijkt dat de tutoren vooral verticale vragen stellen en doorgaans zelf een antwoord formuleren op een vraag of onzekerheid van een student, zonder die door te spelen naar de andere studenten. Als zesde doel wordt nagegaan wat de invloed is van de tutor op de verschillende contextvariabelen van probleemgestuurd onderwijs. Er worden drie significante verbanden vastgesteld: er is een positief effect van actief leren en van zelfregulerend leren op de kwaliteit van de casussen en er is een positief effect van de kwaliteit van de casussen op het groepsfunctioneren. De verbanden van zelfregulerend leren en samenwerkend leren naar het groepsfunctioneren worden niet significant bevonden. Het verband tussen het groepsfunctioneren en de prestaties van de studenten is niet significant maar wel (licht) negatief. Een zevende onderzoeksvraag gaat de stabiliteit van het gedrag van de tutor over twee academiejaren na. Er wordt vastgesteld dat het gedrag van de tutoren op bepaalde factoren (actief leren, zelfregulerend leren en toegepast leren) stabiel is over twee academiejaren heen. Op andere factoren (samenwerkend leren en houding van de tutor) en op het item functioneren van de tutor blijkt het gedrag van de tutor niet stabiel te zijn over de twee academiejaren heen. Implicaties Uit deze masterproef blijkt dat studenten in staat zijn om hun tutor te evalueren en dat ze kunnen differentiëren tussen tutoren met verschillende kwaliteiten. Daarnaast liggen de percepties van de studenten in lijn met de uitkomsten van de externe beoordelaar. Dit impliceert dat er aandacht moet besteed worden aan enerzijds het evalueren van de competenties van tutoren op regelmatige basis en anderzijds het trainen van tutoren. De tutoren die binnen deze masterproef geëvalueerd werden, kunnen beter getraind worden om studenten te voorzien van constructieve feedback en om het samenwerken in de groep te evalueren. Daarnaast kan er in toekomstige trainingen voor tutoren eventueel ingezet worden op het stellen van horizontale en reflectieve vragen en op het leren doorspelen van vragen en onzekerheden van studenten. Ten slotte toont de zesde onderzoeksvraag aan dat de competenties van de tutoren wel degelijk een invloed hebben op de perceptie van de kwaliteit van de casussen en op het groepsfunctioneren, waardoor trainingen voor tutoren aangewezen lijken. Tutoren kunnen daarnaast veel leren van de evaluatie van studenten aangezien studenten bruikbare tips kunnen geven aan tutoren om de competenties met betrekking tot de rol van de tutor te verbeteren. Beperkingen Een eerste beperking is dat bij zes tutorialgroepen de vragenlijst door minder dan zes studenten is ingevuld, waardoor deze uitkomsten minder betrouwbaar en valide zouden kunnen zijn. Toch werden 33
deze resultaten gebruikt binnen deze masterproef. Ten tweede is de Cronbach’s alpha van drie factoren (zelfregulerend leren, toegepast leren en kwaliteit van de casussen) in deze studie kleiner dan 0.70, waardoor deze schalen minder betrouwbaar zijn. Een derde beperking is dat er bij het invullen van een 5 punts-Likert schaal mogelijk sprake kan zijn van een ‘halo effect’ (Darby, 2007; van Wyk & McLean, 2007). Dit houdt in dat studenten ofwel alle schalen hoog scoren ofwel alle schalen laag scoren, en dat er dus weinig variantie is binnen de antwoorden van één student. Ten vierde werden de video-opnames en de tips van studenten slechts door één persoon geanalyseerd. Er is met andere woorden geen inter-betrouwbaarheid aanwezig. Een vijfde beperking is dat de data bij onderzoeksvragen 1 en 2 geanalyseerd wordt op het geaggregeerd niveau van de tutorialgroep. Er wordt hierbij geen rekening gehouden met het feit dat het in bijvoorbeeld twee tutorialgroepen om dezelfde tutor kan gaan, al dan niet in een ander academiejaar of in een ander studiejaar. Een zesde beperking is dat bij het uitvoeren van de structurele vergelijkingsmodellen geen rekening werd gehouden met de meerdere niveaus in de data. In het onderzoek van Van Berkel en Dolmans (2006) werden deze analyses uitgevoerd op de geaggregeerde data, dus met de gemiddelden per tutor. In deze masterproef werden de analyses uitgevoerd op het laagste niveau, dus met alle unieke ingevulde vragenlijsten. In beide gevallen werd geen rekening gehouden met de gelaagdheid van de data. Ten slotte is tutoring maar één aspect van de docent zijn competenties. De resultaten kunnen dus niet gebruikt worden als evaluatie van de docent zijn competenties in het algemeen. Er moet duidelijk gemaakt worden dat het hier om vijf competenties met betrekking tot de rol als tutor gaat. Daarnaast moeten andere bronnen dan de evaluatie van studenten gebruikt worden om de competenties van docenten of tutoren te beoordelen (Dolmans & Ginns, 2005). Verdere onderzoeksmogelijkheden Van Wyk en McLean (2007) stellen vast dat een externe validatie van de evaluatie van de studenten nodig is. Om aan deze tekortkoming tegemoet te komen worden in deze masterproef vier tutorialgroepen beoordeeld door de onderzoeker. Het geschetste beeld van de tutoren door de studenten ligt in lijn met de bevindingen van de externe beoordelaar op basis van de videoanalyse. Dit is echter een voorzichtige conclusie door het gering aantal tutoren en tutorialsessies dat geanalyseerd werd. Een uitgebreider onderzoek kan nuttig zijn in de toekomst om na te gaan of de studenten hun tutoren accuraat kunnen beoordelen. Binnen deze masterproef werden het gedrag van de tutor en de prestaties van studenten nagegaan. Naast het gedrag en de tussenkomsten van de tutor, zouden ook het gedrag en de tussenkomsten van de studenten kunnen beoordeeld worden. Het gedrag van de tutor blijkt niet voor alle factoren stabiel te zijn over twee academiejaren heen. De kenmerken van de groep en van de individuele studenten hebben dus mogelijk een effect op het functioneren van de tutor. Daarom is het interessant om ook het gedrag en het kennisconstructieproces van de studenten na te gaan. Onderzoek naar probleemgestuurd onderwijs spitst zich vooral toe op de opleidingen in de geneeskunde en de gezondheidswetenschappen (Dolmans, 2012). Het probleemgestuurd onderwijs zou ook toegepast moeten worden in andere domeinen en ook daar moet gekeken worden wat de uitkomsten en mogelijke voordelen en nadelen zijn (Dolmans, 2012; Hmelo-Silver, 2004). Er is daarnaast nood aan studies waarin nagegaan wordt waarom en onder welke condities probleemgestuurd onderwijs effectief bevonden wordt. Met andere woorden: waarom en hoe
34
concepten zoals actief, zelfregulerend, samenwerkend en toegepast leren werken of niet werken en onder welke omstandigheden zij al dan niet werken (Dolmans, 2012; Dolmans et al., 2005). Ten slotte kregen de tutoren die geëvalueerd werden binnen deze masterproef geen officiële feedback. Dit zou wel nuttig kunnen zijn naar de toekomst toe. Verder onderzoek is nodig om te kijken of feedback tot verbetering van het gedrag van de tutor leidt (Dolmans et al., 2003). Vooral kwalitatieve feedback, bijvoorbeeld tips van studenten om het gedrag van de tutor te verbeteren, vinden de tutoren nuttig (van Wyk & McLean, 2007).
35
Literatuurlijst
Brown, T.A. (2006). Confirmatory Factor analysis for Applied Research. New York: Guilford Press. Chng, E., Yew, E. H. J., & Schmidt, H. G. (2011). Effects of tutor-related behaviours on the process of problem-based learning. Advances in Health Sciences Education, 16, 491-503. doi:10.1007/s10459-011-9282-7 Darby, J. A. (2007). Are course evaluations subject to a halo effect? Research in Education, 77, 46-55. Opgehaald van http://www.suu.edu/faculty/robertsw/Evaluation%20Task%20Force/Halo% 20effects.pdf De Maeseneer, J. (2001). Rol en functie van de “student” in een tutorial. Faculteit Geneeskunde en Gezondheidswetenschappen, Universiteit Gent. De Maeseneer, J. (2008). Competentie-ontwikkelend onderwijs: reflecties rond implementatie. In Vlaamse Onderwijsraad (red), Competentie-ontwikkelend onderwijs: een verkenning (pp. 135-150). Antwerpen: Garant. Opgehaald van http://books.google.be/books?id=aZ1TiTNiBOUC&printsec =frontcover&hl=nl&source=gbs_ge_summary_r&cad=0#v=onepage&q&f=false De onderwijsvisitatie Geneeskunde en Biomedische Wetenschappen. (2008). Een onderzoek naar de kwaliteit van de opleidingen Geneeskunde en biomedische wetenschappen aan de Vlaamse universiteiten. Opgehaald van http://www.vlir.be/media/docs/Visitatierapporten/ ronde1/Geneeskundebiomedische.pdf De Wever, B., Schellens, T., Valcke, M., & Van Keer, H. (2006). Content analysis schemes to analyze transcripts of online asynchronous discussion groups: A review. Computers and Education, 46, 628. doi:10.1016/j.compedu.2005.04.005 Dochy, F., Segers, M., Van den Bossche, P., & Gijbels, D. (2003). Effects of problem-based learning: a meta-analysis. Learning and Instruction, 13, 533-568. doi:10.1016/S0959-4752(02)00025-7 Dolmans, D. H. J. M. (2012). Innoveren om beter te leren (Inaugurele rede). Maastricht University, Maastricht. Opgehaald van http://www.google.be/url?sa=t&rct=j&q=&esrc=s&source=web&cd =1&ved=0CDMQFjAA&url=http%3A%2F%2Fwww.maastrichtuniversity.nl%2Fweb%2Ffile%3F uuid%3Dff2a42bd-b33d-4fec-a6f4-9b70f8aad8b6%26owner%3D71c7dc2d-f555-4243-ae2f00aeeaec1cb9&ei=gwdtUcvAEsbfOve7gKgF&usg=AFQjCNHa9Y7FzkuREIX_3ZWIYVhnDmnx SA&sig2=f_YHfoBTB4HxfeQRJQWmZA&bvm=bv.45175338,d.ZWU Dolmans, D. H. J. M., de Grave, W., Wolfhagen, I. H. A. P., & van der Vleuten, C. P. M. (2005). Problem-based learning: future challenges for educational practice and research. Medical Education, 39, 732-741. doi:10.1111/j.1365-2929.2005.02205.x Dolmans, D. H. J. M., Gijselaers, W. H., Moust, J. H. C., de Grave, W. S., Wolfhagen, I. H. A. P., & van der Vleuten, C. P. M. (2002). Trends in research on the tutor in problem-based learning: conclusions and implications for educational practice and research. Medical Teacher, 24, 173-180. doi:10.1080/01421590220125277 Dolmans, D. H. J. M., & Ginns, P. (2005). A short questionnaire to evaluate the effectiveness of tutors in PBL: validity and reliability. Medical Teacher, 27, 534-538. doi:10.1080/01421590500136477 Dolmans, D. H. J. M., Janssen-Noordman, A., & Wolfhagen, I. H. A. P. (2006). Can students differentiate between PBL tutors with different tutoring deficiencies? Medical Teacher, 28, e156e161. doi:10.1080/01421590600776545 36
Dolmans, D. H. J. M., & Schmidt, H. G. (2006). What do we know about cognitive and motivational effects of small group tutorials in problem-based learning? Advances in Health Sciences Education, 11, 321-336. doi:10.1007/s10459-006-9012-8 Dolmans, D. H. J. M., & Wilkerson, L. (2011). Reflection on studies on the learning process in problem-based learning. Advances in Health Sciences Education, 16, 437-441. doi:10.1007/s10459-011-9319-y Dolmans, D. H. J. M., & Wolfhagen, I. H. A. P. (2005). Complex interactions between tutor performance, tutorial Group productivity and the effectiveness of PBL units as perceived by students. Advances in Health Sciences Education, 10, 253-261. doi:10.1007/s10459-005-0665-5 Dolmans, D. H. J. M., Wolfhagen, I. H. A. P., Scherpbier, A. J. J. A., & van der Vleuten, C. P. M. (2001). Relationship of tutors’ Group-dynamics skills to their performance ratings in problembased learning. Academic Medicine, 76, 473-476. Opgehaald van http://journals.lww.com/academicmedicine/Abstract/2001/05000/Relationship_of_Tutors__Group_ dynamics_Skills_to.20.aspx Dolmans, D. H. J. M., Wolfhagen, I. H. A. P., Scherpbier, A. J. J. A., & van der Vleuten, C. P. M. (2003). Development of an instrument to evaluate the effectiveness of teachers in guiding small groups. Higher Education, 46, 431-446. doi:10.1023/A:1027388806218 Dolmans, D. H. J. M., Wolfhagen, I. H. A. P., & van der Vleuten, C. P. M. (1998). Thinking about student thinking: Motivational and cognitive processes influencing tutorial groups. Academic Medicine, 73, 22-24. Opgehaald van http://journals.lww.com/academicmedicine/ Citation/1998/10000/THINKING_ABOUT_STUDENT_THINKING__Motivational_and.34.aspx Evans, A. W., Leeson, R. M. A., & Petrie, A. (2007). Reliability of peer and self-assessment scores compared with trainers’ scores following third molar surgery. Medical Education, 41, 866-872. doi:10.1111/j.1365-2923.2007.02819.x Fahy, P., Ally, M., Crawford, G., Cookson, P. S., Keller, V., & Prosser, F. (2000). The development and testing of a tool for analysis of computer mediated conferencing transcripts. Alberta Journal of Educational Research, 26, 85-88. Gijselaers W. H., & Schmidt, H. G. (1990). Development and evaluation of a causal model of problem-based learning. In Z. M. Nooman, H. G. Schmidt, & E. S. Ezzat (Eds.), Innovation in Medical Education. An evaluation of its present Status (pp. 95-113). New York: Springer. Opgehaald van http://arno.unimaas.nl/show.cgi?fid=13871 Hmelo-Silver, C. E. (2004). Problem-based learning: what and how do students learn? Educational Psychology Review, 16, 235-266. doi:10.1023/B:EDPR.0000034022.16470.f3 Johnson, D. W., & Johnson, R. T. (1999). Making cooperative learning work. Theory into Practice, 38, 67-73. Opgehaald van http://enlearn.pbworks.com/f/Johnson+%26+Johnson+1999.pdf Jonassen, D. H. (1997). Instructional design models for well-structured and ill-structured problemsolving learning outcomes. Educational Technology Research and Development, 45, 65-94. Opgehaald van http://webkelley.com/HBS/ID%20Models%20for%20Well-Structured.pdf Kaufman, D. M., & Holmes, D. B. (1996). Tutoring in problem-based learning: perceptions of teachers and students. Medical Education, 30, 410-416. Langendyk, V. (2006). Not knowing that they do not know: self-assessment accuracy of third-year medical students. Medical Education, 40, 173-179. doi:10.1111/j.1365-2929.2005.02372.x 37
Machado, J. L. M., Machado, V. M. P., Grec, W., Bollela, V. R., & Vieira, J. E. (2008). BMC Medical Education, 8. doi:10.1186/1472-6920-8-55 Mamede, S., Schmidt, H. G., & Norman, G. R. (2006). Innovations in Problem-based Learning: What can we Learn from Recent Studies? Advances in Health Sciences Education, 11, 403–422. doi:10.1007/s10459-006-9018-2 McLean, M., & van Wyk, J. (2006). Twelve tips for recruiting and retaining facilitators in a problembased learning programme. Medical teacher, 28, 675-679. doi:10.1080/01421590601110033 Mennin, S., Gordan, P., Majoor, G., & Osman, H. A. S. (2003). News from the network: towards unity for health. Position paper on problem-based learning. Education for Health, 16, 98-113. doi:10.1080/1357628031000066633 Moust, J., & Schmidt, H. (1995). Probleemgestuurd leren: een krachtige leeromgeving. VELON Tijdschrift voor lerarenopleiders, 16/4, 40-55. Opgehaald van http://repub.eur.nl/res/pub/2694/eur_schmidt_91.pdf Neufeld, V. R., & Barrows, H. S. (1974). The ‘McMaster Philosophy’: An Approach to Medical Education. Journal of Medical Education, 49, 1040-1050. Opgehaald van http://journals.lww.com/academicmedicine/Abstract/1974/11000/The__McMaster_Philosophy___a n_approach_to_medical.4.aspx Prince, K. J. A. H., Van Eijs, P. W. L. J., Boshuizen, H. P. A., van der Vleuten, C. P. M., & Scherpbier, A. J. J. A. (2005). General competencies of problem-based learning (PBL) and nonPBL graduates. Medical Education, 39, 394-401. doi:10.1111/j.1365-2929.2005.02107.x Rosseel, Y. (2011). Onderzoeksmethoden II, slides. Gent: Universiteit Gent. Savery, J. R., & Duffy T. M. (2001). Problem based learning: an instructional model and its constructivist framework (Technical Report No. 16-01). Opgehaald van Indiana University, Center for Research on Learning and Technology website: http://www.dirkdavis.net/cbu/edu524/resources/Problem%20based%20learning%20An%20instruct ional%20model%20and%20its%20constructivist%20framework.pdf Schaub-de Jong, M. A., Schönrock-Adema, J., Dekker, H., Verkerk, M., & Cohen-Schotanus, J. (2011). Development of a student rating scale to evaluate teachers’ competencies for facilitating reflective learning. Medical Education, 45, 155-165. doi:10.1111/j.1365-2923.2010.03774.x Schmidt, H. G. (1983). Problem-based learning: rationale and description. Medical education, 17, 1116. doi:10.1111/j.1365-2923.1983.tb01086.x Schmidt, H. G. (1994). Resolving inconsistencies in tutor expertise research: does lack of structure cause students to seek tutor guidance? Academic Medicine, 69, 656-662. Opgehaald van http://repub.eur.nl/res/pub/2696/eur_schmidt_93.pdf Schmidt, H. G., & Moust, J. H. C. (1995). What makes a tutor effective? A structural-equations modeling approach to learning in problem-based curricula. Academic Medicine, 70, 708-714. Opgehaald van http://repub.eur.nl/res/pub/2689/eur_schmidt_86.pdf Schmidt, H. G., van der Molen, H. T., te Winkel, W. W. R., & Wijnen, W. H. F. W. (2009). Constructivist, problem-based learning does work: a meta-analysis of curricular comparisons involving a single medical school. Educational psychologist, 44(4), 227-249. doi:10.1080/00461520903213592
38
Slavin, R. E. (1996). Research on cooperative learning and achievement: what we know, what we need to know. Contemporary Educational Psychology, 21, 43-69. Opgehaald van http://socialfamily535.pbworks.com/f/slavin1996%5B1%5D.pdf Studenten Werkgroep Opleiding (SWOP). (2011). Algemene reflecties op de opleiding Geneeskunde 2010-2011. Opgehaald van http://vgk-online.com/uploads/File/SWOP/verslagen/SWOPweek%20verslag%202010-2011.pdf Turan, S., Elcin, M., Odabasi, O., Ward, K., & Sayek, I. (2009). Evaluating the role of tutors in problem-based learning sessions. doi:10.1016/j.sbspro.2009.01.005
Procedia
Social
and Behavioral
Sciences,
1,
5-8.
Van Berkel, H. J. M., & Dolmans, D. H. J. M. (2006). The influence of tutoring competencies on problems, group functioning and student achievement in problem-based learning. Medical Education, 40, 730-736. doi:10.1111/j.1365-2929.2006.02530.x Van Blankenstein, F. M., Dolmans, D. H. J. M., van der Vleuten, C. P. M., & Schmidt, H. G. (2011). Which cognitive processes support learning during small-group discussion? The role of providing explanations and listening to others. Instructional Science, 29, 189-204. doi:10.1007/s11251-0099124-7 van Wyk, J., & McLean, M. (2007). Maximizing the value of feedback for individual facilitator and faculty development in a problem-based learning curriculum. Medical Teacher, 29, e26-e31. doi:10.1080/01421590601032435 Williams, J. C., Alwis, W. A. M., & Rotgans, J. I. (2011). Are tutor behaviors in problem-based learning stable? A generalizability study of social congruence, expertise and cognitive congruence. Advances in Health Sciences Education, 16, 505-515. doi: 10.1007/s10459-011-9295-2
39
Appendices Appendix 1: Vragenlijst die gebruikt werd om de tutoren te evalueren, Universiteit Gent, 20112013
Bevorderen van actief De tutor stimuleerde ons… 1. … om het geleerde in eigen woorden samen te vatten 2. … om inhoudelijk relaties te leggen tussen de verschillende onderdelen van de leerstof 3. … om de onderliggende mechanismen/theorieën te begrijpen
Volledig oneens leren
Volledig eens
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
Bevorderen van zelf-sturend leren De tutor stimuleerde ons… 4. … om zelf eenduidige leerdoelen te formuleren 5. … om zelf op zoek te gaan naar verschillende leermiddelen
1 1
2 2
3 3
4 4
5 5
Bevorderen van toepassingsgericht leren De tutor stimuleerde ons… 6. … om het geleerde toe te passen op de taak 7. … om het geleerde toe te passen op andere situaties/problemen
1 1
2 2
3 3
4 4
5 5
Bevorderen van samenwerkend leren De tutor stimuleerde ons… 8. … om opbouwende feedback te geven in de onderwijsgroep 9. … om regelmatig de wijze van samenwerken in de onderwijsgroep te evalueren
1 1
2 2
3 3
4 4
5 5
Houding tutor 10. De tutor had een goed beeld van zijn sterke en zwakke punten in zijn functioneren als tutor 11. De tutor was duidelijk gemotiveerd om de tutorrol te vervullen
1 1
2 2
3 3
4 4
5 5
Globaal oordeel 12. Geef een score (1-10) voor het functioneren van de tutor
1 2 3 4 5 6 7 8 9 10
(De tutor fungeert als facilitator van het proces van probleemanalyse. De tutor waakt over het goed functioneren van de groep. Dit gebeurt door het motiveren van de groepsleden, het stimuleren, en het zo harmonieus mogelijk laten samenwerken van de verschillende persoonlijkheden die deel uitmaken van de groep)
Afwezigheid/vervanging 13. Hoe vaak was je eigen tutor afwezig? 14. Hoe vaak zorgde de tutor bij afwezigheid voor vervanging? 15. Welk effect had deze vervanging op het functioneren van jullie onderwijsgroep?*
0 1 2 3 4 5 6< 0 1 n2 3 4 5 6< 1 2 3 4
5
Kwaliteit van de casussen 16. De casussen stimuleerden voldoende groepsdiscussies 17. De casussen zetten aan tot zelfstudie
1 1
5 5
Groepsfunctioneren 18. Geef een cijfer tussen 1 en 10 voor het functioneren van de groep (samenwerking tussen studenten) 19. Geef een cijfer tussen 1 en 10 voor de productiviteit van de groep (komt de groep steeds tot een goed eindresultaat)
2 2
3 3
4 4
1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 10
20. Geef de tutor hieronder tips ter verbetering (kort en bondig formuleren). Doe dit in ieder geval indien je een oordeel lager dan zes hebt gegeven.
* 1 = zeer negatief, 5 = zeer positief.
40
Appendix 2: Analyseschema bij het analyseren van het videomateriaal Bevorderen van actief leren 1. De tutor stimuleert de studenten om het geleerde in eigen woorden samen te vatten 2. De tutor stimuleert de studenten om inhoudelijk relaties te leggen tussen de verschillende onderdelen van de leerstof 3. De tutor stimuleert de studenten om de onderliggende mechanismen/theorieën te begrijpen 4. Niet van toepassing Bevorderen van zelf-sturend leren 1. De tutor stimuleert de studenten om zelf eenduidige leerdoelen te formuleren 2. De tutor stimuleert de studenten om zelf op zoek te gaan naar verschillende leermiddelen 3. Niet van toepassing Bevorderen van toegepast leren 1. De tutor stimuleert de studenten om het geleerde toe te passen op de taak 2. De tutor stimuleert de studenten om het geleerde toe te passen op andere situaties/problemen 3. Niet van toepassing Bevorderen van samenwerkend leren De tutor stimuleerde ons… 1. De tutor stimuleert de studenten om opbouwende feedback te geven in de onderwijsgroep 2. De tutor stimuleert de studenten om regelmatig de wijze van samenwerken in de onderwijsgroep te evalueren 3. Niet van toepassing Vragen stellen 1. De tutor stelt een verticale vraag 2. De tutor stelt een horizontale vraag 3. De tutor stelt een reflectieve vraag 4. Niet van toepassing Vragen doorspelen 1. De tutor speelt op het moment dat er vragen/fouten zijn, deze door naar de studenten 2. De tutor geeft zelf antwoord/uitleg en speelt een vraag/onzekerheid niet door 3. Niet van toepassing
41
Appendix 3: Het aantal items per factor en Cronbach’s alpha betrouwbaarheidscoëfficient (n = 50) Aantal items
Alpha coëfficiënt
Actief leren
3
0.882
Zelfregulerend leren
2
0.631
Toegepast leren
2
0.749
Samenwerkend leren
2
0.925
Houding van de tutor
2
0.887
Kwaliteit van de casussen
2
0.753
Groepsfunctioneren
2
0.952
42
Appendix 4: Correlaties tussen de factorscores, n= 555 In onderstaande tabel worden de correlaties tussen de factorscores weergegeven op basis van een confirmatorische factoranalyse uitgevoerd op het brede theoretisch model (zie Figuur 1a). De correlaties variëren tussen 0.25 en 0.89. Om na te gaan of het model goed met de data past, worden de algemene ‘goodness-of-fit maten geëvalueerd (Rosseel, 2011). De p-waarde van de ‘Chi-square’ is significant (0.03), wat niet goed is. De waarden voor CFI (Comparative Fit Index) en voor TLI (Tucker-Lewis Index) zijn beiden dan 0.99 wat op een goede fit wijst. Daarnaast is de waarde voor RMSEA 0.03 en de waarde voor SRMR 0.02, die ook beiden een goede fit betekenen. Er kan met andere woorden vastgesteld worden dat het model redelijk goed bij de data past, enkel de p-waarde op de Chi-square beweert het tegendeel. 1
2
3
4
5
6
1. Actief leren
-
2. Zelfgereguleerd leren
0.499
-
3. Samenwerkend leren
0.574
0.584
-
4. Houding van de tutor
0.745
0.438
0.559
-
5. Toegepast leren
0.894
0.644
0.614
0.678
-
6. Kwaliteit van de casussen
0.452
0.455
0.352
0.250
0.429
-
7. Groepsfunctioneren
0.393
0.413
0.382
0.300
0.398
0.538
43
7
-
Appendix 5: Aantal tutoren en exacte scores per factor bij de groepen ‘relatief lage score’, ‘gemiddelde score’ en ‘relatief hoge score’ Factor
N
Minimum
Maximum
Gemiddelde
SD
L
16
2.85
3.73
3.43
0.26
G
17
3.79
4.13
3.97
0.98
H
17
4.13
4.71
4.36
0.16
L
16
2.68
3.16
2.97
0.16
G
17
3.17
3.54
3.33
0.14
H
17
3.58
4.13
3.81
0.19
L
17
2.77
3.50
3.24
0.22
G
16
3.55
3.92
3.72
0.13
H
17
3.93
4.60
4.18
0.17
L
16
2.00
2.84
2.64
0.22
G
17
2.86
3.25
3.01
0.12
H
17
3.33
4.04
3.60
0.20
L
16
1.94
3.69
3.23
0.47
G
17
3.73
4.23
4.01
0.13
H 17 4.23 4.90 Noot. L = relatief lage score, G = gemiddelde score, H = relatief hoge score.
4.47
0.18
Actief leren
Zelfgereguleerd leren
Toegepast leren
Samenwerkend leren
Houding tutor
44
Appendix 6: De volledige lijst met tips voor de tutor, Universiteit Gent, 2011-2013 Tips met betrekking tot het adequaat evalueren
Tips met betrekking tot het minder sturen van de tutorials Tips met betrekking tot het actiever aanwezig zijn van de tutor
Punten worden gegeven op medewerking. Iemand aanduiden bij een vraag is niet zoals we het gewoon waren. Medewerking kan je beter quoteren zonder aanduiding Niet streepjes zetten bij iedere keer iemand iets zegt, controleer liever de wiki-groepssamenvatting, alleen daar zie je of ieder zijn taak gedaan heeft, nu kregen mensen punten omdat ze andermans werk aflazen Tussentijdse evaluatie? Meer verwachten van de zelfstudie, de studenten stimuleren om het onderwerp beter te bestuderen Groep zelf meer aan het woord laten Als tip kan ik geven om zelf meer informatie te geven in plaats van gewoon een stilte. Eventueel ook personen zelf aanspreken of zij een idee hebben en zo de drempel verlagen want anders zijn het steeds dezelfden die antwoorden. Ook meer feedback geven mag want wij hebben die nooit gehad. Enthousiasme Meer interactie Meer begeleiden Meer sturen en helpen juiste antwoord formuleren Graag had ik dit jaar iets meer discussie gehad bij de Asessies vooraleer we de vragen kregen. In het eerste jaar heb ik daar bij veel geleerd. Dit lag echter niet alleen aan de tutor, maar ook aan een groot deel van de groep. Vragen beter uitwerken, meer uitleg geven over de antwoorden op de vragen. Geef meer feedback terwijl studenten redeneren. Eventueel af en toe een tip geven of aangeven of de groep al dan niet correct bezig is. Meer aan het woord komen Meer helpen bij problemen, meer uitleg geven in plaats van de studenten aan hun 'lot' over te laten. De tutor hield zich zeer afzijdig en voelde maar weinig nood om ons verder te helpen wanneer we op een onzekerheid stootten. Zelfs bij expliciete vraag om hulp, koos hij een afzijdige houding. Meer inspraak en inleving zijn hier dus wel geboden. De tutor hield zich iets te afzijdig als we vast zaten. Meer enthousiasme, meer aanvullen indien nodig en delen van eigen kennis. Soms duidelijker vragen formuleren, en bij geen antwoord een hint geven Iets sneller ingrijpen als we fout zitten, of het niet weten Meer voorbeelden geven van onder andere situaties/problemen Actiever mengen in het gesprek, studenten aansporen in een bepaalde richting (van de juiste oplossing) Bij onduidelijkheid zelf het juiste antwoord geven zodat iedereen het heeft Als we het antwoord niet weten of niet volledig hebben, misschien het goede antwoord volledig geven, opdat we dit ook goed zouden hebben Indien we het antwoord niet kennen, vermeld de tutor dit zelf ook niet. Ik denk dat het beter is dit wel te doen Soms had ik het gevoel dat we niet op alle onderdelen juist zaten, misschien toch iets meer sturen Vooral op het einde na de theoretische beschouwingen ook eens stilstaan bij de toepassing op de casus. Wat is er nu met die patiënt gebeurd? Meer stimuleren om uit te leggen in plaats van af te
45
Tips met betrekking tot de inhoudelijke expertise van de tutor Tips met betrekking tot informatie over het examen
Tips met betrekking tot het verdelen van de vragen bij de casus
Tips met betrekking tot de duur van de tutorial
Tips met betrekking tot structurele factoren
Overige commentaren die niet gezien worden als ‘tips voor de tutor’
lezen: meer begrijpen dan een overmaat aan nutteloze informatie Ook rekening houden met minder mondige studenten, pas doorgaan als iedereen het begrepen heeft, niet steeds dezelfde aan het woord laten. Soms meer samenvatten zou duidelijker zijn om te volgen Inhoudelijk sterker staan Misschien duidelijk zeggen wat we per vraag zeker moeten weten om ons examen goed te kunnen oplossen Veel beter de relevante informatie voor examen aanwijzen Meer duidelijkheid omtrent wat gekend moet zijn, veel verschil tussen de groepen! Meer nadruk leggen op wat belangrijk is Iedereen alle vragen laten oplossen Zien dat iedereen altijd een vraag moet voorbereiden, soms hebben mensen 'niets te doen' Iedereen al de vragen laten oplossen Niet oneindig uitwijden over vragen (indien dit niet tot de leerdoelen behoort) Tutorials niet perse 2u willen laten duren. Zelfs al hadden we het antwoord al lang gevonden, dan verzon hij desnoods andere dingen. Niet echt motiverend. Voor de rest wel zeer goede en vriendelijke tutor. Een sfeer creëren waarin het resultaat belangrijker is dan het zo snel mogelijk afronden. Alles oplossen tot niemand nog vragen heeft. Enkel zeer praktisch. Als het opzoeken van de tutorialvragen wordt verdeeld, bij de terugkomsessies zorgen dat er niet te snel over de antwoorden heen wordt gegaan, omdat dit uiteindelijk wel de examenleerstof is Op tijd komen Iets trager spreken Luider praten Iets meer gestructureerd werken Slechte tutor, te afzijdig De leerdoelen zelf achterhalen en formuleren werd niet veel gedaan, maar was ook eigenlijk niet goed mogelijk. Het kost veel tijd en vaak gaat de groep een andere kant op dan de tutorialdoelstelling. Het is dus niet productief en voegt niet veel toe. Terecht dat dit te weinig werd gedaan. De vragen op het examen kwamen niet uit hetgeen we in de tutorial gezien hebben Geen tips nodig Doe zo verder Ik ben heel tevreden over onze tutor. Hij was gemotiveerd en begeleidend Afwezigheid: zorgde voor ander moment indien niet paste Beste tutor ooit gehad: zeer verstandig, realistisch en inspirerend Heel vriendelijke mevrouw De tutor deed dit zeer gemotiveerd. Hij gaf een sterk accent naar de multidisciplinariteit en 'denken' over de casus. Afwezigheid was door ongeval dus niet voorzien Geef misschien niet elk jaar exact dezelfde tutorials Was zeer gemotiveerd en vriendelijk, zorgde voor een goede sfeer en samenwerking in de groep Perfect evenwicht tussen zelfstandigheid aangeven en zelf uitleg geven
46
Geen Dik ok, zeer motiverend en stimulerend OK Duidelijk gemotiveerd om tutorrol te vervullen: +++ Zeer goed bezig Afschaffen We gebruiken steeds internet en krijgen de exacte leerdoelen en vragen aangeboden. Voordeel: duidelijke zoekrichting en vlottere antwoorden Kan niet beter! Vervanging was niet nodig, verandering van datum Doe zo voort! Goed bezig Het is steeds moeilijk over onderwerpen, in tutorials vermeld, leerdoelen te bedenken. Zou er minder begeleiding zijn door de tutur, zou ik dit niet kunnen. Ik vind dat alles goed verloopt
47
