CGO 2.0. De invloed van toetsing op het studeergedrag en het leerproces van studenten

CGO 2.0 De invloed van toetsing op het studeergedrag en het leerproces van studenten

Programma     

Inleiding CGO 1.0 Resultaten evaluatie 2010 Invoering CGO 2.0 Resultaten evaluatie onderzoek

CGO (casus gestuurd onderwijs)  

 



Start 2004 (Studiejaar 1 en 2, projectonderwijs in jaar 3 en 4) Ontwikkeld naar model van “ Harvard Business school” In 2010 grondige evaluatie In 2011 bijstellingen toetsing CGO en stappenplan Evaluerend onderzoek (2011-2012)

CGO 



Actief kennis construeren, in een omgeving waarin samengewerkt wordt met medestudenten (aankomende collega’s) Het onderwijs is vormgegeven aan de hand van beroepsgeoriënteerde cases (betekenisvol en contextrijk)

Doel CGO Ontwikkelen van competenties     

Actief en zelfstandig ontwikkelen van kennis Vaardigheden: o.a. klinisch redeneren, Communicatieve- en sociale vaardigheden. Professioneel gedrag Leren hoe te leren (leercompetenties ontwikkelen) Leren van en met elkaar (sociaal constructivisme)

Opzet CGO      

Twee- of drieweekse casus Methodiek in acht/negen stappen Leerstofomschrijving Flankerend onderwijs (HC,WC, VHO, SLB) Verplichte literatuur en aanvullende literatuur zoeken Informatie (leren) zoeken en kwaliteit beoordelen

De groep, de casus, de casusopdrachten zijn hulpmiddelen Individuele kennisontwikkeling staat centraal

CGO 1.0 

Stap 1:

Probleemdefinitie en ordening



Stap 2 :

Probleemanalyse



Stap 3:

Formulering leerdoelen



Stap 4:

Planning van activiteiten



Stap 5:

Uitvoering plan van aanpak



Stap 6:



Stap 7: Stap 8:

Heranalyse en toelichting op de uitgewisselde informatie Toepassen en/of oefenen Resultaat en onderbouwing resultaat



Programmering tweeweekse casus    

Di Vrij Do Di

2 uur start casus 2 uur (in 2e week) 2 uur 1 uur: 

2 uur: start nieuwe casus - stap 1-4

stap 1-4 stap 5, 6(4) stap 7 stap 8

Toetsing CGO 1.0 Wat

Wanneer

Diagnostisch/ selectief

Schriftelijk product

Na elke casus

Summatief (groepscijfer)

Peer assessment

Na elk schriftelijk product

Summatief Individualisering groepscijfer

Professioneel gedrag

Eind van elk blok (10 weken)

Summatief

Aanwezigheid

Eind van elk blok

90 % begeleide bijeenkomsten

Casustoets

Eind van elk blok

Summatief/individueel

Evaluatie onderzoek 

Uitkomsten studentevaluaties CGO 2009-2010 3.2 (5 puntsschaal)



Analyse resultaten casustoets en studentevaluaties Gebaseerd op de studiejaren 2008/2009 en 2009/2010 kan geconcludeerd worden dat gemiddeld 90 % (boven en ondergrens 97%-64%) van de eerste jaar studenten en gemiddeld 78 % van de tweedejaars (boven en ondergrens 100%-56%) een voldoende scoren voor de casustoetsen



Interviews met topiclijst studenten en docenten

Uitkomsten studenten en docenten evaluaties 

Positief:

Waarde van beoordelen professioneel gedrag Verloskundige kennis Goede leerdoelen geven richting aan leerproces Steun werkgroepbegeleiders is belangrijk Kennisuitwisseling bij stap 6 Leerstof rapporteren Veilig leerklimaat Toepassingsslag casusgerichtheid Klinisch redeneren, casuïstiekmethodiek

Uitkomsten studenten en docenten evaluaties 

Negatief

Te weinig sturing Organisatie schriftelijk product kost teveel tijd en energie CGO producten schrijven kost veel tijd en gaat ten koste van voorbereiding andere lessen Lay-out en vorm krijgen veel aandacht ook bij beoordeling Weinig tijd kennisontwikkeling Organisatie bijeenkomsten: vooral eerste en tweede bijeenkomst Kost veel tijd om na te kijken (docenten) en wordt weinig met feed back gedaan (frustrerend)

Conclusie evaluerend onderzoek 

Het schriftelijke CGO- eindproduct wordt door studenten en docenten als weinig effectief ervaren en gaat ten koste van de zelfstudie



Niet alle stappen van het CGO worden als nuttig ervaren. Oorzaken hiervan zijn: tijdsdruk, doel en functie niet helder, te weinig ondersteuning om goed te doen, planning van de stappen in de weken

Behouden en verwerpen 

Behouden:   



CGO: samenwerken, methodisch werken, kennisontwikkeling Informatiebronnen (kwaliteit, omgaan met verschillende waarheden) Gebruik Stap 6 terugkoppeling inhoud per leerdoel, mits voldoende zelfstudietijd

Veranderen:    

CGO groepsproduct, het schrijven ervan kost teveel tijd en energie Brainstormfase wordt door tijdsdruk overgeslagen Onduidelijk wat en met welke diepgang men kennis moet ontwikkelen (onveilig en frustrerend) Docenten vinden dat er te weinig diepgang in schriftelijk product bereikt wordt

Opdracht 

Ga in groepjes van 3 een mogelijke oplossing voor het toetsingsprobleem van het CGO 1.0 bedenken 

Zodanig dat:   

Het leerrendement van CGO omhoog gaat Studenten met elkaar samenwerken aan een product De begeleider ‘zicht’ heeft op het niveau en diepgang van de bestudeerde onderwerpen

Inventarisatie mogelijke oplossingen

Literatuursearch 

Bij competentiegericht toetsen wordt onderscheidt gemaakt tussen assessment for learning en assessment of learning

Assessment for learning draait om het beoordelen van het leerproces Assessment of learning is gericht op het product van het leerproces (Dochy & Nickmans, 2005) Vertaling naar CGO 2.0: meer nadruk op toetsing als leerinstrument

Toetsing CGO/PGO  





Mogelijkheden voor PGO/CGO onderwijs zijn: voortgangstoetsen, bloktoetsen, portfolio en vaardigheidstoetsen (Schmidt & Moust, 1998) Bij het PGO/CGO gaat het om toepassen van kennis aan de hand van relevante praktijkproblemen (Janssen-Noordman & Van Merrienboer, 1998) Dit komt overeen met het niveau van ‘knowing how’ in de competentiepiramide van Miller (Vleuten, Driessen & Van Tartwijk, 2006) Een groepsproduct is alleen zinvol als studenten moeten leren om als beroepsbeoefenaar in een team moet kunnen functioneren en/of opleidingsdoelstellingen erop gericht zijn om samen te kunnen werken aan een opdracht (Bax en Perrenet, 2002)

CGO 2.0: meegenomen in de vormgeving van de stappen en de toetsing

Motivatie voor CGO/PGO 





PGO is een goed onderwijssysteem om studenten voor te bereiden op de professionele werkuitvoering: afgestudeerde artsen van een PBL curriculum scoorden beter dan die van een traditioneel curriculum op het gebied van preventieve zorg en continuïteit van zorg (Boshuizen, 2009) Afgestudeerden in een PGO gericht curriculum beschikken over betere sociale vaardigheden in vergelijking met studenten die zijn afgestudeerd in een traditioneel curriculum, Studenten lijken beter te zijn in klinische redeneren bij een PBL curriculum (Loyens, Kirschner & Paas, 2010)

CGO 2.0: behouden van CGO en de kracht van activerend leren

Cognitive load theory Belasting kan te maken hebben met de leertaak zelf of de inherente moeilijkheid die verbonden is aan elke instructie of materiaal (intrinsic load), of met de methode die gevolgd moet worden of proces te onduidelijk of ingewikkeld zijn (extrinsic load) (Van Merrienboer en Sweller, 2005)

Verander de probleemoplossingsmethodes, die omwille van hun middeldoel benaderingen een al te zware belasting teweegbrengen op het werkgeheugen. Dit kan door te werken met doelvrije problemen of uitgewerkte voorbeelden  Vermijd zo veel mogelijk het mentaal moeten verbinden van verscheidene bronnen van informatie. Het fysisch integreren door de informatie bijvoorbeeld op papier te zetten of visueel voor te stellen, zodat het tastbaar wordt, kan hiervoor eventueel een oplossing bieden  Vermijd het onnodig herhalen van informatie. Verwijder met andere woorden overtollige informatie.  Verbeter de werkgeheugencapaciteit door zowel auditieve als visuele informatie te gebruiken. Dit moet wel gebeuren onder omstandigheden waarin beide bronnen van informatie een essentiële en dus niet een overtollige bijdrage leveren. CGO 2.0: stappenplan minder complex, leerstofomschrijving en bronnen 

Invloed zelfstudietijd op toetsresultaten  

 

De verhouding contacturen en zelfstudietijd en de invloed die deze parameters hebben op de studieresultaten van studenten: Alleen de relatie tussen de hoeveelheid zelfstudietijd ten opzichte positieve studieresultaten (studieduur) waren significant aan te tonen. Hoe meer zelfstudietijd hoe beter de resultaten De hoeveelheid hoorcolleges waren negatief gecorreleerd met de hoeveelheid zelfstudietijd en positief met de studieduur Deze uitkomst pleit volgens de auteurs voor het uitbreiden van de zelfstudietijd in plaats van het uitbreiden van instructiemomenten (Schmidt et al., 2009)

CGO 2.0: ruimte tussen eerste en tweede bijeenkomst voor zelfstudie, minder tijd verloren aan casusproduct

Groepssamenstelling PGO/CGO   



Als optimale groepsgrootte van een tutorgroep van tien personen (Vermunt, 2000) tot zes-tien (Schmidt et al, 2007) Het werken in tutorgroepen doet een beroep op toepassingsgericht leren (Vermunt, 2000), wat vooral studenten uit de propedeuse nog moeten leren. Deze groepsgrootte voldoet minder als het gaat om het zelfstandig leren van de student en te weinig uitdaging aan studenten waardoor ze teveel in een patroon functioneren: In de loop van de opleiding meer zelfstandigheid en eigenaarschap richting studenten als het gaat om opdrachten en begeleiding

CGO 2.0: casusopdrachten in kleinere groepen

CGO 2.0 a. Stappenplan aangepast (brainstorm, tijd voor zelfstudie) b. Toetsing    

Casusopdracht (diagnostisch) Aanwezigheid en inspanningsverplichting casusopdrachten Professioneel gedrag Casustoets

Casusopdrachten Wat wordt hiermee beoogd?  Noodzaak om samen te werken en afspraken te maken  Realistische groepsgrootte waar verloskundige….. mee te maken krijgt ?  Instrument om kwaliteit en diepgang te monitoren

Casusopdrachten    

Mondelinge Presentatie (met powerpoint) Schriftelijke Presentatie (kort verslag) Wetenschappelijke Poster Betoog (argumentatieschema)

Beoordeling casusopdracht (formatief)  

Docent kan bijsturen op kwaliteit en diepgang Ontwikkelingsgericht beoordelen   

Student informatie geven over voortgang leerproces Feedback op misvattingen en misconcepties Bijsturen leerproces

Eerste bijeenkomst CGO 2.0 Stap 1 Stap 2 Stap 3 Stap 4 Stap 5

voorbereiding casus, leerstofinhoud essentie van de casus verwoorden voorkennis actualiseren en afbakenen leerstof leerdoelen formuleren activiteiten en afspraken

Tweede bijeenkomst Stap 7: uitwisselen van uitkomsten stap 6 (zelfstudie)    

Samenvatting belangrijkste uitkomsten Kwaliteit van bronnen checken Hiaten vaststellen Plan van aanpak om hiaat op/aan te vullen

Derde bijeenkomst Stap 8: toepassing van (een deel) van de uitkomsten leerdoelen / leerinhouden Rollenspel  Klinisch redeneren uitwerken (casus)  Patiënt/ Adviesgesprek  Oefenen met een fantoom  Quiz + heranalyse hiaten uit de tweede bijeenkomst 

Vierde bijeenkomst Stap 9: resultaten uitwisselen, evaluatie van de uitkomsten 

 

Uitkomsten casus: alle onderdelen beantwoorden Presentatie casusopdrachten Evaluatie samenwerking en werkwijze aan de casus

Implementatie 





Docenten hebben actief geparticipeerd in evaluatie en bijstellingen van het stappenplan tijdens AVAG dagen Werkgroepbegeleiders zijn getraind m.b.t. Het nieuwe stappenplan Coachingstraject voor werkgroepbegeleiders

Implementatie studenten  



Actieve participatie in bijstellingen Voorbereiding studenten voor aanvang van het studiejaar Eerstejaars en tweedejaars voorbereidend college in eerste blok

Onderzoeksopzet evaluatie CGO (Dalmaijer, 2011)

Doelstelling  onderzoeken of de brainstorm, de geformuleerde leerdoelen, de zelfstudie en de terugkoppeling van de zelfstudie uit het stappenplan CGO 2.0 leiden tot een effectieve kennisontwikkeling

Onderzoeksvragen 





Hoe ervaren de studenten de brainstormfase, het opstellen van leerdoelen, de zelfstudie en terugrapportage hiervan van het stappenplan CGO 2.0? In hoeverre leidt het volgen van het stappenplan CGO 2.0 tot een effectieve brainstorm In hoeverre geeft het stappenplan CGO 2.0 aanleiding tot een constructieve terugrapportage?

Methode 



Cross sectionele survey bij eerste- en tweedejaars studenten (locaties Groningen en Amsterdam) Veldonderzoek d.m.v. opnames van desbetreffende stappen van werkgroepen kwalitatief

Resultaten Amsterdam Brainstorm Actualiseren voorkennis Leerdoelen Zelfstudie Terugrapportage Kwaliteit bronnen

3,6 3,4 3,7 3,9 3,5 3,3

Groningen 2,8 2,8 3,4 3,8 3,6 3,9

Resultaten veldonderzoek (restrictie: drie groepen op één locatie onderzocht, vervolgonderzoek nodig)  

 

Tijdsindicatie stappen 3 en 4 haalbaar, stap 7 niet STAP 3: voorkennis geactualiseerd, gewenste kennisniveau moet actief bevraagd worden STAP 4: leerdoelen werden niet in alle groepen plenair besproken STAP 7: leerdoelen worden inhoudelijk besproken, feedback van werkgroepbegeleiders is vooral het opsporen van lacunes, veel minder in het feedback geven t.a.v. hiaten, misconcepties, kwaliteit van bronnen wordt besproken

Verschil PGO - CGO I 



Stap 1: Wat staat er in de tekst? (confrontatie met de taak) Stap 2: Welk probleem stellen de gegevens uit de tekst aan de orde?



Stap 1: Voorbereiding casus, leerstofinhoud



Stap 2: Essentie van de casus Hoofdonderwerpen uitwisselen

Verschil PGO - CGO II 





Stap 3: Probleemanalyse. Welke kanten zitten aan het probleem? Stap 4: Welke ordening is daarin aan te brengen? Inventarisatie, dmv clustering Brainstorm Stap 5: Formuleren van leervragen.



Stap 3: Voorkennis actualiseren en afbakenen leerstof



Stap 4: leerdoelen/leervragen formuleren



Stap 5: Activiteiten plannen en afspraken maken

Stap 6 

Zelfstudie, inclusief bronvermelding



Zelfstudie: literatuurstudie, het beantwoorden van de leervragen

Verschil PGO - CGO III 

Stap 7: Terugkoppeling antwoorden leervragen en beantwoorden van de centrale probleemstelling.

 



Uitwisselen resultaten stap 6 Stap 8: Toepassing van (een deel) van de uitkomsten leerdoelen / leerinhouden Rollenspel, adviesgesprek etc. Stap 9: Uitwisselen resultaten, evaluatie van de uitkomsten Presentatie casusopdrachten

Waarom een brainstorm      

Het ophalen van voorkennis, zodat nieuwe kennis in een context wordt opgeslagen Leren van elkaar (sociaal-constructivisme) Verbanden leren zien Ieders kwaliteit tot haar recht laten komen Richtinggevend aan het literatuuronderzoek en de zelfstudie die moet plaatsvinden Mogelijkheid tot invloed in diepgang/ richting van de leerstof door werkgroepbegeleider (opleiding)

Onderwerp/ Vraag Voorkennis

Relaties

Leervragen

Wat weten we allemaal al

Waar heeft het allemaal mee te maken

Wat willen we weten