Het ‘Maastrichtse’ Model
EEN ALTERNATIEF ? REFLECTIE OP EEN MODEL
Toetsen van competenties y
y
Longitudinale toetsing en toetsprogramma: doelbewust gepland arrangement van t t i ingebed toetsing i b d iin lleerprogramma 3 doelen worden nagestreefd: ◦ Toetsing als leermoment (Assessment for Learning) x Aandacht voor zelfsturing
◦ Beslissingen over studievoortgang moeten robuust zijn ◦ Toetsingg als evaluatie van het curriculum
Toetsen van competenties y
Frequente ‘toetsing’ toetsing (formele feedback) ◦ Focus op kwalitatieve, narratieve informatie (betekenisvol)
y y
Elk individueel ‘toets’moment toets moment is beperkt in kwaliteit (betrouwbaarheid, validiteit, leerwaarde…..) Mix van toetsmethoden en –instrumenten ◦ Uitspraken over professionele competentie: niet op basis van werkplekbeoordelingen alleen ◦ Voor gestandaardiseerde toetsing (kennis bijv.) kan de kwaliteit ingebouwd worden met kwaliteitszorg in toetssamenstelling en afname ◦ Validiteit van werkplekbeoordelingen wordt vooral bepaald door de gebruikers van de instrumenten
Toetsen van competenties y
Het menselijk oordeel is onvermijdelijk voor beoordeling van complexe vaardigheden en wanneer g informatie moet worden gecombineerd.
y
Kwaliteit van beslissingg (robuust): ( ) ◦ Steekproeftrekking (inhoud, beoordelaar, context, methode) ◦ Zorgvuldige procedures (due process)
y
Wat er ‘op het spel staat’ (stakes) is een continuüm (f (formatief ti f = low l stakes; t k summatief ti f = hi high h stakes) t k ) ◦ Hoe meer er op het spel staat, hoe meer informatie nodig is
Reflectieve activiteit door lerende - Interpretatie van feedback - Planning nieuwe doelen en leertaken Bekwaamverklaring beheersingstaak (vaardigheid), of Kennistoets
ONTWERP Leer- / werkactiviteiten
v
v
Toetsactiviteiten
PORTFOLIO
Begeleidingsactiviteiten
Individuele toets of beoordelingsvorm (één datapunt) - Maximaal ‘fit for purpose’ - Kan elk niveau van Miller zijn - Leergericht, informatierijk, betekenisvol (met name kwalitatief eventueel kwantitatief) kwalitatief, kwantitatief), gedocumenteerd - Er staat weinig op het spel (low stakes)
Tijd
Ondersteunende sociale interactie - Coaching/mentoring/supervisie - Peer interactie (intervisie)
Leer- / werkactiviteiten
v
v
Toetsactiviteiten Begeleidingsactiviteiten
Tussentijdse beoordeling
Tijd j
- Geaggregeerde informatie geëvalueerd tegen een standaard - Groep van beoordelaars: scheid docentrol van b beoordelaarsrol d l l - Besluitvorming: diagnostisch, therapeutisch, prognostisch - Gericht op remediering, - Informatief - Longitudinaal - Er staat meer op het spel (intermediate stake)
Leeractiviteiten
v
v
v
v
Toetsactiviteiten BegeleidingsBegeleidings activiteiten Tijd j
v
v
Eindbeoordeling
v
v
v
v
Tijd j
- Geaggregeerde informatie geëvalueerd tegen een standaard - Groepp van onafhankelijke j beoordelaars - High stakes besluit over studievoortgang - Gebaseerd op veel toetsmomenten, beoordelaars, in verschillende contexten en rijke j informatie - Verdedigbaarheid van de beslissing geoptimaliseerd door procedurele maatregelen
9 Van der Vleuten et al. (2010). Clinical Obstetrics and Gynaecology Best Practices & Research, 24(6), 703-719.
v
v
v
v
v
v
Tijd j Training Activities
v
v
v
v
v
Assessment Activities Supporting pp g Activities Tijd
v
Kernpunten Expliciete verwachtingen / standaarden y Individuele toetsmomenten: y
◦ Focus op leren ◦ Focus op narratieve feedback (tegen de achtergrond h d van de d standaard) d d) ◦ Documenteer
Zorg voor betekenisvolle aggregatie y Beslissen op basis van rijke informatie y
◦ Door een groep beoordelaars ◦ Op basis van zorgvuldige procedures
DANK VOOR UW AANDACHT
Kwaliteit van de beslissing g Strategie ter Verhoging van de verdedigbaarheid g
Criterium
Credibility
Prolonged engagement
Trainen van beoordelaars Geloofwaardige beoordelaars
Triangulation g
Gedoseerde toename van oordelen ggebaseerd opp de mate van onzekerheid in de informatie
Peer examination
Benchmarking van beoordelaars
Member checking
Betrekken van de mening van de lerende
Structural coherence
Nagaan van inconsistenties in informatie / commissie beslissingen
Time sampling
Oordeel over veel datapunten
Thick description
Motivering van besluiten; narratieve feedback
Dependability
Stepwise replication
Gebruik van meerdere beoordelaars die geloofwaardigheid hebben
Confirmability
Audit
Beroepsmogelijkheid; externe assessoren
Transferability
Mogelijke Aanpak ((voorbeeld))
Why bother bother?? ◦ Correlatie tussen kennistoetsen en performance in de praktijk, tot 10 jaar na registratie = 0.60-0.70 x Ramsey et al., 1989 / Tamblyn et al., 2002 / Wenghofer et al., 2009
◦ Toetsscores communicatieve vaardigheden voorspellen kwaliteit van zorg / klachten, tot 12 jaar na registratie i i x Tamblyn et al., 2007 / Wenghofer et al., 2009
◦ Professioneel gedrag tijdens opleiding voorspelt kwaliteit van zorg / patienttevredenheid x Papadakis et al., 2005/McLeod et al., 1994
Reflection--on Reflection on--assessment 7 / 10
9 / 10
8 / 10
4 / 10
7 / 10
8 / 10
Reflection--on Reflection on--assessment 7 / 10 9 / 10
8 / 10
4 / 10
7 / 10
8 / 10 16
Toetsen van competenties Toetsinstrumenten / -vormen vormen kennistoets 360-graden feedback (project)opdracht
1
Compete enties
1 Communicatie 2 Samenwerken 3 Medisch handelen 4
2
observatie in de praktijk stationstoets
3
4
Leerproduct p of artefact - Product artefacten: Producten van leertaken - Proces artefacten: Leer- of werkactiviteiten Leeractiviteiten
v
v
Toetsactiviteiten BegeleidingsB l idi activiteiten Tijd j
Leertaak - PGO casus - Consult met patiënt - Operatie - Project - College - Zelfstudie
Bekwaamheidverklaring van een beheersingstaak - Rescuscitatie - Normale bevallingg Leeractiviteiten
v
v
Toetsactiviteiten Begeleidingsactiviteiten j Tijd
Individuele toets of beoordelingsvorm (één datapunt) (éé atapu t) - Maximaal fit for purpose - Kan elk niveau van Miller zijn - Leergericht, g , informatierijk, j , betekenisvol (kwantitatief en kwalitatief), gedocumenteerd - Er staat weinig op het spel (low stakes)
