GEAR Eindrapportage 2013

GEAR Eindrapportage 2013 Gecombineerde Evaluatie en Audit Ronde

Landelijk Kwaliteitssysteem Huisartsopleiding Nederland

Domein 2

Academisch niveau

Domein 4

Leeromgeving

Domein 5

Toetsing, beoordeling en resultaten

Extra thema

Docentprofessionalisering

GEAR Eindrapportage 2013

Colofon Samenstelling projectteam ‘Uitvoeren eerste GEAR auditronde 2013’: Mw. drs. Nadia Heinen (NPA, projectmanager, secretaris) Mw. dr. Barbara van Balen (QANU, voorzitter auditteams) Dhr.ir. Jean van Wersch MBA (NPA, lid)

Uitgever NPA b.v.

Contact: NHG Praktijk Accreditering b.v. (NPA) Domus Medica Mercatorlaan 1200 3528 BL Utrecht Telefoon: 030 – 2823600 E-mail: [email protected]

© 2013 Huisartsopleiding Nederland

Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën of opnamen, hetzij op enige andere manier, zonder voorafgaande schriftelijke toestemming van Huisartsopleiding Nederland.

2


Inhoud Colofon .................................................................................................................................................... 2 Inhoud ..................................................................................................................................................... 3 Managementsamenvatting ..................................................................................................................... 5 Werkwijze GEAR 2013 ............................................................................................................................. 6 Overzicht good practices & aandachtspunten ........................................................................................ 9 Resultaten GEAR 2013 per domein ....................................................................................................... 12 Domein 2 Academisch niveau .......................................................................................................... 12 Subdomein 2a: Onderwijsprogramma .............................................................................................. 12 Subdomein 2b: Wetenschappelijk onderzoek aios ........................................................................... 13 Subdomein 2c: Staf............................................................................................................................ 13 Subdomein 2d: Wetenschappelijk klimaat........................................................................................ 14 Good Practices Academisch Niveau (domein 2).................................................................................... 15 Aandachtspunten Academisch Niveau (domein 2) ............................................................................... 16 Domein 4 Leeromgeving................................................................................................................... 17 Subdomein 4a: Onderwijs en begeleiding in de huisartsenpraktijk.................................................. 17 Subdomein 4b: Onderwijs en begeleiding op de huisartsenpost ..................................................... 18 Subdomein 4c: Onderwijs en begeleiding in stage-inrichting ........................................................... 19 Subdomein 4d: Onderwijs en begeleiding op het instituut .............................................................. 19 Subdomein 4e: Leerwerkplekbeheer ................................................................................................ 20 Good Practices Leeromgeving (domein 4) ............................................................................................ 21 Aandachtspunten Leeromgeving (domein 4) ........................................................................................ 21 Domein 5 Toetsing, beoordeling en resultaten................................................................................ 23 Subdomein 5a: Beleid ten aanzien van toetsprogramma ................................................................. 23 Subdomein 5b: Toetsinstrumenten en methoden ............................................................................ 24 Subdomein 5c: Bijstelling individueel opleidingsplan ....................................................................... 25 Subdomein 5d: Opleidingsresultaten ................................................................................................ 25 Good Practices Toetsing, Beoordeling en Resultaten (domein 5) ........................................................ 26 Aandachtspunten Toetsing, Beoordeling en Resultaten (domein 5) .................................................... 26

3


Thema Docentprofessionalisering..................................................................................................... 28 Good Practices Docentprofessionalisering (extra thema) .................................................................... 29 Aandachtspunten Docentprofessionalisering (extra thema) ................................................................ 29

4


Managementsamenvatting Doel GEAR De belangrijkste doelstelling van GEAR, de Gecombineerde Evaluatie- en Audit Ronde voor huisartsopleidingen, is het bevorderen van kwaliteitsverbetering binnen de opleidingen. Daarnaast biedt GEAR de opleidingsinstituten de mogelijkheid om op gestructureerde wijze verantwoording af te leggen over de door hen gerealiseerde kwaliteit. Werkwijze GEAR Kritische kenmerken voor de kwaliteit van de huisartsopleiding zijn ondergebracht in een landelijk kwaliteitsschema met 7 domeinen, verder onderverdeeld in subdomeinen en indicatoren. Voor een volledige beschrijving van het kwaliteitsschema, zie “Handboek GEAR 2012”, juli 2012. Voor GEAR 2013 zijn 3 domeinen plus een aanvullend thema gekozen, te weten: Domein 2 Academisch niveau Domein 4 Leeromgeving Domein 5 Toetsing, beoordeling en resultaten Extra thema Docentprofessionalisering Elk instituut heeft een zelfbeoordeling gemaakt voor de genoemde domeinen. Daarbij is gebruik gemaakt van de resultaten van reeds beschikbare gegevens, te weten van de NIVEL aios- en alumni-enquête 2011 en de LHK- en STARTclasstoets. Deze gegevens zijn aangevuld met eigen beoordelingen per indicator door de opleidingen. De resultaten van de zelfbeoordelingen van alle huisartsopleidingen zijn, in onderlinge vergelijking met elkaar, gepresenteerd in het rapport “GEAR Rapportage Zelfevaluatie 2012”, november 2012. Op basis van deze rapportage heeft elk instituut een reflectieverslag geschreven met een beschrijving van haar sterke en minder sterke punten. Vervolgens zijn alle instituten twee dagen bezocht door een auditteam, bestaande uit een aios, staflid en opleider van andere instituten. Elke auditteam is voorgezeten door een vaste voorzitter vanuit QUANU en een vaste secretaris vanuit NPA bv. Van elke audit is een rapportage opgesteld. GEAR Eindrapportage 2013 De voorliggende eindrapportage is samengesteld op basis van de totaalrapportage van de zelfevaluaties en de individuele auditrapporten. De meest opvallende good practices en aandachtspunten uit GEAR 2013 zijn verzameld, en bieden een goede basis voor de komende verbeteringen en gewenste uitwisseling van ervaringen. Algemene conclusie De combinatie van gestructureerde zelfevaluatie, auditbezoeken met een peer-to-peer benadering en volledige onderlinge transparantie in de rapportage, kan leiden tot een klimaat, waarbinnen “aandachtspunten” en “good practices” in openheid worden gedeeld en uitgewisseld. Een dergelijk klimaat kan de basis vormen voor een verdere, gezamenlijke, verbetering van de kwaliteit van de opleidingen. Met GEAR 2013 hebben de instituten hiertoe de eerste stappen gezet. Vervolg De auditronde 2013 is afgerond tot en met de totaalrapportage van de auditbezoeken. In aansluiting op deze rapportage gaan de huisartsopleidingen werken aan de opzet en uitvoering van verbeterplannen in de periode september 2013 – maart 2015. Een volgende auditronde, voor de overige domeinen, zal starten in maart 2015. 5


Werkwijze GEAR 2013 Achtergrond GEAR Om de kwaliteit van de huisartsopleiding in Nederland te bewaken en te bevorderen, waren tot 2012 twee kwaliteitssystemen operationeel: PAUKH en het Prestatie-indicatoren systeem. Deze systemen functioneerden onafhankelijk van elkaar en hadden verschillende doelstellingen. PAUKH, Permanente Audit Kwaliteit Huisartsopleiding, was een systeem voor kwaliteitstoetsing van de huisartsopleiding. In de vorm van een audit, een inhoudelijke visitatie en toetsing van een opleidingsinstituut, werd aan een instituut en alle betrokkenen inzicht gegeven in de kwaliteit van de huisartsopleiding. Prestatie-indicatoren, indicatoren die de resultaten van een huisartsopleiding reflecteren, waren bedoeld om inzicht te krijgen in de punten waar een huisartsopleiding goed in is en waar nog extra aandacht aan besteed kan worden. De prestatie-indicatoren waren opgesteld in opdracht van de SBOH. De indicatoren dekten zo veel mogelijk, op grond van consensus, de relevante processen binnen de huisartsopleiding. In maart 2010 hebben de hoofden van de huisartsopleiding besloten om toe te werken naar één landelijk kwaliteitssysteem voor de huisartsopleiding. Een belangrijk argument daarbij was de grote belasting in tijd en geld die het gebruik van twee afzonderlijke kwaliteitssystemen met zich meebracht. In januari 2011 is op initiatief van het dagelijks bestuur van Huisartsopleiding Nederland (HN) en de SBOH het project ‘Integratie kwaliteitssystemen Huisartsopleiding Nederland’ gestart. Een projectteam heeft gewerkt aan de vormgeving van het nieuwe landelijke kwaliteitssysteem GEAR: Gecombineerde Evaluatie en Audit Ronde. Een klankbordgroep, bestaande uit vertegenwoordigers van HN, NHG, SBOH, LHV, IOH, SOON, RGS (voorheen HVRC) en LOVAH, had daarbij een belangrijke adviserende rol. Vervolgens heeft een implementatieteam, waarin NPA als uitvoerder vertegenwoordigd was, het systeem verder ontwikkeld en ingevoerd. Doel en opzet GEAR De hoofddoelstelling van de Gecombineerde Evaluatie en Audit Ronde (GEAR) is het bewaken en bevorderen van de kwaliteit van de huisartsopleiding op alle opleidingsinstituten volgens de daartoe opgestelde kwaliteitsindicatoren. Eens in de twee à drie jaar nemen de opleidingsinstituten deel aan een GEAR auditronde. Deze audits staan los van, maar zijn afgestemd op, de vijfjaarlijkse visitaties van de opleidingsinstituten door de RGS , waarbij selectief wordt getoetst op de randvoorwaarden. In de audit wordt, verspreid over twee dagen, een selectie van zeven domeinen voor de kwaliteit van de opleiding getoetst. In de GEAR auditronde 2013 zijn drie domeinen en een extra thema getoetst: Domein 2. Academisch niveau Domein 4. Leeromgeving Domein 5. Toetsing, beoordeling en resultaten Extra Thema Docentprofessionalisering Voorafgaand aan de auditbezoeken wordt door de instituten een zelfevaluatie uitgevoerd. Uit deze zelfevaluaties volgt een rapportage waarin individuele scores per instituut zijn weergegeven en een vergelijking van de scores met de andere instituten. Deze rapportage vormt de basis van de zelfreflectie, die samen met de gegevens uit de audit, zal bijdragen aan de opzet van verbeterplannen van elk instituut.

6


Naast de zelfevaluatie en zelfreflectie heeft het auditteam van elk instituut relevante documentatie ontvangen en bestudeerd. Werkwijze GEAR GEAR kent een vijfjaarscyclus met vier periodes. De periodes 1 en 3 beslaan elk één jaar en starten in september of in maart. In deze periodes vinden de gegevensverzamelingen plaats, stellen instituten verbeterplannen op en vinden audits plaats. De activiteiten volgen elkaar op en zijn inhoudelijk aan elkaar gekoppeld. De tussenliggende periodes 2 en 4 duren elk anderhalf jaar en geven de instituten de rust en ruimte om te werken aan verbeterplannen. De audit dient de volgende doelen: a. Inzicht in stand van zaken De audit dient bevindingen, conclusies en beoordelingen op te leveren betreffende: • stand van zaken met betrekking tot geselecteerde (sub-)domeinen van de huidige ronde; • progressie van de kwaliteit van de opleiding (resultaten verbeterplannen van de vorige ronde); • stand van zaken met betrekking tot landelijk(e) speerpunt(en); • stand van zaken met betrekking tot eigen auditwensen. b. Fundament voor verbetering De audit dient daarnaast inspiratie en handvatten voor kwaliteitsverbetering te leveren. De audit De audit bestaat uit een tweedaags bezoek per instituut waarbij er gesprekken plaatsvinden met vertegenwoordigers van docenten, opleiders, aios en management. Het auditteam bestaat uit een drietal getrainde auditoren uit eigen kring te weten een staflid, een opleider, een aios, een extern expert (voorzitter) op het gebied van auditprocessen en tot slot de secretaris van NPA. Na de auditbezoeken stelt het auditteam een rapportage per instituut op. Het auditteam volgt bij de werkzaamheden het handboek GEAR 2012. Op de auditdagen zelf worden door het auditteam gesprekken gevoerd met betrokkenen, ook wel geauditeerden genoemd. Op de eerste auditdag wordt gesproken met:  hoofd en sleutelfiguren in management;  stafleden toetsing en beoordeling;  stafleden professionalisering onderwijs;  docenten, groepsbegeleiders, gedragswetenschappers. Op de tweede auditdag wordt gesproken met:  aios (diverse leerjaren);  opleiders (meer en minder ervaren);  hoofd van het opleidingsinstituut. Aan het einde van de tweede auditdag presenteert het auditteam de voorlopige bevindingen (eerste indruk) aan de geauditeerden en genodigden. De kernvragen bij de beoordeling door het auditteam zijn: • Is een bepaald subdomein aantoonbaar goed geregeld? • Wordt dit subdomein aantoonbaar goed uitgevoerd? 7


• Zijn beleidsvoornemens en verbeterplannen op dit subdomein passend (congruent met de stand van zaken binnen een instituut en in lijn met de landelijke kaders)? In eerste instantie zoekt het auditteam antwoorden op deze vragen door documenten, die zijn opgenomen in het informatiedossier, te toetsen aan de bijbehorende criteria die zijn vervat in thema’s. Auditgesprekken moeten vervolgens helpen de antwoorden te vinden die niet of onvoldoende uit documenten afleidbaar zijn. Auditrapportage Het auditteam stelt voor het instituut een auditrapportage op. Het instituut wordt in de gelegenheid gesteld onjuistheden te corrigeren waarna de rapportage formeel wordt vastgesteld en op nader af te spreken wijze wordt gepubliceerd. De rapportage levert voor het instituut materiaal voor verbeteringsacties. Onderling wisselen de instituten hun rapportages uit, zodat de huisartsopleidingen in Nederland van elkaars leerpunten kunnen profiteren. In de rapportage wordt per domein en per subdomein weergegeven welke aspecten in de zelfevaluatie en zelfreflectie van het instituut het auditteam zijn opgevallen, welke zaken uit de aangeleverde documentatie naar voren kwamen en welke aspecten opvielen in de auditgesprekken. Per domein zijn aandachtspunten aangegeven en geeft het team zijn conclusie weer. Bij de domeinen 4 Leerwerkomgeving en 5 Toetsing, beoordeling en resultaten is een lijst opgenomen met de oordelen van het auditteam over de beoordelingspunten die voor die domeinen gelden. Eindrapportage De eindrapportage is door secretaris en voorzitter van de auditteams opgesteld ten behoeve van de hoofden van de huisartsopleidingen. In het eindrapport worden per domein de belangrijkste kenmerken van de bezochte huisartsopleidingen weergegeven en die zaken beschreven die uit de zelfevaluaties naar voren komen en tijdens de audits zijn opgevallen. De domeinbeschrijvingen worden besloten met een weergave van de good practices of ‘pareltjes’ en aandachtspunten, die naar voren zijn gekomen. In dit eindrapport wordt geen analyse gegeven van de gevolgde werkwijze. Hierover zal afzonderlijk gerapporteerd worden.

8


Overzicht good practices & aandachtspunten Good practices Domein 2 Academisch niveau  Blended Learning Programma (AMC, UMC Leiden): EBM opgenomen in e-learning;  Spreiding aiotho’s over de verschillende onderwijsgroepen (UMC Utrecht);  Scouting high potentials in vroeg stadium, al bij de WESP stage (Maastricht University);  Aparte, specifieke training EBM voor gedragswetenschappers ( AMC);  Intervisietraject speciaal voor gedragswetenschappers (Erasmus MC);  Samenwerking met onderzoekers, vooral op het gebied van het onderzoek van onderwijs (UMC St. Radboud);  Abonnementen voor aios op vakbladen tegen gereduceerd tarief;  DOERAK project (Erasmus MC): huisartsen in opleiding zetten zelf een patiëntgebonden onderzoek opzetten. Is nog in ontwikkeling;  Picobello symposium (AMC). Domein 4 Leeromgeving  Herstructurering van het onderwijsprogramma in twee fasen (LUMC, UMC st. Radboud) en ontwikkeling doorlopende leerlijnen (UMC Groningen);  Bewaking van de kwaliteit van opleiders: o HaDiDoc, de permanente commissie (VUmc); o Gesprekken door vast team om de planning overzichtelijker te maken en de continuïteit en uniformiteit te bevorderen (UMC St. Radboud).  Diverse initiatieven gericht op het meer betrekken van stagebegeleiders bij de opleiding;  Structuur leeromgeving, gebruik intervisie (AMC); Domein 5 Toetsing, beoordeling en resultaten  Implementatie van de visie dat toetsen continu plaats moet vinden en onlosmakelijk deel uitmaakt van het onderwijsleerproces (VUmc);  Vastlegging toetsprogramma in een zogenaamd toetsboekje biedt duidelijkheid over eisen en eigen voortgang (UMC Groningen) en gebruik aftekenboekje voor toetsing en feedback medische vaardigheden (AMC);  Gebruik KKB’s in eerste jaar om opleiders te “dwingen” tot uitvoeren van observaties en deze te vertalen in individuele leerdoelen voor de aios (UMC Groningen);  Videotoets +: integratie van communicatie en medische inhoudelijke aspecten (Leiden);  Methodiek VOIS (Veilig Over Incidenten Spreken) gebruiken bij gecompliceerde beoordelingstrajecten (VUmc). Extra thema Docentprofessionalisering  Thema voor professionalisering: ‘liever verleiden dan verplichten’ met veel ruimte voor eigen invulling van de deskundigheidsontwikkeling is groot (VUmc);  Pilot 360 graden feedback (UMC Groningen);  Inwerk- en scholingsprogramma voor nieuwe docenten (UMC Groningen).  Intervisie aanbod voor gedragswetenschappers Erasmus MC).

9


Aandachtspunten Domein 2 Academisch niveau  Academisering: o Er is behoefte aan verduidelijking van het begrip en de inhoud van “academisering” (academisering is meer dan EBM en het maken van PICO’s en CATs); o De visie van het management op de plaats en het doel van wetenschap in de opleiding is niet altijd duidelijk; o De leerlijn wetenschap is voor opleiders en stagebegeleiders relatief onbekend; o De inbreng van aiotho’s in het onderwijs is onvoldoende zichtbaar; o Interesse van groepsbegeleiders in het wetenschappelijk verdiepen van het onderwijs is sterk wisselend. Instituten zouden groepsbegeleiders daarin meer kunnen stimuleren.  EBM: o Toepassing in de dagelijkse huisartsenpraktijk behoeft verdere aandacht; o Er lijkt behoefte aan (nog) meer training in EBM; o De training van docenten en wellicht ook van de staf in EBM zou een meer verplichtend en permanent karakter kunnen krijgen; o In sommige gevallen is de training in EBM afhankelijk van één persoon; dit is een kwetsbare situatie;  Differentiatie wetenschappelijke vorming: o Relatief weinig aios kiezen deze differentiatie; Instituten hebben een relatief laag percentage aiotho’s; o Selectiecriteria zijn niet altijd duidelijk; o Organisatorische obstakels en persoonlijke omstandigheden maken dat aanvankelijk geïnteresseerde aios, dit later in hun opleiding beduidend minder zijn. Domein 4 Leeromgeving  Frequentie leergesprekken en consultobservaties: o Veel instituten hebben behoefte aan een meer systematische benadering; Bij diverse instituten zijn voorbeelden van een mogelijke aanpak beschikbaar.  Opleiders: o Er is een duidelijke behoefte aan continuïteit van feedback over hun functioneren; functioneringsgesprekken worden door wisselende personen gevoerd.  Leidraad voor het leren dienstdoen op de huisartsenpost: o De rol van de opleidingscoördinator op de huisartsenpost is niet altijd duidelijk; o Er is niet altijd zicht op onderwijs en de opleiding op de huisartsenpost, noch op de toepassing van de leidraad.  Stages: o De contacten met stagebegeleiders zijn voor verdere verbetering vatbaar; o De kwaliteit van stage-inrichtingen kan meer systematisch worden geëvalueerd; o Het gebruik van individuele leerplannen, ook in het tweede jaar, zou verder moeten worden gestimuleerd.

10


Domein 5 Toetsing, beoordeling en resultaten  Informatie over toetsen en beoordelingen: o Aios ervaren onvoldoende transparantie met betrekking tot toetsmomenten, beoordelingscriteria en consequenties van de beoordeling; o Soms is voor aios onduidelijk wie voor welk deel van de beoordeling van zijn functioneren verantwoordelijk is; o Onduidelijk is soms wie het overzicht over de toetsingen dient te bewaren, bijvoorbeeld de KPBs of KKBs bij de stages in het tweede jaar;  Inhoud van toetsen: o Er is behoefte aan meer uniformiteit van toetsen; o Er is veel variatie in hoe en hoe vaak instituten APC toetsen. Ook is er nog verschil in de toetsing van APC per leerjaar. o Wetenschappelijke competenties van aios worden niet altijd op individueel niveau getoetst; o Er moet aandacht zijn voor het vinden van een balans tussen het educatieve karakter van de toetsen en de verantwoordelijkheid van de opleiding om selectief te zijn.  Resultaten van toetsen: o Toetsresultaten worden door aios vaak nog niet omgezet in een individueel opleidingsplan; o Voor de toetsing van Medisch Technische Vaardigheden zijn niet altijd duidelijke beoordelingscriteria geformuleerd. o Aios ervaren de ‘’dubbelrol’’ van de groepsbegeleiders (zowel vertrouwenspersoon en beoordelaar) soms als problematisch. o De ComBel wordt als educatief instrument gewaardeerd. De wijze van scoren van de ComBel behoeft aandacht en uitleg. o De identificatie van excellente aios behoeft aandacht.  Organisatie van toetsen: o Voor studiebegeleiders dreigt een grote werkbelasting door de gedetailleerde manier van beoordelen van aios. Extra thema Docentprofessionalisering  Visie op professionalisering van docenten: o Een duidelijke meerjaren visie ontbreekt nog vaak; o De continuïteit in docentprofessionalisering is voor verbetering vatbaar; o Met name voor ervaren docenten lijkt deelname aan scholing soms te vrijblijvend.  Evaluatie van docentprofessionaliteit: o Een gestructureerd systeem voor feedback aan docenten ontbreekt vaak nog; o Wellicht is er behoefte aan een objectieve toets van docentkwaliteiten of een vorm van intercollegiale toetsing aan de hand van video-opnames?  Inhoud van de docentprofessionalisering: o Intervisie in gemengde groepen (ervaren en beginnende docenten) zal naar verwachting een meerwaarde hebben; o Conclusies uit jaargesprekken vinden niet altijd inhoudelijke opvolging.

11


Resultaten GEAR 2013 per domein Domein 2 Academisch niveau De opleiding tot huisarts is een opleiding op academisch niveau. De principes van evidence-based medicine (EBM) vormen de kern binnen het competentieprofiel van de huisarts en daarbij aansluitende eindtermen op het gebied van kennis en wetenschap. Binnen domein 2 is aandacht besteed aan het onderwijsprogramma, het wetenschappelijk onderzoek door aios, de staf en het wetenschappelijk klimaat in algemene zin. Subdomein 2a: Onderwijsprogramma Het academisch niveau van het onderwijsprogramma is bij de zelfevaluaties en audits enerzijds geëvalueerd door te kijken naar het onderwijs aan aios in EBM en naar gerealiseerde nominaties voor de Jan van Es-prijs voor beste CAT’s. Anderzijds door de mogelijkheden voor wetenschappelijke differentiaties of stages te bespreken. Onderwijs aios in EBM In de zelfevaluaties scoren de instituten vrijwel maximaal op de indicatoren EBM-onderwijs. De belangrijkste resultaten uit de auditronde zijn:  Op alle instituten maakt een EBM training deel uit van het onderwijsprogramma;  Aios hebben bij start van hun opleiding een zeer verschillend kennisniveau betreffende EBM, afhankelijk van hun basisopleiding; soms wordt dit door de aios als storend ervaren;  Een e-learning programma kan in combinatie met het reguliere instituutsprogramma worden aangeboden (combinatie van verschillende leervormen of blended learning).  Een blended e-learning programma, zoals gebruikt door bijvoorbeeld AMC en Leids UMC, lijkt aios een goede mogelijkheid te bieden om individueel kennisachterstanden weg te werken;  Het moment waarop EBM in het onderwijsprogramma wordt ingepast, verschilt per instituut; onduidelijk is welk moment het meest geschikt zou zijn;  Door bij de training in het maken van een CAT het accent te leggen op gedegenheid van de methode, kan bij de aios de indruk ontstaan dat het wetenschappelijk onderbouwen van medisch handelen een zeer tijdsintensieve bezigheid is. Toepassing in de praktijk zou daardoor wellicht beperkt kunnen blijven. Enkele opleidingen denken in dit kader aan een omslag in EBM-onderwijs van “mooi en grondig” naar meer ‘’quick en dirty”;  Diverse instituten herstructureren momenteel hun onderwijsprogramma’s. Er wordt onder andere gewerkt aan het meer zichtbaar maken van doorlopende leerlijnen (UMC Groningen en LUMC). Wetenschap is één van de doorlopende leerlijnen. Wetenschappelijk onderzoek als differentiatie of stage voor aios Enkele instituten scoren in hun zelfevaluatie al maximaal; uit de scores van overige instituten blijkt dat het thema nog volop in ontwikkeling is. De belangrijkste resultaten uit de auditronde zijn:  De meeste opleidingen hebben recent hun beleid voor het volgen van differentiaties (inclusief de differentiatie wetenschappelijk onderzoek) aangepast; differentiaties worden voorbehouden aan “excellente aios”, die bovengemiddeld presteren.  Hoewel ook de aios die niet willen promoveren de mogelijkheid krijgen om onderzoek te doen binnen hun opleiding, is tijdens de auditbezoeken de indruk ontstaan dat hier weinig gebruik van wordt gemaakt.

12




De mate waarin het doen van wetenschappelijk onderzoek bij de aios gestimuleerd wordt, lijkt erg te verschillen per instituut.

Nominatie voor beste PICO/ CAT voor de Jan van Es prijs De meeste instituten scoren in hun zelfevaluatie niet hoger dan 2 (op een vijfpuntsschaal). Dit is mede ingegeven doordat 3 van de 5 punten alleen te scoren waren met winnende CAT’s. Belangrijkste resultaten uit de auditronde zijn:  Vrijwel alle instituten sturen CAT’s in voor de Jan van Es-prijs; de resultaten zijn wisselend.  Het aantal CATs dat aios moeten maken tijdens hun opleiding verschilt erg per instituut.

Subdomein 2b: Wetenschappelijk onderzoek aios Gepromoveerde huisartsen zijn van belang voor de academisering van de beroepsgroep. Van belang is, dat het instituut een actief beleid voert om talentvolle aios met wetenschappelijke aspiraties vroeg te interesseren, te enthousiasmeren en te binden. Het academisch niveau ten aanzien van het wetenschappelijk onderzoek door aios is bij de zelfevaluatie en de audit geëvalueerd door te kijken naar het percentage aiotho’s in de huisartsopleiding en het scoutingtraject van ‘high potential’ aios. Percentage aiotho’s in de huisartsopleiding Uit de zelfevaluaties blijkt dat landelijk gezien ongeveer 1 op de 25 aios hun opleiding tot huisarts combineren met wetenschappelijk onderzoek. Bij UMC Utrecht is dit twee keer zo hoog. De belangrijkste resultaten uit de auditronde zijn:  Alle instituten streven naar een toename van het aantal aiotho’s;  De instituten ervaren dat aiotho’s een toegevoegde waarde kunnen leveren aan het onderwijs, onder andere bij de terugkomdagen;  Instituten streven naar spreiding van de aiotho’s over de groepen aios. Scoutingtraject “high potential”studenten De scores in de zelfevaluatie zijn zeer wisselend. Elke instituut heeft het voornemen een scoutingtraject vorm te geven; de ontwikkelfase verschilt echter sterk. De belangrijkste resultaten uit de auditronde zijn:  Er is geen eenduidigheid in de definitie van “high potentials”;  Scoutingbeleid voor “high potential” studenten (met interesse voor wetenschappelijk onderzoek) is bij alle instituten in ontwikkeling;  De mogelijkheid van wetenschappelijke differentiatie voor “high potentials” komt bij sollicitatieprocedures vaak al aan de orde, maar wordt dan niet als zodanig herkend door de kandidaten. Bij een enkel instituut (Maastricht University) vindt scouting al plaats tijdens de co-schappen (WESP stage). Subdomein 2c: Staf De principes van evidence-based medicine (EBM) vormen de kern binnen het competentieprofiel van de huisarts. Dientengevolge is training van de staf in EBM van groot belang. Bij de zelfevaluatie is gekeken naar de beschikbaarheid van training van opleiders en docenten in EBM enerzijds en naar de inzet van expertdocenten anderzijds.

13


Training opleiders in EBM / Training docenten in EBM / Inzet expertdocenten Uit de zelfevaluatie blijkt dat alle instituten trainingen EBM beschikbaar hebben. Nog niet alle opleiders en docenten hebben deelgenomen, scores in de zelfevaluaties zijn daardoor niet maximaal. Er wordt nog slechts beperkt gewerkt met samenwerkingsverbanden met een of meerdere opleidingsinstituten, waarin de inzet van elkaars expertdocenten in het onderwijs op systematische wijze vorm wordt gegeven. De belangrijkste resultaten uit de auditronde zijn:  Meer continuïteit in EBM training is wenselijk: o EBM training voor opleiders en docenten is nog niet overal verplicht; o Opleiders hechten wisselend belang aan de training; bij deelname ervaren zij deze over het algemeen wel als positief.  Opleiders zien vaak juist de aios als rolmodel voor EBM;  Bij sommige instituten krijgen gedragswetenschappers een aparte training EBM in combinatie met intervisie, meer toegespitst op hun eigen vakgebied;  Diverse instituten suggereren de opzet van een landelijke expertbank (zowel interne als externe experts); locaal wordt al gewerkt met expertlijsten;  In algemene zin streven de instituten naar een toename van interne expertdocenten.

Subdomein 2d: Wetenschappelijk klimaat Een positief wetenschappelijk klimaat is onontbeerlijk voor het gewenste academische niveau. Aios, docenten en opleiders worden idealiter zo breed mogelijk betrokken bij de relevante wetenschappelijke activiteiten van het instituut. Wetenschappers worden betrokken bij het onderwijs. In de zelfevaluatie hebben de instituten gekeken naar deze punten. Verder is op basis van de enquêteresultaten gekeken naar de stelling “Mijn opleider integreert standaarden, richtlijnen en gegevens uit wetenschappelijk onderzoek in het onderwijs”. Bovendien is gekeken naar opleidingspraktijken die gelieerd zijn aan een UMC (Academische eerstelijns leer/werkomgeving) en/of opleidingspraktijken die zich structureel verbinden aan het doen van wetenschappelijk onderzoek en /of opleidingspraktijken die voldoen aan alle kwaliteitsvereisten. Betrokkenheid van aios, docenten en opleiders bij relevante wetenschappelijke activiteiten / Betrokkenheid van wetenschappers van de afdeling bij onderwijs In de zelfevaluatie scoren de instituten doorgaans bijzonder hoog op beide indicatoren. Dit betekent dat vrijwel alle instituten de aios, docenten en begeleiders stimuleren tot en ook faciliteren in het deelnemen aan wetenschappelijke activiteiten. Verder betekent het dat de instituten promovendi en senior onderzoekers betrekken bij het onderwijs. De belangrijkste resultaten uit de auditronde zijn:  Naast het onderwijs in EBM ontplooien diverse instituten andere initiatieven de betrokkenheid bij wetenschap activiteiten te vergroten, zoals: o Broodje Wetenschap in UMC Utrecht; o Picobello symposium van het AMC; o DOERAK programma van het Erasmus MC; o Journal clubs; o Abonnement wetenschappelijke vakbladen voor aios tegen gereduceerd tarief.  Verschillende instituten hebben een wetenschappelijk coördinator met verantwoordelijkheid voor de onderwijslijn “wetenschap”, die tevens zorgt voor training van de docenten. De ervaringen met een dergelijke coördinatorfunctie zijn zeer positief.

14


  

De relatie van de opleiding met de onderzoekers van de afdeling is tijdens de audits in het algemeen als goed omschreven. Fysieke afstand lijkt soms verdergaande samenwerking te beperken. Het aantal academische huisartspraktijken is nog beperkt; Instituten stimuleren de deelname aan NHG-Praktijkaccreditering; de deelname groeit.

Integratie wetenschap in de praktijk Met betrekking tot het stimuleren deel te nemen aan wetenschappelijk onderzoek in de praktijk, geeft de zelfevaluatie een zeer wisselend beeld. Sommige instituten werken hier aan; andere niet. Circa 60% van de aios in zowel eerste als derde jaar geven aan dat hun opleider standaarden, richtlijnen en gegevens uit wetenschappelijk onderzoek voldoende integreert in het onderwijs. De belangrijkste resultaten uit de auditronde zijn:  De aandacht voor wetenschap en onderzoek is de afgelopen jaren op alle instituten duidelijk toegenomen, zo is tijdens de audits aangegeven;  Opleiders en docenten geven aan academische verdieping te waarderen. Ook is grote waardering voor de inbreng van aiotho’s en post docs in het onderwijs;  Hoewel academisering een speerpunt is voor diverse instituten, ontbreekt soms nog een duidelijke visie met hoe wetenschap in de opleiding zou moeten passen;  Verdergaande integratie, ook fysiek, van de opleiding met de onderzoeksafdeling wordt tijdens de audits meermaals genoemd als dé maatregel om het wetenschappelijk klimaat verder te bevorderen.

Good Practices Academisch Niveau (domein 2) De instituten hebben bij de voorbereiding van de auditbezoeken in een reflectieverslag voor zichzelf bepaald welke good practices binnen het instituut aanwezig zijn, en voor welke onderwerpen het instituut ondersteuning vanuit een collega-instituut zou willen ontvangen. In aanvulling op de individuele reflectieverslagen komen uit de audits onderstaande, soms meer generieke, good practices naar voren.         

Blended Learning Programma (AMC, UMC Leiden): EBM opgenomen in e-learning; Spreiding aiotho’s over de verschillende onderwijsgroepen (UMC Utrecht); Scouting ‘high potentials’ in vroeg stadium, al bij de WESP stage (Maastricht University); Aparte, specifieke training EBM voor gedragswetenschappers ( AMC); Intervisietraject speciaal voor gedragswetenschappers (Erasmus MC); Samenwerking met onderzoekers, vooral op het gebied van het onderzoek van onderwijs (UMC St. Radboud); Abonnementen voor aios op vakbladen tegen gereduceerd tarief; DOERAK project (Erasmus MC): huisartsen in opleiding zetten zelf een patiëntgebonden onderzoek opzetten. Is nog in ontwikkeling; Picobello symposium (AMC).

15


Aandachtspunten Academisch Niveau (domein 2) Uit de audits komen de volgende, meer generieke aandachtspunten naar voren. 





Academisering: o Er is behoefte aan verduidelijking van het begrip en de inhoud van “academisering” (academisering is meer dan EBM en het maken van PICO’s en CATs); o De visie van het management op de plaats en het doel van wetenschap in de opleiding is niet altijd duidelijk; o De leerlijn wetenschap is voor opleiders en stagebegeleiders relatief onbekend; o De inbreng van aiotho’s in het onderwijs is onvoldoende zichtbaar; o Interesse van groepsbegeleiders in het wetenschappelijk verdiepen van het onderwijs is sterk wisselend. Instituten zouden groepsbegeleiders daarin meer kunnen stimuleren. EBM: o Toepassing van EBM in de dagelijkse huisartsenpraktijk behoeft verdere aandacht; o Er lijkt behoefte aan (nog) meer training in EBM; o De training van docenten en wellicht ook van de staf in EBM zou een meer verplichtend en permanent karakter kunnen krijgen; o In sommige gevallen is de training in EBM afhankelijk van één persoon; dit is een kwetsbare situatie; Differentiatie wetenschappelijke vorming: o Relatief weinig aios kiezen deze differentiatie; Instituten hebben een relatief laag percentage aiotho’s; o Selectiecriteria zijn niet altijd duidelijk; o Organisatorische obstakels en persoonlijke omstandigheden van de aios maken dat aanvankelijk geïnteresseerde aios, dit later in hun opleiding beduidend minder zijn.

16


Domein 4 Leeromgeving Het (werkplek)leren van aios vindt plaats binnen diverse leeromgevingen: huisartspraktijk, huisartsenpost, stage-inrichting(en) en instituut. Om een goede en stimulerende leeromgeving te kunnen creëren, is het van belang dat organisatie en uitvoering van voldoende niveau zijn. Met gegevens uit de CCTEI, de NIVEL aios-enquête 2011 en aanvullende indicatoren hebben de instituten in de zelfevaluatie een beeld gegeven van de kwaliteit van de leerplekken. In dit domein is verder specifiek gevraagd naar het beheer van de leerwerkplek. Subdomein 4a: Onderwijs en begeleiding in de huisartsenpraktijk Bij dit subdomein is enerzijds gekeken naar het onderwijs en de begeleiding door opleiders en anderzijds naar het patiëntenaanbod. Onderwijs en begeleiding door opleiders De kwaliteit van de begeleiding wordt met 15 stellingen uit de CCTEI gemeten bij zowel de eerste- als derdejaarsstudenten. Bij beiden is de gemiddelde tevredenheid hoog (ca 75% “eens” of “zeer eens”). Het gemiddelde van de scores voor minimaal één consult in bijzijn van de opleider eens per week respectievelijk eens per maand is circa 25% voor zowel de eerste- als derdejaarsstudenten. Gemiddeld circa 60% van zowel de eerste- en derdejaarsstudenten geeft aan dat minimaal eens per maand een op video opgenomen consult na wordt besproken. Circa 80% van zowel de eerste- als derdejaarsstudenten geeft aan dat de opleider aandacht heeft voor het opstellen én voor het uitvoeren van het individueel leerplan. Ruim 80% heeft minimaal eens per week een leergesprek. Vrijwel alle instituten passen de hao-aios toets toe om de kwaliteit van de huisartsopleiders te monitoren en te verbeteren. Slechts enkele instituten verwerken de resultaten zodanig systematisch dat een analyse op groepsniveau mogelijk is. De belangrijkste resultaten uit de auditronde zijn:  De frequentie van consultobservaties en leergesprekken zou verder verhoogd kunnen worden. Instituten zetten hiertoe instrumenten als de KKT - Korte Klinische Toets (UMC Groningen 32 in een jaar) of KKB - Korte Klinische Beoordeling (UMC St. Radboud 3 per kwartaal) in. De opleiding van het AMC heeft een wekelijks observatiespreekuur ingesteld waarin de opleider de aios observeert en vice versa.  Het aantal leergesprekken per jaar dat wenselijk wordt geacht verschilt sterk per opleiding (VUmc: één leergesprek per dag van één uur; andere instituten: minimaal één ingepland leergesprek per week). Volgens de opleiders komen ‘leer’ onderwerpen doorgaans wel dagelijks aan de orde, maar is dit niet altijd gestructureerd als een leergesprek.  Alle instituten voeren voortgangs- of functioneringsgesprekken met de opleiders. De vorm verschilt: o Gesprekken door groepsbegeleiders; o Gesprekken door vast team om de planning overzichtelijker te maken en de continuïteit en uniformiteit te bevorderen (UMC St. Radboud); o Een stuurgroep ter bewaking van de voortgang van gesprekken; o Permanente commissie HaDiDoc (HuisartsDidactischDocent) die de kwaliteit van de opleiders bewaakt (VUmc).  Aios stellen zelf hun individueel leerplan op; opleiders zijn bekend met het bestaan van dit leerplan. Tijdens de audits geven de instituten aan dat het de verantwoordelijkheid van aios zelf is om het leerplan met de opleider te bespreken, en input (leergesprekken, consultobservaties, videotoetsen en regelmatig ook uitslagen van de LHK en andere toetsen) voor bijstelling van hun leerplan te verzamelen.

17


Patiëntenaanbod Bij vrijwel alle instituten is het profiel van de patiëntenpopulatie van de opleider in hoofdpunten bekend, en wordt het profiel gebruikt om bij de plaatsing aan te kunnen sluiten bij de individuele leerdoelen van de aios. Gericht werken met een minimum aanbod van patiënten voor bepaalde subpopulaties, systematisch monitoren van het gerealiseerde patiëntenaanbod en bijsturen door de opleider als het aanbod niet zou stroken met het geplande aanbod, is slechts bij enkele instituten gestart. Het belangrijkste resultaten uit de auditronde is:  Er zijn tijdens de audits geen specifieke problemen naar voren gekomen met betrekking tot het patiëntenaanbod. Aios kunnen hun praktijkopdrachten uitvoeren en binnen de praktijk en er wordt doorgaans goed rekening gehouden met het leerprogramma van de aios. Subdomein 4b: Onderwijs en begeleiding op de huisartsenpost Bij dit subdomein gaat het enerzijds om de begeleiding op de huisartsenpost zelf en anderzijds over het cursorisch onderwijs. Tijdens de audits is verder getoetst op de invoering van “Leidraad voor het leren dienstdoen op de huisartsenpost”. Begeleiding en onderwijsmomenten op de huisartsenpost Uit de zelfevaluatie blijkt dat vrijwel geen instituut de mate van zelfstandig dienstdoen op de post systematisch monitort en daar beleid voor heeft. Uiteindelijk blijkt dat slechts bij de helft van de instituten alle derdejaars aios zelfstandig diensten hebben uitgevoerd. Uit de zelfevaluatie blijkt dat de meeste instituten wel een begin hebben gemaakt met de implementatie van de “Leidraad voor het leren dienstdoen op de huisartsenpost”, maar dat slechts een enkel instituut dit volledig heeft gedaan. Uit de zelfevaluatie blijkt dat alle instituten een opleidingscoördinator hebben op de huisartsenposten. Het belangrijkste resultaat uit de auditronde is:  Tijdens de audits is het beeld vanuit de zelfevaluatie bevestigd; alle instituten zijn gestart met invoering van de leidraad. Punten van aandacht zijn bijvoorbeeld nog de installatie van videoapparatuur en een betere planning van tijd en ruimte voor gezamenlijke consulten. Vrijwel alle huisartsenposten beschikken over een opleidingscoördinator en de meeste instituten hebben een centrale coördinator of een centrale contactpersoon aangewezen. Invoering “Leidraad voor het leren dienstdoen op de huisartsenpost” Alle instituten zijn goed op weg met de invoering van de leidraad. De centrale coördinatoren die aangesteld zijn op bijna alle instituten hebben hierbij een belangrijke rol gespeeld. Aandachtspunten zijn: • Cursorisch onderwijs vanuit instituut • Scholing voor opleiders • Gebruik verklaring telefoonarts en verklaring overdracht. Cursorisch onderwijs De meeste instituten hebben een overzicht van de eisen waaraan de aios moet voldoen alvorens op de huisartsenpost te kunnen werken; slechts de helft toetst ook vooraf of aios aan deze eisen voldoen. Vrijwel geen van de instituten traint de aios in het bijhouden van een portfolio van het werken op de huisartsenpost. In de enquête “Dienstdoen op de post” uit 2010 geven de aios gemiddeld een rapportcijfer 6,6 voor het (terugkomdag) onderwijs. De belangrijkste resultaten uit de auditronde zijn:  Het cursorisch onderwijs op het instituut bereidt, naar mededeling, adequaat voor op het dienstdoen op de huisartsenpost; 18


 

De afstemming tussen werken op de post en onderwijs op het instituut is in de meeste instituten goed geregeld; Aios en opleiders waarderen de huisartsenpost vanwege de mogelijkheid om gezamenlijk consulten te doen, te observeren, gezamenlijk visites te doen en de tijd die dat biedt om casuïstiek door te spreken. Het dienstdoen op de huisartsenposten heeft volgens de aios en de opleiders een duidelijke meerwaarde voor het leren.

Subdomein 4c: Onderwijs en begeleiding in stage-inrichting Belangrijkste bron voor de zelfevaluatie zijn de uitkomsten van de NIVEL-enquête 2011. Voor de evaluatie van de leerzaamheid van de stages hebben de instituten een eigen score gegeven. Stagebegeleiding en onderwijsmomenten Onderscheid is gemaakt tussen de klinische stage, de chronische zorg stage en de GGZ stage. Bij alle stages geven de aios de kwaliteit van de stagebegeleiding een rapportcijfer 6 ½ tot 7. Bij de chronische zorg stage en GGZ stage heeft bijna de helft van de aios minimaal eens per week een leergesprek; bij de klinische stage is dit slechts 10%. Bij de chronische zorg stage en GGZ stage wordt bij bijna een derde van de aios minimaal eens per week een patiëntcontact geobserveerd; bij de klinische stage is dit nog geen 10%. Ongeveer 40% van de aios bij een klinische stage geeft aan dat er voldoende aandacht voor het opstellen én uitvoeren van het individueel leerplan is; bij de chronische zorg is dit ongeveer driekwart en bij de GGZ stage ongeveer twee derde. De belangrijkste resultaten uit de auditronde zijn:  Verschillende instituten hebben gewerkt aan het meer betrekken van stagebegeleiders van het tweede jaar bij de opleiding, bijvoorbeeld met: o Stagebrochures en stagebezoeken (AMC); o Invoering van KPB’s op de stageplaatsen (UMC Groningen); o Apart trainingsprogramma voor stagebegeleiders (AMC); o Uitnodigen voor de onderwijsdagen van de huisartsopleiders (UMC Groningen).  De verschuiving van de verantwoordelijkheid voor de begeleiding tijdens de SEH stage naar de SEH arts wordt als positief ervaren;  Instituten proberen de stages van het tweede jaar beter in te passen in een doorlopende leerlijn vanaf het eerste tot en met het derde jaar. Nijmegen en Leiden hebben in dit kader hun onderwijsprogramma geherstructureerd; andere instituten werken aan betere onderlinge afstemming van de jaren door middel van bijvoorbeeld praktijkopdrachten, korte klinische beoordelingen of toetsen. Evalueren leerzaamheid stages Alle instituten scoren in de zelfevaluatie maximaal en geven aan de leerzaamheid van stages systematisch te evalueren en de resultaten te gebruiken voor verbetering van de kwaliteit van toekomstige stages. Het belangrijkste resultaat uit de auditronde is:  Aios bleken tijdens de audits in het algemeen tevreden over hetgeen ze leren tijdens de stages; enkelen geven aan te veel productie te moeten draaien en te weinig begeleiding te ervaren (zowel bij SEH stages als chronische zorg stages). Subdomein 4d: Onderwijs en begeleiding op het instituut Voor de kwaliteit van de terugkomdagen en de aandacht van de groepsbegeleider voor het opstellen en uitvoeren van het individueel leerplan, zijn de uitkomsten van de NIVEL-enquête 2011 gebruikt.

19


Voor de beoordeling van de mate van afstemming van het cursorisch aanbod op de praktijk hebben de instituten aanvullende vragen beantwoord. Onderwijs en begeleiding Gekeken is naar kwaliteit van de begeleiding van de huisartsbegeleiders en gedragswetenschappers bij de terugkomdagen voor het eerste opleidingsjaar, de drie stages en het derde opleidingsjaar. Het hoogste rapportcijfer is een 8,4; het laagste een 6½. Gemiddeld is de waardering voor de begeleiding tussen rapportcijfer 7 en 7½. Ongeveer 80% van de aios beoordeelt de aandacht van de groepbegeleider voor het opstellen én uitvoeren van het individueel opleidingsplan met “voldoende” of meer. De belangrijkste resultaten uit de auditronde zijn:  Tijdens de audits is de wijze waarop met name docenten en management van alle instituten zeer intensief, betrokken en enthousiast bezig zijn met vernieuwing en verbetering van het onderwijs, bijzonder opgevallen;  De visie van de opleidingen is vaak gericht op specifiek huisartsgeneeskunde en gerelateerd onderzoek. Aios geven tijdens de audits aan ook belangstelling te hebben voor verdiepend medisch inhoudelijk onderwijs en dat daaraan weinig invulling wordt gegeven;  Aios waarderen het belang dat wordt gehecht aan arts-patiënt-communicatie en reflectie op eigen handelen en zijn positief over de plaats van intervisie in de opleiding ( AMC). Afstemmen cursorisch onderwijs en praktijk De meeste instituten geven aan een beleid te hebben voor de afstemming van het cursorisch onderwijs, en dat dit beleid in overleg met betrokkenen tot stand is gekomen en tevens wordt bijgesteld, indien nodig. Een tweetal instituten geeft aan nog geen echte start te hebben gemaakt. Het belangrijkste resultaat uit de auditronde is:  Instituten zijn bezig met het aanpassen en meer zichtbaar maken van de leerlijnen in de opleiding. Sommige opleidingen gaan over tot twee fases. Volgens de aios en opleiders van de instituten is de afstemming tussen cursorisch onderwijs en opleiding in de praktijk goed. Wel lijkt de mate van structuur, die wordt geboden te verschillen per opleiding; enkele aios geven aan dat juist de structuur of de afwezigheid daarvan voor hen een reden was om de betreffende opleiding te kiezen. Subdomein 4e: Leerwerkplekbeheer Adequaat leerwerkplekbeheer draagt bij aan de borging van de geschiktheid en kwaliteit van de leerwerkplekken en een goede koppeling tussen aios en werkplek. Bij de zelfevaluatie hebben de instituten gekeken naar de werving van leerwerkplekken, de koppelingsprocedures en de kwaliteitsbewaking bij de leerwerkplekken. Werving leerwerkplekken Alle instituten beschikken over criteria voor de selectie van stageadressen en stageopleiders. Slechts bij de helft van instituten zijn de selectiecriteria en –procedure ook bekend bij de aios en opleiders. Vrijwel alle instituten hebben een overzicht van de in de toekomst benodigde plekken en hebben een planmatige aanpak voor de werving en selectie. Het belangrijkste resultaat uit de auditronde is:  Investering in praktijkbezoeken, in het bijzonder ook de bezoeken aan stageplekken blijkt effectief te zijn. Deze betrokkenheid vanuit het instituut nodigt ook de opleiders en stagebegeleiders uit tot grote inzet en betrokkenheid.

20


Daarnaast lijken bezoeken ondersteunend te werken bij de werving van nieuwe leerwerkplekken en behoud van de bestaande leerwerkplekken. Koppeling aios-leerwerkplekken Ruim 70% van de aios geeft aan dat er bij de koppeling voldoende rekening is gehouden met de door hen aan het instituut kenbaar gemaakte voorkeuren. Dit geldt zowel voor het eerste jaar, de stages als het derde jaar. De belangrijkste resultaten uit de auditronde zijn:  Aios en opleiders geven aan tevreden te zijn over de gerealiseerde koppelingen;  Bijzondere aandacht lijkt bij verschillende instituten zinvol voor de koppeling van zowel de “high potentials” als van aios met functioneringsproblemen. Kwaliteitsbewaking leerwerkplekken Ongeveer de helft van de opleidingspraktijken zijn geaccrediteerd, volgens de zelfevaluatie. Vrijwel alle instituten bezoeken opleidingspraktijken en stage-inrichtingen regelmatig en systematisch. De meeste instituten bewaken de kwaliteit van de stageplaatsen ook op andere wijze; evenals bij de werving zijn er criteria, deze zijn echter niet altijd bij aios en opleider bekend. Het belangrijkste resultaat uit de auditronde is:  Instituten stimuleren de deelname aan NHG-Praktijkaccreditering; de deelname groeit.

Good Practices Leeromgeving (domein 4) De instituten hebben bij de voorbereiding van de auditbezoeken in een reflectieverslag voor zichzelf bepaald welke good practices binnen het instituut aanwezig zijn, en voor welke onderwerpen het instituut ondersteuning vanuit een collega-instituut zou willen ontvangen. In aanvulling op de individuele reflectieverslagen komen uit de audits onderstaande, soms meer generieke, good practices naar voren.  

 

Herstructurering van het onderwijsprogramma in twee fasen (LUMC, UMC st. Radboud) en ontwikkeling doorlopende leerlijnen (UMC Groningen); Bewaking van de kwaliteit van opleiders: o HaDiDoc, de permanente commissie (VUmc); o Functioneringsgesprekken door een vast team om de planning overzichtelijker te maken en de continuïteit en uniformiteit te bevorderen (UMC St. Radboud). Diverse initiatieven gericht op het meer betrekken van stagebegeleiders bij de opleiding; Structuur leeromgeving, gebruik intervisie (AMC);

Aandachtspunten Leeromgeving (domein 4) Uit de audits komen de volgende, meer generieke aandachtspunten naar voren.  

Frequentie leergesprekken en consultobservaties: o Veel instituten hebben behoefte aan een meer systematische benadering; Bij diverse instituten zijn voorbeelden van een mogelijke aanpak beschikbaar. Opleiders: o Er is een duidelijke behoefte aan continuïteit van feedback over hun functioneren; functioneringsgesprekken worden door wisselende personen gevoerd.

21






Leidraad voor het leren dienstdoen op de huisartsenpost: o De rol van de opleidingscoördinator op de huisartsenpost is niet altijd duidelijk; o Er is niet altijd zicht op onderwijs en de opleiding op de huisartsenpost, noch op de toepassing van de leidraad. Stages: o De contacten met stagebegeleiders zijn voor verdere verbetering vatbaar; o De kwaliteit van stage-inrichtingen kan meer systematisch worden geëvalueerd; o Het gebruik van individuele leerplannen, ook in het tweede jaar, zou verder moeten worden gestimuleerd.

22


Domein 5 Toetsing, beoordeling en resultaten Toetsing en beoordeling bestrijken alle taakgebieden van het competentieprofiel van de huisarts. De toetsing en beoordeling zijn (waar mogelijk) volledig, valide en transparant; resultaten worden besproken met de aios en gebruikt voor bijstelling van het individuele opleidingsplan. Tijdens de audit is verder gekeken naar de invoering van het landelijk “Protocol Toetsing en Beoordeling” en naar de mate waarin verplichte toetsen en beoordelingen conform het toetsplan worden uitgevoerd. Subdomein 5a: Beleid ten aanzien van toetsprogramma Tijdens de zelfevaluatie hebben de instituten gekeken naar hun beleid met betrekking tot toetsing op instituutsniveau en op de werkplek. Verder zijn de resultaten van de aios-enquête met betrekking tot de kwaliteit van informatie over hun voortgang meegenomen. Beleid t.a.v. toetsprogramma op instituutsniveau en de werkplek Uit de zelfevaluatie blijkt dat alle instituten aios informeren over de uitvoering van het “Protocol Toetsing en Beoordeling” , een overzicht geven van de toetsen en naast de verplichte toetsen minimaal één extra toets gebruiken. Niet alle instituten geven aan ook een plan te hebben voor de implementatie van het “Protocol Toetsing en Beoordeling”. Bij alle instituten hebben de aios minimaal eens per kwartaal een voortgangsgesprek met de (stage)opleider en de docent; van de gespreken worden verslagen gemaakt. De verslagen zijn bij vrijwel alle instituten in meer dan 80% van de gevallen ook ondertekend. De belangrijkste resultaten uit de auditronde zijn:  Instituten lijken verschillende visies te hebben op de plaats en functies van toetsing in de opleiding, bijvoorbeeld: o Toetsing en feedback moet doorlopend in de opleiding plaatsvinden; o De resultaten van de toetsen dienen het leerproces bij te sturen; o Toetsen zijn vooral educatief, en pas in laatste instantie selectief; o Toetsing moet vooral in de praktijk plaatsvinden, dus opleiders moeten hierin worden getraind (kennis van de eisen, kunnen toetsen van vaardigheden); o Toetsing is vooral bedoeld om de niet-functionerende aios te identificeren.  De meeste instituten zijn gestart met invoering van het landelijk protocol. Elementen die door diverse instituten reeds zijn gerealiseerd, zijn: o Beschrijving toetsmomenten, inclusief een overzicht voor de aios; o Vaststelling aanvullende eisen; o Informatie over welke toetsen verplicht zijn; o Een beschreven werkwijze bij afwijkingen, beëindiging en verlenging; o Een geschillenprocedure en de procedures per opleidingsjaar.  Het blijkt in de praktijk soms lastig om een goede balans te vinden bij de dubbelrol van de groepsbegeleider als coach en toetser. Invoering landelijk “Protocol Toetsing en Beoordeling” Alle instituten zijn gestart met de invoering van het protocol. Bij alle instituten is de werkwijze vastgelegd in een reglement en opleidingsplan en is de geschillenprocedure ingevoerd. Aandachtspunten zijn de werkwijze bij beëindiging, verlenging en afwijkingen. Uitvoering verplichte toetsen en beoordelingen conform toetsplan Op de APC toets na worden bij alle instituten de verplichte toetsen uitgevoerd en is er een toetsplan beschikbaar. Met de aanvullende toetsen (KKB/KPB, PICO/CAT, PSL) is het merendeel van de instituten gestart met de invoering ervan.

23


Informatievoorziening aan aios Uit de gegevens van de aios-enquête blijkt dat gemiddeld bijna driekwart van de aios vindt dat zij voldoende zijn geïnformeerd over de wijze waarop hun voortgang wordt beoordeeld en de consequenties van deze beoordeling. Subdomein 5b: Toetsinstrumenten en methoden Van belang is dat de verplichte en optionele toetsingsinstrumenten en –methoden adequaat worden ingevoerd en gerealiseerd, in overeenstemming met het Landelijk Toetsplan 2011. Bij de zelfevaluatie is gekeken naar het medisch handelen in de praktijk, medisch-technische vaardigheden, wetenschappelijke vorming en arts-patiënt communicatie. Medisch handelen in de praktijk Bij alle instituten zijn de opleiders van het eerste en derde jaar getraind in gebruik van de ComBeL. Vrijwel alle instituten trainen ook de docenten en stagebegeleiders. De belangrijkste resultaten uit de auditronde zijn:  Tijdens de audits is door de instituten aangegeven dat de meeste landelijke toetsinstrumenten ook daadwerkelijk worden gebruikt;  De ComBeL wordt beschouwd als een nuttig instrument, dat sturend werkt voor het leerproces van de aios. Enkele opleiders vinden het invullen van de ComBeL erg omslachtig en tijdrovend. Door de docenten wordt de ComBeL nog niet altijd ingevuld. Medisch technische vaardigheden De instituten geven aan dat de huisartsopleiders worden getraind in het beoordelen van medisch vaardigheden en dat tijdens het eerste jaar systematisch feedback op vaardigheden wordt gegeven aan de aios op het instituut en/of in de praktijk. De meeste instituten hebben ook een plan ter bevordering van het geven van feedback; de resultaten, met name voor het derde jaar zijn wisselend. Vrijwel alle instituten laten de eerste én derdejaarsstudenten door gecertificeerde trainers opleiden voor reanimatie. Bij de helft van instituten is ook vastgelegd wat de consequenties zijn van niet volgen of niet behalen van de training. De belangrijkste resultaten uit de auditronde zijn:  Medische praktische vaardigheden worden vooral getoetst in de praktijk waarbij afvinklijstjes worden gebruikt;  Op een aantal instituten wordt daarnaast ook het vaardighedencarrousel ingezet, maar dit wordt door de aios meer als training dan als toets beschouwd;  De Praktijkscoringslijst (PSL) is niet bij iedereen bekend. Wetenschappelijke vorming Alle instituten geven training in het schrijven van een PICO / CAT, zo blijkt uit de zelfevaluatie. Alle instituten gebruiken vastgelegde criteria voor beoordeling van de PICO / CAT; bij niet alle instituten is bij de criteria ook een norm (voldoende/onvoldoende) bepaald. De belangrijkste resultaten uit de auditronde zijn:  Toetsing van de wetenschappelijke vaardigheden gebeurt doorgaans door het laten maken van een PICO of CAT door de aios;  Sommige instituten kiezen voor een vaste groep van beoordeelaars om zoveel mogelijk, uniform te beoordelen;  Als een aios onvoldoende scoort voor een CAT, moet deze worden herschreven tot aan de criteria wordt voldaan.

24


Arts-patiënt communicatie De instituten gebruiken alle de MAAS-globaal of een ander inhoudsvalide instrument. Daarbij zijn criteria en de norm vastgelegd. De helft van de instituten geeft in de zelfevaluatie aan in de praktijk, niet minimaal 6 consulten per toets te beoordelen. De belangrijkste resultaten uit de auditronde zijn:  Tijdens de audits is gebleken dat instituten overtuigd zijn van het nut van videotoetsing, echter ook dat nog wordt gezocht naar de meest gewenste werkwijze. Discussie bestaat over bijvoorbeeld: o de eisen die gesteld worden aan de in te leveren video-opnames; o de stress die wordt veroorzaakt bij aios en vaak ook de opleiders om de juiste consulten op de video’s te krijgen; o organisatie van de beoordeling van de video’s: met een vaste groep getrainde onafhankelijke beoordelaars, door de opleiders of door docenten?  Aios geven aan dat de feedback op hun video-toetsen aan waarde wint indien ruimte wordt geboden om nadere toelichting te vragen of de beoordeling te bespreken.  In Leiden is gestart met een zogenaamde “videotoets +” waarbij communicatie en medisch inhoudelijke aspecten meer worden geïntegreerd en de mogelijkheid bestaat om de verschillende fasen van het consult in de toets apart te bespreken. Subdomein 5c: Bijstelling individueel opleidingsplan Toetsuitslagen kunnen leiden tot het (her)formuleren van leerdoelen van aios en aanpassing van het individueel opleidingsplan (IOP). (Her)formuleren leerdoelen Tweederde van de studenten heeft in de NIVEL aios-enquête aangegeven concrete aanwijzingen voor de bijstelling van het individueel opleidingsplan te krijgen uit de nabespreking van de toetsen arts-patiënt-communicatie (APC-video’s); uit de nabespreking van de kennistoets (LHK) is dat de helft. Het belangrijkste resultaat uit de auditronde is:  Aios bevestigen het beeld dat uitslagen op de verschillende toetsen worden gebruikt voor bijstelling van hun opleidingsplan. Dit geldt vooral voor de resultaten van de ComBeL en de videotoetsen. Subdomein 5d: Opleidingsresultaten Bij de zelfevaluatie is gekeken naar de uitkomsten van landelijke kennis- en vaardighedentoetsen en naar de waardering van alumni voor het geleerde. Uitkomsten landelijke kennis- en vaardighedentoetsen De gemiddelde totaalscore op de LHK-toets is afgelopen jaar 43% voor fase 5 geweest en 45% voor fase 6, blijkt uit opgave van Huisartopleiding Nederland. Vrijwel alle (98,7%) van de studenten slaagt de eerste keer voor de LHK-kennistoets; gemiddeld worden tweederde van de vragen uit de toets goed beantwoord. Uiteindelijk slagen alle deelnemers aan de STARtclass theorie- en vaardighedentoets; gemiddeld over de instituten slaagt ruim 87% meteen de eerste keer. De belangrijkste resultaten uit de auditronde zijn:  De meningen over de bruikbaarheid van de LHK toetsen zijn sterk uiteenlopend. Doorgaans worden de resultaten wel tijdens de terugkomdagen op het instituut besproken. Opleiders maken veel minder gebruik van de resultaten van deze toets.

25




In verschillende opleidingen wordt de Korte Klinische Beoordeling of de Korte Praktijk Beoordeling (KKB/KPB) gehanteerd. Deze toetsen worden door aios en opleiders gewaardeerd.

Waardering alumni voor het geleerde Ruim 80% van de alumni geeft in de enquête aan dat de opleiding hen voor diverse aspecten voldoende heeft voorbereid op het huisartsenvak.

Good Practices Toetsing, Beoordeling en Resultaten (domein 5) De instituten hebben bij de voorbereiding van de auditbezoeken in een reflectieverslag voor zichzelf bepaald welke good practices binnen het instituut aanwezig zijn, en voor welke onderwerpen het instituut ondersteuning vanuit een collega-instituut zou willen ontvangen. In aanvulling op de individuele reflectieverslagen komen uit de audits onderstaande, soms meer generieke, good practices naar voren.     

Implementatie van de visie dat toetsen continu plaats moet vinden en onlosmakelijk deel uitmaakt van het onderwijsleerproces (VUmc); Vastlegging toetsprogramma in een zogenaamd toetsboekje biedt duidelijkheid over eisen en eigen voortgang (UMC Groningen) en gebruik aftekenboekje voor toetsing en feedback medische vaardigheden (AMC); Gebruik KKB’s in eerste jaar om opleiders te “dwingen” tot uitvoeren van observaties en deze te vertalen in individuele leerdoelen voor de aios (UMC Groningen); Videotoets +: integratie van communicatie en medische inhoudelijke aspecten (Leiden); Methodiek VOIS (Veilig Over Incidenten Spreken) gebruiken bij gecompliceerde beoordelingstrajecten (VUmc).

Aandachtspunten Toetsing, Beoordeling en Resultaten (domein 5) Uit de audits komen de volgende, meer generieke aandachtspunten naar voren. 





Informatie over toetsen en beoordelingen: o Aios ervaren onvoldoende transparantie met betrekking tot toetsmomenten, beoordelingscriteria en consequenties van de beoordeling; o Soms is voor aios onduidelijk wie voor welk deel van de beoordeling van zijn functioneren verantwoordelijk is; o Onduidelijk is soms wie het overzicht over de toetsingen dient te bewaren, bijvoorbeeld de KPBs of KKBs bij de stages in het tweede jaar; Inhoud van toetsen: o Er is behoefte aan meer uniformiteit van toetsen; o Er is veel variatie in hoe en hoe vaak instituten APC toetsen. Ook is er nog verschil in de toetsing van APC per leerjaar. o Wetenschappelijke competenties van aios worden niet altijd op individueel niveau getoetst; o Er moet aandacht zijn voor het vinden van een balans tussen het educatieve karakter van de toetsen en de verantwoordelijkheid van de opleiding om selectief te zijn. Resultaten van toetsen: o Toetsresultaten worden door aios vaak nog niet omgezet in een individueel opleidingsplan;

26




o Voor de toetsing van Medisch Technische Vaardigheden zijn niet altijd duidelijke beoordelingscriteria geformuleerd. o Aios ervaren de ‘’dubbelrol’’ van de groepsbegeleiders (zowel vertrouwenspersoon en beoordelaar) soms als problematisch. o De ComBel wordt als educatief instrument gewaardeerd. De wijze van scoren van de ComBel behoeft aandacht en uitleg. o De identificatie van excellente aios behoeft aandacht. Organisatie van toetsen: o Voor studiebegeleiders dreigt een grote werkbelasting door de gedetailleerde manier van beoordelen van aios.

27


Thema Docentprofessionalisering Als extra thema voor GEAR 2013 is de docentprofessionalisering opgenomen. Gekeken is naar de toetsing van docenten en de scholing van zowel nieuwe als ervaren docenten. In de zelfevaluatie hebben de instituten hierover vragen beantwoord. Wijze van toetsing docenten Vrijwel alle instituten hebben in het scholingsplan voor docenten ook de toetsende activiteiten opgenomen. De ontwikkelingsfases van de diverse instituten zijn zeer verschillend met betrekking tot het gebruik van verschillende toetsen voor beginnende en meer ervaren docenten, het gebruik van duidelijke criteria, het opbouwen van een portfolio als docent en het gebruik daarvan bij een jaargesprek. Het belangrijkste resultaten uit de auditronde is:  Alle instituten stellen tijdens de audit jaar- of functioneringsgesprekken te houden met de docenten. Evaluaties door aios en opleiders vormen input voor deze jaargesprekken. De scholingswensen worden in deze jaargesprekken meegenomen. Op verschillende instituten wordt ook gewerkt met docentportfolio’s of persoonlijke ontwikkelingsplannen. Scholing nieuwe docenten Alle nieuwe docenten worden geschoold op basis van een plan en alle nieuwe docenten hebben een werkplekbegeleider. Een enkel instituut geeft aan de nieuwe docenten nog niet binnen twee jaar te laten deelnemen aan de landelijke basiscursus voor docenten. Een ander instituut geeft aan nieuwe docenten nog niet minimaal twee keer te observeren in hun eerste jaar. De belangrijkste resultaten uit de auditronde zijn:  Alle instituten beschikken over een uitgewerkt inwerk- en scholingsprogramma voor nieuwe docenten. Deze programma’s worden zeer gewaardeerd.  Nieuwe docenten krijgen doorgaans een mentor toegewezen en volgen de DSH-cursussen (DocentenScholing Huisartsopleiding). Scholing ervaren docenten Scholing op maat is bij alle instituten onderdeel van het scholingsbeleid voor ervaren docenten. Nog niet alle instituten observeren ook ervaren docenten minimaal één keer per jaar, en niet alle instituten gebruiken bij observaties een checklist. De belangrijkste resultaten uit de auditronde zijn:  Voor ervaren docenten is er veelal geen uitgewerkt scholingsprogramma; wel worden mogelijkheden geboden voor verdere ontwikkeling en intervisie;  Docenten op sommige instituten worden geacht de universitaire onderwijskwalificaties te behalen (BKO- BasisKwalificatie Onderwijs en SKO SeniorKwalificatie Onderwijs). Daarvoor moet nog een vorm gevonden worden, zodanig dat ook de eigen docentkwalificatiestructuur daarin een plaats krijgt;  Docenten ervaren binnen de instituten voldoende vertrouwen om elkaar om feedback te vragen, elkaars lessen bij te wonen of video’s op te nemen voor groepsgewijs bespreken.  De visie die ten grondslag ligt aan de professionalisering van de docenten bij het UMC Utrecht is ‘wat de aios doen, moeten we zelf ook doen’.

28


Good Practices Docentprofessionalisering (extra thema) De instituten hebben bij de voorbereiding van de auditbezoeken in een reflectieverslag voor zichzelf bepaald welke good practices binnen het instituut aanwezig zijn, en voor welke onderwerpen het instituut ondersteuning vanuit een collega-instituut zou willen ontvangen. In aanvulling op de individuele reflectieverslagen komen uit de audits onderstaande, soms meer generieke, good practices naar voren.    

Thema voor professionalisering: ‘liever verleiden dan verplichten’ met veel ruimte voor eigen invulling van de deskundigheidsontwikkeling is groot (VUmc); Pilot 360 graden feedback (UMC Groningen); Inwerk- en scholingsprogramma voor nieuwe docenten (UMC Groningen). Intervisie aanbod voor gedragswetenschappers Erasmus MC).

Aandachtspunten Docentprofessionalisering (extra thema) Uit de audits komen de volgende, meer generieke aandachtspunten naar voren. 





Visie op professionalisering van docenten: o Een duidelijke meerjaren visie ontbreekt nog vaak; o De continuïteit in docentprofessionalisering is voor verbetering vatbaar; o Met name voor ervaren docenten lijkt deelname aan scholing soms te vrijblijvend. Evaluatie van docentprofessionaliteit: o Een gestructureerd systeem voor feedback aan docenten ontbreekt vaak nog. o Wellicht is er behoefte aan een objectieve toets van docentkwaliteiten of een vorm van intercollegiale toetsing aan de hand van video-opnames?; Inhoud van de docentprofessionalisering: o Intervisie in gemengde groepen (ervaren en beginnende docenten) zal naar verwachting een meerwaarde hebben; o Conclusies uit jaargesprekken vinden niet altijd inhoudelijke opvolging.

29

GEAR Eindrapportage 2013

Recommend Documents