Rapport Evaluatieonderzoek kwaliteitsvisitatie

2009

Rapport Evaluatieonderzoek kwaliteitsvisitatie

drs. J. Fossen drs. J.W. Hagemeijer Orde van Medisch Specialisten 29-10-2009

Inhoudsopgave Inleiding ............................................................................................................. 4 Procesbeschrijving .............................................................................................. 5 Visitatiemodel .................................................................................................... 7 Toetsing versus Educatie .................................................................................. 12 Visitatieprocedure ............................................................................................ 14 Rol van de visiteur ............................................................................................ 19 ICT .................................................................................................................... 20 Afstemming ...................................................................................................... 21 Overzicht resultaten ......................................................................................... 22 Advies............................................................................................................... 24

definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 3

Inleiding In 2002 is in nauwe samenwerking met een achttal wetenschappelijke verenigingen gewerkt aan de vernieuwing van de visitatiemethodiek voor de kwaliteitsvisitaties van de medisch specialisten. Het heeft geleid tot een geactualiseerd visitatiemodel dat meer (dan voorheen) gericht is op evaluatie van de inhoud van zorgprocessen en het professioneel functioneren, en minder op de toetsing van structuren en randvoorwaarden. De nadruk ligt op zorg voor kwaliteit. Het model is gebaseerd op een professioneel kwaliteitsprofiel dat bestaat uit vier kwaliteitsdomeinen: evaluatie van zorg, patiëntenperspectief, maatschapsfunctioneren1 en professionele ontwikkeling (zie figuur 1). Elk kwaliteitsdomein is opgebouwd uit meerdere kwaliteitsaspecten. Voor de toetsing van deze aspecten zijn samen met de verenigingen meetinstrumenten ontwikkeld. Over de ontwikkelde methodiek is in 2005 een handboek geschreven dat het de wetenschappelijke verenigingen mogelijk maakt om hun visitatiemodel te vernieuwen volgens deze inzichten (Fossen e.a. 2005).

Evaluatie van zorg

Professionele Ontwikkeling

Patiëntenperspectief

Functioneren van de maatschap

Figuur 1 Professioneel kwaliteitsprofiel

Bij de ontwikkeling van de geactualiseerde methodiek is voorzien dat het nieuwe model geen definitief karakter heeft. Door ontwikkelingen in het (landelijk) kwaliteitsbeleid kan het noodzakelijk zijn om het model te innoveren. Daarnaast leiden ervaringen van de wetenschappelijke verenigingen met de instrumenten tot verfijning. Kortom: het visitatiemodel nieuwe stijl blijft in beweging. De Orde is daarom van mening dat het zinvol is om in 2009 in gesprek te gaan met de wetenschappelijke verenigingen die werken met de vernieuwde methodiek. Daarnaast is de Orde van mening dat ook de wetenschappelijke verenigingen die (nog) niet werken met de vernieuwde visitatiemethodiek betrokken zouden moeten worden in het evaluatieonderzoek. Dit om te achterhalen welke mening deze wetenschappelijke verenigingen zijn toegedaan over de visitatie nieuwe stijl. Het doel van het evaluatieonderzoek is om het visitatiemodel nieuwe stijl te evalueren op bruikbaarheid en innovatievraagstukken binnen de kwaliteitsvisitatie vast te stellen. 1

Waar maatschap staat kan ook vakgroep gelezen worden.


Page 4

Procesbeschrijving Alle 29 wetenschappelijke verenigingen van erkende medisch specialisten hebben een brief ontvangen met een aankondiging van het onderzoek naar de stand van zaken van de kwaliteitsvisitatie. In deze brief is gevraagd de contactpersoon van de vereniging voor kwaliteitsvisitatie door te geven aan de Orde. De inventarisatie heeft plaatsgevonden aan de hand van een schriftelijke enquête. Deze vragenlijst (‘Vragenlijst evaluatieonderzoek visitatie’) bestond uit een algemeen gedeelte en drie specifieke gedeelten, namelijk:  Visitatie nieuwe stijl  Visitatie oorspronkelijk model  Visitatie INK model Het verzoek aan de WVen was om het algemene deel in te vullen en het specifieke deel voor zover van toepassing. Uiteindelijk zijn alle 29 uitgestuurde enquêtes ingevuld teruggestuurd. De gegevens uit deze enquête zijn verwerkt m.b.v. een Excel werkblad en de resultaten zijn in het voorliggende rapport verwerkt. Daarnaast zijn semi-gestructureerde groeps-interviews met de contactpersonen van de wetenschappelijke verenigingen. Deze contactpersonen hebben voorafgaande aan het interview de enquête ingevuld teruggestuurd. De deelnemers konden zich intekenen voor één van deze data. De bedoeling was om WVen zodanig in te delen dat groepen samengesteld werden die met hetzelfde model werkten. Dat bleek, binnen de gestelde tijdsplanning, niet altijd te realiseren zodat het merendeel gemêleerde groepen ontstonden. Dit bleek juist de uitwisseling van ervaringen te bevorderen. Uiteindelijk zijn acht gestructureerde groepsinterviews gehouden, verdeeld over de maanden mei, juni en juli. Eén van de acht groepen bestond - door onvoorziene omstandigheden - uit één WV, de andere groepen uit twee tot vier WVen. De verdeling was als volgt: Groep 1: thoraxchirurgen, anesthesiologen en klinisch geriaters Groep 2: revalidatieartsen en radiologen Groep 3: orthopeden, oogartsen, dermatologen en mdl artsen Groep 4: gynaecologen, pathologen, longartsen en kinderartsen Groep 5: allergologen, urologen, reumatologen en radiotherapeuten Groep 6: nucleair geneeskundigen Groep 7: chirurgen en neurologen Groep 8: psychiaters, KNO artsen, cardiologen en microbiologen De interviews werden gehouden aan de hand van de volgende thema’s:  Visitatiemodel  Toetsing versus educatie  Visitatieprocedure  Rol visiteur definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 5

 ICT  Afstemming

Enkele WVen bleken niet in staat om zich bij één van de groepsinterviews aan te sluiten. Deze zijn telefonisch benaderd zodat alle WVen een toelichting hebben kunnen geven op de door hen ingevulde vragenlijsten. Van ieder (groeps)interview is een verslag gemaakt. Deze verslagen zijn afgestemd met de contactpersonen. Op basis van deze verslagen is een algemene rapportage gemaakt die voor u ligt. Hierin zijn alle innovatievoorstellen gebundeld tot één geheel. Op basis van de uitkomsten van het evaluatieonderzoek zal de Orde in samenspraak met de wetenschappelijke verenigingen vaststellen waar ontwikkelmogelijkheden liggen binnen de methodiek van de kwaliteitsvisitaties en daar vervolgens beleid op maken.


Page 6

Visitatiemodel Samenvatting

Van de 29 WVen maken 17 verenigingen gebruik van het visitatiemodel nieuwe stijl. Een aantal WVen past het model reeds sinds 2005 toe maar er zijn ook verenigingen die net van start zijn gegaan en zich nog in een overgangssituatie bevinden. De WVen zijn tevreden over het visitatiemodel nieuwe stijl en zijn van mening dat de vier kwaliteitsdomeinen; evaluatie van zorg, maatschapsfunctioneren, patiёntenperspectief en professionele ontwikkeling allesomvattend zijn. Over de invulling van de kwaliteitsdomeinen, dus de ontwikkelde instrumenten, zijn ervaringen teruggekoppeld die een bijdrage kunnen leveren aan de verdere invulling en verbetering van het professionele kwaliteitsprofiel. Tien verenigingen maken gebruik van het oorspronkelijke visitatiemodel. Aangegeven is dat de tendens wordt waargenomen dat na twee visitaties het educatieve element afneemt. Het merendeel van deze vereniging neemt daarom momenteel hun methodiek in heroverweging en hebben het voornemen om (delen van) de nieuwe methodiek te adapteren. De WVen die werken met het oorspronkelijke model hebben geen inhoudelijke bezwaren bij het nieuwe model maar zijn vaak om praktische redenen niet toegekomen aan een actualisatie. Eén vereniging maakt gebruik van het visitatiemodel volgens het INK-model waarbij principes van de nieuwe stijl zijn toegepast. Men is tevreden over het model. Eén vereniging maakt nog gebruik van een visitatiemodel maar heeft het voornemen om een methodiek te ontwikkelen waarbij principes van de nieuwe stijl zijn toegepast. In onderstaande uitwerking is uitgegaan van de kwaliteitsdomeinen en instrumenten van het professionele kwaliteitsprofiel. Innovatievraagstukken aangedragen vanuit de verenigingen die niet werken volgens het visitatiemodel nieuwe stijl zijn ondergebracht bij het domein waar zij betrekking op hebben.

Algemeen Alle WVen maken gebruik van een algemene vragenlijst waarin basisinformatie wordt nagevraagd. De visitatiecommissie beschikt dan over gegevens van de context van de vakgroep. Daarnaast vragen WVen vaak het beleidsplan en jaarverslag op.

Evaluatie van zorg Met behulp van de ontwikkelde instrumenten bij het kwaliteitsdomein ‘evaluatie van zorg’ zijn de inhoud van de zorgprocessen en de professionele vakbekwaamheid meer centraal komen te staan. definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 7

Medical Audit (= MA) Tien WVen hebben één of twee MA’s ontwikkeld en passen deze toe binnen de kwaliteitsvisitatie. Men is tevreden over het feit dat met behulp van het instrument de evaluatie van zorg meer centraal staat maar men is van mening dat het wenselijk is om de MA praktisch beter toepasbaar te maken. Met name dient bij de ontwikkeling van de MA meer rekening gehouden te worden met de geformuleerde kernaanbevelingen van de betreffende richtlijn. Op deze wijze kan men de implementatie van de richtlijn monitoren. Bij de WVen leeft de wens om kwaliteitsindicatoren / (minimale) normen op het randvoorwaardelijke en zorginhoudelijke vlak te ontwikkelen en deze toe te passen binnen de kwaliteitsvisitaties. Een aantal verenigingen, onder meer de NVMDL is bezig deze te ontwikkelen maar het merendeel van de WVen is hier tot op heden nog niet aan toe gekomen. KISZ-lijst Zestien WVen maken gebruik van de KISZ-lijst en men is tevreden over de bruikbaarheid van het instrument. Men heeft als enige suggestie aangegeven dat de KISZ-lijst minder bruikbaar is voor de solistisch werkende medisch specialist en dat hiervoor een aangepaste versie ontwikkeld zou moeten worden. De gebruikersvriendelijkheid van het Excel bestand voor de verwerking van de gegevens laat te wensen over en behoeft aanpassing. Verwijzersenquête Acht WVen maken gebruik van de verwijzersenquête. Men is van mening dat het verwijzersperspectief een essentieel onderdeel is binnen de kwaliteitsvisitatie maar dat de enquête niet altijd even zinvolle en bruikbare informatie oplevert. Daarnaast zou meer afstemming gezocht kunnen worden met de 1e lijn. Bepaalde HAGRO’s voeren namelijk tevredenheidsonderzoek uit bij huisartsen betreffende de samenwerking met de medisch specialisten. Overleg met het NHG hierover is raadzaam. Dossieronderzoek Zestien WVen maken gebruik van het dossieronderzoek waarbij de maatschap zelf de evaluatie verricht. Daarnaast is het binnen bijna alle WVen gangbaar om steekproefsgewijs een aantal patiëntendossiers te lichten tijdens de rondleiding. Men geeft aan dat door de komst van de elektronische patiёntendossiers (EPD) het controleren van het dossier door de visiteurs wordt bemoeilijkt. Elk systeem vraagt weer specifieke kennis ten aanzien van de bediening. De meerderheid geeft aan tevreden te zijn over het dossieronderzoek omdat de zwakke plekken naar voren komen en een doorsnee indruk gekregen wordt van de dossiervoering. Men geeft aan dat het lastig is een minimale norm te stellen waar dossiervorming aan dient te voldoen.


Page 8

Complicatiebespreking Elf WVen schenken aandacht aan het onderwerp complicatiebespreking. Men geeft aan dat dit een belangrijk onderdeel is binnen de kwaliteitsvisitatie maar de bespreking van de complicaties nog verdere ontwikkeling vraagt. Het is gangbaar dat men vraagt naar complicatieregistratie en complicatiebespreking. Enkele vereniging vragen een overzicht van het aantal complicaties.

Maatschapsfunctioneren Zestien WVen maken gebruik van de Quick Scan en zijn heel tevreden over de bruikbaarheid van het instrument. De gebruikersvriendelijkheid van het Excel bestand voor de verwerking van de gegevens laat te wensen over en behoeft aanpassing. Als suggestie voor verdere verfijning, en daarmee verbetering, van de Quick Scan is aangegeven om de Quick Scan beter toepasbaar te maken voor medisch specialisten werkzaam binnen netwerkverband, binnen kleine of juist hele grote maatschappen. Daarnaast zou het wenselijk zijn om een versie te ontwikkelen voor solisten. Medisch specialisten functioneren binnen teamverband en juist om meer tegemoet te komen aan de dagelijkse praktijk zou het ook raadzaam zijn om een instrument (een teamscan) te ontwikkelen dat het functioneren van het multidisciplinaire team onderzoekt.

Patiёntenperspectief Dertien WVen maken gebruik van een patiёntenenquête en zijn hier overwegend niet tevreden over. Men geeft aan dat er veel moeite wordt gedaan om de enquêtes uit te zetten, te verwerken en te analyseren maar dat het weinig aanknopingspunten biedt voor verbetering. Tevens worden in patiёntenenquêtes, verricht vanuit de instelling, naar aspecten gevraagd waar de medisch specialist geen verantwoordelijkheid voor draagt of kan dragen (bijvoorbeeld up-to-date zijn van lectuur in de wachtkamer). Men is van mening dat binnen de visitatiemethodiek aandacht geschonken moet worden aan het in kaart brengen van het patiёntenperspectief maar dat gezocht moet worden naar een bruikbaar instrument (genoemd is korte interviews, video-on-the-job, een praatpaal, focusgroepen, mystery guest). Daarnaast ondernemen ziekenhuizen veel activiteiten om de patiёnttevredenheid of –ervaringen in kaart te brengen en is het belangrijk om hier gebruik van te maken en juist deze informatie in te zetten bij de kwaliteitsvisitatie. Vier WVen vragen naar de klachten die de maatschap heeft ontvangen en wat men er mee heeft gedaan. Men is hier redelijk tevreden over. Mogelijk kan een gesprek tijdens de visitatiedag met de klachtenfunctionaris van de organisatie zinvolle informatie opleveren. Een aantal verenigingen vraagt aan de maatschap om het gebruikte voorlichtingsmateriaal tijdens de visitatiedag klaar te leggen voor inzage. Bij het in kaart brengen van het patiёntenperspectief is aangegeven dat de ervaringen van de mantelzorgers hierbij ook meegenomen behoren te worden omdat deze groep een belangrijke schakel in het geheel is. definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 9

Professionele ontwikkeling Er wordt door de WVen geen gebruik gemaakt van een specifiek instrument maar men vraagt naar opleiding, bij-en nascholing, wetenschappelijke activiteiten, etc. Ontwikkelingen als het GAIA systeem, de CanMeds competenties en IFMS hebben binnen de visitatiemethodiek nog geen plek gekregen. Men geeft aan dat het wenselijk is om te exploreren in hoeverre het mogelijk is om deze ontwikkelingen binnen het kwaliteitsdomein professionele ontwikkeling een plek te geven.

Conclusie

Men is tevreden over de Medical Audit maar de praktische relevantie behoeft verbetering. Men heeft als suggestie aangegeven dat er bij de ontwikkeling van de MA rekening gehouden moet worden dat de MA de implementatie van een richtlijn behoort te monitoren. Hierdoor is de aanname dat de praktische relevantie van de MA verbeterd zal worden. Op dit moment wordt niet tot nauwelijks gebruik gemaakt van kwaliteitsindicatoren binnen de visitatiemethodiek. Men heeft aangegeven dat het in de toekomst wenselijk is om kwaliteitsindicatoren en/of (minimale) normen te ontwikkelen op het randvoorwaardelijke en zorginhoudelijke vlak. Men is tevreden over de bruikbaarheid van de KISZ-lijst waarbij de toepasbaarheid binnen de solistische setting verder ontwikkeld zou moeten worden. Men is matig tevreden over de bruikbaarheid van de verwijzersenquete en het is wenselijk om het voorliggende instrument aan te passen. Men is tevreden over de bruikbaarheid van dossieronderzoek maar ondervindt problemen bij de uitvoering van het dossieronderzoek door de komst van het EPD. De gebruikersvriendelijkheid van het Excel bestand, behorende bij de Quick Scan en KISZ-lijst, laat te wensen over en behoeft verbetering.

Men is tevreden over de bruikbaarheid van de Quick Scan. De toepasbaarheid van de Quick Scan binnen netwerkverband, bij kleine of juist hele grote maatschappen of bij solisten behoeft verbetering. Om het functioneren van medisch specialisten binnen multidisciplinair teamverband te analyseren is het wenselijk om een teamscan te ontwikkelen. Het in kaart brengen van het patiëntenperspectief behoort een onderdeel te zijn binnen de kwaliteitsvisitatie maar men is niet tevreden over de bruikbaarheid van de eigen patiёntenenquête. Voor het in kaart brengen van de professionele ontwikkeling wordt geen gebruik gemaakt van een specifiek instrument. Ontwikkelingen als het GAIA systeem, de CanMeds competenties en IFMS hebben binnen de visitatiemethodiek nog geen plek gekregen.


Page 10

Advies Het is aan te raden om: 



de methodiek van de ontwikkeling van een Medical Audit verder te verfijnen waarbij de praktische relevantie van het instrument meer centraal moet komen te staan. om het gebruik van bestaande kwaliteitsindicatoren en/of (minimale) normen op het

randvoorwaardelijke en zorginhoudelijke te stimuleren of juist de ontwikkeling hiervan te ondersteunen. 

de KISZ-lijst toepasbaar te maken voor solistisch werkende medisch specialisten.



een bruikbare methodiek te ontwikkelen om het verwijzersperspectief inzichtelijk te maken waarbij afstemming wenselijk is met het NHG. een bruikbare methodiek te ontwikkelen om dossieronderzoek binnen het EPD te verrichten. een Quick Scan te ontwikkelen die bruikbaar is voor solisten, binnen netwerkverband, kleine of juist hele grote maatschappen. een gebruikersvriendelijk instrument te ontwikkelen voor de verwerking van de gegevens vanuit de Quick Scan en de KISZ-lijst. een teamscan te ontwikkelen die het functioneren van het multidisciplinaire team onderzoekt. een bruikbare methodiek te ontwikkelen om het patiёntenperspectief inzichtelijk te maken. voor het kwaliteitsdomein Professionele Ontwikkeling een zinvol en praktisch instrument te ontwikkelen waarbij recente ontwikkeling als het GAIA systeem, de CanMeds competenties en IFMS meegenomen moeten worden.

  

  


Page 11

Toetsing versus Educatie Samenvatting Met ‘toetsen’ wordt bedoeld het controleren in hoeverre de maatschap of vakgroep voldoet aan bestaande normen. De term ‘educatie’ heeft betrekking op activiteiten die primair kwaliteitsverbetering tot doel hebben en die niet per se gebaseerd zijn op geaccepteerde normen. In de eerste plaats is het de vraag of toetsen en educatie tegenstellingen zijn of twee kanten van dezelfde medaille. Toetsen kan men zien als een vorm van educatie. Op de tweede plaats hanteren sommige verenigingen eerder de termen educatie en motivatie of zelfevaluatie en zelfreflectie. Uit de interviews is duidelijk geworden dat het zelfevaluatieve element van kwaliteitsvisitaties goed wordt gewaardeerd. Het vernieuwde visitatiemodel (2005) heeft dat element duidelijk versterkt omdat er van maatschappen niet alleen ingevulde instrumenten, maar ook daarop gebaseerde verbeterplannen worden verwacht. Bovendien zijn niet alle instrumenten ontwikkeld op basis van (harde) normen. De meeste verenigingen vinden het toetsende en zelfevaluatieve element met elkaar in evenwicht en geven in getal een verhouding van 50-50 of 40-60 aan. Daar waar het toetsende element de overhand heeft pleit men voor meer aandacht voor het zelfevaluatieve element. Ook is er soms enige terughoudendheid t.a.v. toetsen, vanwege het vertrouwelijke karakter van de visitaties. Daar waar het zelfevaluatieve element van visitatie de overhand heeft vindt men dat er meer accent mag komen voor het toetsende element. Echter, dat mag niet ten koste gaan van de zelfevaluatieve insteek. Zoals reeds aangegeven wordt op dit moment niet tot nauwelijks gebruik gemaakt van kwaliteitsindicatoren binnen de visitatiemethodiek. Om het toetsende karakter te behouden of juist verder uit te bouwen is het in de toekomst wenselijk om kwaliteitsindicatoren en/of (minimale) normen te ontwikkelen op het randvoorwaardelijke en zorginhoudelijke vlak. Het ontwikkelen van indicatoren binnen de WVen waarnaar in eerste instantie bij visitatie gevraagd wordt en die later als norm gebruikt kunnen worden is een proces dat WVen onderschrijven. Ook daar zijn normen het uitgangspunt.

Conclusie Toetsen en zelfevaluatie zijn twee kanten van dezelfde medaille die elkaar aanvullen. Het zelfevaluatieve element van visitatie kan gehandhaafd en/of uitgebreid worden. Uitbreiding kan o.a. door systematisch gebruik van verbeterplannen bij visitaties te bevorderen. definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 12

Daarnaast kunnen WVen worden gestimuleerd en/of ondersteund om (zorginhoudelijke en randvoorwaardelijke) normen te ontwikkelen waarmee het toetsende element van visitaties kan worden versterkt.

Advies 

Het zelfevaluatieve element van visitaties versterken door systematisch gebruik te maken van verbeterplannen.



Meer mogelijkheden creëren om het toetsende element van de visitatie te versterken, zonder het zelfevaluatieve element tekort te doen.



Ontwikkeling van (minimale) normen op het randvoorwaardelijke en zorginhoudelijke vlak waardoor men als visitatiecommissie meer toetsend kan functioneren.


Page 13

Visitatieprocedure Samenvatting

De visitatieprocedure is per wetenschappelijke vereniging verschillend ingevuld, zowel qua inhoud als qua tijdsplanning. In deze paragraaf worden de belangrijkste overeenkomsten en verschillen toegelicht en worden conclusies en adviezen geformuleerd om de procedure te optimaliseren. Daarbij wordt de volgende indeling gehanteerd voor het visitatieproces: 

Voorbereiding



Uitvoering



Verslaglegging



Vervolgprocedure

1.

Voorbereiding

Er zijn WVen, bijvoorbeeld de VRA, die een jaar van tevoren de visitatiedatum aankondigen of vaststellen, zodat de maatschap ruim op tijd kan beginnen met de voorbereidingen. Het merendeel van de kwaliteitsvisitaties wordt een half jaar van te voren gepland. De instrumenten kunnen van de website van de vereniging worden gedownload. De gevisiteerde

Het invullen van vragenlijsten wordt in het oorspronkelijke model meestal door één of twee leden van de maatschap gedaan, waarbij het resultaat binnen de maatschap wordt besproken. Bij het nieuwe model wordt alle maatschapsleden gevraagd om instrumenten in te vullen en ook hier worden deze in de maatschap besproken. Daarnaast worden bij het nieuwe model verbeterplannen verwacht. Niet alle WVen die met het vernieuwde model werken, werken consequent met deze verbeterplannen. De termijn waarbinnen de maatschap de ingevulde instrumenten (inclusief verbeterplannen) aanlevert bij de visitatiecommissie varieert van twee tot acht weken vóór de visitatiedatum. Vanuit te visiteren maatschappen komt soms het bezwaar dat de voorbereiding van de visitaties teveel tijd zou vergen. De aanname is dat het proces bij deze voorbereiding met ICT vereenvoudigd zou kunnen worden. WV-en die werken met ICT geven aan dat het visitatieproces meer efficiёnt verloopt. Terwijl WVen die niet met ICT werken ervaren dat nog veel stukken heen en weer worden gestuurd tussen de WV en de maatschap. Ingevulde vragenlijst(en)/instrumenten/verbeterplannen worden naar de WV of visitatiecommissie ad-hoc gestuurd. Bij het onvolledig of te laat aanleveren van de ingevulde instrumenten is het niet altijd duidelijk wat het gevolg is. Soms besluit de WV om niet te gaan visiteren, soms wordt nog aanvullende informatie opgevraagd. De eis om gevisiteerd te zijn voor het verkrijgen van de herregistratie, blijkt een krachtig middel te zijn voor maatschappen om de ingevulde instrumenten uiteindelijk goed aan te leveren. definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 14

Om de mening van andere gremia in het ziekenhuis te inventariseren hanteren sommige WVen een vragenlijst met bijvoorbeeld 3 sterktes en 3 zwaktes van de betreffende vakgroep of waarin gevraagd wordt naar specifieke items. Hiermee kunnen gesprekspartners zich voorbereiden op de visitatie wat de effectiviteit bevordert. De visiteur

Bij de meeste WVen bespreken de visiteurs onderling de aangeleverde informatie, waarbij zij ingaan op hetgeen hen is opgevallen en welke vragen zij aan bod willen laten komen. Dat kan op de dag van de visitatie, maar soms gebeurt dat ook de avond vóór de visitatie, telefonisch of eventueel live in een hotel in de omgeving waar de visitatie plaatsvindt. De NVA heeft een checklist opgesteld voor deze voorbereiding.

2.

Uitvoering

De visitatiecommissie bestaat uit minimaal twee beroepsgenoten en soms een adviseur of secretariële ondersteuning voor de bewaking van het visitatieproces en/of de verslaglegging. WVen geven aan dat het belangrijk is dat alle betrokkenen open zijn bij de visitatie. Deze openheid kan gestimuleerd worden door bij alle gesprekken aan te geven wat het doel is van de visitatie en door het vertrouwelijke karakter te accentueren. Daarbij speelt de voorzitter van de visitatiecommissie een belangrijke rol. De NVvH geeft aan dat men deze rol verder wil professionaliseren. Door de fusie van ziekenhuizen worden maatschappen steeds groter. Daarnaast visiteren sommige verenigingen ook in academische ziekenhuizen. De instrumenten die gehanteerd worden zijn niet altijd geschikt voor dit soort grote groepen. Opdeling in kleinere eenheden is soms wenselijk of het instrumentarium zou aanpassing behoeven. De VRA visiteert revalidatiegeneeskundige netwerken, waarbij afhankelijk van de grootte van het netwerk bijvoorbeeld 6 locaties in twee dagen gevisiteerd worden. De verbanden van de verschillende locaties binnen het netwerk worden daardoor meer duidelijk dan bij afzonderlijke visitaties. De organisatie van een netwerkvisitatie kost veel tijd en inspanning. Ook de afstemming van de verschillende rapporten vraagt veel afstemming. De NVRO gaan de visitaties afstemmen met de NVMBR en de NVKF. Dat betekent dat elk van deze verenigingen drie of vier visiteurs op pad stuurt: 9 tot 12 visiteurs per visitatie. Ook hier gaat men kijken naar de meest efficiënte en effectieve wijze van visiteren.


Page 15

3.

Verslaglegging

De verslaglegging is vaak een tijdrovende bezigheid. De meeste WVen maken gebruik van standaard formuleringen met daarbij de mogelijkheid voor invoegen van vrije tekst. De meeste WVen nemen de gespreksverslagen met de gesprekspartners op als onderdeel van het visitatieverslag of als bijlage. Sommige WVen geven aan dat veel feitelijkheden worden “overgetypt” uit de aangeleverde gegevens door de maatschap. Vraag is of én welke feitelijkheden onderdeel moeten uitmaken van het rapport. Sommige WVen laten een conceptrapport op feitelijke onjuistheden controleren door de maatschap, waarna het rapport in de (voltallige) visitatiecommissie besproken wordt en als definitieve versie naar de maatschap wordt gestuurd. Andere WVen sturen het rapport pas naar de maatschap nadat het besproken is in de visitatiecommissie. De termijn waarbinnen het verslag bij de maatschap is verschilt van zes weken tot zo’n vier maanden na de visitatie. Deze termijn hangt met name af van hoe vaak de visitatiecommissie vergadert. Uitwisseling van ervaringen tussen WVen met betrekking tot een zinvolle logistiek van de visitatieprocedure kan dat proces wellicht vereenvoudigen. Het aantal gradaties in adviezen is nogal verschillend. Grofweg kunnen we zeggen dat 1/3 deel van de WVen drie gradaties hanteert: adviezen of aanbevelingen, zwaarwegende adviezen en voorwaarden. De andere verenigingen hanteren twee of geen gradaties in de adviezen. De NVN formuleert, indien nodig, aparte adviezen voor de Raad van Bestuur (RvB). Deze adviezen worden dan naar de RvB gestuurd terwijl het gehele rapport naar de maatschap gaat. Vanuit een overkoepelende visitatiecommissie, die bestaat uit negen WVen, worden voorstellen gedaan om de routes van visitatierapporten meer te stroomlijnen. Ook het ter beschikking stellen van de visitatierapporten aan de RvB en de procedure bij het niet uitvoeren van adviezen, komt daarbij aan de orde.

4.

Vervolgprocedure

In de meeste gevallen wordt het visitatierapport naar de maatschap gestuurd en wordt er vijf jaar later opnieuw gevisiteerd. Alleen bij onvoldoende resultaat vragen WVen soms om een terugrapportage en wordt er een hervisitatie na één of twee jaar afgesproken. Wanneer én op welke termijn dat gebeurt is eveneens onderwerp van gesprek in bovengenoemde overkoepelende visitatiecommissie. Hierbij speelt ook de vraag wat WVen kunnen doen als blijkt dat adviezen stelselmatig niet worden opgevolgd. Het ontwerpen van een zorgvuldige procedure om de maatschap tot verbeteringen aan te zetten, is daarbij van belang. Maar ook bepalen wat er gebeurt als maatschappen niet tot (voldoende) verbeteringen in staat blijken te zijn, is onderwerp van discussie. De criteria om vast te stellen wanneer een maatschap wel of niet voldoet zullen per WV verschillen. Het hebben van normen of standpunten waaraan de gevisiteerden worden getoetst, is daarvoor een voorwaarde. Steeds meer verenigingen doen, ook bij maatschappen waar de visitatie succesvol is verlopen, tussentijds navraag bij de maatschap in hoeverre adviezen (kunnen) worden uitgevoerd. Dit gebeurt om de implementatie van adviezen te bevorderen en de effectiviteit van de visitaties daarmee te definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 16

vergroten. Ook blijkt er bij gevisiteerde maatschappen regelmatig behoefte te zijn aan advies omtrent het uitvoeren van aanbevelingen. Er zijn WVen die daarom adviseren om de staffunctionaris Kwaliteit vanuit het ziekenhuis of instelling bij dit proces te betrekken. Sommige WVen geven het advies om tussentijds (na twee of drie jaar) bepaalde instrumenten te herhalen, waarmee ze meer constant aandacht vragen voor kwaliteitszorg. Andere WVen denken erover om de visitaties zodanig in te richten dat maatschappen worden gestimuleerd om jaarlijks aandacht aan de visitatie-instrumenten te besteden. Op deze wijze wordt de aandacht verdeeld over de tussenliggende jaren en is de visitatievoorbereiding geen “haastklus” voor de laatste maanden. Als bij een visitatie blijkt dat adviezen van een vorige visitatie niet zijn uitgevoerd dan worden de adviezen, bij WVen die meerdere gradaties hanteren, bij de volgende visitatie meestal één gradatie hoger. Het belang van uitvoering wordt daarmee onderstreept. Er zijn echter ook WVen die dat principieel niet doen omdat aan de inhoud van het advies niks verandert. Het “opwaarderen” vinden ze daarom niet opportuun. Context van visiteren Tijdens de interviews is aangegeven dat binnen de WVen vraagstukken spelen omtrent hoe men om zou moeten gaan met verzoeken omtrent visitaties op de Nederlandse Antillen, of visitaties van buitenlandse medisch specialisten die in Nederland werkzaam zijn of het visiteren van zelfstandige behandelcentra (ZBC).

Conclusie Op verschillende terreinen kan de effectiviteit en de efficiency van de visitatieprocedure worden verbeterd. Zowel bij de voorbereiding van visitaties als bij uitvoering en verslaglegging kan ICT daar ondersteunend aan zijn. De visiteurs bespreken als voorbereiding op de visitatie de aangeleverde informatie met elkaar door waarbij zij ingaan op hetgeen hen is opgevallen en welke vragen zij aan bod willen laten komen. Openheid is een belangrijke voorwaarde om het maximale uit een visitatie te halen en de voorzitter van de visitatiecommissie speelt hierin een belangrijke rol. Bij visitaties van grote maatschappen, netwerken of multidisciplinaire verbanden kan het visitatieproces minder eenvoudig verlopen en is het voorliggende instrumentarium niet altijd even geschikt. Er is op dit moment veel variatie ten aanzien van het graderen van de adviezen en de routes van visitatierapporten. Ook het ter beschikking stellen van de visitatierapporten aan de RvB en de procedure bij het niet uitvoeren van adviezen is niet eenduidig.


Page 17

Het is steeds meer gangbaar dat verenigingen tussentijds navraag doen bij de maatschap in hoeverre adviezen (kunnen) worden uitgevoerd. Dit gebeurt om de implementatie van adviezen te bevorderen en de effectiviteit van de visitaties daarmee te vergroten. Het is niet altijd mogelijk om het reguliere visitatiemodel toe te passen op alle medisch specialisten, vanwege buitenlandse komaf, werkzaam op de Nederlandse Antillen en/of werkzaam in een ZBC.

Advies

 

Mogelijkheden van ICT ondersteuning bij kwaliteitsvisitatie exploreren waardoor het proces van voorbereiding en de rapportage vereenvoudigd kunnen worden. Alle gesprekspartners informeren over de vragen die tijdens de visitatiegesprekken aan bod komen opdat de gesprekspartners zich optimaal kunnen voorbereiden.



Het is wenselijk om verder te onderzoeken of het noodzakelijk is om de voorzittersrol van de visitatiecommissie ad hoc verder te professionaliseren.



Mogelijkheden onderzoeken om te komen tot een goede en effectieve uitvoering van visitaties van grote maatschappen, netwerken en multidisciplinaire verbanden.



Het is aan te raden om meer eenduidigheid binnen de WVen te bewerkstelligen ten aanzien van het graderen van de adviezen, de routes van visitatierapporten meer te stroomlijnen, het ter beschikking stellen van de visitatierapporten aan de RvB en de procedure bij het niet uitvoeren van adviezen. Dit kan onder meer door het uitwisselen van ervaringen tussen WVen m.b.t. deze materie te stimuleren.



Het is aan te raden om de effectiviteit van visitaties te vergroten door na elke visitatie na ½ of 1 jaar een schriftelijke terugrapportage te vragen omtrent de uitvoering van adviezen en door maatschappen te stimuleren om tussen de visitaties door aandacht te besteden aan de kwaliteitscyclus.



Het kan wenselijk zijn om een staffunctionaris kwaliteit in te zetten als ondersteuning bij uitvoering van aanbevelingen.



Standpunt bepalen omtrent het visiteren van medisch specialisten die (momenteel) een uitzondering vormen. Te denken aan maatschappen/vakgroepen op de Nederlandse Antillen, specialisten van buitenlandse komaf en/of specialisten die werkzaam zijn in een ZBC


Page 18

Rol van de visiteur Samenvatting

Door het zelfevaluerende karakter van de visitatie heeft de visiteur een meer toetsende, becommentariërende, sturende, spiegelende en coachende rol gekregen. De bewaking en bevordering van (de handhaving) van een goede kwaliteit van de patiëntenzorg kunnen zo effectiever dan vroeger, toen het van boven af werd opgelegd, geregeld worden. De gespreksstructuur en cultuur is opener en minder bedreigend geworden, zowel naar elkaar toe, als naar de visitatiecommissie toe. De gevisiteerde maatschap is meer bereid dan voorheen om verantwoording over de geleverde kwaliteit van zorg af te leggen, hetgeen het werk van de visiteur makkelijker maakt. De visiteur is meer raadsman of consultant dan politieagent. Men staat meer open voor verandering en verbetering, omdat men er zelf al over gedacht heeft, zowel over de analyse als over de eventuele oplossingen. Het is belangrijk dat een visiteur algemene praktijkervaring bezit (minimaal 5 jaar geregistreerd als (medisch) specialist) en enthousiast is over kwaliteit. Daarnaast zijn de volgende competenties van belang: communicatief sterk (open vragen stellen, doorvragen, samenvatten, feedback geven), goede luisteraar, flexibel, analytisch, empathisch en betrokken. Een goede taalbeheersing voor een nauwkeurige rapportage is ook een belangrijke vaardigheid wanneer de verslaglegging door de visiteurs zelf wordt verricht. De merendeel van de WVen geeft de visiteurs een training. De training kan bestaan uit training on the job (n= 5), training door een extern adviesbureau (n= 14) of een studiemiddag eens per jaar (n=1). In de training wordt aandacht geschonken aan de methodiek, instrumenten en gesprekstechnieken. Tijdens de interviews is regelmatig aangegeven dat het wenselijk is om een netwerk van visiteurs in te stellen voor het uitwisselen van kennis en vaardigheden.

Conclusie

De visiteur heeft een toetsende, becommentariërende, sturende, spiegelende en coachende rol. Het volgen van een training voor visiteurs is wenselijk en in de training dient aandacht geschonken te worden aan de methodiek, de instrumenten en de gesprekstechnieken. Binnen de WVen leeft de behoefte om een netwerk in te stellen van visiteurs van alle WVen.

Advies  

Het is aan te raden om (aankomend) visiteurs een visitatietraining te laten volgen. Het is aan te bevelen om een netwerk van visiteurs in te stellen voor de uitwisseling van ideeën, kennis en vaardigheden.


Page 19

ICT Samenvatting Alle WVen hebben de formulieren digitaal beschikbaar en deze kunnen gedownload worden via de websites van de verenigingen. De WVen geven aan dat het proces van voorbereiding en verslaglegging met ICT voorzieningen vereenvoudigd zou kunnen worden. Nu wordt nog veel heen en weer gestuurd tussen de WV en de maatschap. Men geeft aan dat het wenselijk is om te komen met een web-based systeem dan wel een model met een landelijk / eigen beheerde database. Uit het systeem zou spiegelinformatie naar voren moeten komen en de administratieve afhandeling zou ook opgenomen moeten worden. Men geeft aan dat het specialist-vriendelijke / gebruiksvriendelijk ICT moet zijn. Een koppeling met andere elektronische systemen, zoals bijvoorbeeld de complicatieregistratie is belangrijk.

De NVvP en de NVVR maken gebruik van het ADAS systeem en de NVVC heeft een webbased visitatiesysteem (cq-web). De ervaringen zijn positief en de systemen verhogen de efficiëntie van het visitatieproces. De NVVR geeft aan dat de benchmarkgegevens als waardevol worden ervaren omdat de cijfers voor zichzelf spreken. De vakgroep kan door middel hiervan zichzelf spiegelen t.o.v. zijn collega’s in het land.

Conclusie Het merendeel van de WVen maakt geen gebruik van ICT ondersteuning maar heeft daar wel behoefte aan om het visitatieproces efficiënter te laten verlopen. Drie WVen maken gebruik van ICT ondersteuning en zijn hier tevreden over.

Advies 

Mogelijkheden van ICT ondersteuning bij kwaliteitsvisitatie exploreren waardoor het proces van voorbereiding en de rapportage vereenvoudigd kunnen worden.


Page 20

Afstemming Samenvatting

Achttien WVen voeren een gecombineerde opleiding - kwaliteitsvisitatie uit. De visitaties worden dan op dezelfde dag uitgevoerd, met twee visitatiecommissies en met twee visitatieverslagen. De datum van de opleidingsvisitatie is vaak leidend. Voor een combinatie wordt gekozen om efficiency redenen. Meer afstemming tussen de beide visitatiemodellen en dan m.n. in de aard van de aan te leveren gegevens, zou wenselijk zijn. De NVA heeft aangegeven dat de afgelopen jaren zogenaamde dubbelvisitaties hebben plaatsgevonden, waarbij beide visitaties gelijktijdig werden uitgevoerd, en waarbij op sommige onderdelen het programma samenviel. Momenteel wordt weer geneigd naar separate visitaties omdat de programmering niet ideaal is voor gezamenlijk optreden, waardoor beide visitaties nadeel heeft van de andere visitatie. De andere WVen hebben deze ervaringen niet teruggekoppeld. Elf WVen voeren nog geen gecombineerde visitatie uit maar het merendeel heeft wel aangegeven dit wenselijk te vinden en een aantal verenigingen zijn ook gecombineerde proefvisitaties aan het voorbereiden. De NVVP heeft daarnaast de wens om de opleidings- en kwaltieitsvisitatie te combineren met de CCKL audit. Men is een proef hiervoor aan het voorbereiden.

Conclusie

Het is wenselijk om te komen tot meer afstemming tussen kwaliteits- en opleidingsvisitatie, waarbij gedacht wordt aan de gegevens die moeten worden aangeleverd en de gezamenlijke planning van de visitatiedag.

Advies 

De mogelijkheden exploreren van verdere afstemming van de opleidings- en kwaliteitsvisitatie en zo mogelijk ook CCKL audit.


Page 21

Overzicht resultaten In onderstaande tabel wordt een overzicht gegeven van de onderzochte onderwerpen die centraal hebben gestaan in het evaluatieonderzoek. In het overzicht wordt het onderwerp aangegeven en bij hoeveel én door welke wetenschappelijke verenigingen het onderzochte onderwerp wordt toegepast.

Tabel 1 Evaluatieonderzoek kwaliteitsvisitatie Onderwerp

Aantal WV

Welke WV

 Oorspronkelijk model

10

NVVC, NVPC, NVvA, NVRO, NVvN, NVN, NVA, NVU, NVNG, VAL

 Nieuwe model

17

NVvP, NOV, NVALT, NVT, NVVP, NVvH, NVMM, NVKG, NVK, NIV, KNO, NVOG, NVR, NOG, NVDV, VRA, NGMDL

 INK model

1

NVVR

 Vooralsnog geen visitatie maar in ontwikkeling Instrumenten

1

VKGN

 Medical Audit

10

NVALT, NVKG, NVR, NVOG, NVK, NVVP, NVDV, VRA, NVvP, NVvH

 KISZ-lijst

16

NOG, NOV, NVALT, NVT, NVOG, NVKG, NVR, NVK, NVVP, NVDV, VRA, KNO, NIV, NVvH, NVvP, NVMM

 Verwijzersenquête

8

NGMDL, NVALT, NVKG, NVT, NVR, NVK, NVVP, VRA, NIV

 Dossieronderzoek

16

NGMDL, NOG, NOV, NVALT, NVKG, NVT, NVR, NVOG, NVK, NVVP, NVDV, VRA, KNO, NIV, NVvH, NVvP

 Complicatiebespreking

11

NGMDL, NOG, NOV, NVKG, NVT, NVR, NVOG, VRA, KNO, NIV, NVvH

 Quick Scan

16

NGMDL, NOG, NOV, NVALT, NVKG, NVR, NVOG, NVK, NVVP, NVDV, VRA, KNO, NIV, NVvH, NVvP, NVA

 Patiёntenenquête

13

NOG, NOV, NVALT, NVKG, NVT, NVR, NVK, NVDV, VRA, KNO, NIV, NVvH, NVvP

 Klachten navragen

5

NVR, NVDV, VRA, KNO, NIV

Model


Page 22

Toetsende en educatieve element in evenwicht  Ja

20

MDL, NOG, NVALT, NVK, NVVP, NVDV, VRA, KNO, NIV, NVVM, NVvH, NVvP, NVVR, NVNG, NVU, NVvN, NVRO, NVvA, NVPC, NVVC

 Nee

5

NVKG, NVT, NVKG, VAL, NVA

Verbeterplannen aanleveren

10

NOG, NVKG, NVT, NVOG, NVK, NVDV, VRA, NIV, NVVM, NVvP

 Ja

18

MDL, NOG, NVALT, NVKG, NVR, KNO, NIV, NVvH, NVvP, NVVR, NVKG, NVNG, NVU, NVA, NVN, NVvA, NVPC, NVVC

 Nee

7

NVVP, NVDV, VRA, NVT, NVVM, VAL, NVRO

 Ja

20

MDL, NOG, NOV, NVALT, NVT, NVR, NVOG, NVVP, KNO, NIV, NVVM, NVvH, NVNG, NVU, NVA, NVN, NVvN, NVRO, NVvA, NVPC

 Nee

8

NVKG, NVDV, VRA, NVvP, NVVR, NVKG, VAL, NVVC

Gebruik van ICT systeem

3

NVvP, NVVR, NVVC,

Afstemming opleiding kwaliteitsvisitatie

18

NVvP, NVvH, NVMM, NIV, KNO, NVK, NVOG, NVR, NVKG, NOV, NGMDL, NVVR, NVVC, NVPC, NVRO, NVN, NVA, NVU

Onderscheid zwaarte adviezen

Onderneemt WV actie om implementatie te bevorderen


Page 23

Advies Het doel van het evaluatieonderzoek is om het visitatiemodel nieuwe stijl te evalueren op bruikbaarheid en innovatievraagstukken binnen de kwaliteitsvisitatie vast te stellen. De Orde is daarom in gesprek gegaan met alle 29 wetenschappelijke verenigingen. De WVen die niet werken met de vernieuwde visitatiemethodiek zijn ook betrokken om te achterhalen welke mening deze verenigingen zijn toegedaan over de visitatie nieuwe stijl. De WVen die werken met het oorspronkelijke model hebben geen inhoudelijke bezwaren bij het nieuwe model maar zijn vaak om praktische redenen niet toegekomen aan een actualisatie. Eén vereniging (NVVR) maakt gebruik van het visitatiemodel volgens het INK-model waarbij principes van de nieuwe stijl zijn toegepast. Men is tevreden over het model. De wetenschappelijke verenigingen hebben aangegeven behoefte te hebben aan het uitwisselen van ideeen en ervaringen betreffende de kwaliteitsvisitatie. Het is aan te bevelen om een netwerk van visiteurs in te stellen om deze uitwisseling tot stand te brengen. In het algemeen kan gesteld worden dat de WVen die werken met het visitatiemodel nieuwe stijl tevreden zijn over de bruikbaarheid. Het zelfevaluatieve element van kwaliteitsvisitaties is door het nieuwe model duidelijk versterkt en dit wordt gewaardeerd. Zij zijn van mening dat de vier kwaliteitsdomeinen; evaluatie van zorg, maatschapsfunctioneren, patiёntenperspectief en professionele ontwikkeling allesomvattend zijn. Over de invulling van de kwaliteitsdomeinen, dus de ontwikkelde instrumenten, zijn suggesties voor verbetering aangedragen. Met name voor de kwaliteitsdomeinen patiёntenperspectief en professionele ontwikkeling is behoefte aan de ontwikkeling van bruikbare en relevante instrumenten. Daarnaast is een aantal instrumenten minder geschikt voor visitatie die plaatsvinden bij solisten, binnen netwerkverband of bij grote/kleine maatschappen. Het is raadzaam om deze instrumenten, te weten de Quick Scan en de KISZ, door te ontwikkelen zodat het ook bruikbaar is voor de medisch specialist werkzaam binnen de genoemde context. Het vernemen van de mening van de verwijzers wordt als belangrijk ervaren. Het voorliggende instrument is echter niet toereikend en het is wenselijk om een bruikbare methodiek te ontwikkelen om het verwijzersperspectief inzichtelijk te maken, waarbij afstemming met het NHG wenselijk is. De methodiek van de ontwikkeling van een Medical Audit zou verder verfijnd moeten worden waarbij de praktische relevantie van het instrument meer centraal moet komen te staan. Om binnen de visitatie zowel het educatieve als het toetsende karakter te behouden of juist verder uit te bouwen is het wenselijk om het gebruik van bestaande kwaliteitsindicatoren en/of (minimale) normen op het randvoorwaardelijke en zorginhoudelijke te stimuleren of juist de ontwikkeling hiervan te ondersteunen. Om de efficiёntie van het visitatieproces te vergroten is het noodzakelijk om de mogelijkheden van ICT ondersteuning bij kwaliteitsvisitatie te exploreren. Verenigingen die gebruik maken van ICT ondersteuning geven aan dat hierdoor het proces van voorbereiding en de rapportage vereenvoudigd wordt. definitief rapport evaluatieonderzoek kwaliteitsvisitatie

Page 24

Het is aan te raden om meer eenduidigheid binnen de WVen te bewerkstelligen ten aanzien van het graderen van de adviezen, de routes van visitatierapporten meer te stroomlijnen, het ter beschikking stellen van de visitatierapporten aan de RvB en de procedure bij het niet uitvoeren van adviezen. Dit kan onder meer door het uitwisselen van ervaringen tussen WVen m.b.t. deze materie te stimuleren. De mogelijkheden exploreren van verdere afstemming van de opleidings- en kwaliteitsvisitatie en zo mogelijk ook CCKL audit is wenselijk, waarbij gedacht kan worden aan de aan te leveren gegevens en de gezamenlijke planning van de visitatiedag.


Page 25

Rapport Evaluatieonderzoek kwaliteitsvisitatie

Recommend Documents