Hogeschool van Utrecht Opleiding:
Mondzorgkunde
Visitatiedata:
7 en 8 juni 2004
© NQA (Netherlands Quality Agency
2
© NQA (Netherlands Quality Agency
Inhoud
3
Deel A:
Onderwerpen 1.1 Voorwoord 1.2 Inleiding 1.3 Werkwijze 1.4 Oordeelsvorming 1.5 Oordelen per onderwerp 1.6 Schematisch overzicht oordelen 1.7 Totaaloordeel
5 7 7 8 10 10 15 15
Deel B:
Facetten Onderwerp 1 Onderwerp 2 Onderwerp 3 Onderwerp 4 Onderwerp 5 Onderwerp 6
17 19 22 31 34 36 39
Deel C:
Doelstellingen van de opleiding Programma Inzet van personeel Voorzieningen Interne kwaliteitszorg Resultaten
Bijlagen Bijlage 1 Onafhankelijkheidsverklaring panelleden Bijlage 2 Beknopt CV Panelleden Bijlage 3 De zelfevaluatie in verband met NVAO accreditatie Vragen en Aanwijzingen Bijlage 4 Beoordelingsprotocol van NQA Bijlage 5 Handreiking voor oordeelsvorming
© NQA (Netherlands Quality Agency)
41 43 45 53 71 89
3
4
© NQA (Netherlands Quality Agency
Deel A: Onderwerpen
© NQA (Netherlands Quality Agency)
5
6
© NQA (Netherlands Quality Agency
Deel A: Onderwerpen
1.1
Voorwoord
In dit rapport doet het panel dat in opdracht van NQA de opleiding Mondzorgkunde van Hogeschool van Utrecht heeft gevisiteerd, verslag van zijn werkwijze, bevindingen en conclusies. Het onderzoek vond plaats in het kader van de accreditatie van hogere beroepsopleidingen. Het onderzoek is feitelijk gestart op 1 mei 2004, het moment waarop de opleiding haar zelfevaluatierapport bij de NQA aanleverde. Een visitatiebezoek vond plaats op maandag 7 en dinsdag 8 juni en werd uitgevoerd door een panel dat bestond uit de volgende personen: Mevrouw dr. H.A.P. Wolfhagen (voorzitter); Mevrouw M.C. Cornips (domeindeskundige); Mevrouw K. van der Burg (student-lid); Mevrouw drs. M.C. van den Berg-Timmerman (NQA-auditor). Dit panel voldoet aan de eisen zoals gesteld in het document Protocol ter beoordeling van de werkwijze van visiterende en beoordelende instanties van de NVAO (12 mei 2003). Het panel beschikt over domeinspecifieke deskundigheid, onderwijs- en auditdeskundigheid en deskundigheid over de internationale ontwikkelingen van de discipline (zie bijlage bij dit rapport). Dit panel was een onderdeel van een groter panel dat vier opleidingen van de faculteit simultaan heeft beoordeeld. Voor de overige drie opleidingen waren nog drie domeindeskundigen en een NQA-auditor toegevoegd. Het rapport bestaat uit drie delen: • deel A: een hoofdrapport, het Onderwerprapport, waarin de oordelen van het panel over de basiskwaliteit van de opleiding op onderwerpniveau worden uitgesproken en de overwegingen waarop die oordelen zijn gebaseerd. Het gaat hier om oordelen in de gradatie positief/negatief. Tevens wordt hier het eindoordeel geformuleerd. • deel B: een detailrapport waarin op facetniveau door het panel oordelen en argumenten ter onderbouwing van dat oordeel worden gegeven. De oordelen gaan hier uit van de vierpuntsschaal zoals die door de NVAO is voorgeschreven. Dit detailrapport vormt de basis van het Onderwerprapport. • deel C: hierin zijn alle relevante bijlagen opgenomen. 1.2
Inleiding
De opleiding Mondzorgkunde maakt deel uit van de Faculteit Gezondheidszorg van de Hogeschool van Utrecht. Deze faculteit is één van de zes faculteiten waaruit de hogeschool bestaat. Naast Mondzorgkunde maken de volgende bacheloropleidingen deel uit van de faculteit: Oefentherapie Cesar, Farmakunde, Verpleegkunde, Fysiotherapie,
© NQA (Netherlands Quality Agency)
7
Optometrie, Orthoptie, Huidtherapie en Logopedie. Er werken circa 265 docenten (147 fte) en er staan ongeveer 3900 studenten ingeschreven. Voor 2000 hebben de ministeries OCenW en VWS besloten om de tot dan toe driejarige opleiding Mondhygiëne om te zetten naar een vierjarige bacheloropleiding. In 2000 hebben de vier Mondhygiëneopleidingen de landelijke projectgroep gevormd. De voltijd bacheloropleiding te Utrecht is in augustus 2002 gestart met haar vierjarige curriculum. Dat betekent dat de eerste afgestudeerden in 2006 de markt zullen betreden. Bij de opleiding stonden in 2002-2003 177 studenten ingeschreven. Het aantal docenten bedroeg toen 26 verdeeld over 12 fte. De student-fte-ratio bedroeg 14,8 De opleiding Mondzorgkunde leidt op tot een breed inzetbare mondzorgkundige die zelfstandig is en eigen verantwoordelijkheid draagt. De beginnend beroepsbeoefenaar is flexibel, kan zich aanpassen aan verschillende situaties, qua taken, patiëntencategorieën en samenwerkingsverbanden en is in staan in complexe situaties probleemoplossend te denken en handelen. De opleiding is voor het laatst gevisiteerd in 1999. Op het moment van visitatie wordt het tweede jaar van het vierjarige competentiegerichte onderwijs verzorgd en is de opleiding bezig het derde en vierde jaar volgens dezelfde uitgangspunten in te richten. Het laatste formele studiejaar van het driejarige curriculum wordt ten tijde van de visitatie afgerond. 1.3
Werkwijze
De visitatie van de opleiding Mondzorgkunde door het panel heeft plaatsgevonden conform de werkwijze zoals die is neergelegd in het beoordelingsprotocol van NQA (zie bijlage) en die hieronder meer in concreto wordt beschreven. Dit houdt tevens in dat het panel heeft vastgesteld dat het zelfevaluatierapport plus de bijlagen een voldoende basis bood voor het visitatiebezoek en dat de visitatie plaats vond op basis van het voor de Mondzorgkunde geldende domeinspecifieke referentiekader (vergelijk facet 1.1 en 1.2). NQA onderscheidt drie fasen in het visiteren: de voorbereidingsfase, het eigenlijke visitatiebezoek en de rapportagefase. Hieronder volgt een korte toelichting per fase. De voorbereidingsfase Allereerst heeft de NQA-auditor het zelfevaluatierapport gecheckt op kwaliteit en compleetheid (de screening) en daarmee op bruikbaarheid voor de visitatie. Nadat het zelfevaluatierapport in orde was bevonden zijn de panelleden zich inhoudelijk gaan voorbereiden op het bezoek. Zij lazen het zelfevaluatierapport (en bijlagen), formuleerden in een Beoordelingsformat voorlopige oordelen op basis van argumenten en zij formuleerden vraagpunten, die doorgegeven werden aan de NQA-auditor. Aangezien de opleiding Mondzorgkunde simultaan is gevisiteerd met de opleidingen Optometrie, Orthoptie en Oefentherapie Cesar, heeft het panel een taakverdeling gehanteerd conform de specialisaties van de panelleden, zie volgend schema:
8
© NQA (Netherlands Quality Agency
Panellid Voorzitter: overstijgende zaken voor alle vier de opleidingen en de vertaalslag van hogeschool en faculteitsbeleid naar de opleidingen en de onderwijskundige inrichting Domeindeskundige: alleen eigen opleiding Student: alle vier opleidingen NQA-panellid: voor twee opleidingen
Facetten die met nadruk zijn bekeken 3.1 t/m 3.3 en 5.1 t/m 5.3
2.2, 2.3, 2.7 en 2.8 1.1 t/m 1.3, 2.1 t/m 2.3, 2.5, 2.7, 2.8, 4.1 en 6.2 2.4, 2.8 en 4.2 2.2 en 2.3, 2.5 t/m 2.8, 5.1 t/m 5.3 en 6.1 en 6.2
Daarnaast had ieder panellid de verantwoordelijkheid om kennis te nemen van de overige onderwerpen en facetten. Op basis van een overzicht van voorlopige oordelen inventariseerde de NQA-auditor tenslotte kernpunten en prioriteiten voor materialenonderzoek en gesprekken. Deze kernpunten en prioriteiten zijn in een voorbereidende bijeenkomst aan de opleiding voorgelegd. Tijdens een voorbereidende vergadering is het visitatiebezoek concreet voorbereid. De opleiding heeft in haar zelfevaluatierapport kenbaar gemaakt voor welk domeinspecifiek referentiekader zij kiest. De NQA-auditor heeft met de domeindeskundige in het panel bekeken of sprake is van adequate domeinspecifieke doelstellingen, of dat nadere aanvulling dan wel nadere specificatie nodig is. In het detailrapport is aangegeven op welke landelijke beroeps- en opleidingsprofielen het domeinspecifieke kader (en het opleidingsprogramma) is gebaseerd. Het visitatiebezoek NQA heeft een Raamwerk bezoekprogramma ontwikkeld voor de (dag-)indeling van het visitatiebezoek dat is aangepast aan de specifieke situatie van de opleiding. Tijdens het visitatiebezoek is gesproken met (een representatieve) vertegenwoordiging van: docenten, studenten, werkveld en afgestudeerden. Daarnaast vonden aan het begin en aan het eind van het visitatiebezoek gesprekken plaats met het management van de opleiding (het operationeel management). Ook vond er, voor de gezamenlijke opleidingen, een gesprek plaats met het faculteitsmanagement als vertegenwoordiging het college van bestuur (het strategisch management). Naast de opleiding Mondzorgkunde werden gelijkertijd drie andere opleidingen van Faculteit Gezondheidszorg gevisiteerd te weten Oefentherapie Cesar, Optometrie en Orthoptie. In overleg met de opleidingen is een geclusterd bezoekprogramma opgesteld (zie bijlage) waarbij het raamwerk bezoekprogramma een leidraad vormde. Aan het begin en tijdens het bezoek is er ter inzage gevraagd materiaal bestudeerd. Tussen de gesprekken door heeft het panel zogenaamde ‘schakelmomenten’ ingelast om de bevindingen uit te wisselen en te komen tot gezamenlijke en meer definitieve (tussen-)oordelen. Daarnaast zijn er extra gesprekken gevoerd met docenten, studenten en de opleidingsdirecteur. De bevindingen zijn, volgens de afgesproken taakverdeling, door ieder panellid, schriftelijk beargumenteerd. Aan het einde van het bezoek heeft de voorzitter een mondelinge terugkoppeling aan het management en geïnteresseerde betrokkenen gegeven van de bevindingen van het panel, zonder expliciete oordelen uit te spreken. © NQA (Netherlands Quality Agency)
9
De fase van rapporteren De NQA-auditor heeft, op basis van de bevindingen van het panel, een conceptrapportage opgesteld en die voorgelegd aan de panelleden. Het panel heeft vervolgens het definitieve concept vastgesteld. Het definitieve conceptrapport is aan de opleiding voorgelegd ter correctie van feitelijke onjuistheden. Naar aanleiding daarvan zijn door de NQA-auditor enkele wijzigingen aangebracht en is het definitieve rapport door het panel vastgesteld. Het visitatie- of beoordelingsrapport is uiteindelijk ter beschikking gesteld aan de opleiding, die het samen met de accreditatieaanvraag kan indienen bij de NVAO. 1.4
Oordeelsvorming
In dit hoofdstuk wordt per onderwerp een oordeel uitgesproken op basis van weging van de facetten die van dat onderwerp deel uitmaken. Bij deze weging spelen de beslisregels zoals die door de NQA in het beoordelingsprotocol (zie bijlage) zijn geformuleerd en nader uitgewerkt in de notitie (zie bijlage) een belangrijke rol. Tevens is bij de beoordeling rekening gehouden met accenten die de opleiding eventueel legt, het domeinspecifieke kader en een vergelijking met andere relevante opleidingen op een aantal aspecten. Het eindoordeel is voorzien van een aanvullende tekst als er sprake is van: • weging van de oordelen op facetniveau; • benchmarking; • generieke bevindingen die het facetniveau overschrijden; • bepaalde accenten respectievelijk ‘best practices’. In de oordelen per onderwerp wordt steeds een herhaling gegeven van de oordelen op de facetten gevolgd door een weging die leidt tot het eindoordeel. De wegingen zullen in dit rapport niet diepgaand zijn, omdat de opleiding op alle facetten minimaal een voldoende heeft gehaald. De (uitgebreide) argumentatie daarvoor is te vinden in het detailrapport. Wat betreft de benchmarking is van belang op te merken dat een internationale vergelijking niet mogelijk is, omdat gegevens van dergelijke opleidingen niet voor handen zijn. Wel is gebruik gemaakt van een internationaal referentiekader. 1.5
Oordelen per onderwerp
1.5.1 Doelstellingen opleiding De drie facetten ‘Niveau bachelor’, ‘Domeinspecifieke eisen’ en ‘Oriëntatie hbo-bachelor’ zijn met een goed beoordeeld. Het oordeel op het onderwerp is derhalve positief. De beschrijving van de drie facetten door de opleiding op dit onderwerp is vergeleken met die van de andere mondzorgkundeopleidingen. De gehanteerde competenties en nadere uitwerkingen daarvan zijn in samenwerking tussen de vier opleidingen Mondzorgkunde ontwikkeld en vastgesteld; tevens wordt landelijk gewerkt aan actualisering van het beroepsprofiel. De opleiding heeft in vergelijking met andere opleidingen niet alleen de gehanteerde generieke kwalificaties gekoppeld aan de Dublin-descriptoren, maar ook een doorkoppeling gemaakt naar de eigen gehanteerde mondzorgkundekwalificaties en dat weergeven in een uitgebreide,
10
© NQA (Netherlands Quality Agency
overzichtelijk matrix. Aandachtpunt is dat de opleiding in feite opleidt voor het beroep Mondzorgkundige waarvoor vanuit de huidige ontwikkelingen het opgestelde beroepsprofiel uit 1999 is aangevuld, maar nog niet is herzien. De vier opleidingen werken aan de totstandkoming van een dergelijk beroepsprofiel. Het panel meent dat de opleidingcompetenties extern zijn geborgd, daar in de stuurgroep van het project vertegenwoordigers van de Nederlandse Vereniging van Mondhygiënisten, de Kamer Tandheelkunde, het Beroepsonderwijs en de volwasseneducatie, het ministerie van VWS en de HBO-raad zijn opgenomen. Tevens heeft het panel vastgesteld dat de opleiding voldoet aan het internationale referentiekader Dental Hygiene Curriculum Proposal for the European Dental Hygiene Federation. Hierin is onder andere het bachelorniveau van de vierjarige Europese opleidingen Mondhygiëne vastgelegd. Dit kader is door de opleiding ontwikkeld en door de European Dental Hygiene Federation goedgekeurd. De opleiding is een van de vier mondzorgkundeopleidingen in Nederland die samen met de opleidingen in Portugal, Litouwen en Zweden een vierjarige Bachelor of Health zijn. 1.5.2 Programma Aan zeven van de acht facetten die tot dit onderwerp behorende facetten is het oordeel ‘voldoende’ toegekend. Het facet ‘duur’ is beoordeeld met een goed. Het oordeel op het onderwerp is derhalve positief. Over het geheel bezien is het feit dat de opleiding deze score heeft behaald het gevolg van de heldere visie die de opleiding heeft op het beroep en didactiek. Deze werken door in inhoud en proces van het onderwijs. Dat heeft geleid tot een consistent beroeps- en praktijkgericht programma. Vooral de werkelijke betrokkenheid van het werkveld heeft een positieve indruk achtergelaten. 1.5.3 Inzet van personeel Alle facetten van dit onderwerp beoordeelt het panel met een voldoende. Het oordeel op dit onderwerp is derhalve positief. Het beleid op opleidingsniveau is gericht op de competentieontwikkeling van docenten. 1.5.4 Voorzieningen Beide facetten ‘Materiële voorzieningen’ en ‘Begeleiding’ zijn als voldoende beoordeeld. Het oordeel op het onderwerp is derhalve positief. Het panel is onder de indruk van de verbeteringen die de opleiding heeft doorgevoerd in de studiebegeleiding. Ook studenten waarderen deze zeer. 1.5.5 Interne kwaliteitszorg De facetten ‘evaluatie resultaten’, ‘maatregelen tot verbetering’ en ‘betrekken van medewerkers, studenten, alumni en beroepenveld ‘ zijn met en voldoende beoordeeld. Het eindoordeel op dit onderwerp is daarom eveneens positief. Bij de opleiding is de afgelopen tijd een duidelijk kwaliteitsbewustzijn tot stand gekomen. Dit wordt gedragen door management en docenten. Het resultaat blijkt uit bij diverse facetten aantoonbare verbeteracties. Daarnaast is er een duidelijke aantoonbare relatie met de Hogeschoolkaders.
© NQA (Netherlands Quality Agency)
11
1.5.6 Resultaten Op beide facetten heeft de opleiding een voldoende. Het eindoordeel op dit onderwerp is daarom ook positief. De rendementen en streefcijfers zijn vooralsnog gericht op de driejarige opleiding, daar van de huidige vierjarige opleiding in 2006 de eerste afgestudeerden worden verwacht. Tabel 1: Algemene gegevens 1 Opleiding Mondzorgkunde Totaal aantal ingeschreven studenten Omvang docerend personeel in fte Student/fte-ratio Totaal aantal docenten
1999 135 8,65 1:15,6 20
2000 151 8,6 1:17,6 19
2001 172 9,2 1:18,7 19
2002 197 9,4 1:21,0 22
2003 177 12 1:14,8 26
Vergelijking van kengetallen van de opleiding met landelijke kengetallen De gegevens van de opleiding worden hieronder vergeleken met landelijke gegevens van de drie andere mondzorgkundeopleidingen2 in Nederland voorzover deze gegevens via de website van de HBO-raad beschikbaar zijn (CRIHO). In de tabel 2a en 2b wordt de instroom vergeleken, in de tabel 3 de rendementsgegevens, uitvalgegevens en gegevens met betrekking tot de gemiddelde studieduur. Tevens vindt een vergelijking plaats met de drie gelijktijdig beoordeelde opleidingen Oefentherapie Cesar, Orthoptie en Optometrie van Hogeschool van Utrecht (tabellen 4a en 4b). Tabel 2a: Instroomgegevens opleiding Mondzorgkunde (instroomcohort eerste keer hogeschool) Instroom Totaal ingestroomde studenten
1997 43
1998 52
1999 61
2000 58
2001 70
2002
2003
58
Tabel 2b: Landelijke instroomgegevens (instroomcohort eerste keer hogeschool) Instroom 1999 2000 2001 2002 Hogeschool van Utrecht 61 58 70 58 Hogeschool X2 67 69 72 74 Hogeschool X3 42 41 42 39 Hogeschool X4 47 45 47 56 Totale instroom landelijk 217 213 231 227
61
2003
1
61 84 40 68 253
De cijfers zijn gebaseerd op het driejarige programma Mondhygiëne. De opleiding heeft in haar zelfevaluatierapport gekozen voor een vergelijking met de andere drie opleidingen Mondhygiëne in Nederland. De gegevens zijn alle gebaseerd op de driejarige programma’s.
2
12
© NQA (Netherlands Quality Agency
Tabel 3: Gegevens opleiding Mondzorgkunde Utrecht (MU) (instroomcohort eerste keer hogeschool) en gemiddelde cijfers vier landelijke opleidingen Mondzorgkunde (ML) 1996 1997 1998 1999 2000 2001 2002 Percentage diploma behaald na 5 MU 88,3 65,9 68,5 jaar ML 83,7 68,9 65,1 Gemiddelde studieduur van MU 35,8 38,6 41,4 41,3 39,5 gediplomeerden instroomcohort ML 35,9 37,9 39,7 39,7 41,1 jaar x (in maanden) Percentage uitval na 1 jaar MU 20,4 11,3 11,9 24,3 25,0 ML 17,4 14,5 23,1 30,0 26,6 MU 14,2 11,7 14,2 13,6 17,2 Gemiddelde studieduur ML 12,9 15,5 15,2 14,6 13,6 studiestakers in maanden van het instroomcohort in jaar x (in jaren) Tabel 4a: Instroomgegevens (instroomcohort eerste keer hogeschool) Instroom 1999 2000 2001 3 Mondzorgkunde 61 58 70 Oefentherapie Cesar 92 121 103 Orthoptie 15 25 28 Totaal ingestroomde studenten voor deze vier opleidingen 263 283 284
2002
2003 58 73 30
61 108 15
212
242
Tabel 4b: Gegevens van de drie gevisiteerde opleidingen Mondzorgkunde (MZ), Oefentherapie Cesar (OC) en Orthoptie (ORT)(instroomcohort eerste keer hogeschool) 1996 1997 1998 1999 2000 2001 2002 Percentage diploma behaald na 5 MZ 88,3 65,9 68,5 jaar OC 83,0 53,4 65,2 ORT 81,2 59,3 65,7 4 GEM 84,2 59,5 66,5 39,5 41,3 41,4 38,6 35,8 MZ Gemiddelde studieduur van 43,2 41,4 41,7 40,2 34,4 OC gediplomeerden instroomcohort 52,1 50,9 44,8 36,2 31,4 ORT jaar x (in maanden) 44,9 44,5 42,6 38,3 33,9 GEM Percentage uitval na 1 jaar MZ 20,4 11,3 11,9 24,3 25,0 OC 20,3 31,6 30,9 18,8 22,0 ORT 31,4 25,0 22,2 43,3 42,9 GEM 24,0 22,6 21,7 28,8 30,0 11,1 13,3 16,2 15,0 7,4 MZ Gemiddelde studieduur 17,1 13,6 10,4 12,3 13,7 studiestakers in maanden van het OC 14,5 16,3 22,3 14,8 12,5 ORT instroomcohort in jaar x (in 14,2 14,4 16,3 14,0 11,2 GEM maanden)
Conclusies ten aanzien van de vergelijking van de kengetallen: • De instroom is redelijk stabiel: jaarlijks 60-70 studenten. • Het opleidingsrendement van de opleiding schommelt rond het gemiddelde rendement van de vier opleidingen Mondzorgkunde en ligt iets hoger dan de andere driejarige opleidingen van de FG. • De uitvalpercentages na 1 jaar zijn gunstig vergeleken met de andere mondzorgkundeopleidingen en vergeleken met de andere twee FG-opleidingen. 3 4
De cijfers van Mondzorgkunde zijn vanaf cohort 2002 gebaseerd op het vierjarige programma GEM=gemiddelde (percentages) over de vier opleidingen
© NQA (Netherlands Quality Agency)
13
•
•
De gemiddelde studieduur van gediplomeerden ligt rond de gemiddelde cijfers voor alle beschreven mondzorgkundeopleidingen. Vergeleken met de FGopleidingen scoort Mondzorgkunde de laatste jaren beter (2-5 maanden kortere studieduur dan gemiddeld). De gemiddelde studieduur van studiestakers is de laatste jaren gunstiger dan bij de andere FG-opleidingen. Uit de gemiddelde landelijke MZ-cijfers blijkt dat de opleiding een aantal jaren gunstig scoorde (kortere studieduur uitvallers). In 2002 studeerden studiestakers in Utrecht echter 3,6 maanden langer.
Verder moet, wat betreft het gerealiseerde niveau, worden opgemerkt dat in 2006 de eerste afgestudeerden van de vierjarige opleiding Mondzorgkunde de markt zullen betreden. Daardoor is het gerealiseerde effect nog niet in volle omvang te bepalen. De argumenten zijn gebaseerd op de gegevens van de driejarige opleiding. Wat betreft het gerealiseerde niveau heeft de opleiding voldoende instrumenten om het behalen van de gerealiseerde kwalificaties op hun validiteit en betrouwbaarheid te waarborgen. De afstudeerwerken werden door het panel als voldoende beroepsgericht en van voldoende hbo-niveau beoordeeld.
14
© NQA (Netherlands Quality Agency
1.6
Schematisch overzicht oordelen
Totaaloverzicht oordelen op facet- en onderwerpniveau Opleiding: Mondzorgkunde Onderwerp/Facet Doelstellingen 1.1 1.2 1.3 Totaaloordeel Programma 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 Totaaloordeel Personeel 3.1 3.2 3.3 Totaaloordeel Voorzieningen 4.1 4.2 Totaaloordeel Kwaliteitszorg 5.1 5.2 5.3 Totaaloordeel Resultaten 6.1 6.2 Totaaloordeel
1.7
Voltijd G G G Positief V V V V V G V V Positief V V V Positief V V Positief V V V Positief V V Positief
Totaaloordeel
Op grond van bovenstaand schema en de inhoudelijke onderbouwing daarvan in paragraaf 1.5 waaruit blijkt dat de opleiding op alle zes de onderwerpen positief scoort, is de conclusie dat het totaaloordeel over de opleiding een POSITIEF oplevert. De opleiding voldoet op alle facetten aan de basiskwaliteit en gaat met het onderwerp ‘Doelstellingen’ bovenuit.
© NQA (Netherlands Quality Agency)
15
16
© NQA (Netherlands Quality Agency
Deel B: Facetten
© NQA (Netherlands Quality Agency)
17
18
© NQA (Netherlands Quality Agency
Deel B:
Onderwerp 1 Facet 1.1
Facetten
DOELSTELLINGEN VAN DE OPLEIDING Niveau bachelor
Goed
Criteria: De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor. De bachelor-eindkwalificaties van de opleiding worden als ‘goed’ beoordeeld. Dit oordeel is gebaseerd op de volgende bewijsvoering: • De opleiding gaat bij haar 17 eindkwalificaties voor de vierjarige opleiding uit van Contouren van een opleiding Mondhygiëne nieuwe stijl. Dit document is ontwikkeld tijdens het landelijke project Transformatie Opleidingen Mondhygiëne waar de opleiding aan deelneemt. • Contouren van een opleiding Mondhygiëne nieuwe stijl is een landelijk vastgesteld opleidingsprofiel. • In Contouren van een opleiding Mondhygiëne nieuwe stijl worden items genoemd die kenmerkend zijn voor het kwalificatieniveau 5 binnen de gezondheidszorg. Deze kenmerken nemen naast de verwerving van de noodzakelijke instrumenteel technische vaardigheden een centrale plaats in. De kenmerken zijn onder andere: communicatie, transfer, wetenschappelijke oriëntatie (evidence based practice) en zelfreflectie. • De opleiding toont in een matrix aan dat de 10 generieke kernkwalificaties zoals geformuleerd door de commissie Franssen in het rapport Prikkelen, presteren, profileren in de 17 gehanteerde competenties zijn terug te vinden. • Voor de aansluiting bij algemene, internationaal geaccepteerde beschrijvingen van de bachelorkwalificaties sluit de opleiding aan bij de ‘Dublin’-descriptoren. De opleiding heeft dit aantoonbaar uitgewerkt in een matrix. Het panel constateert dat de opleiding daarmee tegelijk voldoet aan de ambities van de Faculteit Gezondheidszorg. Elke bachelor opleiding dient bijzonder aandacht te schenken aan het hbo-niveau en beroepsoverstijgende competenties als werken in complexe situaties, professionele ontwikkeling en bijdragen aan kwaliteitsontwikkeling. Zo zal de opleiding zorgverleners opleiden die als professional op hbo-niveau (blijven) functioneren in de complexe steeds veranderende gezondheidszorg. Deze uitgangspunten zijn duidelijk in diverse documenten beschreven. • De opleiding biedt aan haar studenten op Quickplace digitaal de beschrijvingen aan van de competenties en de diverse competentieniveaus. • Het panel heeft vastgesteld dat de opleiding voldoet aan het internationale referentiekader Dental Hygiene Curriculum Proposal for the European Dental Hygiene Federation. Hierin is onder andere het bachelorniveau van de vierjarige Europese opleidingen Mondhygiëne vastgelegd. Dit kader is door de gezamenlijke Nederlandse
© NQA (Netherlands Quality Agency)
19
vier opleidingen vastgesteld, door de European Dental Hygiene Federation goedgekeurd en ligt ten grondslag aan de bovengenoemde Contourennota.
Facet 1.2
Domeinspecifieke eisen
Goed
Criteria: De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). De domeinspecifieke eisen van de opleiding worden als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gestaafd: • De opleiding leidt op tot een breed inzetbare mondzorgkundige die zelfstandig is en eigen verantwoordelijkheid draagt. De beginnend beroepsbeoefenaar is flexibel, kan zich aanpassen aan verschillende situaties, qua taken, patiëntencategorieën en samenwerkingsverbanden en is in staan in complexe situaties probleemoplossend te denken en handelen. • In het document Contouren van een opleiding Mondhygiëne nieuwe stijl is een landelijk opleidingsprofiel vastgelegd, waarvoor een aantal documenten als input heeft gediend. Het panel noemt er drie: de wet BIG, waarvan artikelen 34, 39 en 40 (1997), de adviezen van de Verkenningscommissie van de HBO-raad over de toekomst van het hoger gezondheidszorgonderwijs (1999) en de adviezen van de Raad voor de Volksgezondheid en Zorg over professionals in de gezondheidszorg (2000). • De domeinspecifieke eindkwalificaties worden geconcretiseerd in de competentiegebieden I ‘werken met en voor cliënten’ en II ‘werken in en vanuit een organisatie’. Het gaat hierbij om de competenties 1 t/m 13. • Het in 1999 door de Nederlandse Vereniging van Mondhygiënisten opgestelde beroepsprofiel is nog niet herzien, maar vanuit de huidige ontwikkelingen aangevuld. Desondanks meent het panel dat de opleidingcompetenties extern zijn geborgd, daar in de stuurgroep van het project vertegenwoordigers van de Nederlandse Vereniging van Mondhygiënisten, de Kamer Tandheelkunde, het Beroepsonderwijs en de volwasseneducatie, het ministerie van VWS en de HBO-raad zijn opgenomen. • Het panel heeft vastgesteld dat de opleiding voldoet aan het internationale referentiekader Dental Hygiene Curriculum Proposal for the European Dental Hygiene Federation. Hierin is onder andere het bachelorniveau van de vierjarige Europese opleidingen Mondhygiëne vastgelegd. • De opleiding stelt dat het innovatieproces in relatie tot het beroepenveld wordt geborgd door de participatie in de regiogroep op de mondzorg (Ministerie VWS), waarin alle beroepsverenigingen en -opleidingen in het domein zijn vertegenwoordigd. • De opleiding heeft de kwalificaties uit Contouren van een opleiding Mondhygiëne nieuwe stijl integraal overgenomen.
20
© NQA (Netherlands Quality Agency
•
De opleiding heeft de eindkwalificaties ter informatie gepresenteerd aan haar eigen beroepenveldcommissie. Het panel heeft dit kunnen vaststellen in de notulen van dit overleg en in het gesprek met vertegenwoordigers van deze commissie.
Facet 1.3
Oriëntatie hbo-bachelor
Goed
Criteria: De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een hbo-opleiding vereist is of dienstig is. De oriëntatie op het bachelorniveau van de eindkwalificaties wordt als ‘goed’ beoordeeld. Het oordeel is gebaseerd op de volgende argumenten: • Doel van de faculteit is dat de studenten worden opgeleid tot deskundigen die complexe kennis kan toepassen in individuele patiëntenrelaties, werkt vanuit een vraaggerichte zorgopvatting, handelt volgens professionele standaarden en investeert in het innoveren van zorg. Hij is tevens een teamspeler die samen met het management en andere professionals zorg draagt voor een integrale zorgverlening. Deze aspecten zijn uitgewerkt naar de 10 hbo-competenties van een bachelor. • De faculteit Gezondheidszorg stelt dat elk van haar bacheloropleidingen bijzonder aandacht dient te schenken aan het hbo-niveau en beroepsoverstijgende competenties als werken in complexe situaties, professionele ontwikkeling en bijdragen aan kwaliteitsontwikkeling. Het facultair kwalificatieprofiel is beschreven in het document Van Competenties naar Curriculum; een ontwikkelingsperspectief voor onderwijs in de faculteit Gezondheidszorg (2003). Dit document is besproken in de diverse beroepenveldcommissies van de faculteit. • Het panel heeft geconstateerd dat de opleiding deze eisen in een matrix in relatie tot de 17 competenties van de mondzorgkundige heeft uiteengezet. Hiermee wordt geborgd dat er zorgverleners worden opgeleid die als professional op hbo-niveau (blijven) functioneren in de complexe steeds veranderende gezondheidszorg (vergelijk facet 1.1). • De beroepsvisie van de opleiding is voor een belangrijk deel gebaseerd op het beroepsprofiel Mondhygiëniste, aangevuld met een aantal nieuwe competenties. • De 17 competenties zijn op vijf niveaus beschreven. Niveau 5 weerspiegelt de competenties van de startende mondzorgkundige. • Het panel stelt vast, dat de opleidingcompetenties extern zijn geborgd, daar in de stuurgroep van het landelijke project Transformatie Opleidingen Mondhygiëne vertegenwoordigers van de Nederlandse Vereniging van Mondhygiënisten, de Kamer Tandheelkunde, het Beroepsonderwijs en de volwasseneducatie, het ministerie van VWS en de HBO-raad zijn opgenomen.
© NQA (Netherlands Quality Agency)
21
•
De opleiding heeft de eindkwalificaties ter informatie voorgelegd aan haar beroepenveldcommissie.
Onderwerp 2 Facet 2.1
PROGRAMMA Eisen hbo
Voldoende
Criteria: Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline. Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: • Het onderwijs is competentiegericht. In alle studiejaren werkt de student aan de 17 competenties (vergelijk facet 1.1) die verdeeld zijn over drie competentiegebieden: ‘werken met en voor de patiënt’, ‘werken in een organisatie’ en ‘werken aan de eigen professionaliteit’. • Elk studiejaar is verdeeld in vier periodes van elk 15 credits waarin per blok 3 thema’s centraal staan. De curriculumopbouw is concentrisch, waarbij de diverse programmainhouden zijn bepaald vanuit vijf leerlijnen: o in de integrale leerlijn stimuleert de tutor de studenten tot het uitvoeren van taakopdrachten. Regelmatig is een casus het uitgangspunt. De mate van complexiteit neemt toe naarmate de studie vordert; o de praktijkleerlijn confronteert de student met praktijksituaties met een toenemende complexiteit, binnen én buiten de aan de opleiding verbonden kliniek; o in de conceptuele leerlijn is een casus, een praktijksituatie of een reflectie het uitgangspunt voor het aanleren van concepten, modellen of basiskennis; o in de reflectieve leerlijn leert de student reflecteren op de eerste drie leerlijnen en op het uitoefenen van het beroep; o in de studieloopbaanleerlijn wordt de student ondersteund bij het oppakken van de regie van zijn studie met toenemende zelfstandigheid. De resultaten van de vier andere leerlijnen zijn de uitgangspunten in de gesprekken met de coach. • In een bijlage bij Contouren van een opleiding Mondhygiëne nieuwe stijl is uitgewerkt hoe de vijf leerlijnen in het programma zijn ingezet. • Per leerlijn is expliciet vastgesteld hoeveel credits deze per jaar moet omvatten. • Het panel stelt op grond van bekeken boeken, themaboeken en readers vast dat het studiemateriaal en de gebruikte casuïstieken actueel en beroepsgericht zijn. • De opleiding waarborgt de verbanden met de actuele (internationale) beroepspraktijk, doordat:
22
© NQA (Netherlands Quality Agency
•
•
•
• •
•
•
•
•
o veel docenten werkzaam zijn in het werkveld; o (buitenlandse) stageverlenende instellingen door stagedocenten worden bezocht; o professionals uit de beroepenveldcommissie de opleiding adviseren; o de opleiding gebruik maakt van buitenlandse gastdocenten. Studenten komen aantoonbaar in aanraking met de beroepspraktijk. In het eerste jaar doen ze ervaring op in de binnenschoolse praktijk; daarnaast vervullen ze een oriënterende stage in de algemene gezondheidszorg. In het tweede jaar combineren de studenten twee praktijkdagen binnen de schoolkliniek met een toenemend aantal dagen in een externe stagepraktijk: het aantal dagen en de complexiteit van hun taken hangen daarbij af van de mate waarin zij hun competenties beheersen. Het stageprogramma voor het derde en vierde jaar is in concept ontwikkeld. In het derde jaar gaan studenten stage lopen in relevante werkvelden. In het vierde jaar wordt de stage gekoppeld aan de afstudeeropdracht. Het afstudeerproject is in concept beschreven. Het is mogelijk om stage in het buitenland te lopen. Het panel constateert dat de opleiding daarmee aansluit op het faculteitsbrede beleid rondom ‘International Health Studies’. Uit de bekeken stageverslagen blijkt dat de stageopdrachten relevant zijn. Het panel constateert dat Evidence based handelen in de praktijkleerlijn en (wetenschappelijke) literatuur/onderzoek een duidelijk rol in de conceptuele leerlijn innemen. Daarbij heeft zij ook, zij het in beperkte mate, Engelstalige literatuur aangetroffen. Het majorprogramma bestaat uit 210 ECTS. Studenten kunnen vanaf het studiejaar 2004/2005 meerdere minorprogramma’s kiezen. De faculteit biedt er twee aan. Daarnaast ontwikkelt de opleiding in samenwerking met de andere mondzorgkundeopleidingen in Nederland andere minorprogramma’s. Uit het bestudeerde materiaal blijkt dat de opleiding mondelinge onderwijsevaluaties met jaarvertegenwoordigers (studenten) houdt en schriftelijk evalueert met docenten. De opleiding toont in diverse documenten aan dat het innovatieteam van de opleiding deze gegevens analyseert. Het programma wordt op basis hiervan in overleg met de betrokken docenten gewijzigd. Het programma is voor de eerste twee studiejaren volledig en voor het derde studiejaar gedeeltelijk ontwikkeld. Het panel heeft een groot aantal documenten van het derde studiejaar ingezien. De contouren van het vierde studiejaar zijn duidelijk beschreven in het document Contouren van een opleiding Mondhygiëne nieuwe stijl. Het panel meent dat het verder ontwikkelen en afronden van het volledige programma haalbaar is in de tijd die daar voor staat. Dat het programma nog niet volledig is uitgevoerd, immers er zijn nog geen afgestudeerden van de vierjarige opleiding, is de reden waarom het panel niet het oordeel ‘goed’ heeft uitgesproken. Zij sluit dit oordeel voor de toekomst niet uit.
© NQA (Netherlands Quality Agency)
23
Facet 2.2
Relatie doelstellingen en inhoud programma
Voldoende
Criteria: Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken. Het oordeel ‘voldoende’ wordt gestaafd door de volgende argumenten: • De opleiding gaat bij haar onderwijsprogramma uit van de volgende uitgangspunten: o toenemende mate van zelfsturing; o toenemende mate van integratie; o toenemende mate van complexiteit; o toenemende mate van competent zijn; o afnemende bemoeizorg van begeleider, leeromgeving, opleiding; o ruimer wordende werkpraktijk. • Het panel constateert dat deze principes in de vormgeving en onderwijsinhouden tot hun recht komen door de gekozen jaarthema’s, te weten: ‘de kiezende student/oriëntatie/verkenner’, ‘de student mondzorgkunde’, ‘de aspirantmondzorgkundige’ en de ‘aspirant-professional’. In deze jaarthema’s staan duidelijke leervragen centraal, die oplopen in complexiteit. Zij zijn gebaseerd op het beroepsmatig handelen van de mondzorgkundige waarbij de patiënt centraal staat. • De opleiding voldoet aan de uitgangspunten van de Faculteit Gezondheidszorg om ‘toekomstgericht’ onderwijs aan te bieden. Het faculteitsbrede document van Competenties naar Curricula; een onderwijsperspectief voor onderwijs in de faculteit Gezondheidszorg (2003) geeft hiervoor duidelijke kaders. • Het panel heeft geconstateerd dat de opleiding 17 competenties uit het landelijke document Contouren van een opleiding Mondhygiëne nieuwe stijl heeft vertaald in haar tot nu toe ontwikkelde onderwijsprogramma. • De studenten werken vanaf de start van het programma aan alle competentieclusters. • De beoogde eindkwalificaties per niveau staan vermeld in de Studiegids en in het document Het Toetscriteriaboekje. • In elke periodeboek is vermeld wat het doel van de opdrachten is, met een concrete beschrijving van de activiteiten en een indicatie van de tijdsbesteding. Het panel merkt echter op dat in het studiemateriaal niet altijd beschreven is aan welke competentie wordt gewerkt dan wel welk doel moet worden bereikt. Uit het gesprek met docenten blijkt dat zij zich hiervan bewust zijn. Het verbeterbeleid is in uitvoering. • De opleiding hanteert tutorhandleidingen, waarin onder andere de doelen, de competentieniveaus, de beoordelingsprocedure en het weekschema zijn beschreven. • In het digitale programma Quickplace (dat bestaat sinds september 2003) staat de samenstelling van het eerste jaar van het studieprogramma beschreven. Het panel
24
© NQA (Netherlands Quality Agency
• •
constateert dat het tweede studiejaar gedeeltelijk is beschreven. Via Quickplace zijn ook andere programmafuncties, zoals roosters en cijfers via de studentenmail bereikbaar. Voor 2003 werkten studenten met een digitaal portfolio. Dit is vervangen door Quickplace. Stap voor stap maakt de student gebruik van Quickplace voor het samenstellen van het portfolio. Het panel vindt dit een positieve ontwikkeling. Aandachtspunt is het feit dat studenten opmerken dat de intensiteit van hun gebruik van Quickplace nog te afhankelijk is van de stimulans van de individuele mentor/coach. Het panel vindt het positief dat een docent duidelijk de contactpersoon is voor de studenten wat betreft het gebruik van Quickplace. Uit de periode-evaluaties en de gesprekken met studenten en docenten blijkt dat de studenten in staat zijn de vereiste competentieniveaus met het tot nu toe ontwikkelde en uitgevoerde programma kunnen behalen.
Facet 2.3
Samenhang in het opleidingsprogramma
Voldoende
Criteria: Studenten volgen een inhoudelijk samenhangend opleidingsprogramma. Het oordeel ‘voldoende’ is gebaseerd op de volgende overwegingen: • De opleiding stelt in haar zelfevaluatierapport dat de thema’s in de studieperioden de leidraad zijn voor de samenhang in het opleidingsprogramma (vergelijk facet 2.2). • Uit het materiaal blijkt, dat het programma, voor zover ontwikkeld, in de leerlijnen aansluit op het thema in de leerperiode. • De keuze van de thema’s is gebaseerd op het beroepsmatig handelen van de mondzorgkundige waarbij de patiënt centraal staat. • Het panel constateert dat de diverse leerlijnen de samenhang van het programma zichtbaar maken (vergelijk facet 2.1). • De samenhang in het programma komt bovendien tot uiting in de keuze voor integrale toetsing, zoals koepeltoetsen en assessments. In de toetssituaties worden cognitie, praktische vaardigheden en inzicht in voldoende mate geïntegreerd. • In het tweede studiejaar lopen de interne en externe praktijkleerlijn evenwijdig. Deze integratie is ingevoerd naar aanleiding van de evaluatie van het driejarige curriculum. Uit de HBO-monitor bleek namelijk dat er een minder goede afstemming was tussen de interne en externe praktijk. De effecten van deze verandering zullen tijdens het jaarlijkse Studententevredenheidsonderzoek worden gemeten. Bovendien meet de opleiding de effecten bij interne en externe praktijkbegeleiders. • Uit de gesprekken met studenten blijkt dat vooral de eerstejaars de samenhang tussen de programmaonderdelen in het nieuwe curriculum positief beoordelen. Het panel constateert dat de opleiding aantoonbaar werkt aan de samenhang van haar programma. • Het panel constateert dat de samenhang in de organisatie wordt gewaarborgd. Een van de docenten binnen een leerlijn (integrale leerlijn, de praktijkleerlijn en in de
© NQA (Netherlands Quality Agency)
25
• •
combinatie van de reflectie- en studieloopbaanleerlijn) is verantwoordelijk voor de coördinatie. Zij zijn per cohort gedrieën aantoonbaar verantwoordelijk voor het plannen en uitvoeren van het onderwijs en de resultaten daarvan. Een van hen is aangesteld als cohortcoördinator en verantwoordelijk voor het onderwijsprogramma en de afstemming tussen docenten die het onderwijs in de leerlijnen coördineren. Uit het gesprek met het opleidingsmanagement blijkt dat de samenhang een wekelijks gesprekspunt is in het overleg tussen management en cohortcoördinatoren. Studenten oordelen positief over de samenhang van het ‘oude’ driejarige opleiding. Dat het vierjarige programma nog niet volledig is uitgevoerd, immers nog geen afgestudeerden van de vierjarige opleiding, is de reden waarom het panel nog niet het oordeel ‘goed’ heeft uitgesproken.
Facet 2.4
Studielast
Voldoende
Criteria: Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen. Het oordeel ‘voldoende’ wordt gestaafd door de volgende argumenten: • Om de studielast evenredig te verdelen over het curriculum, heeft de opleiding een aantal uitgangspunten geformuleerd: o het curriculum bestaat uit 16 thematische gekarakteriseerde perioden; o elk jaar bestaat uit 4 perioden; o iedere periode bestaat uit 10 of 11 weken; o de studielast bedraagt 1680 uur per jaar ( 60 credits), gemiddeld 40 uur per week. • Iedere periode wordt afgesloten met een summatieve of formatieve beoordeling. Het panel meent dat het toetsbeleid bijdraagt aan de studeerbaarheid van het programma. • De student komt in aanmerking voor een bindend studieadvies indien hij: o minder dan 42 credits uit het propedeuseprogramma heeft gehaald of minder dan 70% van de credits uit elke leerlijn; o een onvoldoende heeft gehaald voor één of meer onderdelen van de studieloopbaan- of de reflectieleerlijn. • Het panel vindt het positief dat de opleiding, daar waar het directe patiëntenbehandeling betreft, studiedrempels heeft opgeworpen voordat studenten in de praktijksituaties werkzaam mogen zijn. Daarmee wil men de kwaliteit van de zorg garanderen. Studenten moeten een aantal opdrachten minimaal met een voldoende afronden. • In de studiegids is voor het ontwikkelde programma per leerlijn per periode beschreven wat de studiebelasting is. Dit geeft sturing aan de studieplanning van studenten. • Uit de gesprekken blijkt dat studenten in het eerste jaar door de coaches worden gestimuleerd om gelijke tred te houden met het studieschema.
26
© NQA (Netherlands Quality Agency
•
• •
•
•
Elke student houdt een Persoonlijk Ontwikkelplan (POP) bij. Dit plan maakt elke student op basis van een nul-assessment. In functioneringsgesprekken met de coach worden deze besproken en komen eventuele belemmerende factoren in beeld. Op basis daarvan geeft de coach advies. Uit de gesprekken en het bekeken materiaal blijkt dat de functioneringsgesprekken daadwerkelijk worden gehouden. Voor studievertragers wordt extra coaching aangeboden. Tijdens de gesprekken merken studenten met een mbo-diploma op dat de propedeuse door hen zwaarder wordt ervaren. Ook aan deze studenten wordt extra coaching aangeboden. De ervaringen van de studenten met de studeerbaarheid is vastgelegd in verslagen van overleggen van jaarvertegenwoordigers. Hieruit blijkt dat zij over het algemeen tevreden zijn over de studeerbaarheid. Wisselend tevreden zijn zij over de bereikbaarheid van docenten en zij niet tevreden zijn over de snelheid waarmee toetsuitslagen bekend worden gemaakt. Uit het evaluatierapport van een kwaliteitsonderzoek van een derdejaars student, blijkt dat de studenten de opleiding over het algemeen als zeer studeerbaar ervaren.
Facet 2.5
Instroom
Voldoende
Criteria: Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: vwo, havo, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek. Het oordeel ‘voldoende’ is gebaseerd op de volgende bewijsvoering: • Uitgangspunt van de opleiding is dat studenten van het ‘studiehuis’ in principe moeten kunnen aansluiten bij de zelfstandige werkvormen en vaak abstracte vaardigheden binnen het hoger onderwijs. • Bij alle leerlijnen wordt aandacht besteed aan de introductie van het competentiegericht leren en de daarbij behorende werkvormen. • Iedere student doet een nul-assessment. De uitkomst neemt hij mee in zijn POP. Elke student wordt door een coach begeleid in de studieloopbaanleerlijn (vergelijk facet 4.2). • De vooropleidingseisen komen overeen met die van het facultaire beleid zoals deze zijn vastgelegd in het Onderwijs- en Examenreglement HvU (2003). Daarin is naast de regelingen voor reguliere instromers ook de 21+ regeling beschreven, waarin de toelatingseisen zijn beschreven voor instromende studenten ouder dan 21 jaar. • Instroommogelijkheden zijn ook duidelijk beschreven in de studiegids en in de voorlichtingsbrochure. De laatste is een informatieve brochure die volledig is afgestemd op het nieuwe studieprogramma. Bij de voorlichting maakt de opleiding tevens gebruik van een landelijk ontwikkelde cd-rom over de professie. • De notitie Procedure speciale toelatingen is van kracht voor aankomende (buitenlandse) studenten, die niet voldoen aan de eisen die zijn beschreven in het
© NQA (Netherlands Quality Agency)
27
• •
• •
•
•
•
•
Onderwijs- en Examenreglement HvU (2003). Een contactpersoon van de opleiding participeert in faculteitsbrede commissie, die het geformuleerde beleid verder uitwerkt. Studenten met een havo- of vwo-diploma zijn toelaatbaar ongeacht welk profiel ze volgen. Als uit de instaptoets blijkt dat studenten onvoldoende kennis hebben over scheikunde, natuurkunde en/of biologie kunnen zij in de vrije studieruimte een deficiëntieprogramma van de faculteit gezondheidszorg volgen. Kennis van deze domeinen is niet langer een voorwaarde, maar vindt de opleiding wel wenselijk. Uit de studiegids blijkt dat er vooralsnog geen vormen van differentiatie in leerwegen en/of differentiatie naar tempo mogelijk is. De opleiding ontwikkelt beleid over versnellingsroutes op basis van Eerder Verkregen competenties (evc’s). Versnelling in de praktijkleerlijn, dan wel gedeeltelijke vrijstelling van een studieonderdeel is al mogelijk. Op basis van studentenevaluaties heeft de opleiding het propedeuseprogramma van cohort 2003 aangepast. Doordat meer aandacht wordt besteed aan de beroepsinhoud, blijkt uit de gesprekken met het panel dat de oriënterende functie van het propedeuseprogramma is versterkt. Uit exitinterviews en gesprekken blijkt dat het propedeuseprogramma voor studenten met een mbo-diploma een (te) hoog abstractieniveau heeft. Hierdoor is de uitval van deze studenten in het eerste studiejaar hoog (80%). Uit gesprekken en documenten blijkt, dat aan deze studenten extra individuele begeleiding wordt gegeven. Er is geen directe afstemming tussen de opleiding en relevante middelbare beroepsopleidingen binnen Regionale Opleiding Centra. Deze contacten verlopen op faculteits- en hogeschoolniveau. De implementatie van een nieuw evaluatiesysteem OSIRIS maakt het mogelijk om de resultaten van studenten te monitoren en te analyseren naar de diverse instroomniveaus. Op basis hiervan zal de opleiding verder beleid ontwikkelen gericht op de differentiaties binnen de instroom.
Facet 2.6
Duur
Goed
Criteria: De opleiding voldoet aan formele eisen met betrekking tot de omvang van het curriculum: hbo-bachelor: 240 studiepunten. Het oordeel ‘goed’ wordt door de volgende argumenten gestaafd: • De opleiding voldoet aan de wettelijke studielast van 240 studiepunten, waarvan 210 ECTS in het majorprogramma en een profileringsruimte van 30 verdeeld over het tweede, derde en vierde jaar. • Per studiejaar is een studielast van 60 studiepunten geprogrammeerd, die over vier perioden van elk 15 studiepunten zijn verdeeld. • In de studiegidsen en de periodeboeken wordt per onderwijseenheid en per studieactiviteit een verantwoording gegeven van de studielast. Ook zijn de
28
© NQA (Netherlands Quality Agency
studiepunten toegekend aan de nog niet volledig ontwikkelde studiejaren en verdeeld over de verschillende periodes en thema’s.
Facet 2.7
Afstemming tussen vormgeving en inhoud
Voldoende
Criteria: Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept. Het oordeel ‘voldoende’ is gebaseerd op de volgende bewijsvoering: • De opleiding heeft haar nieuwe curriculum, voor zover ontwikkeld, duidelijk beroepsgericht en studentgecentreerd ingericht. Zij sluit daarbij aan op de didactische en onderwijskundige visie van de hogeschool en Faculteit Gezondheidszorg. Deze zijn beschreven in de nota’s Uitgangspunten (2002), Actuele curricula FG (2001 t/m 2003) en Zelfevaluatie Faculteit Gezondheidszorg (2004). • Het didactisch concept kenmerkt zich door: concentrisch leren, leren in een sociale context, leren in beroepsgerichte en competentiegerichte leeromgeving, variatie aan werkvormen gericht op de onderwijsdoelen, toetsen in dienst van het leerproces door bijvoorbeeld integratieve kennistoetsen, eigen verantwoordelijkheid van de student voor zijn leerproces en de docent is de regisseur van leerprocessen. • Uit het bestudeerde materiaal en de gesprekken met docenten blijkt, dat de invulling van de opdrachten in iedere leerlijn (vergelijk facet 2.1) zijn gebaseerd op de notitie Werkvormen en opdrachten in vijf leerlijnen. • Werkvormen die gebruikt worden zijn onder andere: projectopdrachten, hoor- en responsiecolleges, probleem gestuurd onderwijs (PGO) en patiëntenbehandeling op de practicumzaal. • Uit studentenevaluaties en de gesprekken blijkt dat studenten hierover in het algemeen positief oordelen. Problemen worden door docenten en opleidingsmanagement aangepakt en hebben geleid tot aantoonbare aanpassingen. • Het nieuwe curriculum is nog niet volledig uitgevoerd en daarmee is het gerealiseerde effect nog niet volledig te bepalen. Dat is de reden voor het feit dat de opleiding het oordeel ‘voldoende’ krijgt.
Facet 2.8
Beoordeling en toetsing
Voldoende
Criteria: Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.
© NQA (Netherlands Quality Agency)
29
Het oordeel ‘voldoende’ wordt onderbouwd met de volgende argumenten: • De Faculteit Gezondheidszorg heeft een toetsbeleid ontwikkeld dat leidend is voor het uitgevoerde programma. Dit is vastgelegd in een notitie Toetsen en assessments. • Uit de gesprekken en documenten blijkt dat de uitvoering en borging van het beleid plaatsvindt onder verantwoordelijkheid van de cohortcoördinator. • Een toetscommissie, die kwaliteit van de toetsing bewaakt en de docenten ondersteunt bij het samenstellen van toetsen, is in ontwikkeling. • Het panel constateert dat de opleiding bij de toetsenontwikkeling uitgaat van de competenties en bijbehorende niveaus die in de betreffende periode behaald moeten worden. De toetsvormen zijn onder andere de koepeltoets, het reflectieverslag, een zelf-, medestudent- en expertassessment, presentatie, projectverslag en afstudeerscriptie. • Na elke toets analyseren betrokken docenten het resultaat en de evaluatie van studenten. • Het panel meent dat de vormen en inhoud van de toetsen en de bijbehorende criteria aansluiten bij het competentiegerichte curriculum en dat de toetsvormen adequaat zijn. • Studenten stellen dat de inhoud en het niveau van de toetsen zijn afgestemd op de inhoud van de gemaakte opdrachten. • Studenten merken in de gesprekken met het panel echter op dat het soms niet duidelijk is welk kennisniveau van hen wordt verwacht en ‘hoe diepgaand zij moeten leren’ voor bijvoorbeeld de koepeltoets. • Stages worden beoordeeld aan de hand van criterialijsten. • Tijdens de patiëntenbehandelingen worden de competenties van de student door de praktijkdocenten vastgelegd op een competentiekaart. • In de studiegids staat per onderwijsonderdeel opgenomen welke toetsvormen en bijbehorende beoordelingscriteria worden gebruikt. Daarnaast krijgen de studenten aan het begin van elke periode uitgelegd hoe het toetsen in de periode zal plaatsvinden. • De regeling rondom de feedback op de toetsen aan studenten staat in het document Onderwijs- en Examenreglement Opleiding Mondzorgkunde beschreven. Studenten merken op dat de uitslag van toetsen nogal op zich laten wachten. Dit wordt bevestigd in de studentenevaluaties. • Uit het verslag van de evaluatiegesprekken met de jaarvertegenwoordigers blijkt dat studenten knelpunten hebben gesignaleerd in de instructies en de vraagstellingen bij de assessments. Op basis daarvan zijn aantoonbare verbeteringen aangebracht.
30
© NQA (Netherlands Quality Agency
Onderwerp 3 Facet 3.1
INZET VAN PERSONEEL Eisen hbo
Voldoende
Criteria: Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. Het oordeel ‘voldoende’ is gebaseerd op de volgende argumenten: • In het aanstellingsbeleid van de Faculteit Gezondheidszorg zijn didactische kwaliteiten evenals een directe relatie met de beroepspraktijk essentieel voor het docentschap. • In het personeelsplan is bepaald dat alle docenten met een aanstelling die groter of gelijk is aan 0,4 fte: o gecertificeerd moeten zijn voor het vervullen van de begeleidersrollen (tutor en coach); o daarnaast een keuze maken voor een inhoudelijk expertise of een organisatorische rol of beide en de competenties ontwikkelen die daar bij horen. • De faculteit hecht aan hoogwaardige didactische kwaliteit van haar personeel. Vaste aanstelling is pas mogelijk als een cursus didactiek is gevolgd. • De faculteit leidt beroepsbeoefenaren op die voldoen aan de kwaliteitseisen van de BIG. Het personeel moet in staat zijn een verbinding te leggen met de actuele gezondheidszorgpraktijk. • In het document FG-docentenprofiel, Faculteit Gezondheidszorg HvU, projectgroep K&S, programma Personeelsbeleid, 1998 heeft een kwalificatieprofiel voor docenten opgesteld dat richtinggevend is. In het competentiegerichte onderwijs vervult de docent vier rollen. Deze zijn in dit profiel uitgewerkt. De faculteit koerst op een goede spreiding van het personeel over die rollen, aansluitend bij de eisen van het curriculum en de potenties van de medewerkers. • Voor de expertise van de praktijkdocenten wordt een competentieprofiel ontwikkeld met de basiskwalificaties op diagnostiek, cariësrestauratie, anesthesie en evidence based handelen. • Uit het overzicht met de achtergronden van de docenten blijkt, dat: o achttien van de 23 docenten zijn opgeleid als mondhygiënist (van wie een als kindertandverzorger) en twee als tandarts. Vijftien van hen zijn werkzaam in de interne beroepspraktijk. Daarvan worden er vijf opgeleid voor kwalificaties op het gebied van cariësdetectie. De twee tandartsen en de kindertandverzorger bezitten deze expertise reeds. Bovendien legt de opleiding in haar visie op mondzorg sterk de nadruk op preventie; o negen docenten werken buiten de hogeschool in een eigen praktijk of in loondienst; o de docenten (bestuurs)lid zijn van de Nederlandse Vereniging van Mondhygiënisten of van de Nederlandse Vereniging van Parodontologie;
© NQA (Netherlands Quality Agency)
31
de opleiding vertegenwoordigd is in het bestuur van The European Dental Hygienists’ Federation (voorzitter) en in de International Federation of Dental Hygienists (vice-voorzitter); o (internationale) vakdocenten (=docenten op uurbasis) experts zijn op hun vakgebied; o negen medewerkers zijn gecertificeerd als studiebegeleider. Het panel deelt de zorg van de opleiding dat het moeilijk is gekwalificeerd personeel rond cariësdetectie aan te trekken en waardeert de inspanning van de opleiding om personeel bij te scholen. Negen docenten volgden dan wel volgen een bijscholing, zodat zij deze nieuwe verrichtingen voor mondzorgkundigen in het derde jaar kunnen aanleren aan de studenten. Het panel spreekt nog wel haar zorg uit over de beperkte voorsprong die docenten hebben in het aanleren van nieuwe kennis en vaardigheden met betrekking tot het nieuwe vierjarige curriculum voor mondzorgkundigen. o
•
Facet 3.2
Kwantiteit personeel
Voldoende
Criteria: Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. Het oordeel ‘voldoende’ wordt als volgt gestaafd: • Het faculteitsbeleid is gericht op het instandhouden van een spectrum van gezondheidszorgopleidingen, waardoor niet iedere afzonderlijke opleiding financieel rendabel hoeft te zijn. Opleidingen kunnen beredeneerd afwijken van gestelde normen. De faculteitsnorm voor de docent/studentratio is 1: 26,5. • Het panel onderstreept de stelling van de opleiding dat zij een gunstige docent/studentratio heeft (1:14,8). Deze is gebaseerd op: o het waarborgen van de veiligheid van patiënten in de schoolkliniek; o aanvullende begroting van het landelijke transformatieproject; o ontwikkeling en implementatie van het vierjarige curriculum; o afbouw van het driejarige curriculum; o deskundigheidsbevordering van docenten in veranderende docentenrollen (zoals tutor, studiebegeleider en coach) en cariësscholing. • Het panel constateert enthousiasme bij docenten en management over het nieuwe onderwijs en de drang alle ontwikkelingen tot een goed einde te brengen. Docenten melden dat er binnen de beleidskaders van de faculteit, veel ruimte is voor eigen inbreng. • Uit het WerkBelevingsOnderzoek (2003) blijkt dat de werkdruk als hoog wordt ervaren ondanks de lage docent/studentratio. Daar tegenover staat dat er ook veel arbeidsplezier wordt ervaren. • Uit de cijfers blijkt dat het ziekteverzuim dankzij geslaagde reïntegratieprocessen sterk is gedaald.
32
© NQA (Netherlands Quality Agency
•
De opleiding onderzoekt wat de gewenste student/docentratio moet zijn wanneer het vierjarige competentiegerichte curriculum volledig is geïmplementeerd en de nieuwe (klinische) taken worden onderwezen.
Facet 3.3
Kwaliteit personeel
Voldoende
Criteria: Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. Het oordeel ‘voldoende’ wordt gestaafd met de volgende argumenten: • De faculteit wil haar medewerkers een uitdagende en inspirerende werk- en leeromgeving bieden met een adequate infrastructuur waarin de benodigde onderwijsen organisatiecondities zijn gewaarborgd. Centraal staan de begrippen: professionalisering, kennisontwikkeling, multidisciplinaire samenwerking en employability. • Om dit te realiseren werkt de faculteit aan de invoering van resultaatgericht management, conform het Personeelplan 2003-2006. Het personeelsplan is aangevuld met een formatieplan en een scholingsplan. In de managementcontracten met het college van bestuur wordt duidelijk gewerkt aan het doelgericht werken met specifieke SMART-afspraken/targets per jaar. • De opleiding treft voorbereidingen om een systeem van resultaatgericht werken in te voeren. Met name ook voor de monitoring van de ontwikkeling van competenties van medewerkers. • De afdelingsbehoeftes zijn vastgelegd in het Afdelingsontwikkelplan. • Een eerste nulmeting van de competenties en taken van docenten is gedaan. Dit blijkt ook uit de ingevulde formulieren die het panel heeft ingezien. • Volgens schema worden vanaf het najaar resultaatgesprekken gehouden. In deze gesprekken zullen de medewerkers afspraken maken over hun persoonlijke ontwikkeling in relatie tot de gekozen docentenrollen. Deze zullen worden vastgelegd in een Persoonlijk Ontwikkelingsplan. • Zoals reeds is beschreven in facet 3.1 is de scholing op het gebied van cariës een aandachtspunt binnen de opleiding. • In de eerste enquête van het nieuwe curriculum en in de gesprekken met het panel oordelen studenten positief over de kwaliteit van de docenten en de begeleiding die zij ontvangen (score 3,7 bij vijfpuntsschaal).
© NQA (Netherlands Quality Agency)
33
Onderwerp 4 Facet 4.1
VOORZIENINGEN Materiële voorzieningen
Voldoende
Criteria: De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. Het oordeel ‘voldoende’ is gebaseerd op de volgende argumenten: • De faculteit wil studenten een krachtige leeromgeving bieden, aangepast aan de onderwijsleeractiviteiten van de student (kleine groepswerkruimten) en verrijkt met de nodige ict-hulpmiddelen. • Uit nota’s en gesprekken blijkt dat de faculteit krap is behuisd en dat men binnen het bestaande gebouw zoekt naar efficiënter en flexibeler gebruik van ruimten (nota Huisvestingsbeleid 2003-2012). • De Faculteit Gezondheidszorg beschikt over een goed geoutilleerd faculteitsgebouw met relevante voorzieningen op het gebied van informatie en informatietechnologie. • De 22 behandelunits voor Mondzorgkunde zijn van cruciaal belang voor het onderwijs. In 1988 is de kliniek ingericht voor twee groepen van 20 studenten (totaal 40 studenten). Nu is het totaal aantal studenten 177 (cijfers december 2003). • De opleiding stelt in haar zelfevaluatierapport dat met enkele aanpassingen en veel flexibiliteit in de bedrijfsvoering de kliniek in de afgelopen tijd voldoende heeft kunnen functioneren. Dit blijkt ook uit de resultaten van de StudentenTevredenheidsOnderzoeken (STO) van 2001 t/m 2003. Studenten blijken over het algemeen tevreden zijn over de facultaire voorzieningen. • Het panel vindt het aantal behandelunits erg weinig en vindt deze over het algemeen vrij oud. De inspanningen van de opleiding om de voorzieningen te verbeteren en daarmee aan te passen aan de groei van het aantal studenten en de eisen van de hedendaagse beroepspraktijk lijken hun vruchten af te werpen. Het panel stelt in documenten en gesprekken vast dat er per 1 september 2004 24 behandelunits zullen worden bijgeplaatst. Er gaat bovendien worden gewerkt met computers met de voor patiëntenbehandeling meest vereiste programmatuur. • Tegelijkertijd is een aanzet gemaakt om een satellietvestiging met behandelunits te realiseren, bij voorkeur met een faculteit Tandheelkunde. • De faculteit beschikt over de theorielokalen, kantine en het studielandschap. De opleiding beschikt aanvullend over een kleine gespecialiseerde bibliotheek voor de klinieken. • Studenten maken intensief gebruik van de digitale mediatheekvoorzieningen. • Een onderzoek naar het gebruik van het studielandschap heeft geleid tot een internetcafé en extra computerwerkplekken op de gangen. Sinds 1998 is het aantal studieplekken met computer verdubbeld. • Jaarlijks worden binnen de faculteit een of meer nieuwe programma’s voor computerondersteunend onderwijs (COO) aangeschaft. Dit past in het beleid dat
34
© NQA (Netherlands Quality Agency
• •
•
opleidingen werken met de digitale patiëntregistratiesystemen die ook in de praktijk van de gezondheidszorg worden gebruikt. De opleiding heeft een plek op intranet voor haar eigen onderwijsproducten Quickplace voor studenten en ‘Mondmap’ voor docenten. Voor docenten zijn er voldoende voorzieningen. Docenten delen met 10-12 personen een gezamenlijke werkruimte. Alle bureaus zijn voorzien van een pc. Parttime docenten delen een bureau. De omkleedruimtes voor docenten zijn minimaal en voor studenten onvoldoende. Met drie studenten delen zij één locker. Ook de sterilisatie- en röntgenruimtes zijn op dit moment minimaal.
Facet 4.2
Studiebegeleiding
Voldoende
Criteria: De studiebegeleiding en informatievoorziening aan studenten zijn adequaat met het oog op de studievoortgang. De studiebegeleiding en informatievoorziening aan studenten sluiten aan bij de behoefte van studenten. Het oordeel ‘voldoende’ wordt gestaafd met de volgende argumenten: • Voor de eerstelijns begeleiding is elke student in de reflectieleerlijn gekoppeld aan een coach die de student in principe vier jaar lang begeleidt. Uit de gesprekken met studenten die het nieuwe curriculum volgen, blijkt dat zij de coaches hierdoor zeer toegankelijk vinden. • In de integrale leerlijn wordt een groep studenten begeleid door een tutor. • In de praktijkleerlijn wordt een groep studenten begeleid door een praktijkdocent. • Viermaal per jaar, na elke periode, vinden beoordelings- en functioneringsgesprekken tussen student en coach plaats. Hierin staat aan de hand van het portfolio de studievoortgang centraal. Bovendien wint de coach informatie in bij de tutoren. Uit de gesprekken met studenten blijkt, dat deze gesprekken ook daadwerkelijk plaatsvinden. De coaches hebben duidelijk inzicht in de individuele voortgang. • Extra begeleiding wordt gegeven aan studievertragers. • Tweedelijns begeleiding vindt plaats via het faculteitsdecanaat, de schoolpsycholoog en een vertrouwenspersoon. • Taken en verantwoordelijkheden voor studentbegeleiders en stagebegeleiders zijn vastgelegd in de studiegids. • De informatievoorziening naar studenten is goed geregeld via het STIP (studenteninformatiepunt), het BOB (Bureau Onderwijs Buitenland), de website van de hogeschool en faculteit. Het te implementeren onderwijsinformatiesysteem OSIRIS biedt nog bredere mogelijkheden tot het monitoren van de studentenvoortgang en meer directe toegang voor docenten en studenten. Implementatie is vanaf oktober 2003 in volle gang.
© NQA (Netherlands Quality Agency)
35
• •
•
•
Uit het Studententevredenheidsonderzoek 2003 blijkt dat studenten in toenemende mate tevreden zijn over de informatie over opleiding, studie en ontwikkelingen. De opleiding spant zich in om de competenties van de docenten voor begeleiding en ondersteuning te verbeteren. Een aantal docenten dat participeert in het nieuwe curriculum heeft het verplichte Certificaat ‘Studentbegeleiding’ van de HvU gehaald. Andere docenten gaan dit certificaat in het studiejaar 2004-2005 behalen. Het panel constateert, dat de opleiding, met de uitvoering van het huidige beleid, zichtbaar werkt aan de verbetering van de studiebegeleiding en daarmee eerdere negatieve beoordelingen door studenten wegwerkt. Dit beleid leidt reeds tot resultaten, in de zin dat studenten positiever oordelen over begeleiding en ondersteuning. Studenten signaleren verschillen tussen de invulling van de begeleiding door de verschillende coaches. Tegelijkertijd blijkt uit de studententevredenheidsonderzoeken dat zij tevreden zijn over de studiebegeleiding (scores 3,7 en 4,2 in STO 2004).
Onderwerp 5 Facet 5.1
INTERNE KWALITEITSZORG Evaluatie resultaten
Voldoende
Criteria: De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. Het oordeel ‘voldoende’ is gebaseerd op de volgende argumenten: • De faculteit streeft naar kwaliteitszorg als een licht en cyclisch systeem dat deel uitmaakt van het alledaagse werk. De basis is vastgelegd in het Handboek Kwaliteitszorg FG. Hierin staan streefdoelen en verbeterplannen beschreven. • De faculteit heeft een nulmeting gedaan. Op basis hiervan is een extra facultair werkprogramma ‘Accreditatie en Kwaliteitszorg (PAK) ontwikkeld. Het kent een looptijd tot augustus 2004 en geeft de opleidingen faciliteiten om haar verbeterbeleid te sturen. • Richtinggevend voor de planning&controlcyclus is het managementcontract dat de opleiding eenmaal per vier jaar afsluit met de faculteitsdirectie. • Uit het managementcontract blijkt, dat wordt gewerkt met plan-do-check-act cyclus. Elk half jaar dient de opleiding zich te verantwoorden wat betreft haar doelen aan de hand van dit contract. • De opleiding werkt sinds kort volgens het hogeschoolsysteem EVINAC TWEE (Evaluatie Instrument Accrediteerbaarheid) met een intern auditsysteem, standaard evaluatie-instrumenten, formats voor risicoanalyse en verbeterplannen. • In haar zelfevaluatierapport beschrijft de opleiding dat de evaluatie van het onderwijs tot voor kort niet was ingebed in een cyclisch proces. Systematische kwaliteitszorg heeft sinds september 2003 prioriteit gekregen. Sindsdien wordt de uitvoering van de
36
© NQA (Netherlands Quality Agency
• •
kwaliteitszorg meer systematisch en planmatig ter hand genomen. Het handboek kwaliteitszorg is daarbij een belangrijk hulpmiddel. Uit de bestudeerde documenten en gesprekken blijkt dat het ‘kwaliteitsbewustzijn’ bij de opleiding groeiende is. De opleiding maakt gebruik van de volgende evaluatie-instrumenten: o periode- en module enquêtes; o exit-enquêtes; o stage-enquêtes voor student, docent en stage/werkbegeleiders; o studenttevredenheidsonderzoek (STO); o HBO-Monitor; o Werkbelevingsonderzoek.
Facet 5.2
Maatregelen tot verbetering
Voldoende
Criteria: De uitkomsten van deze evaluaties vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen. Het oordeel ‘voldoende’ is gebaseerd op de volgende argumenten: • In 2002 heeft de opleiding een nulmeting gedaan en deze beschreven in een Stand van Zaken notitie. • In april 2003 is binnen de opleiding een audit uitgevoerd. Deze is beschreven in het document Auditverslag Opleiding Mondhygiëne (september 2003). • In dit studiejaar is een begin gemaakt met de invoering van de onderwijsevaluaties, met inbegrip van de procedures voor de verwerking, analyse en verbeterplannen. Ook over de communicatie rond de evaluaties en het toekennen van taken aan medewerkers over kwaliteitszorg zijn afspraken gemaakt. • In het zelfevaluatierapport is duidelijk beschreven wie verantwoordelijk zijn voor de diverse taken binnen het kwaliteitszorgsysteem. Uit de gesprekken blijkt dat er diverse overlegvormen zijn waarin de kwaliteitszorg centraal staat. • De opleiding stelt dat de uitvoering van en de controle op het verbeterbeleid nauw samenhangen met de invoering van een systeem van resultaatgericht werken (vergelijk facet 3.3). Ondanks het feit dat het resultaatgericht werken nog niet is ingevoerd, blijkt uit het gesprek met het management dat er enthousiasme is over het huidige kwaliteitszorgbeleid. Het management ervaart de uitgangspunten en de facultaire ondersteuning als stimulerend. • Evaluaties leiden tot verbeteringen, zoals ondermeer blijkt uit de verbeterde oriënterende functie van het propedeuseprogramma en de invoering van externe stages in het tweede studiejaar.
© NQA (Netherlands Quality Agency)
37
Facet 5.3
Betrekken van medewerkers, studenten, alumni en beroepenveld
Voldoende
Criteria: Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Het oordeel ‘voldoende’ is gebaseerd op de volgende bewijsvoering: • Het zelfevaluatierapport geeft een helder overzicht van de wijze waarop medewerkers, studenten, pas-afgestudeerden en het beroepenveld zijn betrokken bij evaluaties. • Studenten worden betrokken bij de onderwijsevaluatie door het faculteitsbrede jaarlijkse Studententevredenheidsonderzoek en door de periode- en module enquêtes. • Met ingang van 2003-2004 bestaat er en studentenpanel met vertegenwoordigers van de verschillende cohorten. Dit panel vaardigt drie studenten af naar de opleidingscommissie. Hierin participeren ook, conform uitgangspunten van de HvU, drie medewerkers. Uit de gesprekken stelt het panel vast dat het positief is dat studenten en medewerkers samenwerken aan de kwaliteitszorg. Personeel ontwikkelt daardoor ook reflectief gedrag. • Studenten merken op dat er daadwerkelijk iets met de evaluatiegegevens wordt gedaan. • De opleiding stelt in haar zelfevaluatierapport dat de inhoudelijke effecten van de curriculuminnovatie worden getoetst in de bijeenkomsten met de beroepenveldcommissie. In de vergaderingen staan volgens de opleiding thema’s als competentiegericht opleiden en kwaliteitsbewaking centraal. Uit de notulen van de beroepenveldcommissie wordt het het panel niet duidelijk wat de toetsende rol precies inhoudt. Het panel merkt op dat er meer sprake lijkt te zijn van informatie-uitwisseling en niet van toetsing. Leden van de beroepenveldcommissie bevestigen in het gesprek met het panel dat er een positieve beweging is richting ‘invloed hebben op’. • Eenmaal per jaar wordt de HBO-monitor gestuurd aan alumni die anderhalf jaar geleden zijn afgestudeerd. • De opleiding nam deel in een landelijk project Kwaliteit Beroepsvoorbereidende Periode om te komen tot een systeem voor kwaliteitsmeting en -bewaking van de beroepsvoorbereidende periode in het werkveld. Zo kan de opleiding inzicht krijgen in de kwaliteit van de stageverlenende instellingen. Uit de gesprekken blijkt, dat dit instrument (nog) niet volledig actief wordt gebruikt. Dit is een afspraak met de andere mondzorgkundeopleidingen. Er is voorrang gegeven aan curriculumvernieuwing.
38
© NQA (Netherlands Quality Agency
Onderwerp 6 Facet 6.1
RESULTATEN Onderwijsrendement
Voldoende
Criteria: Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers. Het oordeel ‘voldoende’ wordt gestaafd met de volgende argumenten. Daarbij moet worden opgemerkt dat de getallen en de bijbehorende analyse van de opleiding zijn gebaseerd op de driejarige Mondhygiëne opleiding. Het propedeuserendement van de eerste cohort van de vierjarige opleiding is bekend. •
• •
•
•
•
•
De faculteit gebruikt de volgende streefnormen: o studieduur afstudeerders: 4,5 jaar bij vierjarige opleiding (studieduur afstudeerders bij driejarige opleiding was: 3,35 jaar); o studieduur studiestakers: maximaal 1 jaar, bij voorkeur uiterlijk 1 februari in het eerste studiejaar; o propedeuserendement na 2 jaar (70%); o onderwijsvraagfactor: 1,0. Het aantal studenten dat de driejarige opleiding in drie jaar afrondt, neemt sinds het studiejaar 1999-2000 weer toe van respectievelijk 45,83 naar 66,10 naar 67,86%. De gemiddelde studieduur van geslaagden is respectievelijk 3,45; 3,31 en 3,23 jaar. De opleiding stelt dat de inspanning om studievertragers te motiveren een positieve invloed heeft op het verlagen van de studieduur tot onder de streefnorm van 3,35 jaar. De gemiddelde studieduur van studiestakers heeft zich gunstig ontwikkeling van respectievelijk 1,91 naar 0,93 jaar. De opleiding stelt dat hieruit blijkt dat het gebruiken van het bindend studieadvies en een duidelijke communicatie hierover zijn vruchten afwerpt. De eerste cohort van het vierjarige curriculum kenmerkte zich door veel uitval. 17 (=31%) van de 55 studenten verlieten de opleiding. 40% (23 studenten) heeft de propedeuse binnen een jaar afgerond. Het panel constateert dat de resultaten van dit cohort achterblijven bij de vastgestelde streefnorm rond de propedeuserendementen van 70%. Met de studiestakers worden exitgesprekken gevoerd. Uit de gesprekken blijkt dat de vwo’ers vaak hun studie staken, omdat zij de studie als tijdelijke ‘parkeerstudie’ gebruiken voor de academische studie tandheelkunde. Studenten met een mbodiploma vonden het abstractieniveau in de propedeuse te hoog. De effecten van het meer beroepsgericht maken van het propedeuseprogramma op de uitval van deze groep studenten moet in de toekomst blijken. Het panel meent, dat de opleiding over voldoende kengetallen beschikt om na te gaan of de streefcijfers worden gerealiseerd. In het halfjaarlijkse managementoverleg
© NQA (Netherlands Quality Agency)
39
tussen faculteit en opleiding worden de relevante kengetallen besproken en worden er afspraken gemaakt over streefcijfers.
Facet 6.2
Gerealiseerd niveau
Voldoende
Criteria: De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. Allereerst moet worden opgemerkt dat in 2006 de eerste afgestudeerden van de vierjarige opleiding Mondzorgkunde de markt zullen betreden. Daardoor is het gerealiseerde effect nog niet in volle omvang te bepalen. De argumenten zijn gebaseerd op de gegevens van de driejarige opleiding Mondhygiëne. Het gerealiseerde niveau wordt als ‘voldoende’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: • De opleiding heeft als doel de student op te leiden tot een breed inzetbare mondzorgkundige die zelfstandig is en eigen verantwoordelijkheid draagt. De beginnend beroepsbeoefenaar is flexibel, kan zich aanpassen aan verschillende situaties, qua taken, patiëntencategorieën en samenwerkingsverbanden en is in staan in complexe situaties probleemoplossend te denken en handelen. • Het panel heeft diverse voorbeelden van afstudeerwerken bekeken. Zij vindt deze scripties voldoende beroepsgericht en van voldoende hbo-niveau. De scripties zijn relevant voor de implementatie in de beroepspraktijk en dragen daarmee bij aan de verdere professionalisering van het beroep. • Het panel vindt het positief dat twee docenten het werk aan de hand van vastgestelde lijsten beoordelen. Daarmee worden de validiteit en de betrouwbaarheid verhoogd. • Bovendien waardeert het panel het dat de docenten eerlijk zijn in hun beoordeling. Dat is zichtbaar in iets mindere (wel voldoende) afstudeerwerken. • Uit het gesprek met afgestudeerden en werkveldvertegenwoordigers blijkt dat de opleiding goed aansluit bij de praktijk. • De opleiding onderzoekt de bevindingen van de alumni jaarlijks via de HBO-monitor. Uit de instellingsrapportage april 2003 (alumni 2001) blijkt ook, dat de opleiding over het algemeen goed aansluit op de functie die wordt uitgeoefend. Niet tevreden zijn de afgestudeerden over de actualiteit waar het gaat om recente (wetenschappelijke) inzichten. • Het panel stelt vast dat de opleiding deze lacune aantoonbaar heeft aangepakt door Evidence Based te implementeren in het tot nu toe ontwikkelde nieuwe programma. Het effect daarvan moet in de toekomst blijken.
40
© NQA (Netherlands Quality Agency
Deel C: Bijlagen
© NQA (Netherlands Quality Agency)
41
42
© NQA (Netherlands Quality Agency
Bijlage 1:
Onafhankelijkheidsverklaring panelleden
© NQA (Netherlands Quality Agency)
43
44
© NQA (Netherlands Quality Agency
Bijlage 2:
Beknopt CV panelleden
© NQA (Netherlands Quality Agency)
45
46
© NQA (Netherlands Quality Agency
NQA-auditor Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen?) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft?)
Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft?) Domeindeskundigheid (Wilt u hiernaast aangeven voor welk domein u deskundigheid heeft?) Opleiding(en) 1970-1978 1979-1982 1990-1992 1994-1999 Werkervaring 1979-1982 1982-1991 1991-1999 1999-2000 2000-2003 Sinds 01-01-2004
© NQA (Netherlands Quality Agency)
Berg-Timmerman M.C. van den drs. V 22 oktober 1957 Ja, 3 ½ jaar audit-ervaring bij de HBO-raad Secretaris en projectleider diverse visitaties van HBO-raad nee e
2 graads Leraar verpleegkunde 9 jaar gewerkt in verpleegkundig onderwijs: curriculumontwikkeling zowel op mbo als hboniveau en individuele studentenbegeleiding, Scholing vrijwilligers Palliatieve/Terminale zorg Werkervaring als verpleegkundige, Onderwijsontwikkelaar in verpleegkundig onderwijs, Beleidsadviseur kwaliteitszorg in zorginstelling: implementatie kwaliteitszorgsysteem, Bestuurder vrijwilligersorganisatie in zorg
VWO (deelcertificaten) A-Verpleegkunde de 2 graads lerarenopleiding verpleegkunde Gezondheidswetenschap differentiatie Verplegingswetenschap Leerling verpleegkundige Verpleegkundige in diverse zorginstellingen, voornamelijk in ziekenhuizen. Praktijkopleider/stafmedewerker onderwijs in algemeen ziekenhuis Beleidsmedewerker kwaliteitszorg in verpleegverzorgingshuis. Secretaris diverse visitatiecommissies HBOraad. Projectleider diverse visitatiecommissies HBO-raad. NQA
47
Voorzitter Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie
Wolfhagen H.A.P. dr. Mevrouw 30-03-1957 Diverse visitaties HBO-raad Voorzitter visitatiecommissie Specifieke Gezondheidszorgopleidingen
Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector?)
Ja, in kader van visitatie Werkzaam als onderwijskundige Aandachtsgebied kwaliteitszorg van het onderwijs Verder bestuursmatig bezig met taken binnen de Universiteit (opleidingsdirecteur Onderwijswetenschappen, lid Onderwijsmanagementteam Geneeskunde) Verder vervul ik een aantal onderwijsrollen, waarbij er directe interactie met studenten is. Actief in het verzorgen van de verdere professionalisering van onderwijsgevenden Werkvelddeskundigheid Wetenschappelijk medewerker Cito: (Wilt u hierbij aangeven welke relevante toetsontwikkeling voor diverse opleidingen werkervaring u heeft?) universitair hoofddocent Universiteit Maastricht, Faculteit der Geneeskunde Secretaris van diverse landelijke commissie voor het Hoger Onderwijs zoals Commissie Studeerbaarheid, Commissie Educatieve Infrastructuur Begeleiding studenten bij scripties en Aio’s (assistenten in opleiding) bij hun proefschrift Diverse bestuurstaken (ook buiten de universiteit, zie later) Internationale deskundigheid Coauteur van diverse publicaties op het gebied (Wilt u hierbij aangeven of u deskundigheid over van probleemgestuurd onderwijs de internationale ontwikkeling van het vakgebied heeft?) Domeindeskundigheid Kwaliteitszorg onderwijs (Wilt u hiernaast aangeven voor welk domein u Probleemgestuurd Onderwijs deskundigheid heeft?) Stages (specifiek: binnen gezondheidszorgonderwijs) Algemeen onderwijskundige zaken Opleiding(en) 1977 Diploma Volledig bevoegd Onderwijzeres Basisonderwijs Pedagogische Academie Dr van Gils te Roermond Doctoraal examen Interdisciplinaire 1983 Onderwijskunde Katholieke Universiteit Nijmegen 1986 MO-B pedagogiek Katholieke Leergangen Tilburg 1993 Doctoraat, Rijksuniversiteit Limburg Titel proefschrift: kwaliteit van klinisch onderwijs 2003 Diploma Propedeuse Rechten Universiteit Maastricht
48
© NQA (Netherlands Quality Agency
Werkervaring 1983-1988 1988-heden
Diverse bestuurlijke activiteiten (buiten de universiteit) 1992-1994 1997-heden 1999-2001 2001-2003
© NQA (Netherlands Quality Agency)
Wetenschappelijk medewerker Centraal Instituut voor Toetsontwikkeling Arnhem Wetenschappelijk medewerker capgroep Onderwijsontwikkeling en research, Faculteit der Geneeskunde Universiteit Maastricht (sedert 1996: Universitair Hoofddocent) NB. Gedurende 1 dag per week gedetacheerd naar Faculteit der Psychologie voor de functie van opleidingsdirecteur Onderwijswetenschappen Bestuurslid Basiseducatie Gemeente Maastricht Bestuurslid Don Boscoschool Maastricht (school voor Speciaal Onderwijs) Bestuurslid en secretaris Plaatselijk Bestuur Maastricht voor Voortgezet Onderwijs Bestuurslid overkoepelend bestuur Voortgezet Onderwijs Maastricht (Vorming)
49
Panellid Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen?) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector?) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft?) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft?) Domeindeskundigheid (Wilt u hiernaast aangeven voor welk domein u deskundigheid heeft?) Opleiding(en) 1971-1973 1976-1980 1987-1988 1997-1999 Werkervaring 1973-1994
1994-2000 2000-heden 2004-heden
50
Cornips M.C.J.H. V 24 januari 1953 Geen
Lid visitatiecommissie opleidingen Mondhygiëne (1999) Nee Gastdocent opleiding mondhygiëne, gastdocent diverse verpleegkundige opleidingen Voorzitter commissie bijscholing Voorzitter commissie VWS uitbreiding Mondhygiëne opleidingen van 2 naar 3 jaar Mondhygiëniste (+ zie boven)
Opleiding Mondhygiëne Amsterdam M.O. Sociale Pedagogiek HGZO eerstegraads docentenopleiding VO Leidinggeven en management Mondhygiëniste in diverse werkvelden onder andere groepspraktijken, ziekenhuis, gehandicaptenzorg, bijzondere tandheelkunde, collectieve preventie (GGD) Hoofd bureau gezondheidsvoorlichting (GGD). Onderwijscoördinator Medische opvang asielzoekers Opleidingscoördinator GGD Groningen
© NQA (Netherlands Quality Agency
Studentlid Naam Initialen Tussenvoegsel(s) Titulatuur M/V Geboortedatum Opleiding Welke opleiding volgt u thans? Wat is de naam van het opleidingsinstituut? In welk studiejaar studeert u? Volgt u een voltijd, deeltijd, duale of afstandsstudie of wellicht anderszins? Bij welke activiteiten bent u binnen de opleiding betrokken?
Burg K.W. Van der V 09-09-1985 Mondzorgkunde Hanzehogeschool, Hogeschool van Groningen 3 Voltijd -
Organisatie en Voorlichting Open Dagen Voorlichtingen voor scholieren Visitatie Mondzorgkunde Groningen afgelopen voorjaar 2004 Jaarvertegenwoordiging Lustrumcommissie tandheelkunde/mondhygiene in 2005
Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?)
neen
Bent u eerder lid geweest van een visitatiecommissie?
Visitatie Hogeschool van Utrecht, juni 2004
Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector?) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft?) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft?) Domeindeskundigheid (Wilt u hiernaast aangeven voor welk domein u deskundigheid heeft?) Opleiding(en) 1997-2002 2002-heden
neen
Werkervaring 2002-2004 2002-heden Juni 2004
© NQA (Netherlands Quality Agency)
Student Mondzorgkunde In juni 2004 Hogeschool van Utrecht gevisiteerd (verschillende opleidingen) neen
Mondzorgkunde
havo Opleiding Mondzorgkunde
Weekend- en vakantiebaantje in de horeca Organisatie Open Dag bij de opleiding Mondzorgkunde, verschillende voorlichtingen gegeven. Visitatie NQA bij Hogeschool van Utrecht
51
52
© NQA (Netherlands Quality Agency
Bijlage 3
De zelfevaluatie in verband met NVAO-accreditatie Vragen en aanwijzingen
Basiskwaliteit HBO-bachelor
Maart 2003
© NQA (Netherlands Quality Agency)
53
Onderwerp Facet Preambule ........................................................................................................................55 1. Doelstellingen van de opleiding (beoogde eindkwalificaties).............................................58 1.1 Niveau bachelor ..........................................................................................................58 1.2 Domeinspecifieke eisen ..............................................................................................58 1.3 Oriëntatie hbo bachelor...............................................................................................58 2. Programma ......................................................................................................................60 2.1 Eisen hbo....................................................................................................................60 2.2 Relatie doelstellingen en inhoud programma ..............................................................61 2.3 Samenhang in opleidingsprogramma..........................................................................62 2.4 Studielast ....................................................................................................................62 2.5 Instroom......................................................................................................................63 2.6 Duur............................................................................................................................63 2.7 Afstemming tussen vormgeving en inhoud..................................................................64 2.8 Beoordeling en toetsing ..............................................................................................64 3. Inzet van personeel ..........................................................................................................65 3.1 Eisen hbo....................................................................................................................65 3.2 Kwantiteit personeel....................................................................................................65 3.3 Kwaliteit personeel......................................................................................................65 4. Voorzieningen ..................................................................................................................66 4.1 Materiële voorzieningen. .............................................................................................66 4.2 Studiebegeleiding. ......................................................................................................66 5. Interne kwaliteitszorg........................................................................................................67 5.1 Evaluatie resultaten ....................................................................................................67 5.2 Maatregelen tot verbetering ........................................................................................67 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld..............................67 6. Resultaten ........................................................................................................................68 6.1 Onderwijsrendement...................................................................................................68 6.2 Gerealiseerde niveau..................................................................................................68 7. Bijzondere kwaliteitskenmerken (facultatief) .....................................................................69 7.1 Differentiatie en profilering ..........................................................................................69 7.2 Kwaliteit ......................................................................................................................69 7.3 Concretisering.............................................................................................................69 7.4 Onderscheidend karakter............................................................................................69 Bijlage1. Kengetallen.........................................................................................................................70
54
© NQA (Netherlands Quality Agency
Preambule
Uitgangspunt Een zelfevaluatie kan meerdere functies hebben en vele doelen dienen. De waarde ligt in eerste instantie in de mate waarin de opleiding de zelfevaluatie benut voor de eigen beleidsvoering, in het bijzonder wat betreft de interne kwaliteitszorg. In deze brochure ligt echter de nadruk op de zelfevaluatie in dienst van de accreditatieaanvraag bij de NVAO. Er wordt in die zin dus ingezoomd op de verantwoordingsfunctie en op basiskwaliteit. De onderwijsinstelling dient met een extern onafhankelijk visitatierapport aan te tonen dat haar opleiding aan de kwaliteitscriteria van de NVAO voldoet. De zelfevaluatie vormt het vertrekpunt voor de objectieve oordeelsvorming door een extern visitatiepanel. De mate waarin de zelfevaluatie op overtuigende wijze aantoont dat aan de kwaliteitscriteria wordt voldaan, bepaalt voorts de intensiteit van nadere materiaalbestudering en gespreksvoering door het visitatiepanel.
Kwaliteitscriteria NVAO Voor het beoordelen van basiskwaliteit zijn door de NVAO in totaal 30 kwaliteitscriteria geformuleerd, die zijn ondergebracht bij 21 facetten. Per facet moet uiteindelijk door een visitatiepanel worden bepaald of de opleiding hierop een: - onvoldoende - voldoende - goed of - excellent scoort. De 21 facetten zijn op hun beurt ingedeeld naar 6 onderwerpen. Het oordeel dat een visitatiepanel velt per onderwerp komt tot stand op basis van weging van oordelen over de afzonderlijke facetten van dat onderwerp. Voor een positief totaaloordeel moet het oordeel over elk onderwerp tenminste voldoende zijn. 30 criteria
21 facetten
6 onderwerpen
totaaloordeel
Centrale vragen bij oordeelsvorming (visitatiepanel) Om te bepalen of aan de kwaliteitscriteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald onderwerp: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd?
© NQA (Netherlands Quality Agency)
55
-
Resultaten: hoe verhouden de resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen)? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht?
Informatiegehalte zelfevaluatie Om de bovenstaande vragen te kunnen beantwoorden, zal de zelfevaluatie hierover voldoende informatie moeten bevatten. Het gaat dan om de volgende vier typen van informatie: 1.
Richtinggevende informatie: eigen visie en doelstellingen, eigen kwaliteitsopvattingen, waar mag de opleiding op worden afgerekend?
2.
Beschrijvende informatie: hoe reilt en zeilt de opleiding, hoe zijn processen ingericht, welke afspraken zijn gemaakt, etcetera?
3.
Evaluatieve informatie: worden de doelen bereikt, hoe waarderen betrokkenen (met name studenten, afnemers en personeel) de verschillende facetten (evaluatieuitkomsten), en welke kwantitatieve resultaten worden bereikt (kengetallen)?
4.
Analytische informatie: gezien 1 t/m 3: hoe is het met de kwaliteit gesteld, welke conclusies kunnen hierover worden getrokken, worden de eigen doelen waargemaakt, zijn er discrepanties tussen doelstelling en doelbereiking, welke oorzaken zijn er voor aan te wijzen en welke verbeteringen zijn (of worden) hierop ingezet?
Om te bewaken dat het informatiegehalte voldoende is voor de oordeelsvorming zijn per facet relevante vragen ter beantwoording door de opleiding gegeven. Deze vragen zijn dus rechtstreeks ontleend aan de NVAO-facetten en -criteria. Als hulpmiddel voor de beantwoording van die vragen zijn per vraag aanwijzingen voor die beantwoording gegeven.
Opbouw zelfevaluatie Het is van belang dat de visitatiepanels de benodigde informatie voor elk van de 21 facetten op een efficiënte wijze tot zich kunnen nemen. Dit zou kunnen door de opbouw van de zelfevaluatie (de hoofdstukindeling) het NVAO-kader te laten volgen: I. Doelstellingen van de opleiding (beoogde eindkwalificaties) II. Programma III. Inzet van personeel IV. Voorzieningen V. Interne kwaliteitszorg VI. Resultaten VII. Indien van toepassing: Bijzonder kwaliteitskenmerk 56
© NQA (Netherlands Quality Agency
Een andere ordening is mogelijk, mits de benodigde informatie per facet snel toegankelijk is voor de panels. Hierover kunt u desgewenst afspraken maken met NQA. Zoals hierboven reeds is aangegeven, stelt NQA ten aanzien van elk facet een of meerdere vragen waarop in de zelfevaluatie een antwoord wordt gegeven. Deze vragen hebben betrekking op het betreffende facet en de daarbij behorende criteria. Voor de beantwoording van die vragen zijn aanwijzingen gegeven over zaken die beschreven en documenten waarnaar verwezen kan worden. Deze aanwijzingen zijn indicatief en niet voorschrijvend bedoeld.
Omvang Het zelfevaluatierapport zal als zelfstandig document gelezen moeten kunnen worden; het zal dus voldoende informatie moeten bevatten. Bijlagen dienen als naslagwerk. Gevraagd wordt om de volgende bijlagen mee te sturen: - overzicht van beoogde eindkwalificaties; - het beroepsprofiel; - studiegids; - overzicht van programma/curriculum (voor elke variant en locatie); - overzicht van personeel (kwalificaties docenten); - kengetallen. In het zelfevaluatierapport kan daarnaast belangrijke informatie uit andere documenten worden opgenomen, onder verwijzing naar deze documenten (die tijdens het bezoek ter inzage worden gelegd). In de aanwijzingen is te vinden om welke documenten het kan gaan. Indien dat nodig is voor de oordeelsvorming door de panels, kan de opleiding (zowel vóór, tijdens, als na het bezoek) om aanvullende informatie gevraagd worden. NQA zal zich echter inspannen om de informatielast zo beperkt mogelijk te houden. Door het duidelijk verwijzen naar andere documenten kan het zelfevaluatierapport beperkt blijven tot ten hoogste 40 pagina’s per opleiding, in uitzonderlijke gevallen van grote complexiteit (veel locaties en varianten) tot maximaal 80 pagina’s.
© NQA (Netherlands Quality Agency)
57
1. Doelstellingen van de opleiding (beoogde eindkwalificaties)
1.1 Niveau bachelor - De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor. 1.2 Domeinspecifieke eisen - De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). 1.3 Oriëntatie hbo bachelor - De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. - De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een hbo-opleiding vereist is of dienstig is.
58
© NQA (Netherlands Quality Agency
Vragen Welke eindkwalificaties worden beoogd?
Facet 1.1 1.2 1.3
Bij welke algemene, internationaal 1.1 geaccepteerde beschrijving van het bachelorniveau sluiten de beoogde eindkwalificaties aan?
Op welk specifiek beroep of 1.3 samenhangend spectrum van beroepen hebben de beoogde eindkwalificaties betrekking? Bij welke eisen van (buitenlandse) 1.2 vakgenoten en de (buitenlandse) beroepspraktijk sluiten de beoogde eindkwalificaties aan? Aan welke door het beoogde 1.2 beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties zijn de beoogde eindkwalficaties ontleend?
Waaruit blijkt dat de beoogde eindkwalificaties betrekking hebben op (ten minste) het niveau van een beginnend beroepsbeoefenaar?
© NQA (Netherlands Quality Agency)
1.3
Aanwijzing Verwijs naar een document waarin expliciet is beschreven voor welke specifieke competenties of specifieke kennis, houding, inzicht en vaardigheden de opleiding studenten beoogt op te leiden. Voeg dit document bij als bijlage. Geef aan wat voor de instelling het ‘bachelorniveau’ van een (beroepsgerichte) opleiding bepaalt. Welk internationaal referentiekader heeft de instelling hiervoor? Beschrijf hoe dit referentiekader in de beoogde eindkwalificaties tot uitdrukking komt. U zou hiervoor de Dublin-descriptoren (zie bijlage 2 in het NVAOaccreditatiekader) kunnen gebruiken. Deze beschrijven het bachelorniveau op een generiek abstractieniveau. De opleiding zou daarbij per descriptor kunnen aangeven voor welke beoogde eindkwalificaties de descriptor relevantie heeft. Indien u hierbij ondersteuning nodig heeft, of als u wilt weten hoe de Dublin-descriptoren zich verhouden tot de generieke kernkwalificaties van de Commissie Franssen/ proefaccreditering, neemt u dan contact op met NQA. Beschrijf het beroepenveld waarvoor de opleiding beoogt op te leiden. Verwijs naar het document waarin de wensen en behoeften van het beoogde beroepenveld tot uitdrukking komen. Voeg dit document als bijlage bij het zelfevaluatierapport. Het gaat hierbij om een actueel, door (of in samenspraak met) het werkveld opgesteld beroepsprofiel. Geef aan of er internatio-nale standaarden voor het beroep (en daarmee voor de opleiding) bestaan. Denk daarbij ook aan buitenlandse beroeps- of opleidingsprofielen of specifieke gegevens over buitenlandse opleidingen. Beschrijf hoe dit referentiekader zich verhoudt tot de beoogde eindkwalificaties. Wat moet de afgestudeerde ten minste kunnen en kennen om een goede start te kunnen maken in het beoogde beroepenveld? Beschrijf hoe dit in de beoogde eindkwalificaties tot uitdrukking komt.
59
2. Programma
2.1 Eisen hbo - Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. - Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline. - Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk. Vragen Op welke wijze beoogt de opleiding kennisontwikkeling door studenten plaats te laten vinden? Welke rol heeft vakliteratuur daarbij?
Aanwijzingen Beschrijf hoe u de kennisontwikkeling door studenten programmeert. Voeg de studiegids bij als bijlage bij het zelfevaluatierapport.
Beschrijf hoe gebruik gemaakt wordt van vakliteratuur over de opleiding als geheel. Stel (via de studiegids of via het materiaal dat ter inzage wordt gelegd) een lijst beschikbaar van vakliteratuur die wordt gebruikt. Hoe ontleent de opleiding Beschrijf hoe de opleiding gebruik maakt van aan de praktijk studiemateriaal aan de ontleend studiemateriaal. Hoe wordt dat studiemateriaal ingezet in het programma? beroepspraktijk? Hoe komen studenten in Geef aan hoe studenten in aanraking komen met de actuele aanraking met de actuele beroepspraktijk: welke werkveldbezoeken, stages / beroepspraktijk? praktijkperioden zijn in het programma opgenomen? Welke doelen zijn aan die programmadelen gekoppeld? Bij welke (buitenlandse) instellingen kunnen studenten stage lopen? Worden er gastcolleges gegeven door mensen uit het werkveld? Hoe wordt de ontwikkeling Beschrijf hoe de ontwikkeling van beroepsvaardigheden binnen van beroepsvaardigheden het programma vorm krijgt (bijvoorbeeld via ‘vaardighedenlijn’, praktijklessen, praktijkopdrachten, stages). vormgegeven? Op welke wijze is sprake van Beschrijf hoe studenten in aanraking komen met (toegepast) interactie met (toegepast) onderzoek. Geef aan hoe relevante onderzoeksresultaten onderzoek? ingebracht worden in het programma. Zijn docenten betrokken bij de opzet / uitvoering van onderzoek? Is er een lectoraat of kenniskring dat specifieke betekenis heeft voor de opleiding? Moeten studenten zelf onderzoeksopdrachten uitvoeren, of moeten zij met onderzoeksresultaten werken? Hoe wordt geborgd dat Geef aan hoe u waarborgt dat de actuele ontwikkelingen in het studenten de actuele vakgebied/discipline binnen het programma aan bod komen. Denk ontwikkelingen in het bijvoorbeeld aan het gebruik van recente artikelen uit vakgebied/de discipline vaktijdschriften, afspraken / beleid rond de actualisering van de inhoud van modulen en daarbij horende readers. meekrijgen? Welke aantoonbare Beschrijf de structurele contacten met de beroepspraktijk. Is er verbanden met de actuele bijvoorbeeld een werkveldcommissie? Zijn er andere verbanden beroepspraktijk heeft de met de actuele beroepspraktijk? Wat is de invloed hiervan op het programma? opleiding? Ervaren studenten, Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen afgestudeerden en afnemend studenten, afgestudeerden, werkveld) over actualiteit en werkveld dat sprake is van praktijkgerichtheid van het opleidingsprogramma (geef een actueel en praktijkgericht samenvattend de belangrijkste conclusies weer, stel complete programma? resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
60
© NQA (Netherlands Quality Agency
2.2 Relatie doelstellingen en inhoud programma - Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. - De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. - De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken. Vragen Wat is het programma van de opleiding?
Aanwijzingen Beschrijf kort het programma van de opleiding, inclusief (voornaamste verschillen tussen) eventuele varianten en locaties. Voeg een overzicht van het programma (curriculum) bij Hoe worden de beoogde als bijlage bij het zelfevaluatierapport. Geef daarbij aan eindkwalificaties qua niveau (zie 1.1) hoe de eindkwalificaties qua niveau, oriëntatie en geconcretiseerd in het programma? domeinspecifieke eisen worden geconcretiseerd in het Hoe worden de beoogde eindkwalificaties qua oriëntatie (zie 1.3) curriculum. Beschrijf hoe binnen de opleiding geborgd wordt dat alle kwalificaties binnen het programma geconcretiseerd in het programma? ‘gedekt’ zijn. Hoe worden de beoogde eindkwalificaties qua domeinspecifieke eisen (zie 1.2) geconcretiseerd in het programma? Hoe vindt de vertaling van Beschrijf hoe de koppeling van de beoogde eindkwalificaties in leerdoelen in het eindkwalificaties aan leerdoelen van programma plaats? programmaonderdelen tot stand is gekomen. Geef in het programmaoverzicht aan welke leerdoelen bij welke eindkwalificaties horen. Ervaren studenten dat door middel van Geef aan welke evaluatieresultaten beschikbaar zijn het programma de eindkwalificaties (oordelen afgestudeerden, studenten) over de kunnen worden bereikt? aansluiting van het opleidingsprogramma op de beoogde eindkwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA (Netherlands Quality Agency)
61
2.3 Samenhang in opleidingsprogramma - Studenten volgen een inhoudelijk samenhangend opleidingsprogramma. Vragen Aanwijzingen Hoe wordt geborgd dat studenten een Geef aan welke samenhang naar uw opvatting in inhoudelijk samenhangend programma volgen? het programma bestaat. Is er een logische relatie tussen programmaonderdelen en tussen studiefases; hoe worden deze op elkaar afgestemd? Besteed ook aandacht aan eventuele internationale programmaonderdelen en hoe deze passen binnen de visie op internationalisering. Geef aan op welke manier de samenhang in de opleiding gewaarborgd wordt. Welke rol speelt het opleidingsmanagement daarin, hoe vindt afstemming tussen (groepen) docenten plaats? Ervaren studenten die samenhang ook? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de inhoudelijke samenhang binnen het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.4 Studielast - Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen. Vragen Hoe worden factoren die de studievoortgang belemmeren weggenomen?
Ervaren studenten een studeerbaar programma?
62
Aanwijzingen Geef aan wat de opleiding doet om een efficiënte studievoortgang mogelijk te maken. Hoe houdt de opleiding zicht op de vraag of zich belemmerende factoren voordoen? Welke stappen zet de opleiding wanneer zich problemen voordoen? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de studeerbaarheid van het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA (Netherlands Quality Agency
2.5 Instroom - Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: vwo, havo, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek. Vraag Hoe wordt geborgd dat er aansluiting is qua vorm?
Hoe wordt geborgd dat er is aansluiting is qua inhoud?
Hoe wordt gedifferentieerd tussen instromende vwo-studenten, havostudenten en andere instromende studenten?
Ervaren studenten de aansluiting ook?
Aanwijzing Geef aan welke werkvormen de opleiding hanteert aan de start van de opleiding. Hoe sluiten die werkvormen aan op de vooropleiding van studenten? Beschrijf eventuele activiteiten die de opleiding aanbiedt om studenten te introduceren in de verwachte studiehouding c.q. de gehanteerde werkvormen. Geef aan welke toelatingseisen de opleiding stelt, welke deficiëntieprogramma’s worden aangeboden voor studenten die bepaalde vakken niet voldoende beheersen, en/of welke mogelijkheden er zijn voor bijscholing dan wel extra begeleiding. Beschrijf welke verkorte leerroutes worden aangeboden, en hoe en wanneer studenten in aanmerking komen voor vrijstellingen. Geef aan hoe de opleiding nagaat of sprake is van voldoende inhoudelijke aansluiting. Wordt bijvoorbeeld een assessment gehanteerd voor instromende studenten? Geef aan op welke manier gedifferentieerd wordt tussen vwo-instroom, havo-instroom en anderen. Beschrijf of en hoe de opleiding studieresultaten van verschillende groepen monitort, en hoe wordt ingespeeld op voorkomende aansluitingsproblemen. Welke activiteiten worden ondernomen om de aansluiting van (buitenlandse) studenten met een buitenlandse vooropleiding te bevorderen? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten) over de aansluiting van de opleiding op de vooropleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.6 Duur - De opleiding voldoet aan formele eisen met betrekking tot de omvang van het curriculum: hbo-bachelor: 240 studiepunten. Vragen Voldoet de opleiding aan de formele eis van 240 studiepunten? Waaruit blijkt dat?
© NQA (Netherlands Quality Agency)
Aanwijzingen Geef aan hoe uit de opbouw van het opleidingsprogramma en de omvang van modulen blijkt dat de totale studiebelasting van de opleiding aan de formele eis voldoet.
63
2.7 Afstemming tussen vormgeving en inhoud - Het didactisch concept is in lijn met de doelstellingen. - De werkvormen sluiten aan bij het didactisch concept. Vragen Wat is het didactisch concept van de opleiding? Hoe verhoudt dat didactisch concept zich tot de beoogde eindkwalicaties (doelstellingen)?
Aanwijzingen Beschrijf het didactisch concept van de opleiding. Beschrijf kort hoe het didactisch concept zich verhoudt tot (afgestemd is op) de doelstellingen van de opleiding. Ervaren studenten dat de gehanteerde Beschrijf de uitwerking van het didactisch werkvormen adequaat zijn en aansluiten bij het concept naar het gebruik van verschillende werkvormen binnen de opleiding. didactisch concept? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over het didactisch concept en de gehanteerde werkvormen binnen de opleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.8 Beoordeling en toetsing - Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Vragen Op welke wijze worden studenten beoordeeld, getoetst en geëxamineerd?
Ervaren studenten dat zij adequaat getoetst worden op het behalen van de beoogde leerdoelen?
64
Aanwijzingen Beschrijf het toetsbeleid en de verschillende toetsvormen van de opleiding. Betrek hierbij ook de stage- en afstudeeropdrachten. Geef aan hoe de toetsvormen zich verhouden tot de doelstellingen van de opleiding en de leerdoelen. Beschrijf welke afspraken bestaan ten aanzien van de formulering en toepassing van beoordelingscriteria en de verzorging van feedback aan studenten. Geef aan hoe de kwaliteit van de toetsen binnen de opleiding wordt geborgd. Als studenten toetsing bij een buitenlandse instelling of bij een instelling in het werkveld ondergaan, hoe vergewist zich de opleiding dan van de kwaliteit van deze toetsing? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de gehanteerde toetsvormen, het niveau van de toetsen en de feedback die studenten over resultaten krijgen (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA (Netherlands Quality Agency
3. Inzet van personeel
3.1 Eisen hbo - Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. 3.2 Kwantiteit personeel - Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. 3.3 Kwaliteit personeel - Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. Vragen Welk deel van de opleiders legt een verbinding met de beroepspraktijk?
Facet Aanwijzingen 3.1 Geef aan welk deel van de opleiders beschikt over recente ervaring met en/of kennis van de beroepspraktijk. Voeg een overzicht van het personeel als bijlage bij het zelfevaluatierapport. Neem in dit overzicht de leeftijd, het geslacht en de kwalificaties van docenten/opleiders op, met name de gevolgde opleidingen, cursussen en trainingen, huidige en vorige werkkringen en functies, eventuele docentstages en andere relevante informatie over de interactie met de beroepspraktijk. Waaruit blijkt dat sprake is 3.2 Beschrijf de visie van de opleiding op de verhouding tussen van voldoende personeel de omvang van het personeel en de gewenste kwaliteit. Reflecteer op de actuele en gewenste student/docent ratio. om de gewenste kwaliteit te Hoe hoog is het ziekteverzuim? Wat zijn de streefcijfers voor verzorgen? de werkbelasting van docenten en hoe verhoudt zich dit tot de ervaren werkbelasting? Als er personeelstekorten zijn, hoe gaat de opleiding dan hiermee om? Hoe wordt geborgd dat de 3.3 Beschrijf de visie van de opleiding op de inhoudelijke, opleiders gekwalificeerd zijn onderwijskundige en organisatorische kwalificaties van docenten/opleiders. Geef aan hoe gebruik wordt gemaakt voor de inhoudelijke, van scholing en professionalisering om deze kwalificaties te onderwijskundige en verbeteren c.q. op peil te houden. Welke rol hebben organisatorische realisatie functionerings- en beoordelingsgesprekken (frequentie, van het programma? inhoud) hierbij? Hoe worden docenten/opleiders in de gelegenheid gesteld om actuele (internationale) ontwikkelingen in het beroepenveld en vakgebied te volgen? Als er onderwijs in een vreemde taal wordt verzorgd, hoe borgt de opleiding dan de kwaliteit daarvan (vreemde taalbeheersing van docenten)? Ervaren studenten en 3.3 Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten en opleiders) over de inhoudelijke opleiders zelf dat opleiders gekwalificeerd zijn? (inclusief beroepspraktijkkennis/ervaring), onderwijskundige en organisatorische kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA (Netherlands Quality Agency)
65
4. Voorzieningen
4.1 Materiële voorzieningen - De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. Vragen Waaruit blijkt dat huisvesting en materiële voorzieningen toereikend zijn om het programma te realiseren?
Ervaren studenten en docenten dat de huisvesting en materiële voorzieningen toereikend zijn?
Aanwijzingen Beschrijf de locatie, de bibliotheek- of mediatheek, de ict-voorzieningen, en de onderwijs-, praktijk-, studieen werkruimten. Geef daarbij aan hoe wordt getoetst of met de bestaande huisvesting en materiële voorzieningen het programma gerealiseerd kan worden. Zijn deze afgestemd op de behoeften van eventuele buitenlandse, deeltijd- en duaal studenten? Welke verbeteringen zijn gepland, op welke termijn, en welke middelen zijn daarvoor gereserveerd? Verwijs naar opinies over huisvesting en materiële voorzieningen in studenten- en docentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Wat is er met de uitkomsten gedaan?
4.2 Studiebegeleiding Vragen Hoe dragen de studiebegeleiding en informatievoorziening bij aan de studievoortgang van studenten?
Ervaren studenten dat de studiebegeleiding en informatievoorziening voldoet aan hun behoeften?
66
Aanwijzingen Beschrijf het systeem van studiebegeleiding en studievoortgangsregistratie. Beschrijf ook hoe de informatievoorziening aan studenten plaatsvindt. Geef bij deze beschrijvingen aan, mede aan de hand van rendementscijfers, welke knelpunten er zijn met betrekking tot de studievoortgang. Heeft dit gevolgen voor de studiebegeleiding of de informatievoorziening aan studenten? Als er (veel) buitenlandse studenten zijn, geef dan aan of hier speciale voorzieningen voor zijn getroffen. Verwijs naar opinies over studiebegeleiding en informatievoorziening in studentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Besteed daarbij speciale aandacht aan de begeleiding van studenten in de propedeuse en tijdens de (binnenen buitenlandse) stages en in de afstudeerfase. Ga ook in op studenttevredenheid over zaken als roosters, toegankelijkheid van en informatieverstrekking door docenten. Geef aan wat met de uitkomsten van deze studentenevaluaties is gedaan.
© NQA (Netherlands Quality Agency
5. Interne kwaliteitszorg
5.1 Evaluatie resultaten - De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. 5.2 Maatregelen tot verbetering - De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen. 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld. - Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Vragen Welke aspecten worden geëvalueerd, hoe en met welke frequentie?
Facet Aanwijzing 5.1 Beschrijf de evaluaties die plaatsvinden en de frequentie daarvan, de onderwerpen (aspecten) waarop de evaluaties betrekking hebben, en de methoden die gebruikt worden. Verwijs naar het kwaliteitszorgplan of andere relevante kwaliteitszorgdocumenten. Wat zijn daarbij de streefdoelen en 5.1 Geef voor elk van de aspecten die geëvalueerd worden hoe wordt getoetst of deze zijn aan welke streefdoelen zijn geformuleerd. Hoe wordt bereikt? getoetst of de streefdoelen zijn bereikt? Hoe zorgt de opleiding ervoor dat deze toetsing gebeurt op basis van betrouwbare en valide informatie? Waaruit blijkt dat uitkomsten van 5.2 Beschrijf wat er met de uitkomsten van evaluaties evaluaties tot verbeteringen gebeurt. Geef aan of (en voor welke aspecten) er sprake hebben geleid? is van een verbetercyclus (plan, do check, act). Geef zo mogelijk een aantal praktijkvoorbeelden. Heeft de opleiding nader onderzoek gedaan naar verschillen tussen nagestreefde en behaalde resultaten? Zijn er maatregelen tot verbetering genomen? Zo ja, wie is verantwoordelijk voor het doorvoeren van verbeteringen? Op welke termijn en met welke prioriteit worden verbeteringen doorgevoerd? Hoe wordt nagegaan of de beoogde verbeteringen worden gerealiseerd? Op welke wijze worden: 5.3 Beschrijf bij welke evaluaties medewerkers, studenten, -medewerkers, alumni en het afnemend beroepenveld worden -studenten, betrokken. Hoe vaak gebeurt dit? Hoe wordt ervoor -alumni gezorgd dat deze evaluaties representatief zijn voor deze -afnemend beroepenveld groepen? Worden de resultaten van evaluaties bij de interne kwaliteitszorg teruggekoppeld naar betrokkenen? Kunnen genoemde betrokken? groepen ook ongevraagd zaken die voor hen van belang zijn doorgeven aan de opleiding en wat doet de opleiding hiermee? Geef aan hoe de inspraak van studenten en medewerkers is geregeld. Als de opleiding intensief samenwerkt met buitenlandse partnerinstellingen (uitwisselingen, dubbeldiplomering, etc.) of met instellingen in het beroepenveld (met name bij duale trajecten) geef dan aan hoe de kwaliteit van de samenwerking wordt bewaakt.
© NQA (Netherlands Quality Agency)
67
6. Resultaten
6.1 Onderwijsrendement - Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. - Het onderwijsrendement voldoet aan deze streefcijfers. Vragen Hoe wordt het onderwijsrendement bepaald? Wat zijn daarbij de streefcijfers? Hoe verhouden deze zich tot relevante andere opleidingen? Voldoet het rendement aan de eigen streefcijfers?
Aanwijzingen Vul het overzicht met kengetallen in (zie bijlage 1) en voeg dit als bijlage bij het zelfevaluatierapport. Geef aan wat de opleiding zelf als de belangrijkste kengetallen ziet. Wat bepaalt voor de opleiding het onderwijsrendement? Geef aan welke streefcijfers voor het rendement de opleiding hanteert. Beargumenteer de keuze van de streefcijfers, met name hoe deze zich verhouden tot die van relevante andere opleidingen. Verwijs naar het overzicht met kengetallen voor een beoordeling van de mate waarin het rendement voldoet aan de streefcijfers. Hoe verhoudt zich dit tot het rendement van relevante andere opleidingen? Wat zijn de oorzaken voor tekortschietende rendementen? Wat heeft de opleiding gedaan om het rendement te verbeteren?
6.2 Gerealiseerde niveau - De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. Vragen Hoe wordt bepaald of beoogde eindkwalificaties zijn gerealiseerd? - qua niveau (zie 1.1)? - qua oriëntatie (zie 1.3)? - qua domeinspecifieke eisen (zie 1.2)?
Aanwijzingen Geef aan hoe de opleiding toetst of de beoogde eindkwalificaties zijn gerealiseerd (dit geldt ook voor in het buitenland gevolgde programmaonderdelen). Maak daarbij een onderscheid naar niveau, oriëntatie en domeinspecifieke eisen. Besteed ook aandacht aan de toetsing van afstudeeropdrachten, de examinering en de eventuele betrokkenheid van het werkveld of andere externe (mede)beoordelaars.
Bestaat er tevredenheid in het werkveld over de gerealiseerde kwalificaties?
Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen afgestudeerden, afnemend werkveld) over de gerealiseerde kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
68
© NQA (Netherlands Quality Agency
7. Bijzondere kwaliteitskenmerken (facultatief)
7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter - Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs. N.B. In de NVAO toelichting wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Is het kenmerk betekenisvol?
Facet Aanwijzingen 7.2 Beschrijf welke bijzondere kwaliteit de opleiding 7.3 nastreeft, met daarbij de doelen en te verwachten resultaten.
Is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
7.3
Is de opleiding onderscheidend ten opzichte van andere (verwante) opleidingen in Nederland?
7.4
© NQA (Netherlands Quality Agency)
7.1
Dit kan onder andere blijken uit de waardering van het kenmerk door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf). Hier is ook de waardering door stakeholders van belang. De opleiding heeft een vergelijkend onderzoek uitgevoerd of laten uitvoeren (kan ook door NQA) onder verwante opleidingen in Nederland. Uit dit vergelijkende onderzoek blijkt dat de opleiding zich op dit kenmerk onderscheidt van andere (verwante) opleidingen.
69
Bijlage 1.
Kengetallen
Instroom, uitstroom, ingeschreven, personeel
Opleiding X
1997
1998
1999
2000
2001
2002
Totaal aantal ingeschreven studenten Totaal aantal docenten* Omvang docerend personeel in fte Student / fte ratio Instroom propedeuse, eerste keer hbo Totaal aantal instromende studenten: ‘instroom opleiding’ Totaal aantal geslaagden Aantal geslaagden uit propedeuse instroom ‘eerste keer hbo’ Gemiddelde studieduur geslaagden, in jaren Aantal studiestakers Gemiddelde studieduur studiestakers, in jaren
Opleidingsrendement, in percentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Diploma behaald na 1 jaar Diploma behaald na 2 jaar. Diploma behaald na 3 jaar Diploma behaald na 4 jaar Diploma behaald na 5 jaar Diploma behaald na 6 jaar
Uitvalpercentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Percentage uitval na 1 jaar Percentage uitval na 2 jaar Percentage uitval na 3 jaar Percentage uitval na 4 jaar Percentage uitval na 5 jaar Percentage uitval na 6 jaar
70
2002
2001
© NQA (Netherlands Quality Agency
Bijlage 4
Beoordelingsprotocol van Netherlands Quality Agency (NQA)
© NQA (Netherlands Quality Agency)
71
72
© NQA (Netherlands Quality Agency
Beoordelingsprotocol: operationalisering criteria accreditatiekader De operationalisering geschiedt in de werkwijze van NQA door middel van richtlijnen voor de zelfevaluatie. Deze richtlijnen vormen een vertaling van het NVAO-kader naar aandachtspunten voor de zelfevaluatie. In de richtlijnen zijn naast algemene eisen (bijvoorbeeld ten aanzien van omvang en bijlagen) die aan een zelfevaluatierapport gesteld worden ook vragen en aanwijzingen voor de opleiding opgenomen. De vragen zijn rechtstreeks afgeleid van de facetten en criteria in het NVAO-kader. De vragen zouden daarom beantwoord moeten worden in het zelfevaluatierapport. De aanwijzingen zijn bedoeld als hulpmiddel bij het schrijven van het zelfevaluatierapport en zijn daarom meer indicatief van aard. De richtlijnen hebben als titel ‘De zelfevaluatie in verband met NVAO-accreditatie: vragen en aanwijzingen’ en zijn als bijlage opgenomen. Het betreft een concept dat verder verbeterd wordt naar aanleiding van opmerkingen van betrokkenen en eventuele wijzigingen als gevolg van de definitieve goedkeuring van het accreditatiekader.
© NQA (Netherlands Quality Agency)
73
Beoordelingsprotocol: operationalisering beslisregels Inleiding De NVAO beschrijft in het accreditatiekader (hfst. 4) beslisregels voor de accreditatie. Een beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag. 17) staat echter, dat ‘afwegingen op alle niveaus- facetten, onderwerpen en eindoordeel- inzichtelijk’ gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter ‘niet louter instrumenteel worden omgegaan’; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NVAO dus 3 afwegingen noodzakelijk: - betreffende het eindoordeel; - betreffende het onderwerp (van facet naar onderwerp); - betreffende het facet. Bovendien dienen afwegingen niet ‘louter instrumenteel’ (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn.
Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. NVAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft NVAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft NVAO de weg geopend om tot nadere afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant (zie brief NVAO d.d. 13-3-2003).
74
© NQA (Netherlands Quality Agency
Om het instelling en NVAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie.
Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door NVAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. Ten behoeve van consistentie in de afweging binnen en tussen panels zal NQA een handreiking voor panelleden verschaffen. In deze handreiking wordt onder meer ingegaan op de wijze waarop oordelen onderbouwd kunnen worden5. Daarbij wordt speciale aandacht gevraagd voor de facetten die, gegeven het NVAO-kader, bij accreditatie van bijzonder belang geacht kunnen worden. Dit betreft binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin NVAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Verder zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten altijd worden tegengelezen door 1 of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan de directie van NQA passende maatregelen nemen, waaronder terugzending van het rapport naar het panel.
5
De handreiking zal ook andere aandachtspunten bevatten, bijvoorbeeld met betrekking tot de zelfevaluatie. Zo mag een zelfkritische zelfevaluatie er niet toe leiden dat een opleiding door het panel ‘gestraft’ wordt door zelfkritiek van de opleiding over te nemen in de beoordeling en op basis hiervan tot een negatief oordeel op het betreffende facet te komen. Veeleer is het zo dat zelfkritiek een aanwijzing kan zijn voor een goed functionerend kwaliteitszorgsysteem, dat vertrouwen kan geven in snelle verbeteringen van geconstateerde tekortkomingen. Een zelfkritische zelfevaluatie zal daarom in positieve zin moeten worden meegewogen bij de oordeelsvorming door de panels.
© NQA (Netherlands Quality Agency)
75
Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald onderwerp zullen expliciet vermeld worden. Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten6: hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen7, borging, resultaten en verbetering. De kern vormen de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). Het ligt dan ook voor de hand dat panels bij de oordeelsvorming een belangrijke plaats inruimen voor de resultaten en de borging. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten ‘automatisch’ tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublin-descriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel ‘goed’ overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een ‘best practice’ op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden.
6
Hiermee is niet het onderwerp ‘resultaten’ bedoeld maar de bereikte resultaten ten aanzien van elk facet. Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen.
7
76
© NQA (Netherlands Quality Agency
Beoordelingsprotocol: werkwijze bij visitaties Inleiding De beschrijving van de werkwijze gaat in eerste instantie uit van een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (vt/dt/duaal) variant, op één locatie. Na die kernbeschrijving zal worden aangegeven op welke manier NQA om wil gaan met een meer complexe beoordeling, dat wil zeggen hoe de werkwijze wordt aangepast wanneer meerdere opleidingen, varianten en/of locaties gelijktijdig beoordeeld worden. Procedureel en in de tijd onderscheidt NQA de volgende fasen:
Intake De intake is erop gericht vast te stellen wat de bepalende randvoorwaarden zijn binnen een beoordelingsproject: • op welke en hoeveel opleidingen is de beoordeling gericht; • welke varianten (voltijd, deeltijd, duaal) van de opleidingen worden aangeboden; • op hoeveel locaties worden opleidingen aangeboden; • eventuele bijzondere kwaliteitskenmerken; • eventuele additionele behoeften, zoals de wijze waarop (internationale) vergelijkingen tussen opleidingen worden uitgevoerd, of het aanbieden van een vertrouwelijke management letter gericht op kwaliteitsverbetering. In gevallen waar het gaat om meerdere opleidingen, wordt eveneens bezien in hoeverre opleidingen aan elkaar verwant zijn, en in welke mate het beoordelingsproces als gevolg daarvan geïntegreerd kan worden. NQA heeft hiertoe een intakeformulier ontwikkeld, dat in overleg met de betreffende hogeschool wordt ingevuld en vastgesteld.
Inhoudelijke voorbereiding op de zelfevaluatie en het beoordelingsbezoek In de voorbereiding op zelfevaluatie en bezoek worden de volgende stappen gezet. Opleiding • Alvorens de zelfevaluatie wordt gestart treedt de opleiding in overleg met NQA over de opzet van de zelfevaluatie (NQA heeft richtlijnen voor het zelfevaluatierapport opgesteld).
© NQA (Netherlands Quality Agency)
77
•
•
Bij de start van het zelfevaluatieproces geeft de opleiding aan welk domeinspecifiek referentiekader men wenst te hanteren en communiceert hierover met NQA ten behoeve van de vaststelling van het domeinspecifieke kader. De opleiding schrijft het zelfevaluatierapport inclusief bijlagen en stelt dit ter beschikking aan NQA binnen een vantevoren aangegeven termijn.
Panelsecretaris (medewerker NQA8) • Naar aanleiding van de opgave van het domeinspecifieke referentiekader door de opleiding: de secretaris checkt met domeindeskundige(n) in het panel aan de hand van ankerpunten (beroepsprofielen, competentiecatalogi, in eerdere visitaties gebruikte beoordelingskaders) of sprake is van adequate domeinspecifieke doelstellingen, of dat nadere aanvulling dan wel specificatie van domeinspecifieke doelstellingen nodig is. • Check op kwaliteit en compleetheid zelfevaluatierapport. • Vastleggen / communiceren voorbereidende werkzaamheden panel. • Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport, formuleren voorlopige oordelen en vraagpunten. • Opstellen overzicht / aggregatie van voorlopige oordelen en vraagpunten van panelleden. Dit kan worden besproken tijdens de voorbereidende vergadering (die voorafgaande aan de gesprekken plaatsvindt). Panel als geheel • Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport en formuleren voorlopige oordelen en vraagpunten. • Doorgeven voorlopige oordelen en vraagpunten naar panelsecretaris. • Op basis van het overzicht van voorlopige oordelen inventariseren kernpunten en prioriteiten voor materialenonderzoek en gesprekken (dit kan geschieden tijdens de voorbereidende vergadering).
Beoordeling materiaal en faciliteiten (tijdens beoordelingsbezoek) NQA stelt een lijst van ter inzage gevraagd materiaal op; naar aanleiding van de bestudering van het zelfevaluatierapport en de door het panel geformuleerde vraagpunten kan aanvullend specifiek materiaal gevraagd worden. Het panel beoordeelt ter inzage gelegde materialen. Waar nodig en mogelijk vraagt NQA de opleiding ook toegang tot digitaal materiaal, zoals bijvoorbeeld een digitale studiegids of een digitale leeromgeving.
8
Conform de bepalingen van NVAO bestaat het panel uit drie leden (voorzitter, secretaris en lid) plus, voorzover vereist, een studentlid. De panelsecretaris maakt deel uit van het panel; in de persoon van de panelsecretaris is in principe audit- en onderwijsdeskundigheid verenigd. De voorzitter en het andere panellid maken deel uit van een ‘pool’ van panelleden. In deze personen is domeinspecifieke deskundigheid in discipline en afnemend veld, alsmede deskundigheid over de internationale ontwikkeling van de discipline, vertegenwoordigd. Zij hebben de algemene training op het vlak van auditvaardigheden en het werken met het NQA protocol doorlopen.
78
© NQA (Netherlands Quality Agency
Interviews / gesprekken Tijdens de site visit spreekt het panel in ieder geval met (representatieve vertegenwoordigingen van) de volgende groepen: • management (dagelijkse leiding) van de opleiding (operationeel management); • docenten; • studenten; • werkveld9; • afgestudeerden; • College van Bestuur en/of Faculteits/Instituuts/Schooldirectie (strategisch management); dit gesprek kan ook plaats vinden voor een cluster van bij de betreffende instelling beoordeelde opleidingen.
Bezoekprogramma NQA heeft een raamprogramma ontwikkeld voor de (dag)indeling van het beoordelingsbezoek, dat kan worden aangepast aan de specifieke situatie bij de betreffende opleiding. Het raamprogramma heeft betrekking op een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (voltijd/deeltijd/duaal) variant, op één locatie. Wanneer sprake is van een beoordeling van een opleiding die met meerdere varianten, of op meerdere locaties wordt aangeboden, worden globaal de volgende uitgangspunten gehanteerd: 1. Bij de intake wordt voor elke variant en locatie nagegaan in hoeverre sprake is van een overeenkomst in programma’s en docententeams. 2. Bij varianten (vt/dt/duaal) waar sprake is van een duidelijke overeenkomst in het programma en het docententeam wordt het beoordelingsbezoek geïntegreerd uitgevoerd. Dit houdt in dat elk van de gespreksgroepen representatief samengesteld moet zijn, dat wil zeggen dat studenten, docenten en afgestudeerden van elke variant bevraagd kunnen worden. Indien tussen de programma’s of de docententeams van varianten significante verschillen bestaan, kunnen aan het raamprogramma worden toegevoegd: - een extra gesprek met studenten; - een extra gesprek met docenten. In de extra gesprekken wordt separaat gesproken met studenten respectievelijk docenten die verbonden zijn aan de variant. 3. Wanneer een opleiding op meerdere locaties wordt aangeboden: a Wordt bij grote overeenkomst in programma’s en docententeams het beoordelingsbezoek afgelegd op de hoofdvestiging, waarbij de samenstelling van de gespreksgroepen representatief moet zijn naar de verschillende vestigingen. Tevens worden dan aanvullende eisen gesteld 9
Bij het gesprek met vertegenwoordigers van het werkveld gaat het om twee groepen: enerzijds een selectie van werkgevers van afgestudeerden en anderzijds leden van een werkveldcommissie of andere structurele overlegverbanden met werkgevers.
© NQA (Netherlands Quality Agency)
79
aan het materiaal dat ter inzage beschikbaar is (tevredenheidsmetingen studenten / docenten, waarin onder andere inzicht over kwaliteit van materiële voorzieningen). Voor zover het panel dit nodig acht, wordt aanvullend aan het beoordelingsbezoek op de hoofdvestiging een kort bezoek aan de nevenvestiging gebracht ter verificatie van de aanwezige materiële voorzieningen. b Wanneer er in geringe mate sprake is van overeenkomst in programma’s en docententeams wordt elke locatie afzonderlijk bezocht. In de opzet van het beoordelingsbezoek kunnen ook aanpassingen worden aangebracht wanneer gelijktijdig meerdere (al of niet verwante) opleidingen binnen een hogeschool of faculteit/instituut/school worden beoordeeld.
Instrumenten en formats Gedurende en voorafgaande aan het beoordelingsbezoek maakt het panel gebruik van formats en instrumenten die zijn gericht op het verzamelen van informatie en het formuleren van oordelen en conclusies.
Rapportage De panelsecretaris stelt een conceptrapportage op en legt die voor aan de panelleden. Het panel stelt vervolgens het definitieve concept vast. In de rapportage wordt - voorzover van toepassing - expliciet ingegaan op de verschillende varianten en/of locaties.
Hoor en wederhoor Het definitieve concept wordt aan opleiding voorgelegd ter correctie van feitelijke onjuistheden. Naar aanleiding van de reactie van de opleiding worden door de panelsecretaris zonodig wijzigingen aangebracht en wordt het definitieve rapport door het panel vastgesteld. Het rapport wordt daarna ter beschikking gesteld aan de opleiding, die het samen met de accreditatieaanvraag kan indienen bij de NVAO. Indien zich tijdens het beoordelingsproces, ondanks de verschillende procedures die NQA hanteert ter voorkoming daarvan, conflicten voordoen binnen panels, tussen panel en NQA, of tussen panel en opleiding, zal een vooraf ontworpen conflictprocedure ter oplossing worden toegepast.
80
© NQA (Netherlands Quality Agency
Klachtenprocedure NQA hanteert een klachtenprocedure waarin is vastgelegd op welke wijze opleidingen hun beklag kunnen doen wanneer zij zich in de beoordelingsprocedure op enigerlei wijze tekort gedaan voelen.
© NQA (Netherlands Quality Agency)
81
Beoordelingsprotocol: wijze waarop vergelijkingen tussen opleidingen worden gemaakt NVAO heeft voorgeschreven dat in de beoordeling een vergelijking met minimaal 1 andere verwante opleiding wordt betrokken. NQA kan aan dit voorschrift op verschillende manieren voldoen: 1. Indien NQA meer opleidingen in hetzelfde domein beoordeelt, kan een vergelijking met verwante opleidingen vrij gemakkelijk door NQA worden gemaakt. Doordat NQA voor een groot aantal instellingen actief is, ligt deze mogelijkheid voor de hand. NQA werkt momenteel aan een database met beoordelingen, waarin vergelijkingsmateriaal wordt opgeslagen. 2. Bij de samenstelling van de panels zal erop gelet worden dat panelleden zo mogelijk bij verwante opleidingen worden ingeschakeld. Vergelijkingen tussen verwante opleidingen kunnen dan door de betreffende panelleden worden uitgevoerd. 3. NQA heeft voor een aantal facetten aangegeven waar gebruik kan worden gemaakt van openbare, vergelijkende informatie. Het betreft onder andere kengetallen (afdeling BIV van HBO-raad), gegevens uit de HBO- en WO-Monitor, en studentenoordelen (Keuzegids Hoger Onderwijs en Elsevier). 4. NQA onderhoudt een groot netwerk, zowel nationaal en internationaal. Samenwerking met andere VBI’s en internationale kwaliteitszorgorganisaties ten behoeve van het maken van vergelijkingen ligt daarom voor de hand. Ook internationale vergelijkingen behoren daarom tot de mogelijkheden. Het profiel (doelstellingen programma) en de behoeften van de opleiding vormen echter steeds het uitgangspunt bij het maken van vergelijkingen. De wijze waarop vergelijkingen worden gemaakt komt in dialoog met de opleiding tot stand. In de visie van NQA is het maken van vergelijkingen pas waardevol als dit goed aansluit bij de context van de opleiding. NQA zal in het beoordelingsrapport verantwoorden hoe vergelijkingen zijn gemaakt en de redenen daarvoor.
82
© NQA (Netherlands Quality Agency
Beoordelingsprotocol: wijze waarop bijzondere kwaliteitskenmerken worden getoetst Inleiding Naast accreditatie, gericht op basiskwaliteit, bestaat er de wettelijke mogelijkheid voor hoinstellingen om een aantekening te verkrijgen voor bijzondere kenmerken van de opleiding (WHW art. 5a.10). Een instelling voor ho kan een VBI verzoeken bijzondere kwaliteitskenmerken (verder BK genoemd) te toetsen. Als een BK positief is beoordeeld door de VBI en dit oordeel door de NVAO is gevalideerd, levert dit een aantekening op bij de accreditatie.
Kader voor beoordeling van het bijzonder kwaliteitskenmerk Het door de NVAO ontwikkelde accreditatiekader bestaande opleidingen verlangt van de VBI dat het bijzondere kwaliteitskenmerk op de volgende facetten en criteria wordt getoetst. 7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs.
© NQA (Netherlands Quality Agency)
83
Operationalisering bijzondere kwaliteit door NQA NQA heeft de criteria als volgt geoperationaliseerd in het NQA beoordelingskader. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Het kenmerk is betekenisvol.
Op welke wijze is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
Opleiding positioneert zich ten opzichte van andere (verwante) opleidingen in Nederland (het kenmerk hoeft niet noodzakelijkerwijs uniek te zijn).
Aanwijzingen Van belang is dat de opleiding beschikt over een document waarin ze expliciet heeft beschreven welk bijzondere kwaliteit ze nastreeft met daarbij de doelen en te verwachten resultaten. Dit kan onder andere blijken uit de waardering van het kenmerk (de doelen en het thema als zodanig) door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf. Hier is ook de waardering door stakeholders van het resultaat van belang. De opleiding heeft vergelijkend onderzoek uitgevoerd of laten uitvoeren onder verwante opleidingen in Nederland waaruit blijkt dat het kenmerk onderscheidend is. Onderzoek kan de toets der kritiek doorstaan (valide).
Wijze van rapportage door de opleiding (zelfevaluatierapport) en NQA De opleiding en de VBI maken een afspraak over de wijze waarop het BK in de rapportage verwerkt wordt. Dit kan op twee manieren gebeuren: • Als expliciet onderdeel in het zelfevaluatierapport en in het rapport van de NQA. • Als geïntegreerd onderdeel van de zelfevaluatierapport en in het rapport van de NQA. Bij elk aspect dient het BK wel herkenbaar beoordeeld te worden. Opleiding en NQA geven in een samenvattende paragraaf van het zelfevaluatierapport respectievelijk het visitatierapport weer wat het totaaloordeel is over het BK. In de rapportage dient de VBI haar werkwijze te verantwoorden. De conclusies dienen beargumenteerd te worden aan de hand van het referentiekader van de VBI en de analyse van de feiten. Een vergelijking van de opleiding met andere opleidingen maakt nadrukkelijk onderdeel uit van de rapportage.
Beoordelen van het bijzondere kwaliteitskenmerk In de toelichting bij het NVAO beoordelingskader wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding.
84
© NQA (Netherlands Quality Agency
Dat betekent dat de opleiding inzicht moet verschaffen in de wijze waarop de kwaliteit van het bijzondere kenmerk is gemeten. De kwaliteit van de bewijsvoering door de opleiding is hierbij van belang. De onderzoeksmethode die de opleiding gebruikt om het BK te evalueren moet naar het oordeel van het panel solide zijn. Dat betekent dat er systematisch kwalitatief en kwantitatief onderzoek aan ten grondslag moet liggen. Ook het vergelijkend onderzoek van het kenmerk onder verwante opleidingen dient valide te zijn. De resultaten van het onderzoek moeten uitwijzen dat er inderdaad sprake is van een bijzonder kenmerk en een bijzondere kwaliteit.
Samenstelling panel in verband met het bijzondere kwaliteitskenmerk In het panel is voldoende expertise aanwezig om het bijzondere kwaliteitskenmerk te kunnen beoordelen. Dit moet blijken uit opleiding en/of ervaring van de panelleden (CV).
© NQA (Netherlands Quality Agency)
85
Beoordelingsprotocol: wijze waarop de rapportage plaatsvindt Inleiding Het rapport staat in dienst van het verkrijgen van een accreditatie voor een opleiding van een hogeschool. In het rapport doet het panel verslag van het onderzoek dat het panel heeft gedaan naar de kwaliteit van de opleiding. Het verslag volgt het NVAO accreditatiekader en de richtlijnen van NQA. Het verslag is feitelijk, ‘to the point’ en geeft beargumenteerde en goed onderbouwde oordelen. Het verslag bevat geen aanbevelingen, uitgebreide analyses of andere uitweidingen die afleiden van de beoordeling en de onderbouwing daarvan.
NQA richtlijnen voor het beoordelingsrapport I
Beoordeling per facet
Elk facet van het accreditatiekader bestaande opleidingen wordt beoordeeld door het panel conform het hierboven beschreven beoordelingsprotocol. Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het facet (zonodig onderverdeeld naar opleidinglocatie). Het oordeel bij de facetten wordt gevolgd door een samenhangende onderbouwing van het oordeel aan de hand van een logisch opgebouwd betoog. Bij een positief oordeel (‘voldoende’, ‘goed’ of ‘excellent’) begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangegeven welke positieve aspecten bepalen dat er sprake is van voldoende basiskwaliteit dan wel van goede of excellente kwaliteit. Vervolgens kunnen eventuele kritische kanttekeningen worden geplaatst. Indien het oordeel negatief is (‘onvoldoende’), begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangeven waarom geen sprake is van basiskwaliteit. Aan het eind kunnen opbouwende en positieve kanttekeningen worden geplaatst. De criteria uit het accreditatiekader geven richting aan de onderbouwing van het oordeel. II
Beoordeling per onderwerp
Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het onderwerp (zonodig onderverdeeld naar opleidinglocatie). Het panel geeft voor elk van de zes te beoordelen onderwerpen van het beoordelingskader een oordeel conform het hierboven beschreven beoordelingsprotocol. Daarbij worden de oordelen over de onderliggende facetten betrokken. In het verslag verantwoordt het panel welke afwegingen zij heeft gemaakt om tot een positief dan wel negatief oordeel te komen.
86
© NQA (Netherlands Quality Agency
Indien de opleiding heeft verzocht om beoordeling van een bijzonder kwaliteitskenmerk dan wordt het samenvattend oordeel hierover afzonderlijk in het rapport behandeld. Voor de wijze van rapportage verwijzen we naar het onderdeel uit het beoordelingsprotocol ‘wijze waarop bijzondere kwaliteitskenmerken worden getoetst’. Voor het overige zijn voor bijzondere kwaliteitskenmerken de rapportagerichtlijnen voor de oordelen per facet en onderwerp van toepassing. III
Eindoordeel
Het hoofdstuk met het eindoordeel start met een overzichtstabel waarin duidelijk wordt gemaakt welke oordelen zijn gegeven per facet, per onderwerp en per opleidingsvariant (en zonodig per opleidinglocatie). Het eindoordeel volgt uit de oordelen per onderwerp; voor een positief eindoordeel dienen immers alle zes onderwerpen als voldoende te zijn beoordeeld. Bij optredende verschillen tussen varianten en locaties zal het eindoordeel beargumenteerd worden. IV
Bijlagen
In de bijlagen verantwoordt het panel de werkwijze, dit bevat in ieder geval: • Ondertekende verklaringen van elk panellid waaruit blijkt dat het oordeel van het panel in volstrekte onafhankelijkheid tot stand is gekomen. Panelleden mogen geen bindingen hebben met de beoordeelde opleiding. • Verklaring van het panel over de zelfevaluatie; of deze een voldoende basis bood voor de visitatie. • Een overzicht van de samenstelling van het panel (inclusief kort curriculum vitae van de panelleden). Hieruit moet blijken dat er voldoende onderwijsdeskundigheid, domeindeskundigheid, auditdeskundigheid en deskundigheid op het gebied van internationale ontwikkelingen van de discipline in het panel aanwezig is. • Een verantwoording van het gehanteerde beoordelingsprotocol en de gevolgde werkwijze, waarbij afwijkende keuzen en gehanteerde procedures worden toegelicht en beargumenteerd. Daarbij wordt speciale aandacht besteed aan de beoordelingswijze van eventuele bijzondere kwaliteitskenmerken, en de wijze van vergelijking met andere, vergelijkbare opleidingen. Eventuele afwijkingen van het beoordelingsprotocol worden gerapporteerd en beargumenteerd. • Het domeinspecifieke referentiekader met een verklaring van het panel over de wijze waarop dit tot stand is gekomen en de wijze waarop domeinspecificiteit is betrokken in de oordelen.
Interne kwaliteitstoets beoordelingsrapport Het conceptrapport wordt door minimaal 1 ervaren medewerker van NQA, niet zijnde de panelsecretaris, onderworpen aan vooraf vastgestelde kwaliteitseisen met betrekking tot methodologie en consistentie van paneloordelen. Er zal een procedure ontwikkeld worden
© NQA (Netherlands Quality Agency)
87
voor de verdere behandeling indien er gebreken met betrekking tot methodologie of consistentie zijn geconstateerd.
Managementletter Opleidingen kunnen NQA verzoeken een management letter te schrijven met adviezen over kwaliteitsverbetering. Deze management letter is de verantwoordelijkheid van NQA (waarbij panelleden om advies kunnen worden gevraagd), volgt na het beoordelingsrapport, behoort niet tot de accreditatieprocedure en wordt daarom vertrouwelijk aan de opdrachtgever ter beschikking gesteld. Een management letter kan een waardevolle bijdrage leveren aan het nader invullen van de verbeteringsfunctie. Adviezen over kwaliteitsverbetering hebben echter slechts zin als daarvoor een draagvlak is; vandaar dat management letters alleen worden aangeboden als de opdrachtgever kenbaar heeft gemaakt dat daaraan behoefte is.
88
© NQA (Netherlands Quality Agency
Bijlage 5
HANDREIKING VOOR OORDEELSVORMING
10
Introductie Een van de belangrijkste en ingewikkeldste aspecten van het visitatieproces is de oordeelsvorming. Op verschillende niveaus zijn er oordelen nodig. Het eindoordeel is gebaseerd op het oordeel op zes onderwerpen. Daaronder ligt weer het oordeel op 21 facetten. Per onderwerp dienen, na weging, de facetten te leiden tot een oordeel over het onderwerp. Inhoudelijk richtinggevend voor de oordelen is het NVAO-kader dat bepaalt wat de objecten van onderzoek zijn. Het diepst in het kader liggen de door de NVAO geformuleerde 31 criteria. Informatie over die criteria moet inzicht geven of basiskwaliteit al dan niet door de beoordeelde opleiding wordt gerealiseerd. De criteria in het accreditatiekader geven tevens richting aan de onderbouwing van het oordeel. Het NVAO-kader is zo opgezet dat er ruimte wordt gelaten voor het timmermansoog van de panelleden en de positiebepaling en de eigen doelstellingen van de hogescholen. NQA onderschrijft die uitgangspunten en kiest er bij de oordeelsvorming dan ook niet voor om te werken met mathematische procedures en methodieken. NQA gaat er vanuit dat niet bij voorbaat te zeggen is dat alle facetten overal evenveel waarde hebben. Dat is mede afhankelijk van de keuzes van hogescholen (bijvoorbeeld in de missie geformuleerd). Er is dus ruimte nodig om in de oordeelsvorming aan die diversiteit tegemoet te komen. Dat houdt tevens voor de opleidingen in dat er veel nadruk komt te liggen op de bewijslast. Hoewel dus niet gekozen wordt voor mechanische beslisregels, dient er toch naar gestreefd te worden dat de oordelen van het panel binnen de gehanteerde werkwijze zo objectief en betrouwbaar mogelijk zijn. Bovendien is het van groot belang dat er consistentie is in de afwegingen van de verschillende panels. Tevens zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten worden ‘tegengelezen’ door één of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan NQA actie ondernemen zoals het terugzending van het rapport naar het panel.
10
Versie 7, 10 maart 2004
© NQA (Netherlands Quality Agency)
89
Beslisregels Inleiding De NVAO beschrijft in het accreditatiekader (hfst. 4) beslisregels voor de accreditatie. Eén beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag. 17) staat echter, dat ‘afwegingen op alle niveaus - facetten, onderwerpen en eindoordeel - inzichtelijk’ gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter ‘niet louter instrumenteel worden omgegaan’; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NVAO dus 3 afwegingen noodzakelijk: betreffende het facet; betreffende het onderwerp (van facet naar onderwerp); betreffende het eindoordeel. Bovendien dienen afwegingen niet ‘louter instrumenteel’ (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn. Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd?
90
© NQA (Netherlands Quality Agency
Resultaten11: hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen12, borging, resultaten en verbetering. Bij de beoordeling komt centraal te staan dat aanvaardbaar wordt gemaakt dat de opleiding resultaten heeft behaald overeenkomstig de door haar nagestreefde doelen. Vanuit dat perspectief spreekt het vanzelf dat de kern gevormd wordt door de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). In feite houdt dit in dat bij afweging de uitvoering zwaarder weegt dan het beleid. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten ‘automatisch’ tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublindescriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel ‘goed’ overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een ‘best practice’ op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden. Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door de NVAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. NQA vindt, gegeven het NVAO-kader, dat een aantal facetten bij accreditatie van bijzonder belang geacht kan worden. Dat wil overigens niet zeggen dat deze weging absoluut is en noodzakelijkerwijs tot onvoldoendes op onderwerpniveau moet leiden. Steeds dient gekeken te worden naar specifieke keuzes die de opleiding maakt of de 11
Hiermee is niet het onderwerp ‘resultaten’ bedoeld maar de bereikte resultaten ten aanzien van elk facet. Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen. 12
© NQA (Netherlands Quality Agency)
91
concrete situatie waarin zij zich bevindt. De context speelt dus steeds een belangrijke rol. Uiteraard komt daarbij wel een (extra) zware druk op de bewijslast te liggen. De accenten die NQA legt betreffen binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Het gaat hier om facetten die de status als hbo-opleiding in een bepaald domein beschrijven. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Deze facetten hebben betrekking op de praktijk- en beroepsgerichtheid van de opleidingen. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin de NVAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Het oordeel op onderwerpniveau dient weergegeven te worden als voldoende of onvoldoende. Dit houdt echter niet in dat er in de onderbouwing geen sprake zou kunnen zijn van nuancering. Als er binnen een onderwerp op basis van de facetoordelen sprake is van een ‘goede’ of zelfs ‘excellente’ situatie dan moet dat in de formulering tot uitdrukking kunnen komen. Een bijzondere situatie doet zich voor bij opleidingen in opbouw die in de visitatie meegenomen moeten worden. Deze opleidingen bevinden zich in een bepaalde fase van ontwikkeling en hebben nog geen afgestudeerden. Op bepaalde onderwerpen (resultaten bijvoorbeeld) kan geen oordeel geven worden. In die situaties zal het oordeel gebaseerd zijn op wat gerealiseerd is, de verdere plannen en het vertrouwen dat is ontstaan in een succesvolle verdere realisering van de opleiding. Anders gezegd; daar waar resultaten afwezig zijn, is een scherp zicht op de borging van groot belang. Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. De NVAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft de NVAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien, bijvoorbeeld, de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft de NVAO de weg geopend om tot nadere
92
© NQA (Netherlands Quality Agency
afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant. Om het de gevisiteerde opleiding en de NVAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie. Samenvattend: - de beslisregels op facetniveau zijn kwalitatief (gebaseerd op duidelijke argumenten); - de beslisregels op onderwerpniveau zijn kwalitatief en rekenkundig (compensatiemogelijkheid); - beslisregels op het niveau van het eindoordeel zijn rekenkundig (alles voldoende).
© NQA (Netherlands Quality Agency)
93