Hogeschool Diedenoort, Wageningen Opleiding:
Facility Management
Visitatiedata:
17 en 18 mei 2004
2
© NQA ( Netherlands Quality Agency)
Inhoud
3
Deel A:
Onderwerpen 1.1 Voorwoord 1.2 Inleiding 1.3 Werkwijze 1.4 Oordeelsvorming 1.5 Oordelen per onderwerp 1.6 Overzicht oordelen 1.7 Totaaloordeel
5 7 8 8 9 9 12 12
Deel B:
Facetten Onderwerp 1 Onderwerp 2 Onderwerp 3 Onderwerp 4 Onderwerp 5 Onderwerp 6
13 17 19 26 28 29 31
Deel C:
Bijlagen Bijlagen 1 Bijlagen 2 Bijlagen 3 Bijlagen 4 Bijlagen 5
Doelstellingen van de opleiding Programma Inzet van personeel Voorzieningen Interne kwaliteitszorg Resultaten
33 Onafhankelijkheidsverklaring panelleden 35 Beknopte CV Panelleden 37 De zelfevaluatie in verband met NVAO accreditatie Vragen en Aanwijzingen 43 Beoordelingsprotocol van NQA 61 Handreiking voor oordeelsvorming 79
© NQA ( Netherlands Quality Agency)
3
4
© NQA ( Netherlands Quality Agency)
Deel A: Onderwerpen
© NQA ( Netherlands Quality Agency)
5
6
© NQA ( Netherlands Quality Agency)
Hogeschool Diedenoort, Wageningen Opleiding
: Facility Management
Visitatiedata: 17 en 18 mei 2004
Deel A:
Onderwerpen
1.1 Voorwoord Dit rapport bevat de bevindingen en de conclusies van het panel dat op 17 en 18 mei 2004 in opdracht van Netherlands Quality Agency (NQA) de opleiding Facility Management van Hogeschool Diedenoort in Wageningen heeft gevisiteerd. De visitatie had plaats in het kader van de accreditatie van hogere beroepsopleidingen. Het panel bestond uit de volgende personen: de heer drs. D. Richters MBA (voorzitter) mevrouw drs. M. van Oppen de heer A. Arreman de heer drs. L. Koekebakker (NQA-auditor) Het panel was breed samengesteld. Het beschikte over domeinspecifieke deskundigheid, onderwijs- en auditdeskundigheid en deskundigheid over de internationale ontwikkelingen van de discipline (zie bijlage). Het rapport bestaat uit drie delen: • deel A: het onderwerprapport. In deel A spreekt het panel haar oordeel uit over de zes onderwerpen in het NVAObeoordelingskader: doelstellingen opleiding; programma; inzet van personeel; voorzieningen; interne kwaliteitszorg en resultaten. In deel A formuleert het panel ook haar eindoordeel. • deel B: het facettenrapport. In dit deel van het rapport oordeelt het panel over de bij bovengenoemde onderwerpen behorende facetten. Elk oordeel is voorzien van een of meer argumenten. • deel C: de bijlagen. 1.2
Inleiding
Hogeschool Diedenoort in Wageningen is een monosectorale hogeschool. Zij biedt één opleiding aan: Facility Management (Diedenoort-FM). De geschiedenis van de hogeschool gaat terug tot 1971, het jaar waarin de toenmalige Akademie Diedenoort van start ging met de hogere beroepsopleiding Toegepaste HuishoudWetenschappen (THW). Diedenoort voerde deze opleiding als eerste in Nederland uit. De opleiding THW kende twee © NQA ( Netherlands Quality Agency)
7
afstudeerrichtingen, voorlichting kleinhuishouding en management groothuishouding. In 1988 is de naam Akademie Diedenoort verlaten en veranderd in Hogeschool Diedenoort. Hogeschool Diedenoort profileert zich als een toonaangevend competentiecentrum voor facility management. Zij wil haar studenten uitdagen te leren en competenties te ontwikkelen die zij nodig hebben om als facility manager te kunnen functioneren. De opleiding Diedenoort-FM wordt in twee varianten aangeboden: deeltijd en voltijd. De deeltijdvariant is in het studiejaar 1999-2000 ingevoerd. De studieprogramma's van beide varianten worden herzien. Kleine met elkaar samenhangende modulen worden vervangen door grote en het gehele onderwijs wordt competentiegericht opgezet. Om deze verandering mogelijk te maken heeft de opleiding zes kerncompetenties geformuleerd. Competenties zijn volgens Diedenoort het gereedschap van beroepsbeoefenaren om beroepstaken uit te kunnen voeren. Zij leveren het vermogen om adequaat te handelen in kritische beroepssituaties. Naast de initiële opleiding FM levert de hogeschool commerciële kennisdiensten aan instellingen en bedrijven. Hogeschool Diedenoort bevindt zich in een bijzondere fase van haar bestaan. Medio 2004 wordt zij opgeheven en integreert zij in de Hogeschool van Arnhem en Nijmegen (HAN) en de Hogeschool van Utrecht (HvU). Met beide hogescholen is een samenwerkingsovereenkomst gesloten. De opleiding Facility Management verlaat haar vestigingsplaats Wageningen. Voor de HvU biedt zij haar onderwijs aan in de KennisSatelliet Amersfoort (KSA) en voor de HAN op de campus in Nijmegen. De naam van de opleiding wordt Academie Diedenoort Facility Management. 1.3
Werkwijze
De visitatie van de opleiding Facility Management in Wageningen is gebeurd conform de werkwijze zoals die is neergelegd in het beoordelingsprotocol van NQA (zie bijlage). NQA onderscheidt daarin drie fasen: de voorbereidingsfase, het eigenlijke visitatiebezoek en de rapportagefase. De voorbereidingsfase Allereerst heeft de NQA-auditor het zelfevaluatierapport gecheckt op kwaliteit en compleetheid en daarmee op bruikbaarheid voor de visitatie. Nadat het zelfevaluatierapport in orde was bevonden, zijn de panelleden zich inhoudelijk gaan voorbereiden op het bezoek. Zij lazen het zelfevaluatierapport (en bijlagen), formuleerden in een beoordelingsformat voorlopige oordelen op basis van argumenten en zij formuleerden vragen, die tijdens het bezoek in ieder geval aan de orde moesten komen. Op basis van een overzicht van voorlopige oordelen inventariseerde de NQA-auditor tenslotte aandachtspunten voor materialenonderzoek. Het visitatiebezoek Tijdens het visitatiebezoek is gesproken met een (representatieve) vertegenwoordiging van docenten, studenten, werkvelddeskundigen en afgestudeerden. Daarnaast waren er aan het begin en het eind van het bezoek gesprekken met de opleidingsmanager, de coördinator evaluatie en kwaliteit van de hogeschool en de voorzitter van het college van bestuur. 8
© NQA ( Netherlands Quality Agency)
Aan het begin van het bezoek is het ter inzage gevraagde materiaal bestudeerd. De fase van rapporteren De NQA-auditor heeft, op basis van de bevindingen van het panel, een conceptrapportage opgesteld. Het panel heeft het concept rapport besproken, waar nodig bijgesteld en vervolgens vastgesteld. In het rapport wordt expliciet ingegaan op de twee varianten van de opleiding. Het conceptrapport is aan de opleiding voorgelegd met het verzoek feitelijke onjuistheden te corrigeren. Naar aanleiding daarvan zijn door de NQA-auditor enkele wijzigingen aangebracht en is het definitieve rapport door het panel vastgesteld. Het rapport is begin juli 2004 naar de opleiding gestuurd. 1.4
Oordeelsvorming
In de volgende paragraaf (1.5) wordt per onderwerp een oordeel uitgesproken op basis van weging van de facetten van het betreffende onderwerp. Centraal bij de weging stonden de beslisregels zoals die door NQA in het beoordelingsprotocol (zie bijlage) zijn geformuleerd en zijn uitgewerkt in de notitie Handreiking voor oordeelsvorming (zie bijlage). Tevens is bij de weging rekening gehouden met accenten die de opleiding zelf legt, het domeinspecifieke kader en (waar nodig) een vergelijking met de andere opleidingen Facility Management in Nederland. In de oordelen per onderwerp wordt steeds een herhaling gegeven van de oordelen over de facetten gevolgd door een eindoordeel. 1.5
Oordelen per onderwerp
1.5.1 Doelstellingen opleiding De drie facetten van dit onderwerp zijn met goed beoordeeld. Het oordeel over het onderwerp doelstellingen opleiding is daarom positief. De opleiding ontleent haar doelstellingen aan het landelijk overeengekomen Beroepsprofiel & Opleidingsprofiel Facilitaire Dienstverlening HBO. In de doelstellingen zijn de tien generieke kernkwalificaties voor de hbo-bacheloropleidingen zichtbaar aanwezig. 1.5.2 Programma. Aan vijf van de acht tot dit onderwerp behorende facetten is het oordeel ‘goed’ toegekend. Drie facetten: ‘samenhang’, ‘studielast’ en ‘instroom’ zijn ‘voldoende’ beoordeeld. Het oordeel over het onderwerp programma is daarom positief. Het programma is afgestemd op de doelstellingen, het is samenhangend, studeerbaar, sluit aan bij de vooropleiding van de studenten en voldoet aan de formele eisen over de duur ervan. De opleiding beschikt over een eigen onderwijsvisie en een daarvan afgeleid didactisch concept. Toetsing en onderwijs zijn goed met elkaar verbonden. 1.5.3 Inzet van personeel Aan de drie facetten van het onderwerp inzet personeel is het oordeel ‘goed’ toegekend. Het oordeel over het onderwerp inzet personeel is daarom positief.
© NQA ( Netherlands Quality Agency)
9
De docenten leggen een verbinding tussen de opleiding en de beroepspraktijk. Er zijn voldoende goed gekwalificeerde docenten om het programma uit te voeren. 1.5.4 Voorzieningen Aan het facet ‘materiële voorzieningen’ is het oordeel ‘goed’ toegekend, aan het facet ‘studiebegeleiding’ het oordeel ‘voldoende’. Het oordeel over het onderwerp voorzieningen is daarom positief. De huisvesting en de materiële voorzieningen zijn goed. Het studiebegeleidingsysteem voldoet maar wordt herzien en aangepast aan het nieuwe op competenties gerichte curriculum. 1.5.5 Interne kwaliteitszorg. Aan het facet evaluatie resultaten is het oordeel ‘excellent’ toegekend, over de overige facetten is het oordeel ‘goed’. Het oordeel over het onderwerp interne kwaliteitszorg is daarom positief. Diedenoort-FM beschikt over een adequaat en goed werkend systeem van interne kwaliteitszorg. Zij voert op gezette tijden evaluaties uit over alle aspecten van de opleiding. Bij deze evaluaties zijn medewerkers, alumni, studenten en het afnemende beroepenveld van de opleiding actief betrokken. De uitkomsten ervan vormen de basis voor aantoonbare verbetermaatregelen. 1.5.6 Resultaten. Het oordeel over het facet onderwijsrendement is ‘goed’. Het oordeel over het facet gerealiseerd niveau is ‘excellent’. Het eindoordeel over het onderwerp resultaten is daarom positief. Voor het onderwijsrendement heeft Diedenoort-FM streefcijfers geformuleerd. Het feitelijke rendement voldoet aan deze streefcijfers. De eindkwalificaties die de studenten tijdens hun studie bij Diedenoort-FM realiseren zijn in overeenstemming met de beoogde eindkwalificaties. Algemene gegevens Diedenoort FM ingeschreven studenten (voltijd) ingeschreven studenten (deeltijd) ingeschreven studenten totaal aantal docenten omvang docerend personeel (fte) student/fte ratio instroom propedeuse totaal aantal geslaagden totaal gemiddelde studieduur geslaagden (in jaren) aantal studiestakers totaal gemiddelde studieduur studiestakers (in jaren)
1997 1011
1998 951
1011 69 53,53 18,89 244 220 4,4 107 1,8
951 60 49,05 19,39 254 218 4,4 83 1,6
1999 923 22 945 55 43,03 21,96 282 203 4,3 112 1,5
2000 880 47 927 66 44,00 21,07 284 182 4,3 91 1,5
2001 843 75 918 50 38,95 23,57 237 187 4,2 71 1,6
2002 789 87 881 51 40,13 21,95 206 187 4,2 65 1,5
De gegevens over Diedenoort-FM worden hieronder vergeleken met gegevens over de overige FM-opleidingen in Nederland en met gegevens over de sector heo. De vergelijkingen gaan over twee onderwerpen: instroom en rendement.
10
© NQA ( Netherlands Quality Agency)
Instroom instroom Diedenoort-FM (voltijd) instroom Diedenoort-FM (deeltijd) instroom FM (landelijk) instroom sector heo (landelijk)
1997 244
Rendement diploma behaald na 5 jr in % (DiedenoortFM) diploma behaald na 5 jr in % (sector heo) gemiddelde studieduur geslaagden (Diedenoort-FM) gemiddelde studieduur geslaagden (sector heo) uitval na 1 jaar in % (Diedenoort-FM) uitval na 1 jaar in % (sector heo) uitval na 1 jaar in % (FM-landelijk) gemiddelde studieduur studiestakers (Diedenoort-FM) gemiddelde studieduur studiestakers (sector heo)
1998 254
1999 260 22 1574 33.371
2000 252 32 1473 34.075
2001 211 26 1388 35.433
2002 172 29 1295 33.578
2003 133 41 1445 35.335
1997 69,41
1998 64,65
1999 69,65
2000 69,34
2001 62,30
2002 65,75
44,1
45,0
4,4
4,4
4,3
4,3
4,2
4,2
3,8
3,7
24,18
20,47 30,4 27,6 1,6
26,95 34,9 32,1 1,5
23,24 37,7 28,3 1,5
19,41 37,7 27,6 1,6
20,18 32,4 29,3 1,5
1,7
1,6
1,6
1,6
1,7
1,8
Conclusies • Het rendement van de opleiding Diedenoort-FM is beter dan het gemiddeld rendement van de andere FM-opleidingen in Nederland. Het is ook beter dan het gemiddelde rendement van de opleidingen in de sector heo. • Het aantal studenten dat de opleiding Diedenoort-FM na 1 jaar verlaat neemt af. In 1999 was dat ruim 26%, in 2001 en 2002 was het gedaald naar circa 20%. • Van alle studenten die zich tot 2002 hebben aangemeld bij de opleiding FM deed 18% dat bij Diedenoort-FM. In 2002 neemt het aantal instromende studenten af tot 16% en in 2003 kwam 12% van alle FM-studenten de opleiding Diedenoort-FM binnen. • De gemiddelde studieduur van geslaagden ligt al enkele jaren onder de bekostingsnorm.
© NQA ( Netherlands Quality Agency)
11
1.6
Overzicht oordelen over onderwerpen en facetten Doelstellingen opleiding Niveau bachelor Domeinspecifieke eisen Oriëntatie HBO-bachelor
positief goed goed goed
Programma Eisen HBO Relatie doelstellingen en inhoud programma Samenhang in het opleidingsprogramma Studielast Instroom Duur Afstemming tussen vormgeving en inhoud Beoordeling en toetsing
1.7
positief goed goed voldoende voldoende voldoende goed goed goed
Inzet van personeel Eisen HBO Kwantiteit personeel Kwaliteit personeel
positief goed goed goed
Voorzieningen Materiele voorzieningen Studiebegeleiding
positief goed voldoende
Interne kwaliteitszorg Evaluatie resultaten Maatregelen tot verbetering Betrekken van studenten, medewerkers, alumni en beroepenveld
positief excellent goed
Resultaten Onderwijsrendement Gerealiseerd niveau
positief goed excellent
goed
Totaaloordeel
Op grond van de beschrijvingen in paragraaf 1.5 waaruit blijkt dat aan de zes onderwerpen van het NVAO-beoordelingskader het oordeel ‘positief’ is toegekend, is de conclusie van het visitatiepanel dat het totaaloordeel over de opleiding VOLDOENDE is.
12
© NQA ( Netherlands Quality Agency)
Deel B: Facetten
© NQA ( Netherlands Quality Agency)
13
14
© NQA ( Netherlands Quality Agency)
Hogeschool Diedenoort Opleiding: Facility Management (voltijd en deeltijd)
Visitatiedata: 17 en 18 mei 2004
DETAILRAPPORT
© NQA ( Netherlands Quality Agency)
15
16
© NQA ( Netherlands Quality Agency)
Onderwerp 1 Facet 1.1
DOELSTELLINGEN VAN DE OPLEIDING Niveau bachelor
Goed
Criteria: De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor. De bachelor-eindkwalificaties van de opleiding worden als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
-
De opleiding Diedenoort-FM heeft geen eigen eindkwalificaties ontwikkeld maar ontleent deze aan het in 1999 landelijk overeengekomen Beroepsprofiel & Opleidingsprofiel Facilitaire Dienstverlening HBO. Centraal in het opleidingsprofiel staan 32 eindkwalificaties waarover afgestudeerden van de opleiding Facility Management moeten beschikken om het beroep facility manager zelfstandig en adequaat uit te kunnen oefenen. Het beroep is beschreven in het beroepsprofiel, de kern daarvan is een opsomming van 88 beroepstaken. De 32 eindkwalificaties die de basis vormen van het curriculum van Diedenoort-FM, zijn geordend in negen verantwoordelijkheidsgebieden waarop de facility manager actief is: beleid- en beleidsontwikkeling, het verlenen van facilitaire diensten, het organiseren van (verander)processen, communicatie en informatie, PR en relatiebeheer, intern management, personeel, bedrijfseconomie en financiën, en beroepsontwikkeling. Het studieprogramma van Diedenoort-FM is modulair opgebouwd. De opleiding heeft voor alle modulen leerdoelen geformuleerd. Hierbij heeft zij gebruik gemaakt van de taxonomie van Romiszowski. De doelen van de modulen en de 32 eindkwalificaties vormen samen het inhoudelijk opleidingskader. Ze zijn door de opleiding ondergebracht in de zogenoemde opleidingsdatabase en daarbinnen met elkaar in verband gebracht. Het panel heeft de database tijdens het bezoek ingezien en geconstateerd dat de leerdoelen en de 32 eindkwalificaties elkaar volledig dekken. In het zelfevaluatierapport en in de nota De visie van Academie Diedenoort (2004) verantwoordt de opleiding zich voor het bereiken van het hbo-niveau. Zij doet dat met behulp van de tien generieke kernkwalificaties voor de hbo-bacheloropleidingen en een door haar zelf opgestelde variant van deze kwalificaties. Het panel heeft tijdens het bezoek vastgesteld dat de opleiding het studieprogramma zo heeft opgezet dat de kernkwalificaties er herkenbaar in aanwezig zijn. Het programma daagt de studenten in alle fasen uit zich al doende te ontwikkelen tot professionals die probleemgericht, creatief, methodisch en integraal kunnen handelen en indien nodig nieuwe kennis kunnen verwerven. Zij doet dat vooral door opdrachten te verstrekken waarvan het probleem niet op voorhand duidelijk is en waarop standaardprocedures niet van toepassing zijn. Door de verankering van de tien generieke kernkwalificaties voor de hbobacheloropleidingen in het curriculum zorgt de opleiding ervoor dat de studenten ook de kwalificaties van een bachelor ontwikkelen, zoals vastgelegd in de vijf Dublindescriptoren: (toepassen) van kennis en inzicht, oordeelsvorming, communicatie en
© NQA ( Netherlands Quality Agency)
17
-
leervaardigheden. De opleiding toont in het zelfevaluatierapport aan dat dit in de meeste modulen telkens terugkerende aspecten zijn, die ook als zodanig worden getoetst. Uit eigen onderzoek van de opleiding blijkt dat de 32 beoogde eindkwalificaties dekkend zijn voor het curriculumprofiel dat is opgesteld door de International Facility Management Association (IFMA) en het profiel van de Britse beroepsvereniging (BIFM).
Facet 1.2
Domeinspecifieke eisen
Goed
Criteria: De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). De domeinspecifieke eindkwalificaties van de opleiding worden als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
De 32 in 1999 landelijk overeengekomen eindkwalificaties dienen als uitgangspunt voor inhoud en vormgeving van het curriculum. Bij Diedenoort-FM afgestudeerde facility managers zijn volgens deze eindkwalificaties breed opgeleid. Zij plannen, organiseren, coördineren, managen en evalueren de facilitaire dienstverlening. Centrale begrippen in hun beroepsmatig handelen zijn wonen, werken en verblijven. Hun werkterreinen zijn instellingen, bedrijven en organisaties (werken), huishoudens (wonen) en/of ziekenhuizen, vakantieparken, sportcomplexen, gevangenissen en winkelcentra (verblijven). Diedenoort-FM beschikt over een actieve en goed functionerende beroepenveldcommissie. Tijdens het visitatiebezoek vertelden de aanwezige leden van de commissie dat zij positief oordelen over het brede profiel van de in Wageningen opgeleide facility managers en de vertaling ervan in het curriculum. Zij vinden dat alle elementen die het beroep kenmerken in de eindkwalificaties en in het curriculum zijn terug te vinden. Dit betekent volgens de beroepenveldcommissie dat afgestudeerden van Diedenoort-FM het beroep facility manager uit kunnen oefenen. Zij kunnen beroepsopgaven en probleemsituaties waarvoor zij zich gesteld zien oplossen en zij kunnen de daarbij gemaakte handelingskeuzes verantwoorden.
Facet 1.3
Oriëntatie HBO-bachelor
Goed
Criteria: De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een HBOopleiding vereist is of dienstig is.
18
© NQA ( Netherlands Quality Agency)
De oriëntatie op het HBO-bachelorniveau van de eindkwalificaties wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
De 32 eindkwalificaties waarop het curriculum van Diedenoort-FM is gebaseerd zijn ontleend aan het Beroepsprofiel & Opleidingsprofiel Facilitaire Dienstverlening HBO. De eindkwalificaties zijn in 1999 in opdracht van het Landelijk Overleg Opleidingen Facilitaire Dienstverlening (LOOFD) opgesteld. De opdracht is een van de uitkomsten van de visitatie van de opleidingen FM, enkele jaren daarvoor. De eindkwalificaties sluiten aan bij de 88 beroepstaken van de facility manager. Beroepstaken en eindkwalificaties zijn in 1999 door vertegenwoordigers uit de beroepspraktijk tijdens speciaal voor dit doel belegde conferenties gelegitimeerd. Door deelname aan het LOOFD en contacten met de beroepenveldcommissie en de alumni blijft de opleiding op de hoogte van actuele ontwikkelingen in de facilitaire dienstverlening. Zij houdt rekening met deze ontwikkelingen en verwerkt ze waar nodig in het curriculum, waardoor de afgestudeerden zijn opgeleid voor de praktijk.
Onderwerp 2 Facet 2.1
PROGRAMMA Eisen HBO
Goed
Criteria: -
-
Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied/de discipline Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk.
De mate waarin het programma voldoet aan de HBO-eisen wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
Feitelijke en begripsmatige kennis, strategieën om deze kennis te verwerven, de toepassing ervan bij het oplossen van beroepsproblemen en bij de productie van beroepsproducten zijn vaste onderdelen van vrijwel alle modulen. Geïsoleerd leren van kennis komt niet voor. Alle kennis wordt door de studenten contextgebonden verworven, dat wil zeggen aan de hand van door de docenten ontwikkelde actuele vraagstukken uit de beroepspraktijk. In de studiegids en in de studiehandleidingen is bij elke module relevante literatuur voorgeschreven. De studenten worden daarnaast aangemoedigd zelf geschikte literatuur te zoeken en te selecteren. Het panel heeft tijdens het visitatiebezoek vastgesteld dat de studenten door de voorgeschreven literatuur in aanraking komen met relevante theorieën en nationale en internationale ontwikkelingen op het terrein van de facilitaire dienstverlening. De modulen zijn zo opgezet dat de studenten de aangeboden literatuur
© NQA ( Netherlands Quality Agency)
19
-
-
-
-
-
-
20
moeten verwerken. Na afloop wordt via toetsing nagegaan of zij dat hebben gedaan en zich de kennis die daarin is opgenomen hebben eigen gemaakt. De studenten komen tijdens hun hele studie (deeltijd en voltijd) in aanraking met de beroepspraktijk. Zij ontwikkelen zich tot een beginnend beroepsbeoefenaar via aan de beroepspraktijk ontleende beroepsproblemen, vakliteratuur, trainingen en beroepsrelevant studiemateriaal. Een belangrijk uitgangspunt voor de opleiding is dat de studenten tenminste een deel van de competenties ontwikkelen in het werkveld zelf. Dat gebeurt voor de voltijdse studenten met stages in het tweede en het derde studiejaar. Deze stages duren samen 34 weken en leveren 34 studiepunten (46 European credits) op. De studenten sluiten hun studie af met een afstudeeropdracht. Deze opdracht wordt over het algemeen in een Nederlands bedrijf uitgevoerd. Met deze opdracht bewijzen de studenten dat ze in staat zijn zelfstandig een extern geworven praktijkprobleem op te lossen. De deeltijdstudenten realiseren veel leerdoelen in het bedrijf waar zij werken. Indien zij een passende werkplek en functie hebben, dat wil zeggen die in zwaarte overeenkomen met de fase van de opleiding, ontvangen ze een vrijstelling voor de stage. De afstudeeropdracht voeren ze ook in het eigen bedrijf uit. In het curriculum van Diedenoort-FM is wetenschappelijke vorming een steeds terugkerend thema. De studenten maken via literatuurstudie kennis met wetenschappelijke redeneringen als fundament voor hun beroepsmatig handelen. Ze bestuderen deze redeneringen en leren ze gebruiken. De basisonderzoeksvaardigheden ontwikkelen de studenten in de propedeuse in de modulen werkomgeving en facilitair aanbod afstemmen op facilitaire vraag en in het tweede jaar in de module onderzoek. Tegelijkertijd voeren de studenten kleine en grote onderzoeksopdrachten uit. Hierdoor leren ze informatie verzamelen en verwerken, conclusies te trekken en aanbevelingen te doen. Soms zijn de onderzoeksopdrachten een onderdeel van een module, soms omvat een module een heel onderzoek. Een voorbeeld van een dergelijk onderzoek is de projectstudie in het tweede jaar. Dit onderzoek wordt voor een externe opdrachtgever uitgevoerd. Voor de deeltijdstudenten is een apart onderzoekstraject opgezet dat aansluit bij hun beginsituatie. Zij verwerven de vereiste onderzoeksvaardigheden door onderzoeksopdrachten in hun eigen organisatie uit te voeren. De opleiding evalueert bij studenten en afgestudeerden de aansluiting van het studieprogramma op de beroepspraktijk. Uit de evaluatieverslagen die het panel heeft ingezien blijkt dat het overgrote deel van de studenten en de afgestudeerden positief oordeelt over de beroepsgerichtheid van het curriculum. De afgestudeerden met wie het panel tijdens het bezoek heeft gesproken, oordeelden gunstig over de relevantie van de modulen voor het beroep. De afgestudeerden vertelden dat ze beroepsgericht zijn opgeleid en over een stevige kennisbasis beschikken. De studenten waren vooral positief over het evenwicht tussen theorie en praktijk en over de actualiteit van de studiestof. Voorts waarderen zij de buitenschoolse leerperioden en de opdrachten die zij daarin moeten uitvoeren. Deze dagen hen uit het op school geleerde in de praktijk te oefenen en al doende een eigen werkhouding te ontwikkelen die past binnen de door de opleiding geformuleerde eisen.
© NQA ( Netherlands Quality Agency)
Facet 2.2
Relatie doelstellingen en inhoud programma
Goed
Criteria: -
Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken.
De relatie doelstellingen en inhoud van het programma wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
-
Het curriculum van Diedenoort-FM is gespreid over twee fasen: een propedeutische fase van een jaar en een hoofdfase van drie jaar. Elk jaar is onderverdeeld in onderwijsperioden van tien weken. Totaal zijn er zestien perioden. Een gemeenschappelijk kenmerk voor alle onderwijsperioden is de modulaire opbouw. Het overgrote deel van de modulen verwijst naar een relevant onderdeel van de beroepspraktijk. Voorbeelden hiervan zijn: corporate communication, ethische aspecten van organisatieverandering, huisvestingsmanagement, schoonmaakonderhoud en vastgoedbeheer en werkomgeving. De opleiding heeft voor elke module leerdoelen geformuleerd. In deze doelen is precies omschreven welke feitelijke en begripsmatige kennis en reproductieve en productieve vaardigheden de studenten gedurende de module moeten ontwikkelen. Voor de studenten zijn de leerdoelen opgenomen in de studiegids en in de studiehandleiding. Alle leerdoelen hebben een relatie met een of meer van de 32 beoogde eindkwalificaties. Deze relatie is door de opleiding zichtbaar gemaakt in de opleidingsdatabase. Het panel heeft de database tijdens het bezoek ingezien en geconstateerd dat de modulen en de doelen van de modulen zo zijn gekozen dat de studenten de eindkwalificaties kunnen bereiken. De studenten vertelden het panel tijdens het bezoek dat zij de leerdoelen duidelijk vinden. De doelen zijn zo omschreven dat zij weten wat van hen wordt verwacht, zij kunnen hun studieactiviteiten daarop afstemmen. De studenten vertelden verder dat de door de opleiding gekozen inhouden, opdrachten en literatuur goed aansluiten bij de leerdoelen. Bestudering van het studiemateriaal door het panel bevestigt dat beeld. Het hbo-niveau, de hbo-oriëntatie en de domeinspecifieke eisen komen er voldoende in tot uitdrukking.
Facet 2.3
Samenhang in het opleidingsprogramma
Voldoende
Criteria: -
Studenten volgen een inhoudelijk samenhangend opleidingsprogramma.
© NQA ( Netherlands Quality Agency)
21
De samenhang in het programma wordt als ‘voldoende' beoordeeld. Dit oordeel wordt als volgt gemotiveerd: Voltijd - De opleiding heeft het studieprogramma van de voltijdse variant zo opgezet dat de studenten in de propedeutische fase een breed en basaal programma doorlopen en de kennis daar opgedaan gaandeweg hun studie uitbreiden en leren toepassen in steeds complexere situaties. - In het programma zijn twee rode draden zichtbaar. De eerste is de centrale positie van het beroep. In vrijwel alle modulen wordt een koppeling gelegd met de werkzaamheden van de facility manager. Opdrachten, praktijkvoorbeelden en casuïstiek ontlenen de docenten aan de beroepspraktijk. De tweede rode draad betreft het verband dat er bestaat tussen modulen die gekoppeld zijn aan een of meer dezelfde eindkwalificaties. Deze modulen komen verspreid over de opleidingsfasen aan de orde, maar vormen met elkaar een samenhangend geheel. Deeltijd - In de deeltijdse leerroute is de werkpraktijk van de studenten de rode draad. In alle modulen wordt een relatie met de praktijk gelegd, bijvoorbeeld door opdrachten die de studenten in de praktijk moeten uitvoeren. Dat is in de eigen organisatie of in de organisatie van collega-studenten. - Evaluaties van de opleiding tonen aan dat vooral de voltijdstudenten pas achteraf, wanneer zij een bepaalde fase van het programma hebben afgesloten, de samenhang in het curriculum ervaren. In de gesprekken met het panel bevestigden de aanwezige studenten en afgestudeerden deze evaluatiegegevens. Terugkijkend vonden de afgestudeerden het programma samenhangend. Zij vertelden er echter bij dat op het moment dat ze het onderwijs volgden de samenhang in hun beleving niet aanwezig was.
Facet 2.4
Studielast
Voldoende
Criteria: -
Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen.
De studeerbaarheid van het programma wordt als ‘voldoende’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
22
Om een efficiënte leerroute van studenten te bevorderen heeft de opleiding een groot aantal maatregelen genomen. De meeste hebben betrekking op de organisatie van het onderwijs, de toetsing en de begeleiding. Het studiejaar is onderverdeeld in vier perioden van tien weken. Onderwijsvrije weken komen niet voor, de opleiding kent alleen lange onderwijsperioden om de studielast zo gelijkmatig mogelijk over de weken te verdelen. Piekbelasting wordt vermeden door © NQA ( Netherlands Quality Agency)
-
-
-
opdrachten te spreiden over de hele periode. Roosters en studiemateriaal worden tijdig verstrekt en de studielast wordt berekend. Specifiek voor de voltijdse variant is dat het programma "gespiegeld", dat wil zeggen twee maal in een studiejaar, wordt aangeboden. Hierdoor kunnen de studenten studieachterstand betrekkelijk snel goedmaken. De opleiding biedt extra begeleiding aan studenten met meer dan 1 jaar studievertraging. Aan het eind van een onderwijsperiode worden de daarin geprogrammeerde onderdelen afgerond en getoetst. Iedere toets leidt direct tot een geregistreerde beoordeling op basis waarvan studiepunten worden toegekend. De tijdstippen van de toetsen zijn aan het begin van het jaar bekend. In de studiehandleidingen zijn voorbeeldtoetsen opgenomen. Ook de beoordelingscriteria zijn in de studiehandleidingen vermeld. Elke toets kan minimaal eenmaal per jaar worden herhaald. De docenten zorgen voor snelle feedback op geleverde prestaties en toetsinzage is een vast onderdeel van het rooster. De studenten kunnen hun studieresultaten op elk gewenst moment bekijken via het intranet van de hogeschool. Tijdens het visitatiebezoek lieten de studenten zich positief uit over de studeerbaarheid van het programma en over de logistieke organisatie. Ze noemden twee aandachtspunten. Het eerste is de bereikbaarheid van de docenten, die laat soms te wensen over. Het tweede zijn de voorbeeldtoetsen in de studiehandleidingen. Deze corresponderen niet altijd met de toets aan het eind van de periode. Struikelmodulen volgens de studenten zijn bedrijfseconomie, financieel management, privaat- en publiekrecht en recht capita selecta. Voor deeltijdstudenten, zo bleek tijdens het bezoek, hangt de studeerbaarheid van het programma vooral samen met de aard van het werk dat zij doen en de omvang daarvan. Zij vertelden het panel dat zij de opleiding zwaar vinden. Zij moeten vaak alles op alles zetten om naast het werk alle opdrachten uitgevoerd te krijgen. De opleiding ondersteunt de deeltijdstudenten binnen studieloopbaanbegeleiding door aandacht voor timemanagement en planningsvaardigheden.
Facet 2.5
Instroom
Voldoende
Criteria: Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: VWO, HAVO, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek. De instroom in het programma wordt als ‘voldoende' beoordeeld. Dit oordeel wordt als volgt beargumenteerd: -
-
In het studiejaar 2003-2004 stroomden 174 studenten de opleiding binnen, 133 studenten gingen naar de voltijdse leerroute, 41 naar de deeltijdse. Van de 133 voltijdstudenten waren er 88 afkomstig van het havo, 12 van het vwo en 32 van het mbo. Voor aspirant-studenten gelden geen bijzondere eisen. Een diploma van havo, vwo of mbo, een propedeusegetuigschrift of een document dat door de examencommissie is aangegeven als hieraan gelijkwaardig, geven toelating tot de opleiding. Aspirant-
© NQA ( Netherlands Quality Agency)
23
studenten van 21 jaar en ouder zonder een adequate vooropleiding kunnen een colloquium doctum afleggen. Doorslaggevend in het aansluitingsbeleid van de opleiding Diedenoort-FM is de beginnende student met een havo-diploma. Er is een deficiëntietoets economie 1. Tijdens het bezoek bleek dat een van de gevolgen van deze aanpak is dat de vwogediplomeerden de studie gemakkelijk afgaat en havisten de opleiding bij voldoende inspanning goed kunnen volgen. Mbo-afgestudeerden echter vinden de opleiding moeilijk en veel. Het panel heeft tijdens het bezoek vastgesteld dat dit te maken heeft met de – inmiddels afgeschafte- verwantschap tussen MBO-FD en HBO-FM. Hierdoor was Diedenoort-FM verplicht om mbo-afgestudeerden een driejarige leerroute aan te bieden, met als gevolg dat deze studenten alle zeilen bij moesten zetten om bij te blijven. Met iedere aspirant-deeltijdstudent heeft een aannamegesprek plaats. Zij komen doorgaans op basis van elders verworven competenties in aanmerking voor vrijstellingen. De procedure die daarbij wordt gevolgd is beschreven in de studiegids. Vrijstellingen leiden altijd tot een verkorte leerroute.
-
-
Facet 2.6
Duur
Goed
Criteria: -
De opleiding voldoet aan formele eisen met betrekking tot de omvang van het curriculum: HBO-bachelor: 240 studiepunten.
De studieduur wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
De opleiding heeft de studieduur uitgedrukt in studiebelastingsuren, de studielast in studiepunten en vanaf het studiejaar 2004-2005 in European creditpoints (Ec). De studielast is 168 studiepunten (240 Ec). Een studiepunt staat voor 40, een Ec voor 28 studie-uren, zodat de studieduur uitkomt op 6720 uur. De opleiding voldoet hiermee aan de formele eisen over de duur van het curriculum.
Facet 2.7
Afstemming tussen vormgeving en inhoud
Voldoende
Criteria: Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept. De afstemming tussen vorm en inhoud wordt als ‘voldoende’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
24
De opleiding Diedenoort-FM beschikt over een eigen onderwijsvisie. De leidende gedachte achter deze visie is dat de studenten zich tijdens hun studie ontwikkelen tot competente, ondernemende facility managers, die in staat zijn tot samenwerken met andere beroepsbeoefenaren, tot reflecteren op hun handelen en tot het methodisch en © NQA ( Netherlands Quality Agency)
-
-
-
zelfstandig oplossen van beroepsproblemen. De studenten verwerven de competenties zoveel mogelijk in leersituaties die gelijkenis vertonen met beroepssituaties. Dit betekent dat de beroepswerkelijkheid herkenbaar in het onderwijs aanwezig is en studenten die werkelijkheid naleven. Ze voeren soms alleen, soms in groepen opdrachten uit, overleggen met elkaar, leggen resultaten vast, presenteren die en moeten ze mondeling kunnen verdedigen, waarbij overtuigingskracht vereist is. Groei in competentieontwikkeling wordt door de opleiding gestimuleerd doordat zij de studieopdrachten gaandeweg complexer maakt en een steeds groter beroep doet op de transfervaardigheden van de studenten. De onderwijsvisie is door de opleiding uitgewerkt in een didactisch concept. Volgens dit concept is leren een actief proces waarin de studenten zelf inzichten en samenhangen construeren. Zij doen dat door heen weer te pendelen tussen wat zij al weten, wat zij leren in de modulen en wat zij leren in de praktijk. Veel onderwijsactiviteiten gebeuren in kleine groepen. De docenten begeleiden de groepen, als coach, tutor of als inhoudelijk deskundige. Zij houden spreekuren en organiseren vragenuren. Daarnaast verzorgen zij colleges, workshops en trainingen. Tijdens het bezoek vertelden de studenten dat zij positief oordelen over de didactische aanpak van de docenten. Ze voelen zich voldoende uitgedaagd en stellen het beroep dat de docenten doen op hun eigen verantwoordelijkheid, zelfstandig informatie zoeken, problemen oplossen en het samenwerken op prijs. De verhouding tussen hoorcolleges, werkcolleges, instructiecolleges aan de ene kant en training en groepswerk aan de andere kant kan volgens de studenten, met wie het panel heeft gesproken, beter. Zij vinden dat er relatief veel colleges zijn.
Facet 2.8
Beoordeling en toetsing
Goed
Criteria: Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. De toetsing en beoordeling worden als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
De opleiding gebruikt zeven toetsvormen. Deze lopen uiteen van pen-en-papier-toetsen tot presentaties en van verslagen en werkstukken tot mondelinge tentamens. Alle modulen worden met een toets afgesloten. Voor elke module zijn leerdoelen geformuleerd, die in de opleidingsdatabase zijn gerelateerd aan een of meer van de 32 eindkwalificaties. De studenten hebben een eindkwalificatie bereikt wanneer zij voor de toetsen van de modulen die aan de betreffende eindkwalificatie zijn gekoppeld een voldoende hebben behaald. Omdat kennis van belang is voor de ontwikkeling van competenties, hebben kennistoetsen naast een summatieve ook een diagnostische en een stimulerende functie. De toetsen kunnen de student en de docent namelijk informatie verschaffen over mogelijke oorzaken van een zwakke competentieontwikkeling
© NQA ( Netherlands Quality Agency)
25
-
-
Voor de beoordeling van de stages en de afstudeeropdracht heeft de opleiding beoordelingslijsten opgesteld. In de opleiding bestaat veel aandacht voor kwaliteitsborging van de toetsen. De kerndocenten leveren aan het begin van elk studiejaar de toetsen voor het betreffende studiejaar in bij de toetscommissie. Deze commissie gaat na of de toetsen valide, betrouwbaar, bruikbaar, uitvoerbaar en doorzichtig zijn. Ook gaat de toetscommissie na of de toetsen aansluiten bij inhoud, aard en niveau van de leerdoelen. Het panel heeft tijdens het bezoek in de gesprekken met de studenten en de docenten en door bestudering van het ter inzage gelegde materiaal vastgesteld dat onderwijs en toetsing goed met elkaar zijn verbonden. De studenten vertelden het panel dat zij door de opleiding altijd juist worden geïnformeerd over de beoordelingscriteria.
Onderwerp 3 Facet 3.1
INZET VAN PERSONEEL Eisen HBO
Goed
Criteria: Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. De verbinding die het personeel tussen opleiding en beroepspraktijk legt, wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
-
De verantwoordelijkheid voor de ontwikkeling en de uitvoering van de modulen is door het college van bestuur van Hogeschool Diedenoort in handen gelegd van de kerndocenten. Deze docenten coördineren de ontwikkeling van de modulen en voeren ze uit, in samenwerking met de overige docenten die bij de betreffende module(n) betrokken zijn. Alle docenten zijn op de hoogte van de ontwikkelingen in de beroepspraktijk. Zij onderhouden relaties met de beroepspraktijk door stage- en afstudeerbegeleiding, door het lezen van vakliteratuur en/of door deelname aan conferenties en studiedagen op het vakgebied, doordat ze werkzaam zijn in de beroepspraktijk of contractactiviteiten uitvoeren voor de hogeschool. In de gesprekken tijdens het visitatiebezoek lieten de studenten zich zeer positief uit over de vakinhoudelijke kennis van hun docenten. De meesten leggen op een goede en aantrekkelijke manier een verbinding met de beroepspraktijk, bijvoorbeeld doordat ze gebruik maken van aansprekende praktijkvoorbeelden en actuele casuïstiek. De opleiding schakelt in elke fase van de opleiding gastsprekers in.
Facet 3.2
Kwantiteit personeel
Goed
Criteria: Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. 26
© NQA ( Netherlands Quality Agency)
De kwantiteit van het personeel wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
Bij de opleiding Diedenoort-FM stonden tijdens het visitatiebezoek 809 studenten ingeschreven. Er werkten 50 docenten die samen 37,04 fte bezetten. De student/fte-ratio kwam uit op 1:23. Vrijwel alle docenten zijn gedurende het hele studiejaar inzetbaar. Het ziekteverzuim is betrekkelijk laag. Het verzuimpercentage van de opleiding schommelt al enige tijd tussen 5 en 7%. Hogeschool en opleiding besteden veel aandacht aan de begeleiding van zieke medewerkers, aan reïntegratie en werkhervatting na ziekte en het terugdringen van ziekteverzuim. In de school is een sociaal medisch team actief, waarin naast het management ook de bedrijfsarts vertegenwoordigd is. De opleiding gebruikt het protocol Poortwachter. De opleiding beschikt niet over een instrument waarmee de medewerkertevredenheid kan worden gemeten. Na de overgang naar Amersfoort en Nijmegen wil zij hiervoor gebruik maken van de instrumenten van beide fusiepartners.
Facet 3.3
Kwaliteit personeel
Goed
Criteria: Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. De kwaliteit van het personeel wordt als ‘goed’ beoordeeld. Dit wordt als volgt gemotiveerd: -
-
-
-
Diedenoort-FM profileert zich als een toonaangevend kenniscentrum voor facility management. Tegen deze achtergrond wil de opleiding dat de docenten voldoende gekwalificeerd zijn voor de uitvoering van het curriculum en van contractactiviteiten. Zij presenteert in het zelfevaluatierapport het zogeheten Takenprofiel docerend personeel waarin precies is opgeschreven wat de benodigde deskundigheden zijn van de docenten om deze ambitie waar te kunnen maken. Alle docenten komen in aanmerking voor scholing. Voor individuele scholing en deskundigheidsbevordering is een budget beschikbaar. Afspraken hierover worden gemaakt tijdens functioneringsgesprekken. Ook de resultaten van individuele scholing worden tijdens deze gesprekken besproken. De opleiding biedt enkele keren per jaar gemeenschappelijke scholing aan. Tijdens deze bijeenkomsten wordt aandacht besteed aan actuele ontwikkelingen in het beroep en/of het onderwijs. Verder houden de docenten intervisiebijeenkomsten waarin zij met elkaar praten over de uitvoering van een module of een groep modulen. De opleiding biedt voorts de mogelijkheid van docentstages. In gesprekken met het panel uitten de studenten hun tevredenheid over de kwaliteit van de docenten, niet alleen op vakinhoudelijk maar ook op didactisch terrein. Zij typeerden de docenten als enthousiast, bekwaam en studentgericht.
© NQA ( Netherlands Quality Agency)
27
Onderwerp 4 Facet 4.1
VOORZIENINGEN Materiële voorzieningen
Goed
Criteria: De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. De materiële voorzieningen worden als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
De opleiding is gehuisvest in een eigen gebouw dat beschikt over hoorcollegezalen en leslokalen. In het gebouw zijn verder vergaderruimten, een restaurant en een mediatheek. De vergaderruimten worden door de studenten als projectruimte gebruikt. De mediatheek is voorzien van een brede selectie informatiedragers, pc's en tafels voor groepswerk. Er is in het gebouw één pc voor elke acht studenten. De docenten beschikken over een eigen werkplek die is voorzien van de gebruikelijke faciliteiten. In verband met de overgang van de opleiding van Wageningen naar Amersfoort en Nijmegen typeert zij haar huisvesting in het zelfevaluatierapport als "het juiste gebouw op de verkeerde plaats". Het gebouw staat in het centrum van Wageningen. Lijnbussen brengen studenten en medewerkers in ongeveer 20 minuten van en naar het NS-station Ede-Wageningen. Uit eigen onderzoek van de opleiding onder studenten en medewerkers blijkt dat het gebouw voldoende faciliteiten biedt om de studieprogramma's uit te voeren. De voltijdse studenten pleitten in de gesprekken met het panel voor meer projectruimtes.
Facet 4.2
Studiebegeleiding
voldoende
Criteria: De studiebegeleiding en informatievoorziening aan studenten zijn adequaat met het oog op de studievoortgang. De studiebegeleiding en informatievoorziening aan studenten sluiten aan bij de behoefte van studenten. De studiebegeleiding en informatievoorziening worden als ‘voldoende’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
28
Diedenoort-FM beschikt over een systeem van studieloopbaanbegeleiding dat in het studiejaar 2001-2002 is ingevoerd. De begeleiding is primair gericht op de studievoortgang van de studenten en het voorkomen van studieproblemen. Alle studenten (voltijd en deeltijd) krijgen een studieloopbaanbegeleider toegewezen. In het eerste en het tweede jaar van de studie zijn er enkele verplichte contacten tussen de studenten en hun begeleiders. Het initiatief hiervoor gaat uit van de docentbegeleider. Na het tweede jaar vervallen deze verplichte contacten en verschuift het initiatief van de docent naar de student. Alleen als de prestaties hiertoe aanleiding geven neemt de © NQA ( Netherlands Quality Agency)
-
-
docent contact op met de student. Uit evaluaties van de opleiding blijkt dat de studenten in meerderheid tevreden zijn over de begeleiding die de opleiding hen biedt. De studieloopbaanbegeleiding wordt vanaf het studiejaar 2004-2005 op een andere leest geschoeid. Het nieuwe systeem is beschreven in de Beleidsnotitie Studieloopbaanbegeleiding die in februari 2004 is verschenen. De doelen van de studieloopbaanbegeleiding nieuwe stijl zijn volgens deze notitie breder. Ze hebben niet alleen betrekking op de studievoortgang van de studenten maar ook op hun lerend, reflecterend en zelfsturend vermogen en hun competentieontwikkeling. Nieuw in het systeem is de vraag van de opleiding aan de studenten om op hun studievoortgang te reflecteren en betekenis te geven aan studie- en beroepservaringen en een leerportfolio en een persoonlijk ontwikkelingsplan bij te houden. Volgens eigen onderzoek van de opleiding zijn de studenten tevreden over de informatie die zij krijgen over de inhoud en de organisatie van de studie en hun studievoortgang. Zij vinden de informatie relevant, helder en volledig. Deze onderzoekresultaten zijn tijdens het bezoek in de gesprekken met de studenten bevestigd.
Onderwerp 5 Facet 5.1
INTERNE KWALITEITSZORG Evaluatie resultaten
Excellent
Criteria: De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. De periodieke evaluatie van de resultaten, aan de hand van toetsbare streefdoelen wordt als ‘excellent’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
Diedenoort-FM beschikt over een adequaat en zeer goed werkend systeem van interne kwaliteitszorg. Zij voert op gezette tijden evaluaties uit over alle aspecten van de opleiding. Daarnaast werkt zij mee aan het onderzoek van de Keuzegids Hoger Onderwijs. De evaluaties, de doelen ervan, de frequentie en het moment van afname, de instrumenten, de doelgroep en verbetercycli in aansluiting op de evaluaties zijn nauwkeurig beschreven in het Kwaliteitszorgplan van de opleiding Facility Management van Hogeschool Diedenoort (2003). Verantwoordelijk voor de inhoud en de vormgeving van het Kwaliteitszorgplan is de zogenoemde kwaliteitscommissie. In deze commissie zijn alle geledingen van de hogeschool vertegenwoordigd: hogeschoolmanagement, opleidingsmanagement, docenten, ondersteunend personeel en studenten. De kwaliteitsfunctionaris is voorzitter van de commissie. Het visitatiepanel heeft tijdens het bezoek de ter inzage gelegde evaluatie-instrumenten en evaluatieverslagen bestudeerd en vastgesteld dat de opleiding het Kwaliteitszorgplan op methodologisch verantwoorde wijze uitvoert. Alle onderzoeken van de opleiding leveren voldoende representatieve, generaliseerbare, betrouwbare en valide gegevens op, waardoor gericht verbeterbeleid mogelijk is.
© NQA ( Netherlands Quality Agency)
29
Facet 5.2
Maatregelen tot verbetering
Goed
Criteria: De uitkomsten van deze evaluaties vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen. De uitkomsten van evaluaties vormen in ‘goede’ mate de basis voor aantoonbare verbetermaatregelen. Dit oordeel wordt als volgt onderbouwd: -
-
Voor iedere evaluatie die de opleiding uitvoert heeft zij een procedure verbetermaatregelen opgesteld. Vaste onderdelen van deze procedure zijn het schriftelijke verslag dat over uitgevoerde evaluaties verschijnt en de bespreking ervan met de direct betrokkenen. Alle verslagen, inclusief conclusies en verbetervoorstellen worden aangeboden aan het hogeschoolmanagement en het management van de opleiding dat de verslagen gebruikt bij de vormgeving van het onderwijsbeleid. Indien evaluaties leiden tot verbeteractiviteiten bewaakt het management de uitvoering ervan. Bij de eerstvolgende evaluatie wordt nagegaan wat het precieze effect is van deze activiteiten. Het panel heeft in de gesprekken met betrokkenen tijdens het visitatiebezoek vastgesteld dat de verbetermaatregelen die de opleiding neemt niet alleen betrekking hebben op het onderwijs en de organisatie. Ze betreffen ook de validiteit en de betrouwbaarheid van de onderzoeken, de kwaliteit van de meetinstrumenten, de verwerkings- en analysemethoden en de haalbaarheid van streefdoelen, streefnormen en streefcijfers.
Facet 5.3
Betrekken van studenten, medewerkers, alumni en beroepenveld
Goed
Criteria: Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. De betrokkenheid van studenten, medewerkers, alumni en het afnemend beroepenveld bij de interne kwaliteitszorg wordt als ‘goed’ beschouwd. Dit oordeel wordt als volgt gemotiveerd: -
-
30
De opleiding vraagt de studenten een oordeel uit te spreken over de kwaliteit van de binnen- en buitenschoolse onderwijseenheden en de jaarfasen. Het binnenschools curriculum wordt elke drie jaar geëvalueerd of zoveel vaker als nodig is, bijvoorbeeld na ingrijpende wijzigingen. De evaluatie van de jaarfasen en het buitenschools curriculum is jaarlijks. Deze evaluaties zijn schriftelijk. Het binnenschools curriculum wordt ook mondeling geëvalueerd, in het overleg van groepsvertegenwoordigers dat bestaat uit twee (student)vertegenwoordigers van elke lesgroep.
© NQA ( Netherlands Quality Agency)
-
-
-
-
De uitvoerende docenten evalueren ieder jaar tijdens een afrondende bijeenkomst de modulen waar zij bij betrokken waren. Dit overleg staat onder leiding van de kerndocent. De modulen worden ook schriftelijk onder de kerndocenten geëvalueerd. Vanaf het studiejaar 2003-2004 worden jaarlijks de alumni die twee jaar geleden zijn afgestudeerd benaderd met schriftelijke vragen over de kwaliteit van de opleiding en het verloop van hun professionele carrière. Met het Diedenoort Alumni Netwerk, de alumnivereniging van Diedenoort, bespreekt het college van bestuur van de hogeschool de uitkomsten van dit onderzoek. Het beroepenveld is via de beroepenveldcommissie (BVC) en het adviescollege voor de examens (ACE) bij het onderwijs betrokken. Een terugkerend thema in de besprekingen van de BVC zijn beleidsvoornemens over het onderwijs. De commissie adviseert over deze voornemens. De leden van het ACE zijn als gecommitteerde aanwezig bij examengesprekken. Het adviescollege evalueert de gang van zaken bij de examens. Bovendien legt de opleiding de gecommitteerden een vragenlijst voor waarin hen wordt gevraagd zich uit te spreken over het niveau van de afgestudeerde studenten. Tijdens het bezoek bleek dat de ACE en de BVC na de overgang van Diedenoort-FM naar Amersfoort en Nijmegen blijven bestaan. Diedenoort-FM heeft geen instrument waarmee de medewerkertevredenheid kan worden gemeten.
Onderwerp 6 Facet 6.1
RESULTATEN Onderwijsrendement
Goed
Criteria: Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers. Het onderwijsrendement wordt als ‘goed’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
De opleiding heeft in de achterliggende jaren systematisch rendementsgegevens verzameld en geanalyseerd. Richtsnoer bij de analyse waren de door de opleiding geformuleerde streefcijfers voor de onderwijsvraagfactor, studierendement en studieuitval. De opleiding wil dat de onderwijsvraagfactor voor de deeltijdse leerroute uitkomt op 1,2 en voor de voltijdse leerroute op 1. Deze factor wordt bereikt wanneer afgestudeerden 4,5 jaar over hun opleiding doen en studiestakers 1,35 jaar. Uit de door de opleiding in het zelfevaluatierapport opgenomen kengetallen blijkt dat zij de meeste van de geformuleerde streefcijfers realiseert. De onderwijsvraagfactor van de voltijdse variant is al sinds 1998 hoger dan 1. De onderwijsvraagfactor van de deeltijdse variant schommelt tussen 1,1 en 1,4. De gemiddelde studieduur van gediplomeerde voltijdstudenten was tussen 1997 en 1999 4,4 jaar, maar is sindsdien 4,3 jaar. Bij de deeltijdse studeren sinds 2002 studenten af. Hun studieduur was gemiddeld drie jaar. De gemiddelde studieduur van studiestakers (voltijd) is al enkele jaren 1,5 met een
© NQA ( Netherlands Quality Agency)
31
-
uitschieter in 2002 van 1,7 jaar. Bij de deeltijdse variant schommelt de studieduur van studiestakers tussen 1,0 en 1,6 jaar. Het aantal studenten dat hun studie staakt daalt. Met de aangeleverde kengetallen en streefcijfers geeft de opleiding er volgens het panel blijk van dat zij uitstekend zicht heeft op de ontwikkeling van relevante doorstroom- en uitstroomgegevens.
Facet 6.2
Gerealiseerd niveau
Excellent
Criteria: De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen. Het gerealiseerde niveau wordt als ‘excellent’ beoordeeld. Dit oordeel wordt als volgt gemotiveerd: -
-
-
-
-
32
Om er zeker van te zijn dat de gerealiseerde eindkwalificaties overeenstemmen met de beoogde eindkwalificaties werkt de opleiding volgens een inzichtelijk proces van onderwijsontwikkeling. Het vierjarig curriculum Diedenoort-FM is het resultaat van dit proces. Het curriculum wordt in de twee varianten conform vooraf opgestelde beschrijvingen uitgevoerd. De modulen worden afgesloten met een of meer toetsen. De stages in de voltijdse leerroute en de werkplek in de deeltijdse leerroute helpen de studenten bij het opdoen van praktijkervaring en bij de integratie van theorie en praktijk. Door de afstudeeropdracht die alle studenten aan het eind van hun opleiding uitvoeren bewijzen ze dat ze zelfstandig kunnen functioneren in de beroepspraktijk en de beoogde eindkwalificaties hebben ontwikkeld. Alle binnen- en buitenschoolse programma-eenheden worden volgens een vooraf vastgesteld schema bij studenten en kerndocenten geëvalueerd. Bij de bewaking van de eindkwalificaties zijn de beroepenveldcommissie (BVC), de alumni van de opleiding en het adviescollege voor de examens (ACE) betrokken. De alumni vertelden het panel dat zij trots zijn op het diploma van Hogeschool Diedenoort. Zij betreuren het als door de overgang naar Amersfoort en Nijmegen de naam Diedenoort op den duur zou verdwijnen. De alumni vertelden het panel verder dat zij na hun studie welkom waren op de arbeidsmarkt. Zij functioneren goed in de beroepspraktijk. De opleiding had hen uitstekend voorbereid op hun werkzaamheden. Lacunes hebben zij niet geconstateerd. De leden van de beroepenveldcommissie en het adviescollege voor de examens meldden het panel dat de afgestudeerden voldoen aan de eisen die het complexe werkveld van hen verwacht. De afgestudeerden zijn in staat het geleerde toe te passen in nieuwe situaties. Zij verwerven, indien noodzakelijk, gemakkelijk nieuwe kennis en werken zelfstandig. Bovendien groeien zij gemakkelijk door naar managementfuncties. Het panel vindt de kwaliteit van de afstudeerwerken die zij heeft ingezien goed. Alle afstudeerwerken bevatten een verslag van een onderzoek dat door de studenten zelfstandig is uitgevoerd.
© NQA ( Netherlands Quality Agency)
Deel C: Bijlagen
© NQA ( Netherlands Quality Agency)
33
34
© NQA ( Netherlands Quality Agency)
Bijlage 1:
Onafhankelijkheidsverklaringen panelleden
© NQA ( Netherlands Quality Agency)
35
36
© NQA ( Netherlands Quality Agency)
Bijlage 2:
Beknopte CV panelleden
© NQA ( Netherlands Quality Agency)
37
Secretaris/panellid Naam Initialen Tussenvoegsel(s) Titulatuur M/v Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?)
Koekebakker L. Drs M 27-06-1944 ja, bij Saxion Hogeschool Enschede en bij de HBO-raad
Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter?
nee
Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector)
27 jaar gewerkt in het onderwijs, 10 jaar bij SLO (Instituut voor Leerplanontwikkeling in Enschede) werkterreinen: lagere school, lbo, mbo, hbo en onderwijsverzorging (SLO)
Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft)
onderwijzer lagere school leraar lbo en mbo leerplanontwikkelaar (SLO) onderwijskundige en beleidsmedewerker kwaliteitszorg bij Saxion Hogeschool Enschede beleidsmedewerker kwaliteitszorg bij HBO-raad
Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft) Domeindeskundigheid (Geef in de hiernaast gelegen kolom aan voor welke domein u deskundigheid heeft) Opleiding(en) Mulo-A met wiskunde Akte van bekwaamheid als onderwijzer Akte van bekwaamheid als volledig bevoegd onderwijzer Pedagogiek MO-A Pedagogiek MO-B Doctoraal examen in de Onderwijskunde Werkervaring lager onderwijs lager beroepsonderwijs middelbaar beroepsonderwijs SLO (Instituut voor Leerplanontwikkeling) Saxion Hogeschool Enschede HBO-raad NQA
38
diploma behaald in 1961 diploma behaald in 1965 diploma behaald in 1966 diploma behaald in 1977 diploma behaald in 1984 diploma behaald in 1990 1967-1970 1970-1973 1973-1981 1981-1991 1991-heden 2001-2002 sinds 2004
© NQA ( Netherlands Quality Agency)
Voorzitter Naam Initialen Tussenvoegsel(s) Titulatuur M/v Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft)
Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft)
Righters D.W Drs, MBA M 14-06-1962 Gediplomeerd Lead-Auditor ISO-9002 Nee
Ben docent Bedrijfseconomie (14 uur p/w) Hoge school Rotterdam Als docent op een HEAO beschik ik over enige deskundigheid, dus affiniteit met het werkveld. Tevens heb ik vanwege mijn activiteiten (naast het docentschap) als zelfstandige consultant ervaring op het gebied van Bedrijfseconomische en management vraagstukken. Kwaliteitsmanagement in het bijzonder. Voor wat betreft kwaliteitsmanagement en bedrijfseconomische vraagstukken volg ik de internationale ontwikkelingen nauwlettend.
Domeindeskundigheid (Geef in de hiernaast gelegen kolom aan voor welk domein u deskundigheid heeft) Opleiding(en) VWO HEAO MBA Doctoraal Bedrijfskunde Lead-Auditor ISO 9002 Werkervaring KLM 1989-2002 Logistiek & Planning (vloot en menskrachtplanning) [4 jaar] Trainingen verzorgen ten behoeve van grond en vliegen personeel (4 jaar). Coachen en begeleiden van trainees (3jaar)
© NQA ( Netherlands Quality Agency)
39
Panellid Naam Initialen Tussenvoegsel(s) Titulatuur M/v Geboortedatum Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?)
Oud voorzitter/lid visitatiecommissie (Wilt u aangeven of de hiernaast opgenomen informatie correct is en eventueel aanvullen) Heeft u gefunctioneerd als dagvoorzitter? Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Werkvelddeskundigheid (Wilt u hierbij aangeven welke relevante werkervaring u heeft) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft)
Oppen M.A.A.U. van Drs. V 04-02-1953 Ja, ik ben gecertificeerd INK-auditor en heb ervaring met het organiseren van zelfevaluaties en audits in het kader van kwaliteitszorg. Verder ben ik op de hoogte van ISO en gewerkt aan een kwaliteitshandboek volgens ISO met behulp van het programma visio Ja ik heb als dagvoorzitter gefunctioneerd
Ja ik ben nog steeds als onderwijskundig adviseur werkzaam in de onderwijssector Zie uitgebreide bijlage
Ik heb studiereizen gemaakt in onderwijsinstellingen in het buitenland als kwaliteitszorg adviseur. Dit betrof: Sheffield College en Wakefield College. Onderzoek naar staff-appraisal in het kader van kwaliteitszorg en personele ontwikkeling. 1996 Verder studiereis naar Chicago voor een ITConferentie.
Domeindeskundigheid (Geef in de hiernaast gelegen kolom aan voor welke domein u deskundigheid heeft) Opleiding(en) Zie uitgebreide bijlage vanaf opleidingen Werkervaring
1977-1982 1982Vanaf 1986
40
Leidinggevende thuiszorg N.O-Utrecht Docent / trainer / beleidsmedewerker kwaliteitszorg ROC-Utrecht (en voorgangers) (deels) zelfstandig adviseur /trainer diverse onderwijsinstellingen zie voor opdrachtgevers uitgebreide bijlage onder opdrachten en organisaties
© NQA ( Netherlands Quality Agency)
Student-lid Naam Initialen Tussenvoegsel(s) Titulatuur M/v Geboortedatum Opleiding Welke opleiding volgt u thans? Wat is de naam van het opleidingsinstituut? In welk studiejaar studeert u? Volgt u een voltijd, deeltijd, duale of afstandsstudie of wellicht anderszins? Bij welke activiteiten bent u binnen de opleiding betrokken? Auditdeskundigheid (Heeft u ervaring als INK- of ISO-auditor?) Bent u eerder lid geweest van een visitatiecommissie?
Onderwijsdeskundigheid (Bent u onderwijskundige of werkzaam geweest in de onderwijssector) Internationale deskundigheid (Wilt u hierbij aangeven of u deskundigheid over de internationale ontwikkeling van het vakgebied heeft)
Arreman A.N.C. M 17-12-1980 Facility Management Hogeschool INHOLLAND, Diemen vierde voltijd Hogeschool Medezeggenschapsraad nee nee
nee Uitwisseling in het derde jaar gehad met Facility management studenten in Finlan
Domeindeskundigheid (Geef in de hiernaast gelegen kolom aan voor welke domein u deskundigheid heeft) Opleiding(en) 1996 tot 2000 2000 tot heden, afstudeerdatum: Juni 2004 Werkervaring Advocatenkantoor Clifford Chance Amsterdam Medewerker General Services, Bedrijfsstage TPG Post, Amsterdam Facility services Group 4 falck/ ABN AMRO, Amsterdam Facility services Back office Super de Boer, Weert Assistent Floormanager
© NQA ( Netherlands Quality Agency)
Havo Gilde opleidingen Roermond Facility Management, Hogeschool INHOLLAND, Diemen 2003 tot heden Sept. 2002 tot Maart 2003 2000 –2002 1995-2000
41
42
© NQA ( Netherlands Quality Agency)
Bijlage 3
De zelfevaluatie in verband met NVAO-accreditatie Vragen en aanwijzingen
Basiskwaliteit HBO-bachelor
Maart 2003
© NQA ( Netherlands Quality Agency)
43
Onderwerp Facet Preambule........................................................................................................................ 45 1. Doelstellingen van de opleiding (beoogde eindkwalificaties) ............................................ 48 1.1 Niveau Bachelor ......................................................................................................... 48 1.2 Domeinspecifieke eisen.............................................................................................. 48 1.3 Oriëntatie HBO bachelor ............................................................................................ 48 2. Programma...................................................................................................................... 50 2.1 Eisen HBO ................................................................................................................. 50 2.2 Relatie doelstellingen en inhoud programma.............................................................. 51 2.3 Samenhang in opleidingsprogramma ......................................................................... 52 2.4 Studielast ................................................................................................................... 52 2.5 Instroom ..................................................................................................................... 53 2.6 Duur ........................................................................................................................... 53 2.7 Afstemming tussen vormgeving en inhoud ................................................................. 54 2.8 Beoordeling en toetsing.............................................................................................. 54 3. Inzet van personeel.......................................................................................................... 55 3.1 Eisen HBO ................................................................................................................. 55 3.2 Kwantiteit personeel ................................................................................................... 55 3.3 Kwaliteit personeel ..................................................................................................... 55 4. Voorzieningen.................................................................................................................. 56 4.1 Materiële voorzieningen. ............................................................................................ 56 4.2 Studiebegeleiding....................................................................................................... 56 5. Interne kwaliteitszorg ....................................................................................................... 57 5.1 Evaluatie resultaten.................................................................................................... 57 5.2 Maatregelen tot verbetering........................................................................................ 57 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld. ............................ 57 6. Resultaten ....................................................................................................................... 58 6.1 Onderwijsrendement .................................................................................................. 58 6.2 Gerealiseerde niveau ................................................................................................. 58 7. Bijzondere kwaliteitskenmerken (facultatief)..................................................................... 59 7.1 Differentiatie en profilering.......................................................................................... 59 7.2 Kwaliteit...................................................................................................................... 59 7.3 Concretisering ............................................................................................................ 59 7.4 Onderscheidend karakter ........................................................................................... 59 Bijlage1 Kengetallen ............ ............................................................................................................60
44
© NQA ( Netherlands Quality Agency)
Preambule
Uitgangspunt Een zelfevaluatie kan meerdere functies hebben en vele doelen dienen. De waarde ligt in eerste instantie in de mate waarin de opleiding de zelfevaluatie benut voor de eigen beleidsvoering, in het bijzonder wat betreft de interne kwaliteitszorg. In deze brochure ligt echter de nadruk op de zelfevaluatie in dienst van de accreditatieaanvraag bij de NVAO. Er wordt in die zin dus ingezoomd op de verantwoordingsfunctie en op basiskwaliteit. De onderwijsinstelling dient met een extern onafhankelijk visitatierapport aan te tonen dat haar opleiding aan de kwaliteitscriteria van de NVAO voldoet. De zelfevaluatie vormt het vertrekpunt voor de objectieve oordeelsvorming door een extern visitatiepanel. De mate waarin de zelfevaluatie op overtuigende wijze aantoont dat aan de kwaliteitscriteria wordt voldaan, bepaalt voorts de intensiteit van nadere materiaalbestudering en gespreksvoering door het visitatiepanel.
Kwaliteitscriteria NVAO Voor het beoordelen van basiskwaliteit zijn door de NVAO in totaal 30 kwaliteitscriteria geformuleerd, die zijn ondergebracht bij 21 facetten. Per facet moet uiteindelijk door een visitatiepanel worden bepaald of de opleiding hierop een: - onvoldoende - voldoende - goed of - excellent scoort. De 21 facetten zijn op hun beurt ingedeeld naar 6 onderwerpen. Het oordeel dat een visitatiepanel velt per onderwerp komt tot stand op basis van weging van oordelen over de afzonderlijke facetten van dat onderwerp. Voor een positief totaaloordeel moet het oordeel over elk onderwerp tenminste voldoende zijn. 30 criteria
21 facetten
6 onderwerpen
totaaloordeel
Centrale vragen bij oordeelsvorming (visitatiepanel) Om te bepalen of aan de kwaliteitscriteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald onderwerp: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten: hoe verhouden de resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen)? © NQA ( Netherlands Quality Agency)
45
-
Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht?
Informatiegehalte zelfevaluatie Om de bovenstaande vragen te kunnen beantwoorden, zal de zelfevaluatie hierover voldoende informatie moeten bevatten. Het gaat dan om de volgende vier typen van informatie: 1.
Richtinggevende informatie: eigen visie en doelstellingen, eigen kwaliteitsopvattingen, waar mag de opleiding op worden afgerekend?
2.
Beschrijvende informatie: hoe reilt en zeilt de opleiding, hoe zijn processen ingericht, welke afspraken zijn gemaakt, etc.?
3.
Evaluatieve informatie: worden de doelen bereikt, hoe waarderen betrokkenen (met name studenten, afnemers en personeel) de verschillende facetten (evaluatieuitkomsten), en welke kwantitatieve resultaten worden bereikt (kengetallen)?
4.
Analytische informatie: gezien 1 t/m 3: hoe is het met de kwaliteit gesteld, welke conclusies kunnen hierover worden getrokken, worden de eigen doelen waargemaakt, zijn er discrepanties tussen doelstelling en doelbereiking, welke oorzaken zijn er voor aan te wijzen en welke verbeteringen zijn (of worden) hierop ingezet?
Om te bewaken dat het informatiegehalte voldoende is voor de oordeelsvorming zijn per facet relevante vragen ter beantwoording door de opleiding gegeven. Deze vragen zijn dus rechtstreeks ontleend aan de NVAO-facetten en -criteria. Als hulpmiddel voor de beantwoording van die vragen zijn per vraag aanwijzingen voor die beantwoording gegeven.
Opbouw zelfevaluatie Het is van belang dat de visitatiepanels de benodigde informatie voor elk van de 21 facetten op een efficiënte wijze tot zich kunnen nemen. Dit zou kunnen door de opbouw van de zelfevaluatie (de hoofdstukindeling) het NVAO-kader te laten volgen: I. Doelstellingen van de opleiding (beoogde eindkwalificaties) II. Programma III. Inzet van personeel IV. Voorzieningen V. Interne kwaliteitszorg VI. Resultaten VII. Indien van toepassing: Bijzonder kwaliteitskenmerk Een andere ordening is mogelijk, mits de benodigde informatie per facet snel toegankelijk is voor de panels. Hierover kunt u desgewenst afspraken maken met NQA. Zoals hierboven reeds is aangegeven, stelt NQA ten aanzien van elk facet een of meerdere vragen waarop in de zelfevaluatie een antwoord wordt gegeven. Deze vragen hebben 46
© NQA ( Netherlands Quality Agency)
betrekking op het betreffende facet en de daarbij behorende criteria. Voor de beantwoording van die vragen zijn aanwijzingen gegeven over zaken die beschreven en documenten waarnaar verwezen kan worden. Deze aanwijzingen zijn indicatief en niet voorschrijvend bedoeld.
Omvang Het zelfevaluatierapport zal als zelfstandig document gelezen moeten kunnen worden; het zal dus voldoende informatie moeten bevatten. Bijlagen dienen als naslagwerk. Gevraagd wordt om de volgende bijlagen mee te sturen: - overzicht van beoogde eindkwalificaties; - het beroepsprofiel; - studiegids; - overzicht van programma/curriculum (voor elke variant en locatie); - overzicht van personeel (kwalificaties docenten); - kengetallen. In het zelfevaluatierapport kan daarnaast belangrijke informatie uit andere documenten worden opgenomen, onder verwijzing naar deze documenten (die tijdens het bezoek ter inzage worden gelegd). In de aanwijzingen is te vinden om welke documenten het kan gaan. Indien dat nodig is voor de oordeelsvorming door de panels, kan de opleiding (zowel vóór, tijdens, als na het bezoek) om aanvullende informatie gevraagd worden. NQA zal zich echter inspannen om de informatielast zo beperkt mogelijk te houden. Door het duidelijk verwijzen naar andere documenten kan het zelfevaluatierapport beperkt blijven tot ten hoogste 40 pagina’s per opleiding, in uitzonderlijke gevallen van grote complexiteit (veel locaties en varianten) tot maximaal 80 pagina’s.
© NQA ( Netherlands Quality Agency)
47
1. Doelstellingen van de opleiding (beoogde eindkwalificaties)
1.1 Niveau Bachelor - De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een Bachelor. 1.2 Domeinspecifieke eisen - De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied/discipline en/of beroepspraktijk). 1.3 Oriëntatie HBO bachelor - De eindkwalificaties zijn mede ontleend aan de door (of in samenspraak met) het relevante beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties. - De eindkwalificaties weerspiegelen het niveau van beginnend beroepsbeoefenaar in een specifiek beroep of samenhangend spectrum van beroepen waarvoor een HBOopleiding vereist is of dienstig is.
48
© NQA ( Netherlands Quality Agency)
Vragen Welke eindkwalificaties worden beoogd?
Facet 1.1 1.2 1.3
Bij welke algemene, internationaal 1.1 geaccepteerde beschrijving van het bachelorniveau sluiten de beoogde eindkwalificaties aan?
Op welk specifiek beroep of 1.3 samenhangend spectrum van beroepen hebben de beoogde eindkwalificaties betrekking? Bij welke eisen van (buitenlandse) 1.2 vakgenoten en de (buitenlandse) beroepspraktijk sluiten de beoogde eindkwalificaties aan? Aan welke door het beoogde 1.2 beroepenveld opgestelde beroepsprofielen en/of beroepscompetenties zijn de beoogde eindkwalficaties ontleend? Waaruit blijkt dat de beoogde eindkwalificaties betrekking hebben op (ten minste) het niveau van een beginnend beroepsbeoefenaar?
© NQA ( Netherlands Quality Agency)
1.3
Aanwijzing Verwijs naar een document waarin expliciet is beschreven voor welke specifieke competenties of specifieke kennis, houding, inzicht en vaardigheden de opleiding studenten beoogt op te leiden. Voeg dit document bij als bijlage. Geef aan wat voor de instelling het ‘bachelorniveau’ van een (beroepsgerichte) opleiding bepaalt. Welk internationaal referentiekader heeft de instelling hiervoor? Beschrijf hoe dit referentiekader in de beoogde eindkwalificaties tot uitdrukking komt. U zou hiervoor de ‘Dublin’-descriptoren (zie bijlage 2 in het NVAOaccreditatiekader) kunnen gebruiken. Deze beschrijven het bachelorniveau op een generiek abstractieniveau. De opleiding zou daarbij per descriptor kunnen aangeven voor welke beoogde eindkwalificaties de descriptor relevantie heeft. Indien u hierbij ondersteuning nodig heeft, of als u wilt weten hoe de Dublin-descriptoren zich verhouden tot de generieke kernkwalificaties van de Commissie Franssen/ proefaccreditering, neemt u dan contact op met NQA. Beschrijf het beroepenveld waarvoor de opleiding beoogt op te leiden. Verwijs naar het document waarin de wensen en behoeften van het beoogde beroepenveld tot uitdrukking komen. Voeg dit document als bijlage bij het zelfevaluatierapport. Het gaat hierbij om een actueel, door (of in samenspraak met) het werkveld opgesteld beroepsprofiel. Geef aan of er internationale standaarden voor het beroep (en daarmee voor de opleiding) bestaan. Denk daarbij ook aan buitenlandse beroeps- of opleidingsprofielen of specifieke gegevens over buitenlandse opleidingen. Beschrijf hoe dit referentiekader zich verhoudt tot de beoogde eindkwalificaties. Wat moet de afgestudeerde ten minste kunnen en kennen om een goede start te kunnen maken in het beoogde beroepenveld? Beschrijf hoe dit in de beoogde eindkwalificaties tot uitdrukking komt.
49
2. Programma
2.1 Eisen HBO - Kennisontwikkeling door studenten vindt plaats via vakliteratuur, aan de beroepspraktijk ontleend studiemateriaal en via interactie met de beroepspraktijk en/of (toegepast) onderzoek. - Het programma heeft aantoonbare verbanden met actuele ontwikkelingen in het vakgebied / de discipline - Het programma waarborgt de ontwikkeling van beroepsvaardigheden en heeft aantoonbare verbanden met de actuele beroepspraktijk. Vragen Op welke wijze beoogt de opleiding kennisontwikkeling door studenten plaats te laten vinden? Welke rol heeft vakliteratuur daarbij? Hoe ontleent de opleiding studiemateriaal aan de beroepspraktijk? Hoe komen studenten in aanraking met de actuele beroepspraktijk?
Hoe wordt de ontwikkeling van beroepsvaardigheden vormgegeven? Op welke wijze is sprake van interactie met (toegepast) onderzoek?
Hoe wordt geborgd dat studenten de actuele ontwikkelingen in het vakgebied/de discipline meekrijgen? Welke aantoonbare verbanden met de actuele beroepspraktijk heeft de opleiding? Ervaren studenten, afgestudeerden en afnemend werkveld dat sprake is van een actueel en praktijkgericht programma?
50
Aanwijzingen Beschrijf hoe u de kennisontwikkeling door studenten programmeert. Voeg de studiegids bij als bijlage bij het zelfevaluatierapport.
Beschrijf hoe gebruik gemaakt wordt van vakliteratuur over de opleiding als geheel. Stel (via de studiegids of via het materiaal dat ter inzage wordt gelegd) een lijst beschikbaar van vakliteratuur die wordt gebruikt. Beschrijf hoe de opleiding gebruik maakt van aan de praktijk ontleend studiemateriaal. Hoe wordt dat studiemateriaal ingezet in het programma? Geef aan hoe studenten in aanraking komen met de actuele beroepspraktijk: welke werkveldbezoeken, stages / praktijkperioden zijn in het programma opgenomen? Welke doelen zijn aan die programmadelen gekoppeld? Bij welke (buitenlandse) instellingen kunnen studenten stage lopen? Worden er gastcolleges gegeven door mensen uit het werkveld? Beschrijf hoe de ontwikkeling van beroepsvaardigheden binnen het programma vorm krijgt (bijvoorbeeld via ‘vaardighedenlijn’, praktijklessen, praktijkopdrachten, stages). Beschrijf hoe studenten in aanraking komen met (toegepast) onderzoek. Geef aan hoe relevante onderzoeksresultaten ingebracht worden in het programma. Zijn docenten betrokken bij de opzet / uitvoering van onderzoek? Is er een lectoraat of kenniskring dat specifieke betekenis heeft voor de opleiding? Moeten studenten zelf onderzoeksopdrachten uitvoeren, of moeten zij met onderzoeksresultaten werken? Geef aan hoe u waarborgt dat de actuele ontwikkelingen in het vakgebied/discipline binnen het programma aan bod komen. Denk bijvoorbeeld aan het gebruik van recente artikelen uit vaktijdschriften, afspraken / beleid rond de actualisering van de inhoud van modulen en daarbij horende readers. Beschrijf de structurele contacten met de beroepspraktijk. Is er bijvoorbeeld een werkveldcommissie? Zijn er andere verbanden met de actuele beroepspraktijk? Wat is de invloed hiervan op het programma? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden, werkveld) over actualiteit en praktijkgerichtheid van het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA ( Netherlands Quality Agency)
2.2 Relatie doelstellingen en inhoud programma - Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. - De eindkwalificaties van de doelstellingen zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. - De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken. Vragen Wat is het programma van de opleiding? Hoe worden de beoogde eindkwalificaties qua niveau (zie 1.1) geconcretiseerd in het programma? Hoe worden de beoogde eindkwalificaties qua oriëntatie (zie 1.3) geconcretiseerd in het programma? Hoe worden de beoogde eindkwalificaties qua domeinspecifieke eisen (zie 1.2) geconcretiseerd in het programma Hoe vindt de vertaling van eindkwalificaties in leerdoelen in het programma plaats? Ervaren studenten dat door middel van het programma de eindkwalificaties kunnen worden bereikt?
© NQA ( Netherlands Quality Agency)
Aanwijzingen Beschrijf kort het programma van de opleiding, inclusief (voornaamste verschillen tussen) eventuele varianten en locaties. Voeg een overzicht van het programma (curriculum) bij als bijlage bij het zelfevaluatierapport. Geef daarbij aan hoe de eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen worden geconcretiseerd in het curriculum. Beschrijf hoe binnen de opleiding geborgd wordt dat alle kwalificaties binnen het programma ‘gedekt’ zijn. Beschrijf hoe de koppeling van de beoogde eindkwalificaties aan leerdoelen van programmaonderdelen tot stand is gekomen. Geef in het programmaoverzicht aan welke leerdoelen bij welke eindkwalificaties horen. Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen afgestudeerden, studenten) over de aansluiting van het opleidingsprogramma op de beoogde eindkwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
51
2.3 Samenhang in opleidingsprogramma - Studenten volgen een inhoudelijk samenhangend opleidingsprogramma. Vragen Hoe wordt geborgd dat studenten een inhoudelijk samenhangend programma volgen?
Ervaren studenten die samenhang ook?
Aanwijzingen Geef aan welke samenhang naar uw opvatting in het programma bestaat. Is er een logische relatie tussen programmaonderdelen en tussen studiefases; hoe worden deze op elkaar afgestemd? Besteed ook aandacht aan eventuele internationale programmaonderdelen en hoe deze passen binnen de visie op internationalisering. Geef aan op welke manier de samenhang in de opleiding gewaarborgd wordt. Welke rol speelt het opleidingsmanagement daarin, hoe vindt afstemming tussen (groepen) docenten plaats? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de inhoudelijke samenhang binnen het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.4 Studielast - Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren zoveel mogelijk worden weggenomen. Vragen Hoe worden factoren die de studievoortgang belemmeren weggenomen?
Ervaren studenten een studeerbaar programma?
52
Aanwijzingen Geef aan wat de opleiding doet om een efficiënte studievoortgang mogelijk te maken. Hoe houdt de opleiding zicht op de vraag of zich belemmerende factoren voordoen? Welke stappen zet de opleiding wanneer zich problemen voordoen? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de studeerbaarheid van het opleidingsprogramma (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA ( Netherlands Quality Agency)
2.5 Instroom - Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: VWO, HAVO, middenkaderopleiding of specialistenopleiding (WEB) of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek Vraag Aanwijzing Hoe wordt geborgd dat er aansluiting is Geef aan welke werkvormen de opleiding hanteert aan de qua vorm? start van de opleiding. Hoe sluiten die werkvormen aan op de vooropleiding van studenten? Beschrijf eventuele activiteiten die de opleiding aanbiedt om studenten te introduceren in de verwachte studiehouding cq. de gehanteerde werkvormen. Hoe wordt geborgd dat er is aansluiting Geef aan welke toelatingseisen de opleiding stelt, welke is qua inhoud? deficiëntieprogramma’s worden aangeboden voor studenten die bepaalde vakken niet voldoende beheersen, en/of welke mogelijkheden er zijn voor bijscholing dan wel extra begeleiding. Beschrijf welke verkorte leerroutes worden aangeboden, en hoe en wanneer studenten in aanmerking komen voor vrijstellingen. Geef aan hoe de opleiding nagaat of sprake is van voldoende inhoudelijke aansluiting. Wordt bijvoorbeeld een assessment gehanteerd voor instromende studenten? Hoe wordt gedifferentieerd tussen Geef aan op welke manier gedifferentieerd wordt tussen instromende VWO-studenten, HAVOVWO-instroom, HAVO-instroom en anderen. Beschrijf of studenten en andere instromende en hoe de opleiding studieresultaten van verschillende groepen monitort, en hoe wordt ingespeeld op studenten? voorkomende aansluitingsproblemen. Welke activiteiten worden ondernomen om de aansluiting van (buitenlandse) studenten met een buitenlandse vooropleiding te bevorderen? Ervaren studenten de aansluiting ook? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten) over de aansluiting van de opleiding op de vooropleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.6 Duur - De opleiding voldoet aan formele eisen m.b.t. de omvang van het curriculum: HBObachelor: 240 studiepunten. Vragen Voldoet de opleiding aan de formele eis van 240 studiepunten? Waaruit blijkt dat?
© NQA ( Netherlands Quality Agency)
Aanwijzingen Geef aan hoe uit de opbouw van het opleidingsprogramma en de omvang van modulen blijkt dat de totale studiebelasting van de opleiding aan de formele eis voldoet.
53
2.7 Afstemming tussen vormgeving en inhoud - Het didactisch concept is in lijn met de doelstellingen. - De werkvormen sluiten aan bij het didactisch concept. Vragen Wat is het didactisch concept van de opleiding? Hoe verhoudt dat didactisch concept zich tot de beoogde eindkwalicaties (doelstellingen)? Ervaren studenten dat de gehanteerde werkvormen adequaat zijn en aansluiten bij het didactisch concept?
Aanwijzingen Beschrijf het didactisch concept van de opleiding. Beschrijf kort hoe het didactisch concept zich verhoudt tot (afgestemd is op) de doelstellingen van de opleiding. Beschrijf de uitwerking van het didactisch concept naar het gebruik van verschillende werkvormen binnen de opleiding. Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over het didactisch concept en de gehanteerde werkvormen binnen de opleiding (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
2.8 Beoordeling en toetsing - Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Vragen Op welke wijze worden studenten beoordeeld, getoetst en geëxamineerd?
Ervaren studenten dat zij adequaat getoetst worden op het behalen van de beoogde leerdoelen?
54
Aanwijzingen Beschrijf het toetsbeleid en de verschillende toetsvormen van de opleiding. Betrek hierbij ook de stage- en afstudeeropdrachten. Geef aan hoe de toetsvormen zich verhouden tot de doelstellingen van de opleiding en de leerdoelen. Beschrijf welke afspraken bestaan ten aanzien van de formulering en toepassing van beoordelingscriteria en de verzorging van feedback aan studenten. Geef aan hoe de kwaliteit van de toetsen binnen de opleiding wordt geborgd. Als studenten toetsing bij een buitenlandse instelling of bij een instelling in het werkveld ondergaan, hoe vergewist zich de opleiding dan van de kwaliteit van deze toetsing? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten, afgestudeerden) over de gehanteerde toetsvormen, het niveau van de toetsen en de feedback die studenten over resultaten krijgen (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
© NQA ( Netherlands Quality Agency)
3. Inzet van personeel
3.1 Eisen HBO - Het onderwijs wordt voor een belangrijk deel verzorgd door personeel dat een verbinding legt tussen de opleiding en de beroepspraktijk. 3.2 Kwantiteit personeel - Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. 3.3 Kwaliteit personeel - Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. Vragen Welk deel van de opleiders legt een verbinding met de beroepspraktijk?
Facet Aanwijzingen Geef aan welk deel van de opleiders beschikt over recente 3.1 ervaring met en/of kennis van de beroepspraktijk. Voeg een overzicht van het personeel als bijlage bij het zelfevaluatierapport. Neem in dit overzicht de leeftijd, het geslacht en de kwalificaties van docenten/opleiders op, met name de gevolgde opleidingen, cursussen en trainingen, huidige en vorige werkkringen en functies, eventuele docentstages en andere relevante informatie over de interactie met de beroepspraktijk.
Waaruit blijkt dat sprake is van voldoende personeel om de gewenste kwaliteit te verzorgen?
3.2
Hoe wordt geborgd dat de opleiders gekwalificeerd zijn voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma?
3.3
Ervaren studenten en opleiders zelf dat opleiders gekwalificeerd zijn?
3.3
© NQA ( Netherlands Quality Agency)
Beschrijf de visie van de opleiding op de verhouding tussen de omvang van het personeel en de gewenste kwaliteit. Reflecteer op de actuele en gewenste student/docent ratio. Hoe hoog is het ziekteverzuim? Wat zijn de streefcijfers voor de werkbelasting van docenten en hoe verhoudt zich dit tot de ervaren werkbelasting? Als er personeelstekorten zijn, hoe gaat de opleiding dan hiermee om? Beschrijf de visie van de opleiding op de inhoudelijke, onderwijskundige en organisatorische kwalificaties van docenten/opleiders. Geef aan hoe gebruik wordt gemaakt van scholing en professionalisering om deze kwalificaties te verbeteren c.q. op peil te houden. Welke rol hebben functionerings- en beoordelingsgesprekken (frequentie, inhoud) hierbij? Hoe worden docenten/opleiders in de gelegenheid gesteld om actuele (internationale) ontwikkelingen in het beroepenveld en vakgebied te volgen? Als er onderwijs in een vreemde taal wordt verzorgd, hoe borgt de opleiding dan de kwaliteit daarvan (vreemde taalbeheersing van docenten)? Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen studenten en opleiders) over de inhoudelijke (inclusief beroepspraktijkkennis/ervaring), onderwijskundige en organisatorische kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
55
4. Voorzieningen
4.1 Materiële voorzieningen. - De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. Vragen
Aanwijzingen
Waaruit blijkt dat huisvesting en materiële Beschrijf de locatie, de bibliotheek- of mediatheek, de voorzieningen toereikend zijn om het ICT-voorzieningen, en de onderwijs-, praktijk-, studieprogramma te realiseren? en werkruimten. Geef daarbij aan hoe wordt getoetst of met de bestaande huisvesting en materiële voorzieningen het programma gerealiseerd kan worden. Zijn deze afgestemd op de behoeften van eventuele buitenlandse, deeltijd- en duaal studenten? Welke verbeteringen zijn gepland, op welke termijn, en welke middelen zijn daarvoor gereserveerd? Ervaren studenten en docenten dat de huisvesting en materiële voorzieningen toereikend zijn?
Verwijs naar opinies over huisvesting en materiële voorzieningen in studenten- en docentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Wat is er met de uitkomsten gedaan?
4.2 Studiebegeleiding. Vragen
Aanwijzingen
Hoe dragen de studiebegeleiding en informatievoorziening bij aan de studievoortgang van studenten?
Beschrijf het systeem van studiebegeleiding en studievoortgangsregistratie. Beschrijf ook hoe de informatievoorziening aan studenten plaatsvindt. Geef bij deze beschrijvingen aan, mede aan de hand van rendementscijfers, welke knelpunten er zijn met betrekking tot de studievoortgang. Heeft dit gevolgen voor de studiebegeleiding of de informatievoorziening aan studenten? Als er (veel) buitenlandse studenten zijn, geef dan aan of hier speciale voorzieningen voor zijn getroffen.
Ervaren studenten dat de studiebegeleiding en informatievoorziening voldoet aan hun behoeften?
Verwijs naar opinies over studiebegeleiding en informatievoorziening in studentenevaluaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Besteed daarbij speciale aandacht aan de begeleiding van studenten in de propedeuse en tijdens de (binnenen buitenlandse) stages en in de afstudeerfase. Ga ook in op studenttevredenheid over zaken als roosters, toegankelijkheid van en informatieverstrekking door docenten. Geef aan wat met de uitkomsten van deze studentenevaluaties is gedaan.
56
© NQA ( Netherlands Quality Agency)
5. Interne kwaliteitszorg
5.1 Evaluatie resultaten - De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. 5.2 Maatregelen tot verbetering - De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan de realisatie van de streefdoelen. 5.3 Betrekken van medewerkers, studenten, alumni en beroepenveld. - Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Vragen Welke aspecten worden geëvalueerd, hoe en met welke frequentie?
Facet Aanwijzing 5.1 Beschrijf de evaluaties die plaatsvinden en de frequentie daarvan, de onderwerpen (aspecten) waarop de evaluaties betrekking hebben, en de methoden die gebruikt worden. Verwijs naar het kwaliteitszorgplan of andere relevante kwaliteitszorgdocumenten. Wat zijn daarbij de streefdoelen en 5.1 Geef voor elk van de aspecten die geëvalueerd worden aan welke streefdoelen zijn geformuleerd. Hoe wordt getoetst of de hoe wordt getoetst of deze zijn streefdoelen zijn bereikt? Hoe zorgt de opleiding ervoor dat bereikt? deze toetsing gebeurt op basis van betrouwbare en valide informatie? Waaruit blijkt dat uitkomsten van 5.2 Beschrijf wat er met de uitkomsten van evaluaties gebeurt. evaluaties tot verbeteringen Geef aan of (en voor welke aspecten) er sprake is van een hebben geleid? verbetercyclus (plan, do check, act). Geef zo mogelijk een aantal praktijkvoorbeelden. Heeft de opleiding nader onderzoek gedaan naar verschillen tussen nagestreefde en behaalde resultaten? Zijn er maatregelen tot verbetering genomen? Zo ja, wie is verantwoordelijk voor het doorvoeren van verbeteringen? Op welke termijn en met welke prioriteit worden verbeteringen doorgevoerd? Hoe wordt nagegaan of de beoogde verbeteringen worden gerealiseerd? 5.3 Beschrijf bij welke evaluaties medewerkers, studenten, alumni Op welke wijze worden: en het afnemend beroepenveld worden betrokken. Hoe vaak -medewerkers, gebeurt dit? Hoe wordt ervoor gezorgd dat deze evaluaties -studenten, representatief zijn voor deze groepen? Worden de resultaten -alumni van evaluaties teruggekoppeld naar betrokkenen? Kunnen -afnemend beroepenveld genoemde groepen ook ongevraagd zaken die voor hen van bij de interne kwaliteitszorg betrokken? belang zijn doorgeven aan de opleiding en wat doet de opleiding hiermee? Geef aan hoe de inspraak van studenten en medewerkers is geregeld. Als de opleiding intensief samenwerkt met buitenlandse partnerinstellingen (uitwisselingen, dubbeldiplomering ,etc.) of met instellingen in het beroepenveld (met name bij duale trajecten) geef dan aan hoe de kwaliteit van de samenwerking wordt bewaakt.
© NQA ( Netherlands Quality Agency)
57
6. Resultaten
6.1 Onderwijsrendement - Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. - Het onderwijsrendement voldoet aan deze streefcijfers. Vragen Hoe wordt het onderwijsrendement bepaald?
Aanwijzingen Vul het overzicht met kengetallen in (zie bijlage 1) en voeg dit als bijlage bij het zelfevaluatierapport. Geef aan wat de opleiding zelf als de belangrijkste kengetallen ziet. Wat bepaalt voor de opleiding het onderwijsrendement? Wat zijn daarbij de streefcijfers? Geef aan welke streefcijfers voor het rendement de opleiding hanteert. Hoe verhouden deze zich tot relevante Beargumenteer de keuze van de streefcijfers, met name hoe andere opleidingen? deze zich verhouden tot die van relevante andere opleidingen. Voldoet het rendement aan de eigen Verwijs naar het overzicht met kengetallen voor een streefcijfers? beoordeling van de mate waarin het rendement voldoet aan de streefcijfers. Hoe verhoudt zich dit tot het rendement van relevante andere opleidingen? Wat zijn de oorzaken voor tekortschietende rendementen? Wat heeft de opleiding gedaan om het rendement te verbeteren?
6.2 Gerealiseerde niveau - De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua niveau, oriëntatie en domeinspecifieke eisen Vragen Hoe wordt bepaald of beoogde eindkwalificaties zijn gerealiseerd? - qua niveau (zie 1.1)? - qua oriëntatie (zie 1.3)? - qua domeinspecifieke eisen (zie 1.2)?
Aanwijzingen Geef aan hoe de opleiding toetst of de beoogde eindkwalificaties zijn gerealiseerd (dit geldt ook voor in het buitenland gevolgde programmaonderdelen). Maak daarbij een onderscheid naar niveau, oriëntatie en domeinspecifieke eisen. Besteed ook aandacht aan de toetsing van afstudeeropdrachten, de examinering en de eventuele betrokkenheid van het werkveld of andere externe (mede)beoordelaars.
Bestaat er tevredenheid in het werkveld over de gerealiseerde kwalificaties?
Geef aan welke evaluatieresultaten beschikbaar zijn (oordelen afgestudeerden, afnemend werkveld) over de gerealiseerde kwalificaties (geef samenvattend de belangrijkste conclusies weer, stel complete resultaten ter inzage beschikbaar). Heeft dit geleid tot verbeteractiviteiten?
58
© NQA ( Netherlands Quality Agency)
7. Bijzondere kwaliteitskenmerken (facultatief)
7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter - Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs.
N.B. In de NVAO toelichting wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Is het kenmerk betekenisvol?
Facet 7.2 7.3
Aanwijzingen Beschrijf welke bijzondere kwaliteit de opleiding nastreeft, met daarbij de doelen en te verwachten resultaten.
7.1
Is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
7.3
Is de opleiding onderscheidend ten opzichte van andere (verwante) opleidingen in Nederland?
7.4
Dit kan onder andere blijken uit de waardering van het kenmerk door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf). Hier is ook de waardering door stakeholders van belang. De opleiding heeft een vergelijkend onderzoek uitgevoerd of laten uitvoeren (kan ook door NQA) onder verwante opleidingen in Nederland. Uit dit vergelijkende onderzoek blijkt dat de opleiding zich op dit kenmerk onderscheidt van andere (verwante) opleidingen.
© NQA ( Netherlands Quality Agency)
59
Bijlage 1.
Kengetallen
Instroom, uitstroom, ingeschreven, personeel Opleiding X Totaal aantal ingeschreven studenten Totaal aantal docenten* Omvang docerend personeel in FTE Student / FTE ratio Instroom propedeuse, eerste keer hbo Totaal aantal instromende studenten: ‘instroom opleiding’ Totaal aantal geslaagden Aantal geslaagden uit prop.instroom ‘eerste keer hbo’ Gemiddelde studieduur geslaagden, in jaren Aantal studiestakers Gemiddelde studieduur studiestakers, in jaren
1997
1998
1999
2000
2001
Opleidingsrendement, in percentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Diploma behaald na 1 jaar Diploma behaald na 2 jaar. Diploma behaald na 3 jaar Diploma behaald na 4 jaar Diploma behaald na 5 jaar Diploma behaald na 6 jaar
Uitvalpercentage van instroom propedeuse, eerste keer hbo (instroomcohorten) 1997 1998 1999 2000 2001 Percentage uitval na 1 jaar Percentage uitval na 2 jaar Percentage uitval na 3 jaar Percentage uitval na 4 jaar Percentage uitval na 5 jaar Percentage uitval na 6 jaar
60
2002
2002
2001
© NQA ( Netherlands Quality Agency)
Bijlage 4
Beoordelingsprotocol van Netherlands Quality Agency (NQA)
© NQA ( Netherlands Quality Agency)
61
Beoordelingsprotocol: operationalisering criteria accreditatiekader De operationalisering geschiedt in de werkwijze van NQA door middel van richtlijnen voor de zelfevaluatie. Deze richtlijnen vormen een vertaling van het NAO-kader naar aandachtspunten voor de zelfevaluatie. In de richtlijnen zijn naast algemene eisen (bijvoorbeeld ten aanzien van omvang en bijlagen) die aan een zelfevaluatierapport gesteld worden ook vragen en aanwijzingen voor de opleiding opgenomen. De vragen zijn rechtstreeks afgeleid van de facetten en criteria in het NAO-kader. De vragen zouden daarom beantwoord moeten worden in het zelfevaluatierapport. De aanwijzingen zijn bedoeld als hulpmiddel bij het schrijven van het zelfevaluatierapport en zijn daarom meer indicatief van aard. De richtlijnen hebben als titel “De zelfevaluatie in verband met NAO-accreditatie: vragen en aanwijzingen” en zijn als bijlage opgenomen. Het betreft een concept dat verder verbeterd wordt naar aanleiding van opmerkingen van betrokkenen en eventuele wijzigingen als gevolg van de definitieve goedkeuring van het accreditatiekader.
62
© NQA ( Netherlands Quality Agency)
Beoordelingsprotocol: operationalisering beslisregels Inleiding De NAO beschrijft in het accreditatiekader (hfst 4) beslisregels voor de accreditatie. Een beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag 17) staat echter, dat “afwegingen op alle niveaus facetten, onderwerpen en eindoordeel- inzichtelijk” gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter “niet louter instrumenteel worden omgegaan”; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NAO dus 3 afwegingen noodzakelijk: - betreffende het eindoordeel; - betreffende het onderwerp (van facet naar onderwerp); - betreffende het facet. Bovendien dienen afwegingen niet “louter instrumenteel” (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn.
Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. NAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft NAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft NAO de weg geopend om tot nadere afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant (zie brief NAO d.d. 13-3-2003). Om het instelling en NAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie. © NQA ( Netherlands Quality Agency)
63
Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door NAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. Ten behoeve van consistentie in de afweging binnen en tussen panels zal NQA een handreiking voor panelleden verschaffen. In deze handreiking wordt onder meer ingegaan op de wijze waarop oordelen onderbouwd kunnen worden.1 Daarbij wordt speciale aandacht gevraagd voor de facetten die, gegeven het NAO-kader, bij accreditatie van bijzonder belang geacht kunnen worden. Dit betreft binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin NAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Verder zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten altijd worden tegengelezen door 1 of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan de directie van NQA passende maatregelen nemen, waaronder terugzending van het rapport naar het panel. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald onderwerp zullen expliciet vermeld worden.
1
De handreiking zal ook andere aandachtspunten bevatten, bijvoorbeeld met betrekking tot de zelfevaluatie. Zo mag een zelfkritische zelfevaluatie er niet toe leiden dat een opleiding door het panel “gestraft” wordt door zelfkritiek van de opleiding over te nemen in de beoordeling en op basis hiervan tot een negatief oordeel op het betreffende facet te komen. Veeleer is het zo dat zelfkritiek een aanwijzing kan zijn voor een goed functionerend kwaliteitszorgsysteem, dat vertrouwen kan geven in snelle verbeteringen van geconstateerde tekortkomingen. Een zelfkritische zelfevaluatie zal daarom in positieve zin moeten worden meegewogen bij de oordeelsvorming door de panels.
64
© NQA ( Netherlands Quality Agency)
Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang:
Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten2: hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten? Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen3, borging, resultaten en verbetering. De kern vormen de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). Het ligt dan ook voor de hand dat panels bij de oordeelsvorming een belangrijke plaats inruimen voor de resultaten en de borging. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten “automatisch” tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublin descriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel “goed” overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een “best practice” op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden.
2
Hiermee is niet het onderwerp “resultaten” bedoeld maar de bereikte resultaten ten aanzien van elk facet. 3 Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen. © NQA ( Netherlands Quality Agency)
65
Beoordelingsprotocol: Werkwijze bij visitaties Inleiding De beschrijving van de werkwijze gaat in eerste instantie uit van een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (vt/dt/duaal) variant, op één locatie. Na die kernbeschrijving zal worden aangegeven op welke manier NQA om wil gaan met een meer complexe beoordeling, d.w.z. hoe de werkwijze wordt aangepast wanneer meerdere opleidingen, varianten en/of locaties gelijktijdig beoordeeld worden. Procedureel en in de tijd onderscheidt NQA de volgende fasen:
Intake De intake is erop gericht vast te stellen wat de bepalende randvoorwaarden zijn binnen een beoordelingsproject: • op welke en hoeveel opleidingen is de beoordeling gericht; • welke varianten (voltijd, deeltijd, duaal) van de opleidingen worden aangeboden; • op hoeveel locaties worden opleidingen aangeboden; • eventuele bijzondere kwaliteitskenmerken; • eventuele additionele behoeften, zoals de wijze waarop (internationale) vergelijkingen tussen opleidingen worden uitgevoerd, of het aanbieden van een vertrouwelijke management letter gericht op kwaliteitsverbetering. In gevallen waar het gaat om meerdere opleidingen, wordt eveneens bezien in hoeverre opleidingen aan elkaar verwant zijn, en in welke mate het beoordelingsproces als gevolg daarvan geïntegreerd kan worden. NQA heeft hiertoe een intakeformulier ontwikkeld, dat in overleg met de betreffende hogeschool wordt ingevuld en vastgesteld.
Inhoudelijke voorbereiding op de zelfevaluatie en het beoordelingsbezoek In de voorbereiding op zelfevaluatie en bezoek worden de volgende stappen gezet. Opleiding •
66
Alvorens de zelfevaluatie wordt gestart treedt de opleiding in overleg met NQA over de opzet van de zelfevaluatie (NQA heeft richtlijnen voor het zelfevaluatierapport opgesteld).
© NQA ( Netherlands Quality Agency)
•
•
Bij de start van het zelfevaluatieproces geeft de opleiding aan welk domeinspecifiek referentiekader men wenst te hanteren en communiceert hierover met NQA ten behoeve van de vaststelling van het domeinspecifieke kader. De opleiding schrijft het zelfevaluatierapport inclusief bijlagen en stelt dit ter beschikking aan NQA binnen een vantevoren aangegeven termijn.
Panelsecretaris (medewerker NQA4) •
• • • •
Naar aanleiding van de opgave van het domeinspecifieke referentiekader door de opleiding: de secretaris checkt met domeindeskundige(n) in het panel aan de hand van ankerpunten (beroepsprofielen, competentiecatalogi, in eerdere visitaties gebruikte beoordelingskaders) of sprake is van adequate domeinspecifieke doelstellingen, of dat nadere aanvulling dan wel specificatie van domeinspecifieke doelstellingen nodig is. Check op kwaliteit en compleetheid zelfevaluatierapport. Vastleggen / communiceren voorbereidende werkzaamheden panel. Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport, formuleren voorlopige oordelen en vraagpunten. Opstellen overzicht / aggregatie van voorlopige oordelen en vraagpunten van panelleden. Dit kan worden besproken tijdens de voorbereidende vergadering (die voorafgaande aan de gesprekken plaatsvindt).
Panel als geheel • • •
Inhoudelijke voorbereiding op bezoek: lezen zelfevaluatierapport en formuleren voorlopige oordelen en vraagpunten. Doorgeven voorlopige oordelen en vraagpunten naar panelsecretaris. Op basis van het overzicht van voorlopige oordelen inventariseren kernpunten en prioriteiten voor materialenonderzoek en gesprekken (dit kan geschieden tijdens de voorbereidende vergadering).
Beoordeling materiaal en faciliteiten (tijdens beoordelingsbezoek) NQA stelt een lijst van ter inzage gevraagd materiaal op; naar aanleiding van de bestudering van het zelfevaluatierapport en de door het panel geformuleerde vraagpunten kan aanvullend specifiek materiaal gevraagd worden. Het panel beoordeelt ter inzage gelegde materialen.
4
Conform de bepalingen van NAO bestaat het panel uit drie leden (voorzitter, secretaris en lid) plus, voorzover vereist, een studentlid. De panelsecretaris maakt deel uit van het panel; in de persoon van de panelsecretaris is in principe audit- en onderwijsdeskundigheid verenigd. De voorzitter en het andere panellid maken deel uit van een ‘pool’ van panelleden. In deze personen is domeinspecifieke deskundigheid in discipline en afnemend veld, alsmede deskundigheid over de internationale ontwikkeling van de discipline, vertegenwoordigd. Zij hebben de algemene training op het vlak van auditvaardigheden en het werken met het NQA protocol doorlopen.
© NQA ( Netherlands Quality Agency)
67
Waar nodig en mogelijk vraagt NQA de opleiding ook toegang tot digitaal materiaal, zoals bijvoorbeeld een digitale studiegids of een digitale leeromgeving.
Interviews / gesprekken Tijdens de site visit spreekt het panel in ieder geval met (representatieve vertegenwoordigingen van) de volgende groepen: • management (dagelijkse leiding) van de opleiding (operationeel management); • docenten; • studenten; • werkveld5; • afgestudeerden; • College van Bestuur en/of Faculteits/Instituuts/Schooldirectie (strategisch management); dit gesprek kan ook plaats vinden voor een cluster van bij de betreffende instelling beoordeelde opleidingen.
Bezoekprogramma NQA heeft een raamprogramma ontwikkeld voor de (dag)indeling van het beoordelingsbezoek, dat kan worden aangepast aan de specifieke situatie bij de betreffende opleiding. Het raamprogramma heeft betrekking op een ‘enkelvoudige’ beoordeling: een beoordeling die gericht is op één opleiding, met één (voltijd/deeltijd/duaal) variant, op één locatie. Wanneer sprake is van een beoordeling van een opleiding die met meerdere varianten, of op meerdere locaties wordt aangeboden, worden globaal de volgende uitgangspunten gehanteerd: 1. Bij de intake wordt voor elke variant en locatie nagegaan in hoeverre sprake is van een overeenkomst in programma’s en docententeams. 2. Bij varianten (vt/dt/duaal) waar sprake is van een duidelijke overeenkomst in het programma en het docententeam wordt het beoordelingsbezoek geïntegreerd uitgevoerd. Dit houdt in dat elk van de gespreksgroepen representatief samengesteld moet zijn, dwz dat studenten, docenten en afgestudeerden van elke variant bevraagd kunnen worden. Indien tussen de programma’s of de docententeams van varianten significante verschillen bestaan, kunnen aan het raamprogramma worden toegevoegd: - een extra gesprek met studenten; - een extra gesprek met docenten. In de extra gesprekken wordt separaat gesproken met studenten resp. docenten die verbonden zijn aan de variant. 3. Wanneer een opleiding op meerdere locaties wordt aangeboden: 5
Bij het gesprek met vertegenwoordigers van het werkveld gaat het om twee groepen: enerzijds een selectie van werkgevers van afgestudeerden en anderzijds leden van een werkveldcommissie of andere structurele overlegverbanden met werkgevers.
68
© NQA ( Netherlands Quality Agency)
a
Wordt bij grote overeenkomst in programma’s en docententeams het beoordelingsbezoek afgelegd op de hoofdvestiging, waarbij de samenstelling van de gespreksgroepen representatief moet zijn naar de verschillende vestigingen. Tevens worden dan aanvullende eisen gesteld aan het materiaal dat ter inzage beschikbaar is (tevredenheidsmetingen studenten / docenten, waarin o.a. inzicht over kwaliteit van materiële voorzieningen). Voor zover het panel dit nodig acht, wordt aanvullend aan het beoordelingsbezoek op de hoofdvestiging een kort bezoek aan de nevenvestiging gebracht ter verificatie van de aanwezige materiële voorzieningen. b Wanneer er in geringe mate sprake is van overeenkomst in programma’s en docententeams wordt elke locatie afzonderlijk bezocht. In de opzet van het beoordelingsbezoek kunnen ook aanpassingen worden aangebracht wanneer gelijktijdig meerdere (al of niet verwante) opleidingen binnen een hogeschool of faculteit/instituut/school worden beoordeeld.
Instrumenten en formats Gedurende en voorafgaande aan het beoordelingsbezoek maakt het panel gebruik van formats en instrumenten die zijn gericht op het verzamelen van informatie en het formuleren van oordelen en conclusies.
Rapportage De panelsecretaris stelt een conceptrapportage op en legt die voor aan de panelleden. Het panel stelt vervolgens het definitieve concept vast. In de rapportage wordt – voorzover van toepassing – expliciet ingegaan op de verschillende varianten en/of locaties.
Hoor en wederhoor Het definitieve concept wordt aan opleiding voorgelegd ter correctie van feitelijke onjuistheden. Naar aanleiding van de reactie van de opleiding worden door de panelsecretaris zonodig wijzigingen aangebracht en wordt het definitieve rapport door het panel vastgesteld. Het rapport wordt daarna ter beschikking gesteld aan de opleiding, die het samen met de accreditatieaanvraag kan indienen bij de NAO. Indien zich tijdens het beoordelingsproces, ondanks de verschillende procedures die NQA hanteert ter voorkoming daarvan, conflicten voordoen binnen panels, tussen panel en NQA, of tussen panel en opleiding, zal een vooraf ontworpen conflictprocedure ter oplossing worden toegepast.
© NQA ( Netherlands Quality Agency)
69
Klachtenprocedure NQA hanteert een klachtenprocedure waarin is vastgelegd op welke wijze opleidingen hun beklag kunnen doen wanneer zij zich in de beoordelingsprocedure op enigerlei wijze tekort gedaan voelen.
70
© NQA ( Netherlands Quality Agency)
Beoordelingsprotocol: wijze waarop vergelijkingen tussen opleidingen worden gemaakt NAO heeft voorgeschreven dat in de beoordeling een vergelijking met minimaal 1 andere verwante opleiding wordt betrokken. NQA kan aan dit voorschrift op verschillende manieren voldoen: 1. Indien NQA meer opleidingen in hetzelfde domein beoordeelt, kan een vergelijking met verwante opleidingen vrij gemakkelijk door NQA worden gemaakt. Doordat NQA voor een groot aantal instellingen actief is, ligt deze mogelijkheid voor de hand. NQA werkt momenteel aan een database met beoordelingen, waarin vergelijkingsmateriaal wordt opgeslagen. 2. Bij de samenstelling van de panels zal erop gelet worden dat panelleden zo mogelijk bij verwante opleidingen worden ingeschakeld. Vergelijkingen tussen verwante opleidingen kunnen dan door de betreffende panelleden worden uitgevoerd. 3. NQA heeft voor een aantal facetten aangegeven waar gebruik kan worden gemaakt van openbare, vergelijkende informatie. Het betreft onder andere kengetallen (afdeling BIV van HBO-raad), gegevens uit de HBO- en WO-Monitor, en studentenoordelen (Keuzegids Hoger Onderwijs en Elsevier). 4. NQA onderhoudt een groot netwerk, zowel nationaal en internationaal. Samenwerking met andere VBI’s en internationale kwaliteitszorgorganisaties ten behoeve van het maken van vergelijkingen ligt daarom voor de hand. Ook internationale vergelijkingen behoren daarom tot de mogelijkheden. Het profiel (doelstellingen programma) en de behoeften van de opleiding vormen echter steeds het uitgangspunt bij het maken van vergelijkingen. De wijze waarop vergelijkingen worden gemaakt komt in dialoog met de opleiding tot stand. In de visie van NQA is het maken van vergelijkingen pas waardevol als dit goed aansluit bij de context van de opleiding. NQA zal in het beoordelingsrapport verantwoorden hoe vergelijkingen zijn gemaakt en de redenen daarvoor.
© NQA ( Netherlands Quality Agency)
71
Beoordelingsprotocol: wijze waarop bijzondere kwaliteitskenmerken worden getoetst Inleiding Naast accreditatie, gericht op basiskwaliteit, bestaat er de wettelijke mogelijkheid voor HOinstellingen om een aantekening te verkrijgen voor bijzondere kenmerken van de opleiding (WHW art. 5a.10). Een instelling voor HO kan een VBI verzoeken bijzondere kwaliteitskenmerken (verder BK genoemd) te toetsen. Als een BK positief is beoordeeld door de VBI en dit oordeel door de NAO is gevalideerd, levert dit een aantekening op bij de accreditatie. Kader voor beoordeling van het bijzonder kwaliteitskenmerk Het door de NAO ontwikkelde accreditatiekader bestaande opleidingen verlangt van de VBI dat het bijzondere kwaliteitskenmerk op de volgende facetten en criteria wordt getoetst. 7.1 Differentiatie en profilering - Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. 7.2 Kwaliteit - Het kenmerk leidt tot een bijzondere kwaliteit van het onderwijs. 7.3 Concretisering - De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. 7.4 Onderscheidend karakter Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlands hoger onderwijs.
72
© NQA ( Netherlands Quality Agency)
Operationalisering bijzondere kwaliteit door NQA NQA heeft de criteria als volgt geoperationaliseerd in het NQA beoordelingskader. Vragen Is het bijzondere kenmerk gedefinieerd in doelen en concrete operationaliseerbare termen? Het kenmerk is betekenisvol
Op welke wijze is het kenmerk geoperationaliseerd en aantoonbaar aanwezig in de opleiding?
Opleiding positioneert zich ten opzichte van andere (verwante) opleidingen in Nederland (het kenmerk hoeft niet noodzakelijkerwijs uniek te zijn)
Aanwijzingen Van belang is dat de opleiding beschikt over een document waarin ze expliciet heeft beschreven welk bijzondere kwaliteit ze nastreeft met daarbij de doelen en te verwachten resultaten. Dit kan onder andere blijken uit de waardering van het kenmerk (de doelen en het thema als zodanig) door studenten, alumni, werkveld, docenten, maatschappelijke organisaties. Geef aan hoe het kenmerk expliciet terug te vinden is in programmaonderdelen, in opdrachten, eindresultaat (inhoud en indien relevant rendement), voorzieningen, kwaliteit staf. Hier is ook de waardering door stakeholders van het resultaat van belang. De opleiding heeft vergelijkend onderzoek uitgevoerd of laten uitvoeren onder verwante opleidingen in Nederland waaruit blijkt dat het kenmerk onderscheidend is. Onderzoek kan de toets der kritiek doorstaan (valide)
Wijze van rapportage door de opleiding (zelfevaluatierapport) en NQA De opleiding en de VBI maken een afspraak over de wijze waarop het BK in de rapportage verwerkt wordt. Dit kan op twee manieren gebeuren: • Als expliciet onderdeel in het zelfevaluatierapport en in het rapport van de NQA. • Als geïntegreerd onderdeel van de zelfevaluatierapport en in het rapport van de NQA. Bij elk aspect dient het BK wel herkenbaar beoordeeld te worden. Opleiding en NQA geven in een samenvattende paragraaf van het zelfevaluatierapport respectievelijk het visitatierapport weer wat het totaaloordeel is over het BK. In de rapportage dient de VBI haar werkwijze te verantwoorden. De conclusies dienen beargumenteerd te worden aan de hand van het referentiekader van de VBI en de analyse van de feiten. Een vergelijking van de opleiding met andere opleidingen maakt nadrukkelijk onderdeel uit van de rapportage. Beoordelen van het bijzondere kwaliteitskenmerk In de toelichting bij het NAO beoordelingskader wordt expliciet gesteld, dat de bewijslast voor de bijzondere kwaliteit bij de instelling ligt. De opleiding moet de VBI overtuigen van het bijzondere karakter van het kenmerk van de opleiding. Dat betekent dat de opleiding inzicht moet verschaffen in de wijze waarop de kwaliteit van het bijzondere kenmerk is gemeten. De kwaliteit van de bewijsvoering door de opleiding is hierbij van belang. De onderzoeksmethode die de opleiding gebruikt om het BK te evalueren moet naar het oordeel van het panel solide zijn. Dat betekent dat er systematisch kwalitatief © NQA ( Netherlands Quality Agency)
73
en kwantitatief onderzoek aan ten grondslag moet liggen. Ook het vergelijkend onderzoek van het kenmerk onder verwante opleidingen dient valide te zijn. De resultaten van het onderzoek moeten uitwijzen dat er inderdaad sprake is van een bijzonder kenmerk en een bijzondere kwaliteit.
Samenstelling panel in verband met het bijzondere kwaliteitskenmerk In het panel is voldoende expertise aanwezig om het bijzondere kwaliteitskenmerk te kunnen beoordelen. Dit moet blijken uit opleiding en/of ervaring van de panelleden (CV).
74
© NQA ( Netherlands Quality Agency)
Beoordelingsprotocol: Wijze waarop de rapportage plaatsvindt Inleiding Het rapport staat in dienst van het verkrijgen van een accreditatie voor een opleiding van een hogeschool. In het rapport doet het panel verslag van het onderzoek dat het panel heeft gedaan naar de kwaliteit van de opleiding. Het verslag volgt het NAO accreditatiekader en de richtlijnen van NQA. Het verslag is feitelijk, “to the point” en geeft beargumenteerde en goed onderbouwde oordelen. Het verslag bevat geen aanbevelingen, uitgebreide analyses of andere uitweidingen die afleiden van de beoordeling en de onderbouwing daarvan.
NQA richtlijnen voor het beoordelingsrapport I
Beoordeling per facet
Elk facet van het accreditatiekader bestaande opleidingen wordt beoordeeld door het panel conform het hierboven beschreven beoordelingsprotocol. Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het facet (zonodig onderverdeeld naar opleidinglocatie). Het oordeel bij de facetten wordt gevolgd door een samenhangende onderbouwing van het oordeel aan de hand van een logisch opgebouwd betoog. Bij een positief oordeel (‘voldoende’, ‘goed’ of ‘excellent’) begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangegeven welke positieve aspecten bepalen dat er sprake is van voldoende basiskwaliteit dan wel van goede of excellente kwaliteit. Vervolgens kunnen eventuele kritische kanttekeningen worden geplaatst. Indien het oordeel negatief is (‘onvoldoende’), begint de paragraaf met het geven van een toelichting op dit oordeel, dat wil zeggen dat wordt aangeven waarom geen sprake is van basiskwaliteit. Aan het eind kunnen opbouwende en positieve kanttekeningen worden geplaatst. De criteria uit het accreditatiekader geven richting aan de onderbouwing van het oordeel. II
Beoordeling per onderwerp
Per opleidingsvariant (voltijd, deeltijd, duaal) wordt een oordeel gegeven over het onderwerp (zonodig onderverdeeld naar opleidinglocatie). Het panel geeft voor elk van de zes te beoordelen onderwerpen van het beoordelingskader een oordeel conform het hierboven beschreven beoordelingsprotocol. Daarbij worden de oordelen over de onderliggende facetten betrokken. In het verslag verantwoordt het panel welke afwegingen zij heeft gemaakt om tot een positief dan wel negatief oordeel te komen. Indien de opleiding heeft verzocht om beoordeling van een bijzonder kwaliteitskenmerk dan wordt het samenvattend oordeel hierover afzonderlijk in het rapport behandeld. Voor de wijze van rapportage verwijzen we naar het onderdeel uit het beoordelingsprotocol “wijze waarop bijzondere kwaliteitskenmerken worden getoetst”. Voor het overige zijn voor bijzondere © NQA ( Netherlands Quality Agency)
75
kwaliteitskenmerken de rapportagerichtlijnen voor de oordelen per facet en onderwerp van toepassing. III
Eindoordeel
Het hoofdstuk met het eindoordeel start met een overzichtstabel waarin duidelijk wordt gemaakt welke oordelen zijn gegeven per facet, per onderwerp en per opleidingsvariant (en zonodig per opleidinglocatie). Het eindoordeel volgt uit de oordelen per onderwerp; voor een positief eindoordeel dienen immers alle zes onderwerpen als voldoende te zijn beoordeeld. Bij optredende verschillen tussen varianten en locaties zal het eindoordeel beargumenteerd worden. IV
Bijlagen
In de bijlagen verantwoordt het panel de werkwijze, dit bevat in ieder geval: • Ondertekende verklaringen van elk panellid waaruit blijkt dat het oordeel van het panel in volstrekte onafhankelijkheid tot stand is gekomen. Panelleden mogen geen bindingen hebben met de beoordeelde opleiding. • Verklaring van het panel over de zelfevaluatie; of deze een voldoende basis bood voor de visitatie. • Een overzicht van de samenstelling van het panel (inclusief kort curriculum vitae van de panelleden). Hieruit moet blijken dat er voldoende onderwijsdeskundigheid, domeindeskundigheid, auditdeskundigheid en deskundigheid op het gebied van internationale ontwikkelingen van de discipline in het panel aanwezig is. • Een verantwoording van het gehanteerde beoordelingsprotocol en de gevolgde werkwijze, waarbij afwijkende keuzen en gehanteerde procedures worden toegelicht en beargumenteerd. Daarbij wordt speciale aandacht besteed aan de beoordelingswijze van eventuele bijzondere kwaliteitskenmerken, en de wijze van vergelijking met andere, vergelijkbare opleidingen. Eventuele afwijkingen van het beoordelingsprotocol worden gerapporteerd en beargumenteerd. • Het domeinspecifieke referentiekader met een verklaring van het panel over de wijze waarop dit tot stand is gekomen en de wijze waarop domeinspecificiteit is betrokken in de oordelen.
Interne kwaliteitstoets beoordelingsrapport Het conceptrapport wordt door minimaal 1 ervaren medewerker van NQA, niet zijnde de panelsecretaris, onderworpen aan vooraf vastgestelde kwaliteitseisen met betrekking tot methodologie en consistentie van paneloordelen. Er zal een procedure ontwikkeld worden voor de verdere behandeling indien er gebreken met betrekking tot methodologie of consistentie zijn geconstateerd.
76
© NQA ( Netherlands Quality Agency)
Managementletter Opleidingen kunnen NQA verzoeken een management letter te schrijven met adviezen over kwaliteitsverbetering. Deze management letter is de verantwoordelijkheid van NQA (waarbij panelleden om advies kunnen worden gevraagd), volgt na het beoordelingsrapport, behoort niet tot de accreditatieprocedure en wordt daarom vertrouwelijk aan de opdrachtgever ter beschikking gesteld. Een management letter kan een waardevolle bijdrage leveren aan het nader invullen van de verbeteringsfunctie. Adviezen over kwaliteitsverbetering hebben echter slechts zin als daarvoor een draagvlak is; vandaar dat management letters alleen worden aangeboden als de opdrachtgever kenbaar heeft gemaakt dat daaraan behoefte is.
© NQA ( Netherlands Quality Agency)
77
78
© NQA ( Netherlands Quality Agency)
Bijlage 5
HANDREIKING VOOR OORDEELSVORMING6
Introductie Een van de belangrijkste en ingewikkeldste aspecten van het visitatieproces is de oordeelsvorming. Op verschillende niveaus zijn er oordelen nodig. Het eindoordeel is gebaseerd op het oordeel op zes onderwerpen. Daaronder ligt weer het oordeel op 21 facetten. Per onderwerp dienen, na weging, de facetten te leiden tot een oordeel over het onderwerp. Inhoudelijk richtinggevend voor de oordelen is het NVAO-kader dat bepaalt wat de objecten van onderzoek zijn. Het diepst in het kader liggen de door de NVAO geformuleerde 31 criteria. Informatie over die criteria moet inzicht geven of basiskwaliteit al dan niet door de beoordeelde opleiding wordt gerealiseerd. De criteria in het accreditatiekader geven tevens richting aan de onderbouwing van het oordeel. Het NVAO-kader is zo opgezet dat er ruimte wordt gelaten voor het timmermansoog van de panelleden en de positiebepaling en de eigen doelstellingen van de hogescholen. NQA onderschrijft die uitgangspunten en kiest er bij de oordeelsvorming dan ook niet voor om te werken met mathematische procedures en methodieken. NQA gaat er vanuit dat niet bij voorbaat te zeggen is dat alle facetten overal evenveel waarde hebben. Dat is mede afhankelijk van de keuzes van hogescholen (bijvoorbeeld in de missie geformuleerd). Er is dus ruimte nodig om in de oordeelsvorming aan die diversiteit tegemoet te komen. Dat houdt tevens voor de opleidingen in dat er veel nadruk komt te liggen op de bewijslast. Hoewel dus niet gekozen wordt voor mechanische beslisregels, dient er toch naar gestreefd te worden dat de oordelen van het panel binnen de gehanteerde werkwijze zo objectief en betrouwbaar mogelijk zijn. Bovendien is het van groot belang dat er consistentie is in de afwegingen van de verschillende panels. Tevens zal NQA een structuur creëren waarbinnen consistentie van paneloordelen wordt bevorderd. Binnen deze structuur is een belangrijke rol weggelegd voor de secretaris, die op methodologische aspecten en consistentie van paneloordelen moet letten. Om de consistentie tussen panels te bevorderen zal NQA een permanent overleg tussen panelsecretarissen inrichten. Ook zullen beoordelingsrapporten worden “tegengelezen” door één of meer andere NQA medewerkers, waarbij speciaal op consistentie en overige methodologische aspecten gelet zal worden. Indien dit tot een negatieve conclusie op het punt van methodologie of consistentie leidt, kan NQA actie ondernemen zoals het terugzending van het rapport naar het panel.
6
Versie 7, 10 maart 2004
© NQA ( Netherlands Quality Agency)
79
Beslisregels Inleiding De NVAO beschrijft in het accreditatiekader (hfst 4) beslisregels voor de accreditatie. Eén beslisregel is heel expliciet: de opleiding komt alleen voor een positief eindoordeel in aanmerking als op alle onderwerpen (6x) een voldoende wordt gescoord. Aan de VBI wordt overgelaten om voor het oordeel per onderwerp beslisregels te formuleren teneinde te komen tot een weging van oordelen over de afzonderlijke facetten van dat onderwerp. Er wordt hier dus niet gesteld dat er ook beslisregels moeten zijn die leiden tot een oordeel over een facet. In de toelichting (pag. 17) staat echter, dat “afwegingen op alle niveaus - facetten, onderwerpen en eindoordeel - inzichtelijk” gemaakt moeten worden. Dit houdt in dat er ook aangegeven zou moeten worden hoe je van criteria tot een facetoordeel komt. Alleen de beoordeling per criterium is ‘vrij’. Een belangrijke aanwijzing in de toelichting is, dat de waardering ‘goed’ of ‘excellent’ gebruikt kan worden als compensatie voor een ‘onvoldoende’ op een facet binnen hetzelfde onderwerp. Daarmee mag echter “niet louter instrumenteel worden omgegaan”; inhoudelijke afweging blijft noodzakelijk. Samenvattend zijn er volgens NVAO dus 3 afwegingen noodzakelijk: betreffende het facet betreffende het onderwerp (van facet naar onderwerp) betreffende het eindoordeel Bovendien dienen afwegingen niet “louter instrumenteel” (compensatieregeling), maar ook inhoudelijk gemotiveerd te zijn. Oordeel per facet Om tot een oordeel op een facet te komen, is er vaak één en zijn er soms meerdere criteria die beoordeeld moeten worden. In het geval van één criterium is de situatie in principe duidelijk; dit moet voldoende zijn om tot een ‘voldoende’ op het facet te komen. Daar waar er meerdere criteria zijn (soms drie) ligt dat moeilijker. Om te bepalen of aan de criteria wordt voldaan, zijn voor de externe kwaliteitsbeoordelaars van NQA de volgende vragen van belang: Doelen: welke ambitie heeft de opleiding ten aanzien van een bepaald facet: welke kwaliteit wordt nagestreefd; welke resultaten worden beoogd, kortom; wat zijn de eigen doelen? Borging: hoe borgt de opleiding dat deze doelen kunnen worden bereikt; zijn beleid, management en processen logisch op die eigen doelen afgestemd? Resultaten7: hoe verhouden de bereikte resultaten zich tot de eigen doelen (mede in vergelijking met andere opleidingen); zijn direct betrokkenen (stakeholders) tevreden over de bereikte resultaten?
7
Hiermee is niet het onderwerp “resultaten” bedoeld maar de bereikte resultaten ten aanzien van elk facet.
80
© NQA ( Netherlands Quality Agency)
Verbetering: indien het borgen en bereiken van de doelen te wensen overlaat, zijn er dan verbeteringen in het vooruitzicht? De vragen die in de richtlijnen van NQA voor de zelfevaluatie aan opleidingen worden gesteld, houden verband met de doelen8, borging, resultaten en verbetering. Bij de beoordeling komt centraal te staan dat aanvaardbaar wordt gemaakt dat de opleiding resultaten heeft behaald overeenkomstig de door haar nagestreefde doelen. Vanuit dat perspectief spreekt het vanzelf dat de kern gevormd wordt door de resultaten en de borging; dus datgene wat bereikt is en de borging daarvan in de toekomst (accreditatie wordt immers voor zes jaar verleend). In feite houdt dit in dat bij afweging de uitvoering zwaarder weegt dan het beleid. Toch kan het niet zo zijn dat een tekortschietende borging of nog uitblijvende resultaten “automatisch” tot een onvoldoende op het betreffende facet leidt. Zo zal er bijvoorbeeld begrip moeten zijn voor het feit dat veel opleidingen zich op sommige facetten, die nieuw zijn ten opzichte van visitaties (bijvoorbeeld de Dublin descriptoren bij de niveaubepaling), zich nog in een ontwikkelingsstadium bevinden. In dergelijke gevallen kunnen onvoldoende resultaten of borging gecompenseerd worden door concrete en aantoonbare verbeteracties. Zijn de resultaten boven verwachting en de doelen ook in orde, dan kan het panel een oordeel “goed” overwegen. Is de situatie zodanig dat zelfs geen verbeteringen meer nodig zijn, dan kan een oordeel ‘excellent’ gegeven worden. In een dergelijk geval fungeert de opleiding als voorbeeld van een “best practice” op het betreffende facet. Eventueel optredende verschillen tussen varianten en locaties met betrekking tot het paneloordeel op een bepaald facet zullen expliciet vermeld worden. Oordeel per onderwerp Het uitgangspunt voor de oordeelsvorming per onderwerp is dat het panel, rekening houdend met de context van de opleiding, de weging van facetten maakt. Dit betekent dat het panel bepaalt voor welke facetten binnen een bepaald onderwerp een compensatieregeling, zoals aangegeven door de NVAO, kan worden toegepast. Dit wil zeggen dat een onvoldoende op een facet gecompenseerd kan worden door een goed of excellent op een ander facet binnen hetzelfde onderwerp. Deze afweging dient door het panel steeds inhoudelijk beargumenteerd te worden. NQA vindt, gegeven het NVAO-kader, dat een aantal facetten bij accreditatie van bijzonder belang geacht kan worden. Dat wil overigens niet zeggen dat deze weging absoluut is en noodzakelijkerwijs tot onvoldoendes op onderwerpniveau moet leiden. Steeds dient gekeken te worden naar specifieke keuzes die de opleiding maakt of de concrete situatie waarin zij zich bevindt. De context speelt dus steeds een belangrijke rol. Uiteraard komt daarbij wel een (extra) zware druk op de bewijslast te liggen.
8
Echter niet bij elk aspect, bijvoorbeeld bij duur van programma is er sprake van een wettelijke verplichting waar de opleiding geen afwijkende doelstellingen tegenover kan stellen.
© NQA ( Netherlands Quality Agency)
81
De accenten die NQA legt betreffen binnen het onderwerp doelstellingen de facetten niveau, oriëntatie en domeinspecifieke eisen. Het gaat hier om facetten die de status als Hbo-opleiding in een bepaald domein beschrijven. Voorts binnen de onderwerpen programma en inzet van personeel de facetten eisen hbo/wo. Deze facetten hebben betrekking op de praktijk- en beroepsgerichtheid van de opleidingen. Tenslotte binnen het onderwerp intern kwaliteitszorgsysteem het facet maatregelen tot verbetering, waarin de kwaliteitsverbetercyclus primair tot uiting komt, en binnen het onderwerp resultaten het facet gerealiseerd niveau. Hiermee wordt aangesloten bij de toelichting op het accreditatiekader waarin de NVAO duidelijk aangeeft dat de onderwerpen intern kwaliteitszorgsysteem en resultaten van bijzonder belang worden geacht. Het oordeel op onderwerpniveau dient weergegeven te worden als voldoende of onvoldoende. Dit houdt echter niet in dat er in de onderbouwing geen sprake zou kunnen zijn van nuancering. Als er binnen een onderwerp op basis van de facetoordelen sprake is van een ‘goede’ of zelfs ‘excellente’ situatie dan moet dat in de formulering tot uitdrukking kunnen komen. Een bijzondere situatie doet zich voor bij opleidingen in opbouw die in de visitatie meegenomen moeten worden. Deze opleidingen bevinden zich in een bepaalde fase van ontwikkeling en hebben nog geen afgestudeerden. Op bepaalde onderwerpen (resultaten bijvoorbeeld) kan geen oordeel geven worden. In die situaties zal het oordeel gebaseerd zijn op wat gerealiseerd is, de verdere plannen en het vertrouwen dat is ontstaan in een succesvolle verdere realisering van de opleiding. Anders gezegd; daar waar resultaten afwezig zijn, is een scherp zicht op de borging van groot belang. Eindoordeel Het eindoordeel over de opleiding is positief indien het oordeel over elk van de 6 onderwerpen tenminste voldoende is. De NVAO heeft bepaald dat voor elke opleidingsvariant afzonderlijk de basiskwaliteit gewaarborgd moet zijn. Ook heeft de NVAO bepaald dat de opleiding alleen in aanmerking komt voor accreditatie als elke locatie voldoet aan de in het kader genoemde criteria voor basiskwaliteit. Dit zou inhouden dat een positief eindoordeel alleen mogelijk is als elke variant en elke locatie op elk onderwerp tenminste als voldoende is beoordeeld. De consequentie hiervan zou zijn dat accreditatie wordt onthouden indien, bijvoorbeeld, de grote voltijdvariant en de hoofdlocatie als voldoende worden beoordeeld, maar een kleine deeltijd- of duale variant of een kleinere nevenvestiging als onvoldoende wordt beoordeeld. Omdat dit tot onevenredige schade zou leiden, heeft de NVAO de weg geopend om tot nadere afspraken met de instelling te komen over verbeteren of stoppen met de betreffende variant. Om het de gevisiteerde opleiding en de NVAO mogelijk te maken hieromtrent transparante beslissingen te nemen, wordt bij de vermelding van het eindoordeel een samenvattende tabel geplaatst met daarin de oordelen per onderwerp, facet, variant en locatie.
82
© NQA ( Netherlands Quality Agency)
Samenvattend: - de beslisregels op facetniveau zijn kwalitatief (gebaseerd op duidelijke argumenten); - de beslisregels op onderwerpniveau zijn kwalitatief en rekenkundig (compensatiemogelijkheid); - beslisregels op het niveau van het eindoordeel zijn rekenkundig (alles voldoende).
© NQA ( Netherlands Quality Agency)
83