ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU Clusius College te Alkmaar Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening) 97252 Bloemendetailhandel (Medewerker bloembinden) 97420 Manager natuur en recreatie 97090 Natuur en vormgeving (Specialist natuur en vormgeving) 97490
Plaats: BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Rapport vastgesteld te Utrecht op:
Alkmaar 25EF 273521 December 2013 26 mei 2014
INHOUD
1 Inleiding ................................................................................................. 3 2 Conclusie en vervolg ................................................................................ 5 2.1 Conclusie .......................................................................................... 5 2.2 Vervolg ............................................................................................. 5 3 Resultaten .............................................................................................. 7 Bijlagen .................................................................................................. 11 Bijlage I Normering kwaliteitsgebieden ...................................................... 11 Bijlage IVa Beoordeling aspecten en indicatoren Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening) ............................................ 13 Bijlage IVb Beoordeling aspecten en indicatoren Bloemendetailhandel (Medewerker bloembinden) ..................................................................... 13 Bijlage IVC Beoordeling aspecten en indicatoren Manager natuur en recreatie .. 14 Bijlage IVd Beoordeling aspecten en indicatoren Natuur en vormgeving (Specialist natuur en vormgeving) ........................................................................... 14
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 1 van 14
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 2 van 14
1 Inleiding De Inspectie van het Onderwijs voerde in december 2014 een onderzoek naar kwaliteitsverbetering uit bij het Clusius College. Dit onderzoek heeft betrekking op de kwaliteitsborging en de naleving van de wettelijke vereisten. Bij ons onderzoek in 2012 zijn de opbrengsten van de opleidingen Natuur en groene ruimte (Vakbekwaam medewerker groenvoorziening) en Manager natuur en recreatie onvoldoende bevonden. In 2013 zijn de opbrengsten van deze opleidingen in een onderzoek naar kwaliteitsverbetering betrokken en voldoende bevonden. De onderzoeksresultaten hiervan zijn in een separate rapportage d.d. 17 september 2013 vastgelegd. De volgende opleidingen zijn onderzocht: Gebied Onderwijsproces, Kwaliteitsborging en Wettelijke vereisten
Leerweg, niveau, locatie
97252, Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening) 97420, Bloemendetailhandel (Medewerker bloembinden)
leerweg bbl, niveau 3, locatie Drechterwaard 10-16 Alkmaar leerweg bol, niveau 2, locatie Drechterwaard 10-16 Alkmaar leerweg bol, niveau 4, Blauwe Berg 3 Hoorn leerweg bol, niveau 4, Blauwe Berg 3 Hoorn
97090, Manager natuur en recreatie 97490, Natuur en vormgeving (Specialist natuur en vormgeving)
De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht zoals is opgenomen in het rapport van de Staat van de instelling dat op 22 augustus 2012 is vastgesteld. In het onderzoek naar de Staat van de instelling uitgevoerd in februari en maart 2012 bleek er sprake te zijn van tekortkomingen bij de opleiding Natuur en groene ruimte (Vakbekwaam medewerker groenvoorziening), Bloemendetailhandel (Medewerker bloembinden), Manager natuur en recreatie en Natuur en vormgeving (Specialist natuur en vormgeving). Bij deze opleidingen zijn in de kwaliteitsborging en bij de opbrengsten tekortkomingen geconstateerd. De opbrengsten vertoonden een te laag diploma- en jaarresultaat. Verder was de kwaliteitsborging onvoldoende qua sturing, beoordeling, verbetering en verankering. Door de relatief kleine opleidingsteams waren lijnen kort en werden problemen snel gesignaleerd en opgelost. Deze wijze van handelen vormde echter ook een risico, omdat regelmatig evalueren van de kwaliteit van de primaire processen en de effecten van verbetermaatregelen op teamniveau niet plaatsvond. De directe verbeteringen die werden doorgevoerd waren hierdoor niet geborgd. Ook hadden de plannen geen relatie met de kaderbrief. Tevens werd geconstateerd dat er sprake was van onvoldoende opbrengsten bij twee opleidingen en niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging bij alle
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 3 van 14
opleidingen. De interne dialoog met belanghebbenden voldeed niet bij drie van de vier onderzochte opleidingen. Voor alle vier opleidingen gold ook dat er geen sprake was van een effectieve externe dialoog met belanghebbenden. Daarnaast voldeed de opleiding Manager natuur en recreatie niet aan de wettelijke vereisten omdat de overeenkomsten voor de beroepspraktijkvorming niet tijdig door de studenten waren ondertekend. In dit onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de indicatoren die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen dat de eerder met voldoende beoordeelde aspecten en indicatoren gewijzigd zijn. Wij hebben gesprekken gevoerd met management en functionarissen kwaliteitszorg. Daarnaast hebben we documenten onderzocht. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek naar kwaliteitsverbetering. In hoofdstuk 2 leest u de conclusie waaronder ook het eventuele vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport.
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 4 van 14
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel onvoldoende voor de onderzochte kwaliteitsgebieden. Hierdoor vindt vervolgtoezicht plaats vanwege niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging en tijdige ondertekening van de praktijkovereenkomst. In de volgende paragraaf is het vervolg uitgewerkt. 2.2 Vervolg In onderstaand schema is het vervolgtoezicht te lezen. Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening), 97252 Bloemendetailhandel (Medewerker bloembinden), 97420 Natuur en vormgeving (Specialist natuur en vormgeving), 97490 Beoordeling Toezichtvorm Vervolgtoezicht Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende.
Aangepast toezicht vanwege niet naleving van 1.3.6 van de WEB.
Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw.
Manager natuur en recreatie, 97090 Beoordeling
Toezichtvorm
Vervolgtoezicht
Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende.
Aangepast toezicht vanwege niet naleving van 1.3.6 van de WEB.
Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw.
Bij niet naleven van wet- en regelgeving.
Aangepast toezicht vanwege niet naleving van artikel 7.2.9 van de Wet educatie en beroepsonderwijs (Ondertekening POK te laat).
De instelling herstelt de tekortkoming Na circa een jaar onderzoekt de inspectie het herstel van de praktijkovereenkomst.
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 5 van 14
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 6 van 14
3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering bij de opleidingen Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening), Bloemendetailhandel (Medewerker bloembinden) en Natuur en vormgeving (Specialist natuur en vormgeving) heeft geleid tot de volgende oordelen. Kwaliteitsgebied
Goed
Voldoende
4. Kwaliteitsborging
Onvoldoende •
Slecht
Het onderzoek naar kwaliteitsverbetering bij de opleiding Manager natuur en recreatie heeft geleid tot de volgende oordelen. Kwaliteitsgebied
Goed
Voldoende
4. Kwaliteitsborging 5.Naleving wettelijke vereisten
OnvolSlecht doende • Voldoet niet
Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden van de opleidingen Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening), Bloemendetailhandel (Medewerker bloembinden) en Natuur en vormgeving (Specialist natuur en vormgeving) weer. De oordelen voor de aspecten die tijdens het vorige onderzoek al voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage IV. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording
Voldoende
Onvoldoende
• • • •
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden van de opleiding Manager natuur en recreatie weer. De oordelen voor de aspecten die tijdens het vorige onderzoek al voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage IV. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Aspect Gebied 4: Kwaliteitsborging 4.1 Sturing*
Voldoende
Onvoldoende
•
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 7 van 14
Kwaliteitsgebied Aspect 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording Gebied 5: Naleving wettelijke vereisten 5.1 Naleving wettelijke vereisten
Voldoende
Onvoldoende •
• • Voldoet niet
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Beschouwing Algemeen De opbrengsten 2010-2011 waren onvoldoende voor de opleidingen Natuur en groene ruimte (Vakbekwaam medewerker groenvoorziening) en Manager natuur en recreatie. Het onderzoek naar kwaliteitsverbetering op opbrengsten van beide opleidingen in september 2013 heeft tot een oordeel voldoende voor de opbrengsten geleid. De kwaliteitsborging was vorig jaar voor alle vier onderzochte opleidingen op alle onderdelen onvoldoende. Er is bij deze opleidingen slagvaardig geopereerd om de tekortkomingen te verhelpen. De basis is daarvoor gelegd; de sturing en de verbetering en verankering zijn nu voldoende. Dat geldt ook voor de in- en externe dialoog. Gezien de fase waarin de invoering van de kwaliteitszorgsystematiek nu verkeert, is er nog geen sprake van een regelmatig uitgevoerde monitoring en evaluatie van de onderwijskwaliteit. Daarom is nog niet te bepalen in welke mate de kwaliteitszorg effectief wordt uitgevoerd. Het aspect beoordeling is daarom onvoldoende. Daarnaast voldoet de opleiding Manager natuur en recreatie nog niet aan de wettelijke vereisten. Kwaliteitsborging De kwaliteitsborging was vorig jaar op alle aspecten onvoldoende, maar wel in ontwikkeling. Alle teams waaronder de onderzochte opleidingen ressorteren beschikken nu over een teamactieplan dat gerelateerd is aan de vestigingsactieplannen. Ook is er passende sturingsinformatie over het onderwijsproces beschikbaar. De plannen zijn overwegend actiegericht en in mindere mate resultaatgericht. Ook kan de aanleiding voor de geformuleerde acties beter zichtbaar worden gemaakt. De fase waarin de invoering van de vernieuwde kwaliteitszorgsystematiek nu verkeert, is er de oorzaak van dat in recente en voor de eerste maal opgestelde teamactiviteitenplannen, zoals binnen de locatie Alkmaar, maar een beperkte samenhang zichtbaar is met de plannen van de bovenliggende organisatieniveaus. In de teamactieplannen van de beide onderzochte opleidingen binnen de locatie Hoorn is al wel een adequate samenhang zichtbaar met het vestigingsplan en daarmee met de doelstellingen in de kaderbrief. Daarom hebben wij er vertrouwen in dat ook bij de beide onderzochte opleidingen van de vestiging Alkmaar in de vervolgfase de samenhang afdoende tot uiting komt. Wij beoordelen daarom het onderdeel sturing voor de onderzochte opleidingen als voldoende. Alle teams beschikken over een kwaliteitskaart met kritische prestatie-indicatoren (kpi’s) voor de onderzochte opleidingen, als bouwsteen voor de monitoring. Via een online informatiesysteem is het teammanagement in staat de relevante ontwikkelingen voor de opleiding op adequate wijze te volgen. Belangrijke informatie over het primaire proces, zoals informatie omtrent de kwaliteit van de lessen, studieloopbaanbegeleiding, beroepspraktijkvorming en examinering, ontbreekt nog in deze opzet. Dit heeft overigens wel de aandacht van de centrale
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 8 van 14
afdeling Kwaliteit en Onderwijs die verantwoordelijk is voor de ontwikkeling van de kwaliteitskaarten. Wel kent Clusius inmiddels, als uitbreiding van de bestaande bekostigingsaudits, een interne en externe auditsystematiek waarbij in het laatste geval ook externe deskundigen zijn betrokken, collega’s van een andere mboinstelling. Incidenteel zijn er al audits uitgevoerd. De implementatie van de monitoring van de geformuleerde activiteiten in de plannen, op basis van de geformuleerde prestatie-indicatoren, is gaande. De invoering van de vernieuwde kwaliteitszorgsystematiek ligt op schema. Als gevolg van de planning & control cyclus is een eerste ronde monitoring en evaluatie van de onderwijskwaliteit wel gepland, echter nog niet uitgevoerd. Wij concluderen daarom dat, gezien de stand van zaken bij de monitoring en evaluatie, het onderdeel beoordeling voor alle onderzochte opleidingen nog onvoldoende is. Wij beoordelen het onderdeel verbetering en verankering nu als voldoende. De kwaliteitszorg is duidelijk belegd binnen de organisatie; ook is er een adequate kwaliteitszorgsystematiek beschikbaar, ondersteund door een planning- en controlcyclus. Deze verbetermaatregelen zullen verder aan waarde winnen als de evaluatiesystematiek binnen de organisatie de beoogde plaats krijgt en de analyses van de aangetroffen onderwijskwaliteit specifieker worden. Dialoog en verantwoording. Bij het onderzoek in 2012 concludeerden we dat er geen effectieve interne en externe dialoog met belanghebbenden plaatsvond. Alleen bij de opleiding Bloemendetailhandel (Medewerker bloembinden) was er een functionerende dialoog met de interne belanghebbenden. Iedere vestiging heeft nu een vestigingsstudentenraad, daarnaast is er een centrale studentenraad. In deze raden komt de kwaliteit van het onderwijs aan de orde. Een ruimere verspreiding onder alle studenten van de informatie over de kwaliteit van het onderwijs is in voorbereiding. Inmiddels is ook een externe overlegstructuur ingericht voor de diverse opleidingenclusters, via sectoradviesraden, die weliswaar nog niet in alle gevallen op de beoogde wijze functioneert. Zo komt de kwaliteit van onderwijs en examinering nog niet bij alle raden structureel aan de orde. Een verdere verbetering is gaande. Wij constateren evenwel dat er een actieve en adequate communicatie met belanghebben is bij problemen in de onderwijskwaliteit. Wij hebben er hierdoor vertrouwen in dat binnen de ingerichte overlegstructuur de dialoog over onderwijs en examinering verder gestalte zal krijgen. Samenvattend beoordelen wij de interne- en externe dialoog als voldoende. Wettelijke vereisten Bij de opleiding Manager natuur en recreatie zijn de overeenkomsten voor de beroepspraktijkvorming niet tijdig ondertekend. De opleiding voldoet daarmee niet aan de wettelijke vereisten op dit gebied. Vergeleken met de situatie bij het SvdI onderzoek in 2012 is de situatie ongewijzigd. De reorganisatie van de sturing op de beroepspraktijkvorming heeft geleid tot vertraging in het verbetertraject. Pas bij de nieuwe lichting studenten in het komende schooljaar kan deze situatie worden hersteld.
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 9 van 14
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 10 van 14
Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1.
2. 3.
Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.
Voor de beoordeling van de opbrengsten is gebruik gemaakt van onderstaande norm. Voor een oordeel voldoende moet tenminste aan één van de twee normen zijn voldaan. Niveau 1 2 3 4
Jaarresultaat 60,7 56,5 65,3 64,2
Diplomaresultaat 45,1 45,2 67,3 67,3
Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. Normering Kwaliteitsborging Goed
Voldoende
Onvoldoende Slecht
Aan alle aspecten is voldaan. Aan alle indicatoren is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan alle kernaspecten is voldaan. Aan alle indicatoren van deze aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan twee aspecten is niet voldaan. Aan één of twee kernaspecten is niet voldaan. Aan drie of vier aspecten is niet voldaan.
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 11 van 14
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 12 van 14
Bijlage IVa Beoordeling aspecten en indicatoren Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening) Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *
4.2
Beoordeling *
4.3
Verbeteringen verankering *
4.4
Dialoog en verantwoording
Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern
Voldoende
Onvoldoende
• • • • •
• • •
De aspecten met een * zijn kernaspecten
Bijlage IVb Beoordeling aspecten en indicatoren Bloemendetailhandel (Medewerker bloembinden) Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *
4.2
Beoordeling *
4.3
Verbeteringen verankering *
4.4
Dialoog en verantwoording
Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern
Voldoende
Onvoldoende
• • • • •
• •
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 13 van 14
Bijlage IVC Beoordeling aspecten en indicatoren Manager natuur en recreatie Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *
4.2
Beoordeling *
4.3
Verbeteringen verankering *
4.4
Dialoog en verantwoording
Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern
Gebied 5: Naleving wettelijke vereisten Aspecten Indicatoren 5.1 Naleving wettelijke 5.1.1 Naleving wettelijke vereisten vereisten
Voldoende
Onvoldoende
• • • • •
• • • Voldoet
Voldoet niet •
De aspecten met een * zijn kernaspecten
Bijlage IVd Beoordeling aspecten en indicatoren Natuur en vormgeving (Specialist natuur en vormgeving) Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *
4.2
Beoordeling *
4.3
Verbeteringen verankering *
4.4
Dialoog en verantwoording
Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern
Voldoende
Onvoldoende
• • • • •
• • •
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo – Clusius College
pagina 14 van 14
