ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU

ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC A12 te Ede Ondernemer detailhandel definitief januari 2015

3280511/8

BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:

25PM 279414 oktober/november 2014 3 december 2014 30 januari 2015

INHOUD

1 Inleiding ................................................................................................. 1 2 Conclusie en vervolg ................................................................................ 3 2.1 Conclusie .......................................................................................... 3 2.2 Vervolg ............................................................................................. 3 3 Resultaten .............................................................................................. 5 Bijlagen .................................................................................................... 9 Bijlage I Normering kwaliteitsgebieden ........................................................ 9 Bijlage II Overzicht bc-id ......................................................................... 11 Bijlage III Beoordeling indicatoren Ondernemer detailhandel ......................... 12

3280511/8

1 Inleiding De Inspectie van het Onderwijs voerde in oktober 2014 een onderzoek naar kwaliteitsverbetering uit bij ROC A12. Dit onderzoek heeft betrekking op de kwaliteit van het onderwijsproces, de opbrengsten en de kwaliteitsborging. De volgende opleiding is onderzocht: Gebied Opbrengsten bc151

Gebied Onderwijsproces en Kwaliteitsborging 90290, Ondernemer detailhandel

Leerweg, niveau, locatie leerweg bol, niveau 4, locatie Gruttostraat 10, Velp

De aanleiding voor dit onderzoek naar kwaliteitsverbetering is het oordeel zoals dit is opgenomen in het rapport van de Staat van de instelling (vastgesteld op 31 mei 2013). Er zijn toen tekortkomingen geconstateerd in de kwaliteit van het onderwijsproces, de opbrengsten en de kwaliteitsborging. Er was sprake van zeer zwak onderwijs en niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging. Het onderwijsproces vertoonde tekortkomingen in de samenhang en het maatwerk van het programma en de studieloopbaanbegeleiding. Tevens waren de opbrengsten onvoldoende. De tekortkomingen hadden allemaal als oorzaak dat de opleiding in praktijk niet opleidde tot het diploma Ondernemer detailhandel; studenten stroomden uit zonder of met een ander diploma. De tekortkomingen in de kwaliteitsborging hadden betrekking op de sturing en de verbetering en verankering. De teamplannen aan de hand waarvan de sturing plaatsvond, waren onvoldoende specifiek, zodat niet duidelijk was welke resultaten moesten worden behaald en bij welke opleiding. Dit gold tevens voor de verantwoording. In het onderhavige onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de aspecten die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten. Wij hebben gesprekken gevoerd met studenten, docenten en management. Daarnaast hebben we documenten onderzocht en onderwijsactiviteiten geobserveerd. Ook maakte een gesprek de locatiedirecteuren en een gesprek met de algemeen directeur, een medewerker van de afdeling Onderwijs, Informatievoorzienig en Kwaliteit en het college van bestuur deel uit van het onderzoek. Tegelijkertijd met het onderzoek naar kwaliteitsverbetering is een kwaliteitsonderzoek uitgevoerd. Dit onderzoek heeft betrekking op dezelfde opleiding, gebied examinering en diplomering. Hiervan is separaat een rapport opgesteld. In hoofdstuk 2 leest u de conclusie en het vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3.

Onderzoek naar kwaliteitsverbetering mbo – ROC A12

pagina 1 van 13

De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport.


pagina 2 van 13

2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en beschrijven wij het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het kwaliteitsgebied onderwijsproces. De opbrengsten en de kwaliteitsborging zijn onvoldoende. Daarom vindt vervolgtoezicht plaats vanwege onvoldoende opbrengsten en niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging. 2.2 Vervolg Gezien bovenstaande conclusie vindt vervolgtoezicht plaats vanwege onvoldoende opbrengsten en vanwege niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging. Ondernemer detailhandel, 90290 Beoordeling

Toezichtvorm

Vervolgtoezicht

Niveau opbrengsten is onvoldoende*.

Aangepast toezicht vanwege onvoldoende opbrengsten*. Aangepast toezicht vanwege niet naleving van 1.3.6 van de WEB.

 Na circa een jaar onderzoek naar kwaliteitsverbetering.

Kwaliteitsborging voldoet niet aan de eisen en is onvoldoende.

 Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw.

* Het oordeel van de opbrengsten betreft de opleidingen binnen de bc-id, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht voor opbrengsten worden alle bijbehorende opleidingen betrokken.


pagina 3 van 13


pagina 4 van 13

3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen. Kwaliteitsgebied

Goed

Voldoende

1. Onderwijsproces 3. Opbrengsten 4. Kwaliteitsborging

Onvoldoende

Slecht

• • •

Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de onderzochte kwaliteitsgebieden weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage III. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 3: Opbrengsten 3.1 Rendement Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording

Voldoende

Onvoldoende

• • • • • • • • • • • • • •

De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.

Beschouwing Algemeen Het opleidingsteam Handel heeft op veel terreinen verbeteringen aangebracht in het onderwijsproces. Hierdoor is de onderwijskwaliteit nu voldoende. Dit is bereikt mede dankzij een uitgebreid traject waarin het team niet alleen besloten heeft om de kwaliteit te verbeteren maar vooral een uitgebreide analyse van de kwaliteit heeft opgesteld.


pagina 5 van 13

Het resultaat hiervan is de basis geweest van diverse verbetertrajecten dat het team in samenwerking uitvoert. Op onderdelen zijn de eerste resultaten zichtbaar. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Dit onderzoek richtte zich op de aspecten samenhang, maatwerk en studieloopbaanbegeleiding. Het opleidingsteam heeft voldoende verbeteringen weten te realiseren in met name het programma en de studieloopbaanbegeleiding. Er is echter nog steeds sprake van onvoldoende maatwerk voor de studenten. Het programma is nu voldoende omdat de ondernemerschap nu in voldoende mate aan bod komt. Ten tijde van het vorige onderzoek was het programma niet dusdanig ingericht dat studenten het diploma Ondernemer detailhandel behaalden. In praktijk legden ze het examen van Verkoopspecialist of Filiaalmanager af. De belangrijkste oorzaak hiervan was dat in het programma de vakken die betrekking hadden op ondernemersvaardigheden pas laat in het programma aan bod kwamen. Nu worden studenten ook daadwerkelijk gediplomeerd voor de opleiding Ondernemer detailhandel. Vooral in de projecten, de masterclasses en de beroepspraktijkvorming is het ondernemerschap verankerd. Ondernemerschap maakt nu in alle leerjaren deel uit van het programma. Daarnaast heeft het opleidingsteam de programmering van de ondersteunende beroepsgerichte vakken gewijzigd. Hierdoor is de intensiteit van de vakken in overeenstemming gebracht met de zwaarte van het vak. Het team heeft deze wijzigingen stapsgewijs en per cohort doorgevoerd waardoor studenten nauwelijks hinder hebben ervaren van de aanpassingen. Daarentegen zijn in het programma nog onvoldoende mogelijkheden maatwerk opgenomen. Het programma is namelijk leidend en er zijn beperkt mogelijkheden voor studenten om hiervan af te wijken. Een voorbeeld hiervan betreft de beroepspraktijkvorming (bpv). De wensen van studenten in relatie tot de stage zijn namelijk niet leidend voor de keuzemogelijkheden. De opties zijn beperkt tot de winkels die participeren in het CCA-project. In feite is er ten opzichte van de situatie zoals beschreven in het rapport Staat van de instelling niet veel gewijzigd. Wel kan het opleidingsteam de studenten in het derde leerjaar voorzien van een individueel aanbod maar in de andere leerjaren niet. In sommige gevallen leidt het gebrek aan mogelijkheden tot differentiatie ertoe dat studenten een heel leerjaar moeten overdoen ongeacht prestaties in bpv en vakonderdelen. Ten tijde van de Staat van de instelling schoot de studieloopbaanbegeleiding tekort in het gedetailleerd informeren van studenten over de inhoud van de opleiding en het herkenbaar naar voren brengen van de ondernemersvaardigheden. Studenten werden met name onvoldoende geïnformeerd over de voorwaarden om te kunnen diplomeren als ondernemer detailhandel. Daarvan is nu geen sprake meer. De studieloopbaanbegeleiding leidt in voldoende mate tot bewuste keuzes in opleiding en ondersteuning van studenten bij leer- en persoonlijke problemen. Vooral de informatie over de bpv, de inhoud van de verschillende beroepsvakken en de opbouw van het programma is uitgebreid waardoor studenten nu weten wat van ze verwacht wordt en wat de mogelijkheden zijn.


pagina 6 van 13

Opbrengsten De opbrengsten zijn met een jaarresultaat van 20,0 procent en een diplomaresultaat van 23,1 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2012-2013 zijn de resultaten van de bc-id bc151, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Het opleidingsteam heeft ook de beschikking over cijfers van het afgelopen jaar (2013-2014) en concludeert op basis daarvan dat de opbrengsten ook in dat jaar niet voldoende zijn maar wel fors zijn gestegen ten opzichte van 2012-2013. Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende. Dit onderzoek richtte zich op de aspecten sturing en verbetering en verankering. De sturing is verbeterd ten opzichte van het vorige onderzoek en nu voldoende. Het traject van Andersom denken heeft in dit opleidingsteam geleid tot een besef van verantwoordelijkheid voor het resultaat en leden nemen hun taken en verantwoordelijkheden serieus. Het team werkt hard en in goede samenwerking aan de uitvoering van het verbeteren activiteitenplan. Het opleidingsteam heeft veel energie gestoken in het analyseren van de onderwijskwaliteit en het benoemen van sterke en zwakke onderdelen daarin. Vervolgens is een analyse opgesteld en is een verbeteren activiteitenplan opgesteld. Het plan is smart opgesteld en wordt breed gedragen. De verbetering en verankering is evenwel onvoldoende. De systematiek van verantwoording van onderwijskwaliteit aan de locatiedirecteur en de algemeen directeur is ontwikkeld. De gekozen veranderstrategie in de instelling voorziet in de inbedding ervan. Hierbij is geëxpliciteerd waarover het opleidingsteam zich moet verantwoorden en er zijn instrumenten die hierbij gebruikt kunnen worden. Hierdoor kan het opleidingsteam specifieke verantwoording over de kwaliteit afleggen. We hebben het functioneren van de verantwoording in de nieuwe constellatie echter niet in werking kunnen zien. Dit is begrijpelijk gezien de fasering van het verandertraject. Dit betreft met name de werking van de systematiek van de verantwoording. Zo hebben we nu geen zicht of de borging van de verbetermaatregelen expliciet een plaats krijgt en of de resultaten van de verbetermaatregelen worden benoemd. Nu is er het risico voor het team dat verbeteringen eenmalig worden ingezet en geen blijvende kwaliteitsverbetering als gevolg hebben. Het opleidingsteam heeft de behoefte en verantwoordelijkheid om zich te verantwoorden. Dit past in de ontwikkeling van het team en geeft verder invulling aan het eigenaarschap dat wordt ervaren.


pagina 7 van 13


pagina 8 van 13

Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1.

2. 3.

Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.

Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed

Voldoende

Onvoldoende Slecht

 Aan acht van de negen aspecten is voldaan.  Aan alle kernaspecten is voldaan; daarbij is tevens aan alle indicatoren voldaan.  De elementen in het portret worden op een uitstekende wijze uitgevoerd.  Aan zeven van de negen aspecten is voldaan.  Aan alle kernaspecten is voldaan.  Voor elk aspect aan alle indicatoren is voldaan, daarbij mag 1 indicator onvoldoende zijn als een aspect meer dan 2 indicatoren omvat.  Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.  Aan één of meer kernaspecten is niet voldaan.  Aan drie, vier of vijf aspecten is niet voldaan.  Aan geen van de kernaspecten is voldaan.  Aan zes of meer aspecten is niet voldaan.

Voor de beoordeling van de opbrengsten is gebruik gemaakt van onderstaande norm. Voor een oordeel voldoende moet tenminste aan één van de twee normen zijn voldaan. Niveau 1 2 3 4

Jaarresultaat 60,7 56,5 65,3 64,2

Diplomaresultaat 45,1 45,2 67,3 67,3


pagina 9 van 13

Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. Normering Kwaliteitsborging Goed

Voldoende

Onvoldoende Slecht

 Aan alle aspecten is voldaan.  Aan alle indicatoren is voldaan.  De elementen in het portret worden op een uitstekende wijze uitgevoerd.  Aan alle kernaspecten is voldaan.  Aan alle indicatoren van deze aspecten is voldaan.  Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.  Aan twee aspecten is niet voldaan.  Aan één of twee kernaspecten is niet voldaan.  Aan drie of vier aspecten is niet voldaan.


pagina 10 van 13

Bijlage II Overzicht bc-id Hieronder is voor de onderzochte bc-id aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten. bc-id: bc151 Crebo: 90290 10850

Niveau: 4 Opleiding: Ondernemer detailhandel Ondernemer/Manager detailhandel


pagina 11 van 13

Bijlage III Beoordeling indicatoren Ondernemer detailhandel Gebied 1: Onderwijsproces Aspecten Programma 1.1 Samenhang

1.3.3

Leertijd

1.5

Leeromgeving

1.4.1 1.4.2 1.5.1 1.5.2

Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding*

1.6.1 1.6.2 1.7.1 1.7.2

1.8

1.8.1

Zorg

Onvoldoende

Indicatoren

1.1.1 1.1.2 1.2 Maatwerk 1.2.1 Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 handelen* 1.3.2

1.4

Voldoende

1.8.2 Leren in de beroepspraktijk 1.9 Beroepspraktijk1.9.1 vorming* 1.9.2 1.9.3 1.9.4

Inhoud Programmering Differentiatie

• •

Interactie Ondersteuning en begeleiding van de leeractiviteiten Feedback op de leeractiviteiten en de leerresultaten Benutting Werkdruk Schoolklimaat Materiële voorzieningen Voorlichting Intake en plaatsing Informatievoorziening Studieloopbaanbegeleiding Eerste- en tweedelijnszorg Derdelijnszorg

•

Voorbereiding studenten en bedrijven Plaatsing Begeleiding door het bedrijf Begeleiding door de opleiding


pagina 12 van 13

Gebied 3: Opbrengsten Aspecten 3.1 Rendement

Voldoende Indicatoren 3.1.1 Rendement

Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *

4.2

Beoordeling *

4.3

Verbeteringen verankering *

4.4

Dialoog en verantwoording

Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern

Onvoldoende •

Voldoende

Onvoldoende

•

•

De aspecten met een * zijn kernaspecten


pagina 13 van 13

ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU

Recommend Documents