ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC Menso Alting te Groningen Opleidingen Pedagogisch Werk 4 (Gespecialiseerd pedagogisch medewerker 4 kinderopvang) Maatschappelijke Zorg (Medewerker maatschappelijke zorg)
3280511/7
BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
14NZ 277916 30 juni 2014 8 september 2014 30 september 2014
INHOUD
1 Inleiding ................................................................................................. 1 2 Conclusie en vervolg ................................................................................ 3 2.1 Conclusie .......................................................................................... 3 2.2 Vervolg ............................................................................................. 3 3 Resultaten .............................................................................................. 5 Bijlagen .................................................................................................... 7 Bijlage I Normering kwaliteitsgebied .............................................................. 7 Bijlage II Beoordeling indicatoren Pedagogisch Werk 4 (Gespecialiseerd pedagogisch medewerker 4 kinderopvang) ..................................................... 8 Bijlage III Beoordeling indicatoren Maatschappelijke Zorg (Medewerker maatschappelijke zorg) ............................................................................... 9
3280511/7
1 Inleiding De Inspectie van het Onderwijs voerde in juni 2014 een onderzoek naar kwaliteitsverbetering uit bij ROC Menso Alting. Dit onderzoek heeft betrekking op de kwaliteit van de examinering en diplomering. De volgende opleidingen zijn onderzocht: Cp-code Ovd22
Ovd24
Gebied Examinering en diplomering Pedagogisch Werk 4 (Gespecialiseerd pedagogisch medewerker 4 kinderopvang) crebocode 92632 Maatschappelijke Zorg (Medewerker maatschappelijke zorg) crebocode 92650
Leerweg, niveau, locatie leerweg bol, niveau 4 Vondelpad 4 Groningen
leerweg bol, niveau 3 Vondelpad 4 Groningen
De aanleiding voor het onderzoek naar kwaliteitsverbetering is het vervolgtoezicht zoals is opgenomen in het rapport van de Staat van de instelling dat op 26 april 2013 is vastgesteld. In het onderzoek zijn tekortkomingen in de kwaliteit van de examinering en diplomering geconstateerd en was er sprake van onvoldoende examenkwaliteit. Voor beide opleidingen werd in 2013 het aspect 'afname en beoordeling' als onvoldoende beoordeeld, vanwege onvoldoende waarborg voor de betrouwbaarheid. Daarnaast werd er een tekortkoming geconstateerd in het exameninstrumentarium voor Nederlands, hoewel dat niet meewoog in het oordeel over de examenkwaliteit. Tenslotte voldeden de wettelijke vereisten (schoolkosten) niet. Dit laatste punt heeft de inspectie in een eerder stadium opnieuw gecontroleerd en in orde bevonden. In dit onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de indicatoren die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten en indicatoren. Wij hebben gesprekken gevoerd met beoordelaars van de examens en met een vertegenwoordiging van de examencommissie. Daarnaast hebben we documenten gelezen die de instelling heeft aangeleverd en zijn examendossiers onderzocht. Ook maakte een gesprek met de directie deel uit van het onderzoek naar kwaliteitsverbetering. In hoofdstuk 2 leest u de conclusie waaronder ook het eventuele vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3.
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 1 van 8
De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport.
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 2 van 8
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor het kwaliteitsgebied examinering en diplomering. Dat betekent dat de inspectie geen aanleiding heeft vervolgonderzoek uit te voeren of afspraken met het college van bestuur te maken voor deze opleidingen. 2.2 Vervolg De beoordeling leidt niet tot vervolgtoezicht.
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 3 van 8
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 4 van 8
3 Resultaten In dit hoofdstuk geven we het oordeel over het onderzochte kwaliteitsgebied. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot het volgende oordeel Kwaliteitsgebied
Goed
Voldoende
2. Examinering en diplomering
Onvoldoende
Slecht
●
Oordeel per aspect Hieronder geven we het oordeel over de aspecten van het onderzochte kwaliteitsgebied weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage II. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering*
Voldoende
Onvoldoende
● ● ●
De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied.
Beschouwing Algemeen Het gebied 'examinering en diplomering' van de opleidingen Pedagogisch werk 4 en Medewerker maatschappelijke zorg wordt als voldoende beoordeeld. Bij het onderzoek naar de staat van de instelling in 2013 werd de examinering en diplomering van de beide opleidingen als onvoldoende beoordeeld, vanwege het ontbreken van voldoende waarborg voor de betrouwbaarheid van de afname en beoordeling. Ook het exameninstrumentarium voor Nederlands had een tekortkoming, hoewel dat niet meewoog in het oordeel over de examenkwaliteit. Toelichting In 2013 werd de uitvoering van de proeven van bekwaamheid, die worden afgenomen in de beroepspraktijk, beoordeeld door de praktijkbegeleider. Hierbij was een gelijke beoordeling in vergelijkbare gevallen onvoldoende gewaarborgd. Zo werd dit deel van de beoordeling gedaan door slechts één persoon en werd het eindgesprek tussen examinator van de instelling, student en examinator van de beroepspraktijkvorming in veel gevallen niet uitgevoerd. De controle vanuit de instelling bestond vooral uit controle op de juiste uitvoering van de procedures. De instelling heeft de volgende verbeteringen doorgevoerd. Bij alle proeven is naast de examinator uit de beroepspraktijkvorming een examinator van de instelling betrokken bij het eindgesprek. Verder is de examinator van de instelling in ongeveer 10 procent van alle proeven ook aanwezig bij de uitvoering in de praktijk. Deze variant wordt de 'plusroute' genoemd. De instelling maakt duidelijk
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 5 van 8
dat het toepassen van de plusroute niet in alle gevallen realiseerbaar is. Alle studenten doen drie of vier keer een proeve, die vele uren in beslag neemt. De aanwezigheid van een extra beoordelaar kan bijvoorbeeld bezwaarlijk zijn om redenen van privacy of verstorend werken op cliënten met autistische kenmerken. De instelling heeft niettemin voldoende zicht op de omstandigheden waarin de proeve wordt uitgevoerd en op de eisen die de examinator uit de praktijk stelt aan de kandidaat. Dit zicht wordt verkregen doordat beide examinatoren het plan van aanpak beoordelen en ook samen een eindgesprek voeren, naar aanleiding van het ingevulde observatieformulier van de proeve. De toelichting die de kandidaat en de examinator uit de praktijk geven biedt de instelling voldoende zicht op de reële prestaties van de kandidaten. In de gevallen waarin de instelling dat nodig acht kan zij gericht de plusroute inzetten. De stagedocenten/examinatoren bezoeken de beroepspraktijkbegeleiders immers drie of vier keer en beoordelen samen met hen het plan van aanpak en zijn daardoor goed op de hoogte van de specifieke situatie. Wij formuleren wel het volgende aandachtspunt. Inzage in de examendossiers leert dat de kwaliteit van de toelichting die de examinatoren geven op hun oordelen, kwalitatief verschillen. De examencommissie dient daarom toe te zien op een adequate toelichting van de oordelen door de examinatoren. In de gevallen waarin de oordelen zwak onderbouwd zijn kan het nagesprek ook minder gericht gevoerd worden. Bovendien kan de commissie in die gevallen nauwelijks controleren waarop de oordelen van de examinatoren zijn gebaseerd. Bij het onderzoek in 2013 constateerden we dat voor Nederlands spreken een beoordelingsformulier werd gehanteerd dat niet aansloot op het referentiekader taal en rekenen. Wij constateren dat de instelling deze tekortkoming op adequate wijze heeft verholpen.
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 6 van 8
Bijlagen Bijlage I Normering kwaliteitsgebied De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruikmaakt van een normering. Deze bestaat uit: 1.
2. 3.
Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.
Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Voldoende
Onvoldoende Slecht
Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan één standaard is niet voldaan. Aan twee of drie standaarden is niet voldaan.
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 7 van 8
Bijlage II Beoordeling indicatoren Pedagogisch Werk 4 (Gespecialiseerd pedagogisch medewerker 4 kinderopvang) Gebied 2: Examinering en diplomering Aspecten 2.1 Exameninstrumentarium*
2.2 2.3
Afname en beoordeling* Diplomering*
Indicatoren 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2.1 Authentieke afname 2.2.2 Betrouwbaarheid 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie
Voldoende
Onvoldoende
• ● ● ● ● ● ● ● ●
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 8 van 8
Bijlage III Beoordeling indicatoren Maatschappelijke Zorg (Medewerker maatschappelijke zorg) Gebied 2: Examinering en diplomering Aspecten 2.1 Exameninstrumentarium*
2.2 2.3
Afname en beoordeling* Diplomering*
Indicatoren 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2.1 Authentieke afname 2.2.2 Betrouwbaarheid 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie
Voldoende
Onvoldoende
• ● ● ● ● ● ● ● ●
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo – ROC Menso Alting
pagina 9 van 8
