KWALITEITSONDERZOEK MBO ROC Ter AA te Helmond Juridisch medewerker
juli 2014
BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
25LJ 275653 April 2014 2 juni 2014 10 juli 2014
Inhoudsopgave
1 Inleiding ................................................................................................. 1 2 Conclusie en vervolgtoezicht ...................................................................... 3 2.1 Conclusie .......................................................................................... 3 2.2 Vervolgtoezicht .................................................................................. 3 3 Resultaten van het onderzoek .................................................................... 5 Bijlage I Normering kwaliteitsgebied ........................................................... 7 Bijlage II Beoordeling aspecten en indicatoren opleiding Juridisch medewerker, 94890 .................................................................................................... 8
1 Inleiding De Inspectie van het Onderwijs voerde in april 2014 een kwaliteitsonderzoek uit bij ROC Ter AA. Dit onderzoek heeft betrekking op het middelbaar beroepsonderwijs. De aanleiding voor dit kwaliteitsonderzoek is het volgende. In het onderzoek Staat van de instelling, waarvan het rapport op 15 februari 2013 is vastgesteld, bleek er sprake te zijn van risico’s op het gebied van examinering en diplomering bij ROC Ter AA. Daarom hebben wij bij de opleiding Juridisch medewerker (94890), op basis van een aselecte steekproef, een kwaliteitsonderzoek uitgevoerd om vast te stellen of er daadwerkelijk roc-breed sprake is van tekortkomingen op het gebied van examinering en diplomering. De volgende opleidingen zijn onderzocht: Gebied Examinering en diplomering 94890, Juridisch medewerker
Leerweg, niveau, locatie leerweg bol, niveau 4, locatie Keizerin Marialaan 2, Helmond
Wij hebben gesprekken gevoerd met betrokken bij examinering, adviseurs examinering, docenten en management. Daarnaast hebben we documenten onderzocht. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek. In hoofdstuk 2 leest u de conclusie waaronder ook het eventuele vervolgtoezicht voor de instelling. De resultaten van het kwaliteitsonderzoek vindt u in hoofdstuk 3. De inspectie heeft zich bij het onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. De normering is als bijlage I toegevoegd aan dit rapport.
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 1 van 8
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 2 van 8
2 Conclusie en vervolgtoezicht In dit hoofdstuk geven we aan welke conclusie we trekken uit het kwaliteitsonderzoek van de opleiding en wat het vervolgtoezicht inhoudt. 2.1 Conclusie Het kwaliteitsonderzoek bij de opleiding Juridisch medewerker (94890) heeft geleid tot het oordeel onvoldoende voor het onderzochte kwaliteitsgebied. Hierdoor vindt vervolgtoezicht plaats vanwege onvoldoende examenkwaliteit. In paragraaf 2.2 wordt de aard van dit vervolgtoezicht nader uitgewerkt. 2.2 Vervolgtoezicht In onderstaand schema is het vervolgtoezicht te lezen. Juridisch medewerker, 94890 Beoordeling
Toezichtvorm
Vervolgtoezicht
Kwaliteit examinering is onvoldoende.
Aangepast toezicht vanwege onvoldoende examenkwaliteit.
De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een onderzoek naar kwaliteitsverbetering.
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 3 van 8
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 4 van 8
3 Resultaten van het onderzoek In dit hoofdstuk vermelden we het oordeel over het onderzochte kwaliteitsgebied. Daarna geven we hierop een toelichting. Het kwaliteitsonderzoek heeft geleid tot het volgende oordeel: Kwaliteitsgebied
Goed
Voldoende
2. Examinering en diplomering
Onvoldoende
Slecht
Oordeel per aspect Hieronder geven we het oordeel over de aspecten van het onderzochte kwaliteitsgebied weer. In bijlage II is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen.
Kwaliteitsgebied Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering*
Voldoende
Onvoldoende
• • •
De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied.
Beschouwing Algemeen Tijdens het onderzoek bij de opleiding Juridisch medewerker hebben wij ons uitsluitend gericht op één van de twee uitstroomdifferentiaties, te weten crebo 94892 Juridisch medewerker openbaar bestuur. De focus lag daarbij op de laatste fase van de opleiding, de zogenaamde examenfase waarbij de student de beroepscomponent afsluit met een proeve van bekwaamheid met daaraan gekoppeld een afsluitend gesprek. Wij concluderen dat het exameninstrumentarium niet voldoet aan de eisen en de afname en beoordeling en diplomering niet deugdelijk verlopen. De opleiding Juridisch medewerker valt onder het Business College. Examinering en diplomering De kwaliteit van examinering en diplomering is onvoldoende. Alle aspecten zijn als onvoldoende beoordeeld. Het exameninstrumentarium voldoet niet vanwege tekortkomingen in de dekking en de transparantie van het ingezette beroepsgerichte exameninstrumentarium. Dit instrumentarium is ingekocht bij Stichting Praktijkleren. Er is sprake van een kadertoets waarbij de instelling in samenspraak met de student en het leerbedrijf zelf een inhoudelijke invulling (door middel van opdrachten) dient te geven aan de examinering met betrekking tot de aspecten dekking en transparantie. Deze individuele inhoudelijke invulling vindt echter niet plaats. De ingezette kadertoets bestaat slechts uit examenafspraken waarin summier werkzaamheden per werkproces staan beschreven. Er is echter geen bewijsvoering aangetroffen dat de
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 5 van 8
aanbevolen werkwijze van de leverancier “stappenplan proeve van bekwaamheid” is gevolgd. De examenafspraken, per student, worden niet vastgesteld en er zijn geen concrete examenopdrachten. Het is daarom niet mogelijk om vast te stellen of een werkproces op het juiste beheersingsniveau wordt geëxamineerd. Daarnaast is de transparantie onvoldoende omdat een vastgesteld examenmoment en afnamecondities ontbreken. De betrokkenen hebben hierdoor geen helder beeld hoe de feitelijke examinering eruit ziet, hoe deze wordt uitgevoerd en beoordeeld. Er is daarbij een risico dat studenten niet vergelijkbaar worden beoordeeld. De afname en beoordeling zijn onvoldoende. Het examen wordt in de reële beroepspraktijk afgenomen. De betrouwbaarheid van de beoordeling is echter onvoldoende, want het ontbreekt aan informatie waaruit blijkt dat de beoordeling in de praktijk deugdelijk is verlopen. De verantwoording voor het toekennen van een waardering, die volgens de richtlijnen moet zijn opgenomen in de beoordeling, is in de examendossiers niet aangetroffen. De opleiding heeft de omissie inmiddels herkend en heeft verbeteringen ingezet. Het instrumentarium voor Nederlands en Engels voldoet aan de eisen. De opleiding neemt voor Nederlands lezen en luisteren deel aan de centrale pilotexamens. Het exameninstrumentarium Nederlands voor spreken, gesprekken voeren en schrijven is zelf ontwikkeld door het roc-brede Steunpunt Nederlands en rekenen. Dit geldt ook voor het instrumentarium voor Engels (alle vaardigheden). Het zelfontwikkelde taalinstrumentarium wordt opleiding specifiek ingezet. Het oordeel over Nederlands en Engels telt niet mee voor de beoordeling van de examinering van de opleiding. De besluitvorming tot diplomering is onvoldoende omdat de examencommissie zich onvoldoende vergewist van de deugdelijkheid van de exameninstrumenten en de afname en beoordeling in de praktijk. Zij heeft onvoldoende zicht op de afname en beoordeling, bijwoningen bijvoorbeeld vinden niet plaats. Daarnaast heeft de examencommissie onvoldoende controle uitgevoerd op de examendossiers, en heeft zij niet gezien dat de kadertoets op onjuiste manier werd ingezet. Inmiddels heeft de opleiding, conform de roc-brede afspraken, de examinering anders ingericht en is de centrale instellingsexamencommissie verantwoordelijk voor de diplomering.
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 6 van 8
Bijlagen Bijlage I Normering kwaliteitsgebied De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit: 1.
2. 3.
Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied.
Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Voldoende Onvoldoende Slecht
Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan één standaard is niet voldaan. Aan twee of drie standaarden is niet voldaan.
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
pagina 7 van 8
Bijlage II Beoordeling aspecten en indicatoren opleiding Juridisch medewerker, 94890 Gebied 2: Examinering en diplomering Aspecten 2.1 Exameninstrumentarium*
2.2 2.3
Afname en beoordeling* Diplomering*
Indicatoren 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2.1 Authentieke afname 2.2.2 Betrouwbaarheid 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie
Rapport kwaliteitsonderzoek mbo – ROC Ter AA
Voldoende
Onvoldoende
• • • • • • • • •
pagina 8 van 8
