ONDERZOEK NAAR KWALITEITSVERBETERING MBO
Business Marketing Services te Badhoevedorp Beveiliger
Januari 2013
Plaats: BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
Badhoevedorp 29WT 127795 November 2012 6 december 2012 16 januari 2013
INHOUD
1 Inleiding .................................................................................................... 1 2 Conclusie en vervolg ................................................................................... 3 2.1 Conclusie ............................................................................................. 3 2.2 Vervolg ................................................................................................ 3 3 Resultaten van de opleiding ......................................................................... 5 3.1 Oordeel per aspect ................................................................................ 5 3.2 Beschouwing ........................................................................................ 5 Bijlagen........................................................................................................ 9 Bijlage I Normeringen kwaliteitsgebieden....................................................... 9 Bijlage II Beoordeling indicatoren 10876 Beveiliger ....................................... 10
1 Inleiding De Inspectie van het Onderwijs voerde op 8 november 2012 een onderzoek naar kwaliteitsverbetering uit bij Business Marketing Services (hierna: BM Services). Dit onderzoek had betrekking op de kwaliteit van de examinering en diplomering van de volgende opleiding: Opleiding(en) - 10876 Beveiliger, niveau 2, bbl, Badhoevedorp
De aanleiding voor dit onderzoek is het volgende. In het kwaliteitsonderzoek van 11 augustus 2011 bij de hierboven genoemde opleiding bleek er sprake te zijn van tekortkomingen in de kwaliteit van de examinering en diplomering. Daarbij is geconstateerd dat de examenkwaliteit onvoldoende was. Het exameninstrumentarium van de zelf ontwikkelde examens voor twee deelkwalificaties voldeed niet aan de uitstroomeisen en de toetstechnische eisen: de dekking en de cesuur waren ontoereikend en de beoordelingsvoorschriften waren onvoldoende duidelijk. Het betrof de deelkwalificaties 50210 Maatschappelijk culturele vorming 2 en 53249 ICT-gebruik 2. Daarnaast bleek dat de diplomering niet deugdelijk is verlopen door onduidelijkheden bij het verlenen van vrijstellingen. Ook waren de deskundigheid van de betrokkenen bij de examinering en de borging van de integrale examenkwaliteit onvoldoende. Tenslotte bleek de opleiding niet aan alle wettelijke vereisten voor de examinering en diplomering te voldoen. Hoewel de integrale examenkwaliteit tijdens het vorige onderzoek onvoldoende geborgd was, wordt hier in verband met de conversie van het vorige (Toezichtkader bve 2009) naar het huidige toezichtkader (Toezichtkader bve 2012) bij dit onderzoek geen aandacht aan besteed. Tijdens het onderzoek naar kwaliteitsverbetering bij de instelling zijn gesprekken gevoerd met de examencommissie en het management en zijn aanvullend documenten onderzocht. Het onderzoek is toegespitst op de elementen die eerder als onvoldoende zijn beoordeeld. In hoofdstuk 2 leest u de conclusies waaronder ook het vervolg van het toezicht voor de instelling. De toelichting op de resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport. In bijlage II vindt u de beoordeling van indicatoren.
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 1 van 10
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 2 van 10
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg.
2.1 Conclusie Het onderzoek naar kwaliteitsverbetering bij de opleiding 10876 Beveiliger heeft geleid tot de volgende oordelen: Voldoende
Kwaliteitsgebied 2. Examinering en diplomering 5. Naleving wettelijke vereisten
Onvoldoende ●
●
In de volgende paragraaf is weergegeven welke vervolgstappen gezet worden, naar aanleiding van dit onvoldoende oordeel.
2.2 Vervolg In onderstaand schema is het vervolgtoezicht te lezen. 10876 Beveiliger Beoordeling
Toezichtvorm
Vervolgtoezicht
Kwaliteit examinering voldoet wederom niet aan de eisen en is onvoldoende.
Aangepast toezicht vanwege onvoldoende examenkwaliteit.
• De inspectie meldt het oordeel aan de minister. • De minister kan het recht om te examineren intrekken (cf. WEB art. 6.1.5b/6.2.3b/6.3.2).
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 3 van 10
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 4 van 10
3 Resultaten van de opleiding In dit hoofdstuk vermelden we het oordeel over de onderzochte kwaliteitsgebieden en geven we tevens een toelichting op het oordeel.
3.1 Oordeel per aspect Hieronder geven we het oordeel op de aspecten van de kwaliteitsgebieden examinering en diplomering alsmede naleving wettelijke vereisten weer. In bijlage II is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen.
Kwaliteitsgebied Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 5: Naleving wettelijke vereisten Naleving wettelijke 5.1 vereisten
Voldoende
Onvoldoende
● ● ● ●
De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied. De afname en beoordeling zijn in het kwaliteitsonderzoek als voldoende beoordeeld en daarom niet opnieuw onderzocht.
3.2 Beschouwing Algemeen De examenkwaliteit is opnieuw onvoldoende. Bij een aantal in het kwaliteitsonderzoek vastgestelde tekortkomingen in het exameninstrumentarium en de diplomering zijn verbeterinitiatieven uitgebleven. Waar wel verbetermaatregelen zijn getroffen zijn deze deels niet toereikend gebleken. De oorzaken van de gebrekkige verbeterslag hebben te maken met factoren als het vasthouden aan eigen zienswijze (zonder weerlegging van het eerdere oordeel van de inspectie), onvoldoende alertheid op het wegwerken van alle eerder vastgestelde tekortkomingen en verkeerde taxatie van het toereikend zijn van een verbetermaatregel. De wettelijke vereisten worden nu nageleefd. Examinering en diplomering Na het vorige onderzoek is er een nieuwe toets gemaakt voor de deelkwalificatie 50210 MCV 2, bestaande uit 12 open vragen. Drie van de twaalf vragen (vraag 3, 4 en 9) dekken in onvoldoende mate de eindtermen waaraan zij gekoppeld zijn. Dit betekent dat 9 van de 15 eindtermen van deze deelkwalificatie worden gedekt, wat resulteert in een onvoldoende dekkingsgraad van 60%. De cesuur is duidelijk opgenomen in de cesuur- en cijferbepaling voor de toets MCK/MCV 2 Beveiliger 2 en voldoet. Aandachtspunt is dat deze niet op de toets zelf is opgenomen, waardoor hij voor de deelnemer niet inzichtelijk is. De toetsvorm past nu bij de inhoud van de eindtermen, maar uit het antwoordmodel blijkt niet aan welke antwoorden welke (deel)scores worden toegekend. Ook sluiten de antwoorden uit het antwoordmodel soms onvoldoende aan op de vraag. De beoordelingswijze is om die reden onvoldoende verbeterd. Een
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 5 van 10
aandachtspunt is dat het aantal te behalen punten per vraag zoals genoemd in de opgaven, bij 2 vragen afwijkt van de toe te kennen punten zoals vermeld in het antwoordmodel. In het kwaliteitsonderzoek is vastgesteld dat een groot aantal eindtermen van de deelkwalificatie 53249 ICT-gebruik 2 niet in de toetsing werd afgedekt. De instelling heeft bij deze conclusie in het concept van het inspectierapport geen kanttekeningen geplaatst. Na publicatie van het definitieve rapport heeft de instelling echter intern het standpunt ingenomen dat de dekkingsgraad toch voldoende zou zijn en heeft daarom op dit punt geen wijzigingen aangebracht. In het huidige onderzoek naar kwaliteitsverbetering heeft de instelling de gelegenheid gekregen om alsnog aan te tonen dat de eindtermen wel in voldoende mate zijn afgedekt. Uit de analyse die de inspectie ontvangen heeft, blijkt evenwel dat de instelling inhoudelijk niet kan onderbouwen dat dit het geval is: er wordt in de verantwoording geen enkele koppeling met de eindtermen gemaakt. In het kwaliteitsonderzoek was ook vastgesteld dat het exameninstrumentarium niet aan de toetstechnische eisen voldeed. De aangebrachte wijzigingen in het antwoordmodel leiden ertoe dat nu helder is hoeveel punten per opdracht toegekend kunnen worden en waar de cesuur voor het examen ligt. Uit de beoordeelde examens blijkt ook dat er deelscores worden toegekend. Het beoordelingsvoorschrift voorziet echter niet in een instructie waaruit blijkt hoeveel punten per deel van een goed uitgevoerde actie worden toegekend. De beoordelingswijze is daarom onvoldoende. De diplomering is in het kwaliteitsonderzoek als onvoldoende beoordeeld omdat de gronden waarop de examencommissie is overgegaan tot het verlenen van vrijstelling niet waren vastgelegd en bij de toegekende vrijstellingen de namen en crebonummers ontbraken van de betreffende deelkwalificaties. Na het vorige onderzoek heeft de instelling in de OER opgenomen dat vrijstellingen kunnen worden verleend als uit de stukken die bij het vrijstellingsverzoek moeten worden overlegd, blijkt dat het relevante vak qua omvang en stof overeenkomt met het vak in lopende opleiding en het vak op minimaal niveau 2 van het mbo is afgerond. In de gevoerde gesprekken is als extra criterium genoemd dat diploma’ s die ouder zijn dan 1,5 jaar niet meetellen voor de verlening van vrijstellingen. Uit de voorbeelden van verleende vrijstellingen die wij bij het huidige onderzoek bestudeerd hebben blijkt dat de examencommissie niet altijd de genoemde criteria nauwgezet volgt bij het verlenen van vrijstellingen. Zo hebben wij een vrijstelling van januari 2012 voor de onderdelen Nederlands, ICT en MCV aangetroffen die louter gebaseerd is op een algemene diplomawaardering van Colo uit 2011 van een in 2008 in Spanje behaald diploma voor commerciële dienstverlening. Een analyse van de eerder behaalde resultaten met de inhoud van Nederlands, ICT-gebruik 2 en MCV2 hebben wij niet aangetroffen. Ook is geen rekening gehouden met het actualiteitscriterium dat de diploma’s niet ouder dan 1,5 jaar oud mogen zijn. Verder zijn de correcte namen en crebonummers van de betreffende deelkwalificaties niet bij de verlening van de vrijstelling vastgelegd. Onze conclusie is dat de examencommissie niet inzichtelijk kan maken dat zij deugdelijke besluiten over vrijstellingen neemt. In het kwaliteitsonderzoek is ook de deskundigheid van betrokkenen bij examinering als onvoldoende beoordeeld omdat de deskundigheidseisen niet waren vastgelegd en de examencommissie niet inzichtelijk kon maken of en in welke mate de betrokkenen aan de deskundigheidscriteria voldeden. Daarom konden waar nodig ook geen verbetermaatregelen worden getroffen. Het onderzoek wijst uit dat nog steeds dezelfde tekortkomingen als in het kwaliteitsonderzoek bestaan. De
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 6 van 10
instelling heeft na het vorige onderzoek een nieuwe manager onderwijs en een onderwijskundig adviseur aangetrokken, die ook zitting hebben in de examencommissie. Echter ook voor deze rollen zijn geen deskundigheidseisen vastgelegd en wordt niet inzichtelijk gemaakt of zij voldoen aan de vereiste deskundigheid. Het betreft een instelling met een klein aantal medewerkers, waarvan een aantal verschillende rollen vervult. Zo is de manager onderwijs belast met zowel de ontwikkeling van exameninstrumenten als met de vaststelling ervan. Voorts is hij betrokken bij zowel het beoordelen van gemaakt examenwerk als het vaststellen van de resultaten daarvan en is hij ook verantwoordelijk voor de beoordeling van vrijstellingsverzoeken. Zijn werkzaamheden worden besproken in een dagelijks bestuur van de examencommissie, bestaande uit medewerkers van het bureau van de instelling. De overige leden van de examencommissie – waaronder de onderwijskundig adviseur – worden op de hoogte gesteld van de genomen besluiten van het dagelijks bestuur, maar zijn niet of nauwelijks bij de beoordeling betrokken. In de notulen van de examencommissie zijn de besluiten genomen door het dagelijks bestuur van de examencommissie niet terug te vinden. Op deze wijze kan de examencommissie zijn verantwoordelijkheid voor de examenkwaliteit onvoldoende waarmaken. Naleving wettelijke vereisten Na het vorige onderzoek is de samenstelling van de commissie van beroep voor examens aangepast. De tekortkoming op dit gebied is verholpen door een aantal leden uit de commissie van beroep dat ook een rol had in het bevoegd gezag en/of de examencommissie, te vervangen door onafhankelijke leden. Tevens is de genoemde termijn voor het indienen van een beroepsschrift aangepast waardoor deze voldoet aan de wettelijk vastgestelde termijn van 2 weken. De tekortkoming van het ontbreken van een openbare verantwoording van de examens is in het verslag van werkzaamheden 2011 verholpen. Wij signaleren wel dat er geen transparant beeld van de verbeterintiatieven in het nog lopende eindtermentraject wordt gegeven.
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 7 van 10
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 8 van 10
Bijlagen Bijlage I Normeringen kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruikmaakt van een normering. Deze bestaat uit: 1. Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. 2. Een normering per aspect. 3. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.
Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Voldoende
Onvoldoende
• Aan alle standaarden is voldaan. • Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. • Aan één standaard is niet voldaan.
Afwijkingen Voor alle beoordelingen geldt dat in bijzondere omstandigheden de inspectie onderbouwd van de normering af kan wijken.
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 9 van 10
Bijlage II Beoordeling indicatoren 10876 Beveiliger In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. 2: Examinering en diplomering Aspecten 2.1 Exameninstrumentarium*
2.2 2.3
Afname en beoordeling* Diplomering*
Indicatoren 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2.1 Authentieke afname 2.2.2 Betrouwbaarheid 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie
Voldoende
Onvoldoende
n.v.t. ● ● ● ● ● ●
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo - BM Services
pagina 10 van 10
