ONDERZOEK NAAR KWALITEITSVERBETERING MBO OPLEIDINGSNIVEAU ROC van Amsterdam te Amsterdam Ondernemer horeca/bakkerij (Manager/ondernemer horeca)
Januari, 2015
BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
25PZ 278550 November 2014 5 januari 2015 3 februari 2015
INHOUD
1 Inleiding .................................................................................................... 1 2 Conclusie en vervolg ................................................................................... 3 2.1 Conclusie ............................................................................................. 3 2.2 Vervolg ................................................................................................ 3 3 Resultaten opleiding Ondernemer Horeca/Bakkerij (MOH) ................................ 5 Bijlagen ........................................................................................................ 9 Bijlage I Normering kwaliteitsgebieden .......................................................... 9 Bijlage II Beoordeling indicatoren ............................................................... 10
1 Inleiding De Inspectie van het Onderwijs voerde in november 2014 een onderzoek naar kwaliteitsverbetering uit bij ROC van Amsterdam. Dit onderzoek had betrekking op de kwaliteit van de examinering en diplomering en de kwaliteitsborging. De volgende opleiding is onderzocht: Gebied Kwaliteitsborging 90303 Ondernemer horeca/bakkerij (Manager/ondernemer horeca)
Gebied Examinering en diplomering 90303 Ondernemer horeca/bakkerij (Manager/ondernemer horeca)
Leerweg, niveau, locatie Leerweg bol, niveau 4, locatie Da Costastraat 60, Amsterdam
De aanleiding voor dit onderzoek naar kwaliteitsverbetering is het oordeel zoals dit is opgenomen in het rapport van de Staat van de instelling 2013. Bij de beoordeling van de Staat van de instelling waren de kwaliteit van de examinering en diplomering en de kwaliteitsborging van de opleiding onvoldoende. Het betrof bij examinering de diplomering en bij de kwaliteitsborging waren de sturing en de verbetering en verankering onvoldoende. In het onderhavige onderzoek naar kwaliteitsverbetering hebben wij ons specifiek gericht op de aspecten die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen het oordeel bij te stellen van de eerder als voldoende beoordeelde aspecten. Wij hebben gesprekken gevoerd met docenten, leden van de examencommissie en het management. Daarnaast hebben we documenten onderzocht. In hoofdstuk 2 leest u de conclusie en het vervolg voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. Hier is ook de werkwijze te vinden die de inspectie gebruikt bij onderzoeken naar kwaliteitsverbetering. De normering is als bijlage I toegevoegd aan dit rapport.
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 1 van 10
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 2 van 10
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en beschrijven wij het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering heeft geleid tot het oordeel voldoende voor kwaliteitsborging. De examinering en diplomering is eveneens voldoende. 2.2 Vervolg Gelet op bovenstaande conclusie vindt geen vervolgtoezicht plaats.
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 3 van 10
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 4 van 10
3 Resultaten In dit hoofdstuk geven we het oordeel over de onderzochte kwaliteitsgebieden. Daarna geven we hierop een toelichting. Het onderzoek naar kwaliteitsverbetering heeft geleid tot de volgende oordelen: Kwaliteitsgebied
Goed
Voldoende
2. Examinering en diplomering 4. Kwaliteitsborging
Onvoldoende
Slecht
• •
Oordeel per aspect Hieronder geven we het oordeel over de aspecten van het onderzochte kwaliteitsgebied weer. De oordelen over de aspecten die tijdens vorig onderzoek als voldoende zijn beoordeeld, zijn overgenomen. Een detaillering van het oordeel vindt u in bijlage II. Daarin is de beoordeling van de onderzochte indicatoren weergegeven. Kwaliteitsgebied Aspect Gebied 2: Examinering en diplomering 2.1 Exameninstrumentarium* 2.2 Afname en beoordeling* 2.3 Diplomering* Gebied 4: Kwaliteitsborging 4.1 Sturing* 4.2 Beoordeling* 4.3 Verbetering en verankering* 4.4 Dialoog en verantwoording
Voldoende
Onvoldoende
• • • • • • •
De aspecten met een * zijn kernaspecten; zie bijlage I voor normering per gebied.
Beschouwing Algemeen In het afgelopen jaar heeft de opleiding aanzienlijke vorderingen gemaakt voor wat betreft de kwaliteit van examinering en kwaliteitsborging. We zien dat het team de ingezette verbeteringen in de kwaliteitsborging ondersteunt en herkent. Bovendien is er veel animo voor professionalisering van de examenorganisatie en de themadagen zorgen voor positieve ontwikkelingen die ten goede komen aan de kwaliteit van onderwijs en examinering. Bij het onderzoek naar de Staat van de instelling werd geconstateerd dat de examencommissie destijds onvoldoende zicht had op de kwaliteit van de afname en beoordeling en de examendossiers waren onvolledig. Kwaliteitscontroles van de examendossiers hadden niet plaatsgevonden. De sturing was onvoldoende omdat het teamplan geen specifieke en meetbare doelen bevatte. Daarnaast bleek de verbetering en verankering onvoldoende omdat er niet systematisch gewerkt werd aan verbeteringen, de kwaliteitscyclus niet was doorlopen en er geen zelfevaluatie was uitgevoerd.
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 5 van 10
Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Dit onderzoek richtte zich op de diplomering. De teamexamencommissie (TEC) heeft nu zicht op de kwaliteit van de examenprocessen. De structuur is organisatorisch duidelijk belegd en de taken, rollen en verantwoordelijkheden tussen de verschillende examenorganisatieniveaus (MEC, DEC, TEC) zijn vastgelegd in procedures. Het team werkt planmatig en via steekproeven en met een interne audit examinering wordt tussentijds de kwaliteit bewaakt. De professionaliteit is door middel van scholing verhoogd. De besluitvorming voor de diplomering is gewijzigd. Alle dossiers worden gecontroleerd op volledigheid van bewijslast, compleetheid en ondertekening van beoordelingen. Een aantal prestatie-indicatoren bij kerntaak twee, die niet in de beroepspraktijk geëxamineerd konden worden en derhalve niet valide waren, worden nu in simulatie geëxamineerd. De examinering is veelzijdiger belegd, door aanpassingen in de methoden-mix. De deskundigheid van de praktijkbeoordelaar is verbeterd door middel van een digitale training over examinering. Een punt van aandacht is dat de controle op de betrouwbaarheid van praktijkbeoordelingen versterkt kan worden. Hoewel er sprake is van een controle op de duidelijkheid van het beoordelingsinstrument en er afstemming plaatsvindt met beoordelaars in de beroepspraktijk, blijft de afstemming met beoordelaars uit de beroepspraktijk een punt van aandacht. Niet alle beoordelaars uit de beroepspraktijk zijn geschoold en soms vinden beoordelingen plaats in het buitenland, waarvoor weliswaar het beoordelingsinstrument beschikbaar in het Duits, Frans en Engels. De examencommissie stelt echter wel vast of een beoordeling valide is. Zo wordt er standaard een evaluatie uitgevoerd van de praktijkbeoordelingen waaruit de betrouwbaarheid en de objectiviteit van de beoordeling en de deskundigheid is te herleiden. Bovendien is scholing ingezet om de professionaliteit van praktijkbeoordelaars en interne assessoren te vergroten. Doordat de binnenschoolse examens voor een belangrijk deel worden afgestemd met de geschoolde interne assessoren wordt het validiteitsrisico verder beperkt. Bovendien vindt de examinering nu ook in simulatie plaats en houdt de examencommissie zicht op beoordelingsverschillen door schoolbeoordelingen en bpv-beoordelingen te vergelijken. Daarnaast zijn er scholingsbijeenkomsten georganiseerd met het werkveld om de criteria en de eisen voor een betrouwbare beoordeling te bespreken met de praktijkbeoordelaars. Bij twijfel over de validiteit van de beoordeling wordt het examen nogmaals afgenomen in simulatie op school. Zo is er uiteindelijk sprake van voldoende betrouwbaarheid van de beoordelingen. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Het team College centrum Hotelmanagement heeft de kwaliteitsborging inmiddels op een voldoende niveau. Dit onderzoek richtte zich op de sturing en de verbetering en verankering. De sturing is voldoende omdat er voldoende specifieke doelen voor de opleiding zijn geformuleerd in de teamplannen, de zelfevaluatie en ook in het plan van aanpak examinering en het jaarplan. De verschillende instrumenten overlappen elkaar waar het gaat om de kwaliteitssystematiek. We constateren nadrukkelijk dat het team zich meer verantwoordelijk voelt en ook meer verantwoordelijkheid krijgt. Wel blijft de omschrijving van het gewenste resultaat een aandachtpunt om gericht aan de kwaliteit te kunnen werken en om vast te kunnen stellen of de doelstelling
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 6 van 10
is behaald. De kengetallen ten aanzien van vsv, opbrengsten, MTO, STO, ziekteverzuim en financiën zijn helder en bevatten duidelijke normen. Echter daar waar het kwalitatieve doelen betreft zijn de doelen minder meetbaar omschreven. Een voorbeeld hiervan is het doel: versterken samenhang tussen theorie en praktijkonderwijs in de opleiding. De beoogde resultaten, acties, status en het op te leveren product zijn met name instrumenteel ingericht. Zo wordt het onderwijsprogramma aangepast, is er structureel overleg gepland maar wordt niet beschreven op welke manier de samenhang tussen theorie en praktijk wordt versterkt en in welke zin de inspanningen op kwaliteit kunnen worden beoordeeld. De verbetering en verankering beoordelen we als voldoende. Kwaliteitstekorten worden gesignaleerd, onder andere door de peilstokken. Verbeteracties passen bij de uitkomsten van beoordelingen en passen bij het gekozen doel. We zien dat de kwaliteitssystematiek duidelijk in de organisatie is belegd. De documentatie is beschikbaar en de verantwoording is helder vastgelegd in resultaten, gerelateerd aan het gekozen doel.
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 7 van 10
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 8 van 10
Bijlagen Bijlage I Normering kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruikmaakt van een normering. Deze bestaat uit: 1.
2. 3.
Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.
Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed Voldoende
Onvoldoende Slecht
Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan één standaard is niet voldaan. Aan twee of drie standaarden is niet voldaan.
Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. Normering Kwaliteitsborging Goed
Voldoende
Onvoldoende Slecht
Aan alle aspecten is voldaan. Aan alle indicatoren is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan alle kernaspecten is voldaan. Aan alle indicatoren van deze aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan twee aspecten is niet voldaan. Aan één of twee kernaspecten is niet voldaan. Aan drie of vier aspecten is niet voldaan.
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 9 van 10
Bijlage II Beoordeling indicatoren Gebied 2: Examinering en diplomering Aspecten 2.1 Exameninstrumentarium*
2.2 2.3
Afname en beoordeling* Diplomering*
Indicatoren 2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering 2.1.2 Dekking van het kwalificatiedossier 2.1.3 Cesuur 2.1.4 Beoordelingswijze 2.1.5 Transparantie 2.2.1 Authentieke afname 2.2.2 Betrouwbaarheid 2.3.1 Besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie
Gebied 4: Kwaliteitsborging Aspecten 4.1 Sturing *
4.2
Beoordeling *
4.3
Verbeteringen verankering *
4.4
Dialoog en verantwoording
Indicatoren 4.1.1 Plannen 4.1.2 Informatie 4.1.3 Continuïteit 4.2.1 Monitoring 4.2.2 Evaluatie 4.3.1 Verbeteraanpak 4.3.2 Deskundigheidsbevordering 4.3.3 Verankering 4.4.1 Intern 4.4.2 Extern
Voldoende
Onvoldoende
• Voldoende
Onvoldoende
• • •
• • •
De aspecten met een * zijn kernaspecten
Onderzoek naar kwaliteitsverbetering mbo – ROC van Amsterdam
pagina 10 van 10
