ONDERZOEK NAAR KWALITEITSVERBETERING MBO
ROC TOP te Amsterdam Medewerker marketing en communicatie / Medewerker marketing en communicatie (Assistent communicatiemedewerker) / Medewerker marketing en communicatie (Marketing medewerker) / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) Financiële beroepen (Financieel administratief medewerker) definitief 19 juni 2013
Plaats: BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
Amsterdam 30RM 128367 Januari t/m maart 2013 26 april 2013 19 juni 2013
INHOUD
1 Inleiding .................................................................................................... 1 2 Conclusie en vervolg ................................................................................... 3 2.1 Conclusie ............................................................................................. 3 2.2 Vervolgtoezicht ..................................................................................... 4 3 Resultaten ................................................................................................. 5 3.1.1 Locatie Wibautstraat (Amsterdam Zuidoost)........................................... 5 3.1.2 Locatie Almere ................................................................................... 6 3.2.1 Locatie Wibautstraat (Amsterdam Zuidoost)........................................... 9 3.2.2 Locatie Rode Kruisstraat (Amsterdam Noord) ....................................... 10 Bijlagen ...................................................................................................... 13 Bijlage I Normeringen kwaliteitsgebied/kwaliteitsgebieden ............................. 13 Bijlage II Overzicht cp-codes/cluster van opleidingen .................................... 14 Bijlage III Beoordeling indicatoren Medewerker marketing en Communicatie – 90530 / Medewerker marketing en communicatie (Marketing medewerker) – 90532 ............................................................... 15 Bijlage IV Beoordeling indicatoren Medewerker marketing en Communicatie – 90530 / Medewerker marketing en communicatie (Assistent communicatiemedewerker) – 90531 / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) – 90534 ...................... 16 Bijlage V Beoordeling indicatoren Financiële beroepen (Financieel administratief medewerker) – 93200 ........................................... 17 Bijlage VI Beoordeling indicatoren Financiële beroepen (Financieel administratief medewerker) – 93200 ........................................... 18
1 Inleiding De Inspectie van het Onderwijs voerde op 28 januari, 5 februari en 1 maart 2013 een onderzoek naar kwaliteitsverbetering uit bij ROC TOP. Dit onderzoek heeft betrekking op de opbrengsten van de cp-code eca 10, niveau 4 en eca 15, niveau 3 en de kwaliteit van het onderwijsproces voor de volgende opleidingen: cp-code Eca 10 Medewerker marketing en communicatie
opleiding(en) - 90530, Medewerker marketing en communicatie, niveau 4 - 90531, Medewerker marketing en communicatie (Assistent communicatiemedewerker), niveau 4 - 90532, Medewerker marketing en communicatie (Marketing medewerker), niveau 4 - 90534, Medewerker marketing en communicatie (Medewerker evenementenorganisatie), niveau 4
Eca 15 Financiële beroepen
- 93200, Financiële beroepen (Financieel administratief medewerker), niveau 3
De aanleiding voor dit onderzoek is het volgende. In het kwaliteitsonderzoek uitgevoerd op 7 en 18 april 2011 bij Amarantis te Utrecht en Maarssen bij de opleiding Medewerker marketing en communicatie / Medewerker marketing en communicatie (Assistent communicatiemedewerker) / Medewerker marketing en communicatie (Marketing medewerker) en in het onderzoek naar kwaliteitsverbetering uitgevoerd op 4 april 2011 bij Amarantis te Amsterdam bij de opleiding Financiële beroepen (Financieel administratief medewerker) bleek er sprake te zijn van tekortkomingen in de kwaliteit van het onderwijsproces. De tekortkomingen voor de opleiding Medewerker marketing en Communicatie / Medewerker marketing en communicatie (Assistent communicatiemedewerker) / Medewerker marketing en communicatie (Marketing medewerker) hadden betrekking op samenhang, maatwerk, voorzieningen, beroepspraktijkvorming, intake, bejegening en omgang en systematische kwaliteitszorg en beoordeling. De tekortkomingen voor de opleiding Financiële beroepen (Financieel administratief medewerker) hadden betrekking op maatwerk, leertijd, didactisch handelen, begeleiding in de instelling, intake en systematische kwaliteitszorg en beoordeling. Ook waren de opbrengsten van beide opleidingen onvoldoende. Geconstateerd is daarbij dat er sprake was van zeer zwak onderwijs. Wij voeren het onderzoek naar kwaliteitsverbetering niet alleen uit bij de locatie waar de vorige keer de tekortkomingen geconstateerd zijn, maar bij alle drie de nieuwe instellingen die voortgekomen zijn uit Amarantis en mbo-onderwijs verzorgen waarbij de opleidingen actief zijn. Hierdoor kunnen wij een oordeel geven dat recht doet aan de situatie bij de betreffende instelling. Omdat het vorige onderzoek bij de opleiding Medewerker marketing en communicatie / Medewerker marketing en communicatie (Assistent communicatiemedewerker) / Medewerker marketing en communicatie (Marketing medewerker) niet in Amsterdam en Almere uitgevoerd is, hebben wij ons in dit onderzoek naar kwaliteitsverbetering bij ROC TOP gericht op alle aspecten van het onderwijsproces en op de opbrengsten.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 1 van 18
In het onderzoek naar kwaliteitsverbetering bij de opleiding Financiële beroepen (Financieel administratief medewerker) bij de locatie Wibautstraat (Amsterdam Zuidoost) hebben wij ons specifiek gericht op de indicatoren die eerder met een onvoldoende waren beoordeeld. Er zijn geen aanwijzingen dat de eerder met voldoende beoordeelde indicatoren gewijzigd zijn. Omdat de opbrengsten 2010-2011 van de opleiding Financiële beroepen (Financieel administratief medewerker) bij de locatie Rode Kruisstraat (Amsterdam Noord) erg laag bleken te zijn, was dit aanleiding om ook hier het onderwijsproces te onderzoeken. Voor het onderzoek op de locatie Rode Kruisstraat (Amsterdam Noord) hebben wij ons gericht op alle aspecten van het onderwijsproces en op de opbrengsten. De onvoldoendes voor systematische kwaliteitszorg en beoordeling, beoordeeld onder het Toezichtkader BVE 2009, hebben niet geleid tot een volledig onderzoek van gebied 4 onder het Toezichtkader BVE 2012. Wel zijn er in voorkomende gevallen aandachtspunten inzake kwaliteitsboring geformuleerd. Wij hebben gesprekken gevoerd met studenten, docenten en management, hebben aanvullend documenten onderzocht en onderwijsactiviteiten geobserveerd. In hoofdstuk 2 leest u de conclusies waaronder ook het vervolg van het toezicht voor de instelling. De resultaten van het onderzoek naar kwaliteitsverbetering kunt u lezen in hoofdstuk 3. De inspectie heeft zich bij haar onderzoek gebaseerd op het Toezichtkader bve 2012. Omdat het vorig onderzoek was gebaseerd op het oude waarderingskader bve van 2009, hebben wij gebruik gemaakt van een conversietabel. Hieruit blijkt hoe het oude waarderingskader samenhangt met het nieuwe waarderingskader. Genoemde documenten zijn te vinden op www.onderwijsinspectie.nl. De normering is als bijlage I toegevoegd aan dit rapport. Voor de beoordeling van de opbrengsten is gebruikgemaakt van cijfers van schooljaar 2010-2011. Vanwege de defusie van Amarantis is het niet mogelijk om de cijfers uit BRON te genereren per nieuwe instelling, vandaar dat uitgegaan is van de cijfers die door de instelling verstrekt zijn. In bijlage II zijn de opleidingen van de onderzochte cp-codes opgenomen.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 2 van 18
2 Conclusie en vervolg In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar kwaliteitsverbetering en, indien van toepassing, het vervolg. 2.1 Conclusie Het onderzoek naar kwaliteitsverbetering bij Medewerker marketing en communicatie/ Medewerker marketing en communicatie (Assistent communicatiemedewerker)/ Medewerker marketing en communicatie (Marketing medewerker) / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1. Onderwijsproces 3. Opbrengsten
Goed
Voldoende
Onvoldoende • •
Slecht
Het oordeel leidt ertoe dat we vervolgtoezicht uitvoeren bij de opleiding Medewerker marketing en communicatie/ Medewerker marketing en communicatie (Assistent communicatiemedewerker)/ Medewerker marketing en communicatie (Marketing medewerker) / Medewerker marketing en communicatie (Medewerker evenementenorganisatie). In paragraaf 2.2 wordt de aard van dit vervolgtoezicht nader uitgewerkt. Het onderzoek naar kwaliteitsverbetering bij Financiële beroepen (Financieel administratief medewerker) heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1. Onderwijsproces 3. Opbrengsten
Goed
Voldoende
Onvoldoende • •
Slecht
Het oordeel leidt ertoe dat we vervolgtoezicht uitvoeren bij de opleiding Financiële beroepen (Financieel administratief medewerker). In de volgende paragraaf wordt de aard van dit vervolgtoezicht nader uitgewerkt.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 3 van 18
2.2 Vervolgtoezicht In onderstaande schema’s is het vervolgtoezicht te lezen. Medewerker Medewerker Medewerker Medewerker
marketing marketing marketing marketing
en en en en
communicatie, 90530 communicatie (Assistent communicatiemedewerker), 90531 communicatie (Marketing medewerker), 90532 communicatie (Medewerker evenementenorganisatie), 90534
Beoordeling
Toezichtvorm
Vervolgtoezicht
Kwaliteit onderwijsproces is onvoldoende en niveau opbrengsten is onvoldoende (zeer zwak onderwijs)*.
Aangepast toezicht vanwege zeer zwak onderwijs*.
De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. De instelling stelt voor 15 oktober 2013 een plan van aanpak op en stuurt deze naar de inspectie. De inspectie geeft een reactie op het plan van aanpak. Circa een jaar na de waarschuwingsbrief een onderzoek naar kwaliteitsverbetering.
* Het oordeel van de opbrengsten betreft de opleidingen binnen de cp-code/clustering van opleidingen, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht opbrengsten worden alle bijbehorende opleidingen betrokken.
Financiële beroepen (Financieel administratief medewerker), 93200 Beoordeling
Toezichtvorm
Vervolgtoezicht
Kwaliteit onderwijsproces is onvoldoende en niveau opbrengsten is onvoldoende (zeer zwak onderwijs)*.
Aangepast toezicht vanwege zeer zwak onderwijs*.
De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. De instelling stelt voor 15 oktober 2013 een plan van aanpak op en stuurt deze naar de inspectie. De inspectie geeft een reactie op het plan van aanpak. Circa een jaar na de waarschuwingsbrief een onderzoek naar kwaliteitsverbetering.
* Het oordeel van de opbrengsten betreft de opleidingen binnen de cp-code/clustering van opleidingen, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht opbrengsten worden alle bijbehorende opleidingen betrokken.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 4 van 18
3 Resultaten 3.1 Medewerker marketing en Communicatie – 90530 / Medewerker marketing en communicatie (Assistent communicatiemedewerker) – 90531 / Medewerker marketing en communicatie (Marketing medewerker) – 90532 / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) – 90534 3.1.1 Locatie Wibautstraat (Amsterdam Zuidoost) Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied voor de opleiding Medewerker Marketing en Communicatie / Medewerker marketing en communicatie (Marketing medewerker) weer. In bijlage III is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied voor deze opleiding opgenomen. Kwaliteitsgebied Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 3: Opbrengsten 3.1 Rendement
Voldoende
Onvoldoende
• • • • • • • • • •
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Beschouwing Het team van de opleiding kenmerkt zich door een positieve houding, de docenten en teammanager willen gezamenlijk werken aan goed onderwijs. Het team heeft hiervoor onlangs een visie geformuleerd. Hoe deze visie gerealiseerd kan worden is echter niet nader uitgedacht. Het ontbreekt aan richting en sturing om de visie te realiseren. Het risico bestaat dat initiatieven verzanden of beperkt blijven tot eenmalige acties van individuele docenten zonder structurele navolging. De opleiding heeft geen systeem voor kwaliteitsborging en verantwoordelijkheden zijn onvoldoende belegd. Daarbij moet worden opgemerkt dat er weinig speelruimte is voor de opleiding gezien de financiële situatie van ROC TOP. Onderwijsproces De kwaliteit van het onderwijsproces is onvoldoende, desalniettemin zien wij dat de studieloopbaanbegeleiding en de zorg zo ingericht zijn dat studenten voldoende
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 5 van 18
begeleiding ontvangen tijdens hun studieloopbaan zowel ten aanzien van leer- als zorgvragen. Ook is het didactisch handelen van docenten voldoende toereikend. Er is sprake van een effectieve interactie en studenten worden voldoende begeleid tijdens de leeractiviteiten. De didactische vaardigheid orde houden is echter wel een aandachtspunt hierdoor wordt leertijd vermorst. Bovendien hebben we geconstateerd dat tijdens lessen en projecten studenten veel tijd aan nietonderwijs gerelateerde zaken besteden, zoals het gebruik van smartphone of computer voor privézaken, en is niet iedere student aan het leren. Maatwerk is onvoldoende doordat de opleiding in het onderwijsprogramma te weinig differentieert. Er is weinig tot geen mogelijkheid tot verdieping of versnelling, de studenten volgen hetzelfde programma in hetzelfde tempo. De opleiding is wel van plan een verkort (2,5-jarig) traject aan te gaan bieden, maar dit is nog in ontwikkeling en nog niet operationeel. De voorlichting vooraf aan de studenten is niet toereikend. Zo is aan studenten voorgespiegeld dat zij aan een verkort onderwijsprogramma deel zouden kunnen nemen, terwijl pas recentelijk de criteria voor deelname zijn opgesteld. Hoe het verkorte programma er precies uit gaat zien is ook nog niet nader uitgewerkt. De opleiding is in de communicatie naar de student tekort geschoten, waardoor er verkeerde verwachtingen zijn gecreëerd dan wel in stand gehouden. Ook de plaatsing van studenten op bpv-plaatsen is een punt van zorg. Het is de opleiding niet gelukt om alle studenten op een stageplek te plaatsen. De opleiding biedt de studenten zonder stage vervolgens geen vervangend onderwijsprogramma aan, ze volgen in de bpv-periode enkel het terugkomonderwijs. Studenten dienen wel aan het eind van de opleiding de gemiste bpv-uren in te halen en lopen hierdoor studievertraging op. Het ondersteunen van studenten bij het vinden van geschikte bpv-plaatsen heeft de afgelopen jaren weinig aandacht gehad. De aanstelling van een nieuwe bpv consulent biedt voor de toekomst een positief vooruitzicht. Desondanks is de plaatsing van studenten een punt van verbetering. Opbrengsten De opbrengsten zijn met een jaarresultaat van 52,1 procent en een diplomaresultaat van 55,1 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de gegevens 2010-2011 zijn de resultaten van de cpcode eca10, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. 3.1.2 Locatie Almere Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied voor de opleiding Medewerker marketing en communicatie / Medewerker marketing en communicatie (Assistent communicatiemedewerker) / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) weer. In bijlage IV is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied voor deze opleiding opgenomen. Kwaliteitsgebied Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Voldoende
Onvoldoende
• •
Pagina 6 van 18
Kwaliteitsgebied Aspect 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 3: Opbrengsten 3.1 Rendement
Voldoende
Onvoldoende
• • • • • • • •
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Beschouwing De locatie Almere is een kleine vestiging van ROC TOP. De opleiding Medewerker marketing en communicatie is eveneens kleinschalig. Het team is betrokken en studenten voelen zich gekend. De niveau 4 opleiding Medewerker Marketing en Communicatie duurt drie jaar en kent drie uitstromen. De uitstroom Medewerker evenementenorganisatie maakte geen deel uit van het okv, maar omdat de uitstromen zo vervlochten zijn is het niet mogelijk om deze opleiding buiten beschouwing te laten. Drie jaar geleden werden alle drie de uitstroomvarianten aangeboden, sinds twee jaar worden alleen Assistent communicatiemedewerker en Medewerker evenementenorganisatie aangeboden. Op de uitstroomvariant Marketing medewerker staan geen studenten ingeschreven. De studenten van de verschillende uitstromen zitten bij elkaar in de klas en volgen allemaal hetzelfde programma. De opbouw van het programma is onvoldoende uitgebalanceerd en de informatievoorziening aan studenten schiet te kort. Onderwijsproces De kwaliteit van het onderwijsproces is onvoldoende. De opbouw van het programma en de programmering zijn onvoldoende. De studenten volgen de eerste twee jaar een gemeenschappelijk programma. Het eerste halfjaar van het derde leerjaar hebben studenten beroepspraktijkvorming (bpv), waarbij de bpv-plek moet aansluiten op de gekozen uitstroomrichting. Het laatste half jaar gaan studenten naar school en volgen ze naast algemene vakken twee uur per week les in hun specifieke uitstroomrichting. De kerntaak van de uitstroomvariant is dan echter al geëxamineerd. De theorie die opgedaan wordt tijdens het laatste halfjaar van de studie wordt niet kwalificerend beoordeeld en studenten kunnen hun bpv niet gebruiken voor inhoudelijk verdieping in de uitstroomrichting omdat een groot deel van de theorie pas gegeven wordt nadat de bpv is afgesloten. De opbouw van het totale programma is daarmee onvoldoende uitgebalanceerd. De programmering van het onderwijs, bpv en examinering is niet passend en tijdig, vooral doordat er geen goede afstemming van de elementen kennis en vaardigheden plaatsvindt. Er is geen logische volgordelijkheid in onderwijsprogramma en beroepspraktijk waarmee de student zijn ervaring kan verbreden en verbanden kan leggen tussen beide elementen. In het programma wordt geen rekening gehouden met verschillen tussen studenten. Studenten volgen allemaal hetzelfde programma, met uitzondering van de projecten, en er is nauwelijks mogelijkheid tot versnelling of verdieping. Studenten kunnen wel blijven zitten. Studenten moeten dan het hele jaar overdoen en krijgen geen vrijstelling voor onderdelen die al behaald zijn.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 7 van 18
De voorlichting die studenten vooraf kregen over de opleiding komt niet overeen met het daadwerkelijke onderwijsprogramma. Dit betreft met name de uitstroomvariant Medewerker evenementenorganisatie, omdat hierin weinig les gegeven wordt en deze lessen zijn vooral in het laatste half jaar van de opleiding geprogrammeerd. De informatievoorziening tijdens de opleiding is onvoldoende. Roosterwijzigingen worden laat doorgegeven en tijdens ons onderzoek bleek dat derdejaars studenten niet op de hoogte waren van het feit dat niet alle lessen gevolgd dienen te worden voor alle uitstroomrichtingen. Studenten zijn ontevreden over de communicatie door docenten en de afstemming tussen docenten onderling. De overdracht en afstemming tussen docenten is niet altijd adequaat, waardoor er onvoldoende samenhang is tussen de leeractiviteiten wat resulteert in herhaling van lesstof voor studenten. Studenten voelen zich daarnaast niet altijd serieus genomen, het komt bijvoorbeeld regelmatig voor dat ze geen antwoord op e-mails krijgen. Ondanks dat er informatie verschaft is over de examinering blijkt dat studenten niet goed voorbereid waren op hun praktijkexamen. Niet voor iedereen was duidelijk dat het eindgesprek onderdeel van het examen uitmaakte. Ook hebben studenten geen idee hoe hun verdere examinering eruit zal gaan zien. Het is voor studenten onduidelijk wat er op hun diploma komt te staan. Het didactisch handelen is echter wel voldoende; docenten gaan in op (individuele) leervragen van studenten en geven studenten feedback. De locatie Almere is kleinschalig en studenten voelen zich veilig en gekend door docenten, ondanks dat de informatievoorziening aan studenten niet altijd adequaat is. Opbrengsten De opbrengsten zijn met een jaarresultaat van 52,1 procent en een diplomaresultaat van 55,1 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de gegevens 2010-2011 zijn de resultaten van de cpcode eca10, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. De opleiding voert handmatige analyses uit om de uitval in kaart te brengen.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 8 van 18
3.2 Financiële beroepen (Financieel administratief medewerker) - 93200 3.2.1 Locatie Wibautstraat (Amsterdam Zuidoost) Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied voor de opleiding Financiële beroepen (Financieel administratief medewerker) weer. In bijlage V is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied voor deze opleiding opgenomen. Kwaliteitsgebied Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 3: Opbrengsten 3.1 Rendement
Voldoende
Onvoldoende
• • • • • • • • • •
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Beschouwing Door de komst van een nieuwe teamleider en een wijziging in de teamsamenstelling is de sfeer in het team in Amsterdam Zuidoost volgens de docenten verbeterd en worden de problemen gestructureerd aangepakt. Aansluitend op de inspectieonderzoeken is een MBO verbeter analyse project gestart en is een verbeterplan opgesteld. Dit verbeterplan heeft geleid tot hogere opbrengsten, meer duidelijkheid en structuur in de opleiding, aantrekkelijker onderwijs en begeleiding afgestemd op het instroomniveau van de studenten. Er wordt systematisch gewerkt aan verbeteringen. In maart 2013 wordt van het team een teamplan (TRAP A3) verwacht. Onderwijsproces De kwaliteit van het onderwijsproces is voldoende. In tegenstelling tot de bevindingen uit het onderzoek in 2011 wordt nu meer rekening gehouden met de verschillen tussen studenten waardoor de opleiding meer aansluit bij de leerbehoefte van de student. Afhankelijk van de resultaten van de intake en de informatie van de voorgaande school vindt direct plaatsing in niveau drie of vier plaats. Flexlessen ter ondersteuning of verdieping van de vakken Nederlands, Engels en Rekenen en de mogelijkheid om tijdens de lessen een eigen programma af te werken, bieden nu voldoende mogelijkheden tot differentiatie voor de
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 9 van 18
studenten. Op basis van goede resultaten op niveau 3 is doorstroom naar niveau 4 aan het eind van het eerste leerjaar mogelijk. De leertijd ten opzichte van het vorige onderzoek is verbeterd. Er is een evenwichtig rooster, lessen beginnen en starten op tijd en er heerst orde in de klas. Studenten zijn betrokken bij de lessen en wanneer zij zelfstandig een opdracht moeten maken, doen ze dit ook. Een verbeterpunt blijft het zorgen voor meer uitdaging voor de sterkere student. Studenten ervaren weinig lesuitval, maar wel veel absentie in de eerste lesuren van de dag. De absentie in de ochtenduren blijft hoog, ondanks dat het team acties onderneemt om de absentie te bestrijden. Absentie blijft daarmee een belangrijk aandachtspunt van het team. In het verbeterproject is specifiek aandacht besteed aan didactisch handelen. De opleiding heeft als doel om aantrekkelijk onderwijs en gestructureerde begeleiding aan te bieden. Deze aanpak lijkt zijn vruchten af te werpen. Aan het begin van de les worden doel en werkwijze besproken als ook welke stof of opdracht wanneer afgerond dient te zijn. De professionalisering van het team is een doorlopend proces van teamtrainingen en/of individuele coaching. De voorlichting is aangescherpt. Studenten zijn van mening dat de voorlichting tijdens open dagen en intake realistisch is en aansluit bij het opleidingsprogramma en de beroepspraktijk. De intake en de plaatsing zijn ook helder voor de student. Bij twijfel over advies wordt contact opgenomen met de vorige school. Bij negatief advies vindt doorverwijzing naar de decaan plaats. Opbrengsten De opbrengsten zijn met een jaarresultaat van 39,7 procent en een diplomaresultaat van 29,3 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de gegevens 2010-2011 zijn de resultaten van de cpcode eca15, niveau 3 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. De opleiding voert uitgebreide analyses uit en heeft daarmee inzicht in de opbrengstcijfers. Uit de voorlopige opbrengstcijfers voor 2011-2012 blijkt dat met het ingezette verbeterproces resultaat wordt geboekt. 3.2.2 Locatie Rode Kruisstraat (Amsterdam Noord) Oordeel per aspect Hieronder geven we het oordeel op de aspecten per kwaliteitsgebied voor de opleiding Financiële beroepen (Financieel administratief medewerker) weer. In bijlage VI is de beoordeling van de onderzochte indicatoren van de betreffende aspecten per kwaliteitsgebied voor deze opleiding opgenomen. Kwaliteitsgebied Aspect Gebied 1: Onderwijsproces Programma 1.1 Samenhang 1.2 Maatwerk Leren in de onderwijsinstelling 1.3 Didactisch handelen* 1.4 Leertijd 1.5 Leeromgeving Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding* 1.8 Zorg
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Voldoende
Onvoldoende
• • • • • • • •
Pagina 10 van 18
Kwaliteitsgebied Aspect Leren in de beroepspraktijk 1.9 Beroepspraktijkvorming* Gebied 3: Opbrengsten 3.1 Rendement
Voldoende
Onvoldoende
• •
De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.
Beschouwing De kleinschaligheid is een belangrijk kenmerk van de opleiding. Dit komt naar voren in de veilige sfeer in het gebouw, tijdens de lessen en in de begeleiding. De inrichting van het onderwijsprogramma, het maatwerk en het gebruik van de leertijd zijn echter onder de maat. Docenten ervaren collegialiteit en veel individuele inzet, maar ook dat de onderlinge afstemming ontbreekt. Omdat vrijwel alle studenten worden ingeschreven op niveau 3 van de opleiding en meerdere studenten ongediplomeerd doorstromen naar niveau 4 zijn de lage opbrengsten voor niveau 3 voor een deel verklaard, maar desondanks blijft er in 2010-2011 sprake van een te groot aantal studenten dat voortijdig stopt met de opleiding in relatie tot de gestelde norm. Onderdelen van de kleine kwaliteit komen aan de orde in het teamoverleg, maar borging van de kwaliteit is niet structureel. In maart 2013 wordt van het team een teamplan (TRAP A3) verwacht. Onderwijsproces De kwaliteit van het onderwijsproces is onvoldoende door tekortkomingen bij samenhang, maatwerk en leertijd. In de programmering van de opleiding ontbreekt een duidelijk onderscheid tussen de niveau 3 en niveau 4 opleiding. Het is niet duidelijk wanneer iemand wel of niet eerst niveau 3 afrond met een diploma (en soms daarna nog doorgaat naar niveau 4) en wanneer iemand zonder niveau 3 diploma doorgaat naar niveau 4. Studenten en docenten schetsen een verschillend beeld over de verwachtingen van het uitstroomniveau. Ook blijkt het gebrek aan onderscheid, doordat in het tweede jaar van de niveau 3 opleiding al een deel (kerntaak 2, boekhouden) van de niveau 4 opleiding wordt verzorgd. Hiermee sluit het onderwijsprogramma onvoldoende aan bij de vereisten vanuit het kwalificatiedossier. Een aandachtspunt is bovendien dat boekhouden met behulp van een computersysteem te beperkt in het onderwijsprogramma aan bod komt. Gestructureerde mogelijkheden tot differentiatie ontbreken binnen het programma. Door de grote overlap van deze opleiding met niveau 4 is in het verleden besloten vrijwel alle studenten op niveau 3 te laten instromen en de mogelijkheid te bieden in eigen tempo door te stromen naar niveau 4. Voor een enkele student is het mogelijk om te versnellen, maar deze moet dan wel naast de geprogrammeerde examens van het eerste leerjaar ook de examens van het volgende leerjaar afleggen. De examinering vindt in juli en januari plaats. Studenten kunnen hierdoor alleen versnellen door verschillende programmadelen tegelijk te examineren. Het initiatief voor versnelde examinering ligt bij de student. De student stemt met de mentor af hoe hij of zij de examens kan combineren. Er gaat veel lestijd verloren doordat de opleiding te soepel met te laat komen omgaat. Studenten komen vooral de eerste uren van de lesdag op willekeurige tijden binnen. Ook tijdens de leswisselingen komen studenten te laat binnen omdat zij nog boeken uit hun kluisje moeten ophalen. Volgens studenten is 15 minuten te laat komen geen probleem als je de les maar niet verstoord. Ook de docenten herkennen dit beeld en bevestigen dat het aansluit bij het beleid dat studenten tot
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 11 van 18
15 minuten te laat nog de les in mogen, waarbij wel een sanctie volgt als dit veelvuldig voorkomt. Ook de absentie blijft hoog, ondanks dat het team acties in samenwerking met de leerplichtambtenaar onderneemt om de absentie te bestrijden. Absentie blijft daarmee een belangrijk aandachtspunt van het team. Studenten zijn tevreden over de docenten en de lessen waarbij ze zelfstandig aan het werk kunnen en individueel door de docent worden begeleid. Waar nodig worden de lessen ondersteund door een klassikale les voor de gehele groep of een deel van de groep. De begeleiding in de gekozen werkvormen is actief en de voortgang van de studenten wordt bijgehouden in Trajectplanner. De vorderingen komen volgens de studenten ook voldoende aan de orde tijdens de individuele mentorgesprekken. Studenten zijn van mening dat de voorlichting tijdens open dagen en intake realistisch is en aansluit bij het opleidingsprogramma en de beroepspraktijk. Met behulp van de intake heeft de instelling de startsituatie van de student in beeld gebracht. Studenten zijn over het algemeen tevreden over de voorbereiding op de beroepspraktijkvorming (bpv), over de inhoud van de bpv en de begeleiding tijdens deze periode. Echter, de plaatsing van studenten op een bpv-plek is een probleem. In veel gevallen lukt het niet om tijdig een bpv-plek te vinden. Studenten moeten zelf op zoek en solliciteren bij een bedrijf. Lukt dit niet dan wordt de student geholpen bij het zoeken met behulp van sollicitatietraining. Uiteindelijk hebben 8 van de 24 studenten geen bpv plaats gevonden. Voor deze studenten is ook geen alternatief schoolprogramma beschikbaar en de studenten lopen studievertraging op. Opbrengsten De opbrengsten zijn met een jaarresultaat van 39,7 procent en een diplomaresultaat van 29,3 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de gegevens 2010-2011 zijn de resultaten van de cpcode eca15, niveau 3 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn.
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 12 van 18
Bijlagen Bijlage I Normeringen kwaliteitsgebied/kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarbij zij gebruik maakt van een normering. Deze bestaat uit: 1.
2. 3.
Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied. Deze normering wordt hieronder toegelicht.
Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering onderwijsproces bij een onderzoek kwaliteitsverbetering Goed
Voldoende
Onvoldoende Slecht
Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan; daarbij is tevens aan alle indicatoren voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Voor elk aspect aan alle indicatoren is voldaan, daarbij mag 1 indicator onvoldoende zijn als een aspect meer dan 2 indicatoren omvat. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen. Aan één of meer kernaspecten is niet voldaan. Aan drie, vier of vijf aspecten is niet voldaan. Aan geen van de kernaspecten is voldaan. Aan zes of meer aspecten is niet voldaan.
Voor de beoordeling van de opbrengsten is gebruik gemaakt van onderstaande norm. Voor een oordeel voldoende moet tenminste aan één van de twee normen zijn voldaan. Niveau 1 2 3 4
Jaarresultaat 60,7 56,5 65,3 64,2
Diplomaresultaat 45,1 45,2 67,3 67,3
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 13 van 18
Bijlage II Overzicht cp-codes/cluster van opleidingen Hieronder is per onderzochte cp-code/cluster van opleidingen aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten. Overzicht cp-codes. CP-code: eca 10 Crebo: 10036
Niveau: 4 Opleiding (uitstroom): Commercieel Medewerker Marketing en Communicatie
90530
Medewerker marketing en communicatie
90531
Medewerker marketing en communicatie (Assistent communicatiemedewerker) Medewerker marketing en communicatie (Marketing medewerker) Medewerker marketing en communicatie (Medewerker Evenementenorganisatie)
90532 90534
CP-code: eca 15 Crebo: 10049 93200
Niveau: 3 Opleiding (uitstroom): Boekhoudkundig medewerker Financiële beroepen (Financieel administratief medewerker)
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Pagina 14 van 18
Bijlage III Beoordeling indicatoren Medewerker marketing en Communicatie – 90530 / Medewerker marketing en communicatie (Marketing medewerker) – 90532 Locatie Wibautstraat (Amsterdam Zuidoost) In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 1: Onderwijsproces Aspecten Programma 1.1 Samenhang
1.3.3
1.5
Leertijd Leeromgeving
1.4.1 1.4.2 1.5.1 1.5.2
Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding*
1.6.1 1.6.2 1.7.1 1.7.2
1.8
1.8.1
Zorg
Onvoldoende
Indicatoren
1.1.1 1.1.2 1.2 Maatwerk 1.2.1 Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 handelen* 1.3.2
1.4
Voldoende
1.8.2 Leren in de beroepspraktijk 1.9 Beroepspraktijk1.9.1 vorming* 1.9.2 1.9.3 1.9.4
Inhoud Programmering Differentiatie
• •
Interactie Ondersteuning en begeleiding van de leeractiviteiten Feedback op de leeractiviteiten en de leerresultaten Benutting Werkdruk Schoolklimaat Materiële voorzieningen
• •
Voorlichting Intake en plaatsing Informatievoorziening Studieloopbaanbegeleiding Eerste- en tweedelijnszorg Derdelijnszorg Voorbereiding studenten en bedrijven Plaatsing Begeleiding door het bedrijf Begeleiding door de opleiding
•
•
• • • • • • • • • • • • • •
De aspecten met een * zijn kernaspecten
Gebied 3: Opbrengsten Aspecten 3.1 Rendement
Voldoende Indicatoren 3.1.1 Rendement
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Onvoldoende •
Pagina 15 van 18
Bijlage IV Beoordeling indicatoren Medewerker marketing en Communicatie – 90530 / Medewerker marketing en communicatie (Assistent communicatiemedewerker) – 90531 / Medewerker marketing en communicatie (Medewerker evenementenorganisatie) – 90534 Locatie Almere In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 1: Onderwijsproces Aspecten Programma 1.1 Samenhang
1.3.3
Leertijd
1.5
Leeromgeving
1.4.1 1.4.2 1.5.1 1.5.2
Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding*
1.6.1 1.6.2 1.7.1 1.7.2
1.8
1.8.1
Zorg
Onvoldoende
Indicatoren
1.1.1 1.1.2 1.2 Maatwerk 1.2.1 Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 handelen* 1.3.2
1.4
Voldoende
1.8.2 Leren in de beroepspraktijk 1.9 Beroepspraktijk1.9.1 vorming* 1.9.2 1.9.3 1.9.4
Inhoud Programmering Differentiatie Interactie Ondersteuning en begeleiding van de leeractiviteiten Feedback op de leeractiviteiten en de leerresultaten Benutting Werkdruk Schoolklimaat Materiële voorzieningen Voorlichting Intake en plaatsing Informatievoorziening Studieloopbaanbegeleiding Eerste- en tweedelijnszorg Derdelijnszorg Voorbereiding studenten en bedrijven Plaatsing Begeleiding door het bedrijf Begeleiding door de opleiding
• • • • • •
• • • • • • • • • • • • • •
De aspecten met een * zijn kernaspecten
Gebied 3: Opbrengsten Aspecten 3.1 Rendement
Voldoende Indicatoren 3.1.1 Rendement
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Onvoldoende •
Pagina 16 van 18
Bijlage V Beoordeling indicatoren Financiële beroepen (Financieel administratief medewerker) – 93200 Locatie Wibautstraat (Amsterdam Zuidoost) In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 1: Onderwijsproces Aspecten Programma 1.1 Samenhang
1.3.3
Leertijd
1.5
Leeromgeving
1.4.1 1.4.2 1.5.1 1.5.2
Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding*
1.6.1 1.6.2 1.7.1 1.7.2
1.8
1.8.1
Zorg
Onvoldoende
Indicatoren
1.1.1 1.1.2 1.2 Maatwerk 1.2.1 Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 handelen* 1.3.2
1.4
Voldoende
1.8.2 Leren in de beroepspraktijk 1.9 Beroepspraktijk1.9.1 vorming* 1.9.2 1.9.3 1.9.4
Inhoud Programmering Differentiatie
•
Interactie Ondersteuning en begeleiding van de leeractiviteiten Feedback op de leeractiviteiten en de leerresultaten Benutting Werkdruk Schoolklimaat Materiële voorzieningen
• •
Voorlichting Intake en plaatsing Informatievoorziening Studieloopbaanbegeleiding Eerste- en tweedelijnszorg Derdelijnszorg
• •
•
• •
Voorbereiding studenten en bedrijven Plaatsing Begeleiding door het bedrijf Begeleiding door de opleiding
De aspecten met een * zijn kernaspecten
Gebied 3: Opbrengsten Aspecten 3.1 Rendement
Voldoende Indicatoren 3.1.1 Rendement
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Onvoldoende •
Pagina 17 van 18
Bijlage VI Beoordeling indicatoren Financiële beroepen (Financieel administratief medewerker) – 93200 Locatie Rode Kruisstraat (Amsterdam Noord) In onderstaande tabel is de score weergegeven van de indicatoren waarnaar een onderzoek heeft plaatsgevonden. Wanneer er geen score is vermeld betekent dit dat er geen aanwijzingen waren dat het oordeel van het eerdere onderzoek onderzocht moest worden. Gebied 1: Onderwijsproces Aspecten Programma 1.1 Samenhang
1.3.3
1.5
Leertijd Leeromgeving
1.4.1 1.4.2 1.5.1 1.5.2
Begeleiding 1.6 Intake & plaatsing 1.7 Studieloopbaanbegeleiding*
1.6.1 1.6.2 1.7.1 1.7.2
1.8
1.8.1
Zorg
Onvoldoende
Indicatoren
1.1.1 1.1.2 1.2 Maatwerk 1.2.1 Leren in de onderwijsinstelling 1.3 Didactisch 1.3.1 handelen* 1.3.2
1.4
Voldoende
1.8.2 Leren in de beroepspraktijk 1.9 Beroepspraktijk1.9.1 vorming* 1.9.2 1.9.3 1.9.4
Inhoud Programmering Differentiatie
• • •
Interactie Ondersteuning en begeleiding van de leeractiviteiten Feedback op de leeractiviteiten en de leerresultaten Benutting Werkdruk Schoolklimaat Materiële voorzieningen
• •
Voorlichting Intake en plaatsing Informatievoorziening Studieloopbaanbegeleiding Eerste- en tweedelijnszorg Derdelijnszorg
• • • •
Voorbereiding studenten en bedrijven Plaatsing Begeleiding door het bedrijf Begeleiding door de opleiding
•
•
• • • •
• •
• • •
De aspecten met een * zijn kernaspecten
Gebied 3: Opbrengsten Aspecten 3.1 Rendement
Voldoende Indicatoren 3.1.1 Rendement
Onderzoek naar kwaliteitsverbetering mbo – ROC TOP
Onvoldoende •
Pagina 18 van 18