STAAT VAN DE INSTELLING MBO ROC A12

STAAT VAN DE INSTELLING MBO ROC A12

Plaats BRIN nummer Onderzoeksnummer Datum onderzoek Datum vaststelling

: : : : :

Ede Gld 25PM 151341 15 januari - 6 februari 2013 31 mei 2013

Pagina 2 van 59

INHOUDSOPGAVE 1

INLEIDING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2

CONCLUSIE EN VERVOLGTOEZICHT. . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1 2.2 3

Conclusie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Vervolgtoezicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 INSTELLINGSBREDE RESULTATEN . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.1

Oordeel kwaliteitsborging op instellingsniveau . . . . . . . . . . . . . . . . 13

3.2

Risico’s op relevante indicatoren . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4

RESULTATEN PER OPLEIDING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.1

Schoonheidsspecialist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.2

Ondernemer detailhandel/Manager handel (Filiaalmanager) . . . . . . . 23

4.3

Onderwijsassistent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.4

Installeren (Eerste monteur elektrotechnische installaties) . . . . . . . . 34

4.5

Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) 38

5

BIJLAGEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Bijlage I Normeringen kwaliteitsgebieden . . . . . . . . . . . . . . . . . . . . . 45 Bijlage II Overzicht bc-codes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Bijlage III Beoordeling aspecten en indicatoren kwaliteitsborging instellingsbreed . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Bijlage IV Beoordeling aspecten en indicatoren opleiding . . . . . . . . . . 51 Opleiding Schoonheidsspecialist, 91190 . . . . . . . . . . . . . . . . . . . . . . 51 Opleiding Ondernemer detailhandel, 90290 / Manager handel (Filiaalmanager), 93492 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 Opleiding Onderwijsassistent, 93500 . . . . . . . . . . . . . . . . . . . . . . . . 54 Opleiding Installeren (Eerste monteur elektrotechnische installaties), 94281 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 Opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

Pagina 3 van 59

Pagina 4 van 59

1

INLEIDING De Inspectie van het Onderwijs voerde in januari en februari 2013 een onderzoek naar de Staat van de instelling uit bij ROC Onderwijsgroep A12 (hierna ROC A12). Dit onderzoek heeft betrekking op het mbo-onderwijs en vavo. ROC A12 is een roc met ongeveer zesduizend studenten en ongeveer honderd opleidingen. De instelling heeft zeven onderwijslocaties. Het onderzoek heeft tot doel om de stand van de kwaliteitsborging van de instelling te bepalen en om de risico's voor de onderwijskwaliteit in te schatten. De Staat van de instelling wordt elke drie jaar opgemaakt en bestaat uit een analyse van gegevens, een instellingsbreed onderzoek en een kwaliteitsonderzoek bij een of meer opleidingen. De informatie over de instelling die bij de inspectie aanwezig is, zoals het jaarverslag, financiële gegevens, opbrengstgegevens, uitkomsten tevredenheidsonderzoek en signalen is geanalyseerd en is aangevuld met onderzoeken op uw instelling. Tijdens het onderzoek zijn gesprekken gevoerd met studenten, docenten en management, zijn aanvullend documenten onderzocht en zijn onderwijsactiviteiten geobserveerd. Ook maakte een gesprek met het college van bestuur deel uit van het onderzoek. De volgende opleidingen zijn onderzocht: bc-

Gebied Onderwijsproces

Gebied Examinering en diplomering

Leerweg, niveau, locatie

bc189

91190, Schoonheidsspecialist

91190, Schoonheidsspecialist

leerweg bol, niveau 3, locatie Reehorsterweg 80, Ede

bc151/ bc109

90290, Ondernemer detailhandel

93492, Manager handel (Filiaalmanager)

leerweg bol, niveau 4, locatie Gruttostraat 10, Velp

bc154

93500, Onderwijsassistent

93500, Onderwijsassistent

leerweg bol, niveau 4, locatie Gruttostraat 10, Velp

bc083

94281, Installeren (Eerste monteur elektrotechnische installaties)

94281, Installeren (Eerste monteur elektrotechnische installaties)

leerweg bbl, niveau 3, locatie Bovenbuurtweg 7, Ede

code

1

Pagina 5 van 59

bc217

95081, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden)

95081, Veiligheid en vakmanschap (Aankomend medewerker grondoptreden)

leerweg bol, niveau 2, locatie Reehorsterweg 80, Ede

De resultaten van het onderzoek naar kwaliteitsborging leiden, in combinatie met geconstateerde risico’s en de resultaten van de kwaliteitsonderzoeken, tot een risicobepaling voor uw instelling. De omvang van de risico's bepaalt mede het vervolgtoezicht. De inspectie heeft zich bij het onderzoek gebaseerd op het Toezichtkader bve 2012. Dit is te vinden op www.onderwijsinspectie.nl. De normering is als bijlage I toegevoegd aan dit rapport. In hoofdstuk 2 leest u de conclusies waaronder ook het vervolgtoezicht voor de instelling. De resultaten van het instellingsbrede onderzoek naar kwaliteitsborging en de resultaten van de analyse kunt u lezen in hoofdstuk 3. De resultaten van de kwaliteitsonderzoeken van de onderzochte opleidingen vindt u in hoofdstuk 4.

1

Voor de beoordeling van de opbrengsten is gebruikgemaakt van cijfers uit BRON,

schooljaar 2011-2012. In bijlage II zijn de opleidingen van de onderzochte bc-codes opgenomen.

Pagina 6 van 59

2

CONCLUSIE EN VERVOLGTOEZICHT In dit hoofdstuk geven we aan welke conclusie we trekken uit het onderzoek naar de Staat van de instelling en wat het vervolgtoezicht voor u inhoudt. Het vervolgtoezicht is bepaald op basis van het onderzoek naar kwaliteitsborging, de kwaliteitsonderzoeken en de analyse van risico’s. In het onderzoek naar de Staat van de instelling geven we een oordeel over de kwaliteitsborging. We gebruiken daarbij een vierdeling: goed, voldoende, onvoldoende of slecht. Voorts geven we aan in welke mate er risico’s zijn geconstateerd. Daarbij gebruiken we een driedeling: geen risico’s, enkele risico’s of veel risico’s. In de hoofdstukken 3 en 4 volgt een nadere onderbouwing van de oordelen.

2.1

Conclusie Voor ROC A12 geldt dat de organisatie-inrichting en huidige besturingsfilosofie mede bepalend zijn in de inrichting van het onderwijs en de kwaliteitszorg(systematiek). Sturing op (taakvolwassen) teams en samenwerking in het team zijn daarbij een leidend uitgangspunt. Daaropvolgend heeft het roc een organisatieontwikkeling in voorbereiding waarbij gedeeld leiderschap, op basis van eigenaarschap en verantwoordelijkheid van de teamleden, centraal staat. Hierbij hebben we - in experimentvorm - gezien dat de afstand tussen opleidingsniveau en directie kleiner wordt en dat dit de informatieuitwisseling tussen beide niveaus ten goede komt. Tijdens het onderzoek is gebleken dat de systematiek van kwaliteitsborging grotendeels operationeel is, maar nog niet voldoende, omdat de verankering tot op opleidingsniveau nog onvoldoende expliciet gestalte krijgt. Anderzijds hebben we vertrouwen dat het college van bestuur met het doorontwikkelen van de systematiek van kwaliteitsborging, in lijn met de organisatieontwikkeling die al is ingezet, dit punt adequaat zal oppakken. Op basis van de resultaten van het onderzoek naar de Staat van de instelling concluderen wij dat de kwaliteitsborging onvoldoende is. Voorts concluderen we dat er enkele risico’s in de zin van het toezichtkader zijn voor de kwaliteit van het onderwijs. Deze risico’s komen naar voren bij de kwaliteit van de examens en in mindere mate bij de kwaliteit van het onderwijsproces. Het oordeel dat de kwaliteitsborging onvoldoende is, gecombineerd met de constatering dat er enkele risico’s zijn voor de kwaliteit van het onderwijs, leidt er toe dat we beperkt vervolgtoezicht uitvoeren bij ROC A12.

Pagina 7 van 59

In paragraaf 2.2 wordt de aard van dit vervolgtoezicht nader uitgewerkt. Naar aanleiding van de geconstateerde tekortkomingen op opleidingsniveau bij examinering en diplomering en bij kwaliteitsborging, is er sprake van vervolgtoezicht. Dit vervolgtoezicht is tevens in grote mate passend om toe te zien op beperking van de geconstateerde risico's. Dit wordt ook ingegeven door de organisatorische ontwikkeling die door het college van bestuur reeds in gang is gezet. Dit wekt voldoende vertrouwen waardoor in principe geen nader onderzoek door de inspectie wordt uitgevoerd. Wel vraagt de inspectie dat het college van bestuur zich verantwoordt over het doorvoeren van verbeteringen betreffende de kwaliteitsborging en examinering binnen het gehele roc. Voor het onderzoek naar de Staat van de instelling hebben we vijf opleidingen onderzocht. Bij alle opleidingen zijn op een of meer gebieden tekortkomingen geconstateerd en vindt vervolgtoezicht plaats, zoals is te lezen in de volgende paragraaf.

2.2

Vervolgtoezicht Kwaliteitsborging De kwaliteitsborging bij ROC A12 is onvoldoende. Daarmee wordt niet voldaan aan de naleving van de wet (WEB, art. 1.3.6) en is sprake van vervolgtoezicht vanwege niet naleving van wettelijke vereisten. ROC A12 krijgt de gelegenheid de kwaliteitsborging te verbeteren. Het vervolgtoezicht bestaat hieruit dat we over een jaar de kwaliteitsborging opnieuw zullen beoordelen. We zullen dat in hoofdzaak doen op het niveau van de opleidingen. Financiële continuïteit Er zijn geen verhoogde financiële risico’s geconstateerd die aanleiding geven voor aangepast financieel toezicht. Kwaliteitsonderzoeken In onderstaand schema is het vervolgtoezicht te lezen. Lopende toezichtactiviteiten voortvloeiend uit eerder inspectieonderzoek Op het moment van het vaststellen van het definitieve rapport van de Staat van de instelling hebben we geen andere onderzoeken in uitvoering dan wel in onze planning staan. In onderstaande schema's is het vervolgtoezicht te lezen.

Pagina 8 van 59

Schoonheidsspecialist, 91190, Ede Beoordeling

Toezichtvorm

Kwaliteitsborging is onvoldoende.

Aangepast toezicht vanwege niet naleving van artikel 1.3.6 van de WEB.

•

Vervolgtoezicht Na circa een jaar onderzoek naar kwaliteitsverbetering.

Bij niet naleven van weten regelgeving.

Aangepast toezicht vanwege niet naleving van artikel 8.1.4 van de wet. Dit betreft onderwijsbijdragen.

•

De inspectie onderzoek dit tegelijkertijd met het onderzoek naar kwaliteitsverbetering betreffende kwaliteitsborging.

Ondernemer detailhandel, 90290, Manager handel (Filiaalmanager), 93492, Velp Beoordeling

Toezichtvorm

Kwaliteit onderwijsproces is onvoldoende en niveau opbrengsten is onvoldoende (zeer zwak onderwijs).*

Aangepast toezicht vanwege zeer zwak onderwijs.

Vervolgtoezicht • • •

• •

Kwaliteit examinering is slecht.

Aangepast toezicht vanwege slechte examenkwaliteit.

• • •



•

De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. De instelling stelt voor 11 juli 2013 een plan van aanpak op en stuurt deze naar de inspectie. De inspectie geeft een reactie op het plan van aanpak. Circa een jaar na de waarschuwingsbrief een onderzoek naar kwaliteitsverbetering. De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een onderzoek naar kwaliteitsverbetering. Na circa een jaar onderzoek naar kwaliteitsverbetering.

* Het oordeel van de opbrengsten betreft de opleidingen binnen de bc-code, zie bijlage II voor het overzicht waaruit blijkt op welke opleidingen dit oordeel van toepassing is. In het vervolgtoezicht voor opbrengsten worden alle bijbehorende opleidingen betrokken. Onderwijsassistent, 93500, Velp

Pagina 9 van 59

Beoordeling

Toezichtvorm

Vervolgtoezicht

Kwaliteit onderwijsproces is onvoldoende (zwak onderwijs).

Aangepast toezicht vanwege zwak onderwijs.

•

Na circa een jaar onderzoek naar kwaliteitsverbetering.

Kwaliteit examinering is onvoldoende.

Aangepast toezicht vanwege onvoldoende.

•

De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een onderzoek naar kwaliteitsverbetering.

• •

Kwaliteitsborging is slecht.


•


Installeren (Eerste monteur elektrotechnische installaties), 94281, Ede Beoordeling

Toezichtvorm

Kwaliteit examinering is slecht.

Aangepast toezicht vanwege slechte examenkwaliteit.

Vervolgtoezicht • • •



•

De inspectie meldt het oordeel aan de minister. De instelling ontvangt een waarschuwing. Na de in de waarschuwingsbrief opgenomen termijn volgt een onderzoek naar kwaliteitsverbetering. Na circa een jaar onderzoek naar kwaliteitsverbetering.

Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081, Ede Beoordeling

Toezichtvorm



Vervolgtoezicht •


Nader onderzoek

Pagina 10 van 59

Uit het onderzoek naar de Staat van de instelling concluderen wij dat in principe geen aanvullende toezichtactiviteiten noodzakelijk zijn. Tekortkomingen bij de onderzochte opleidingen leiden tot vervolgtoezicht zoals bovenstaand reeds is aangegeven. Ter voorbereiding hierop vraagt de inspectie ROC A12 om voorafgaande aan dat vervolgtoezicht aan de inspectie een rapportage te sturen hoe met de tekortkomingen rond kwaliteitsborging op opleidingsniveau en de verantwoordelijkheid van de examencommissie instellingsbreed is omgegaan; welke maatregelen zijn doorgevoerd en welke verbeteringen zijn geconstateerd. Op basis van deze rapportage beslist de inspectie of eventueel aanvullend onderzoek zal worden gedaan. Betreffende de instellingsbrede analyse van rendementen worden geen aanvullende toezichtactiviteiten voorzien. Bij de jaarlijkse risicomonitoring zal wel met name gelet worden op de rendementen van de in paragraaf 3.2 genoemde bc-codes. Tot slot is het niet voldoen aan de normen van de afdeling vwo bij vavo voor de inspectie aanleiding om de instelling te vragen zelf een risicoanalyse uit te voeren op basis van de gegevens over 2012. Wij vragen de instelling op basis van deze analyse verbetermaatregelen te formuleren. Deze analyses en verbeterplannen met daarin de voorgenomen of al getroffen maatregelen ontvangen wij graag tegelijkertijd met de hiervoor genoemde rapportage betreffende de aanpak van kwaliteitsborging en de verantwoordelijkheid van de examencommissie.

Pagina 11 van 59

Pagina 12 van 59

3

INSTELLINGSBREDE RESULTATEN In dit hoofdstuk geven we de oordelen over de kwaliteitsborging op instellingsniveau weer. Tevens bespreken we op basis waarvan is bepaald in welke mate er risico’s zijn bij de instelling.

3.1

Oordeel kwaliteitsborging op instellingsniveau Het onderzoek naar kwaliteitsborging heeft geleid tot het volgende oordeel: Kwaliteitsgebied 4

Goed Voldoende Onvoldoende Slecht

•

Kwaliteitsborging

Hieronder geven we het oordeel van de aspecten van het kwaliteitsgebied kwaliteitsborging weer. Een detaillering van het oordeel vindt u in bijlage III. Daarin is de beoordeling van de onderliggende indicatoren per aspect opgenomen. Gebied 4: Kwaliteitsborging 4.1

Sturing *

4.2

Beoordeling *

4.3

Verbetering en verankering *

4.4

Dialoog en verantwoording

Voldoende Onvoldoende

• • • •

De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied.

Beschouwing De kwaliteitsborging is onvoldoende omdat de verankering van de kwaliteitsborging op het gebied van de kwaliteitszorg op opleidingsniveau tekortkomingen laat zien en de borging van de kwaliteit van examinering onvoldoende is. Desondanks hebben we geconstateerd dat ROC A12 een vrij stabiel werkende systematiek voor kwaliteitzorg heeft. Een kwaliteitszorgsysteem waarbij taken en verantwoordelijkheden duidelijk zijn belegd en waarvan gebleken is dat hier ook naar wordt gehandeld. Kenmerkend is de combinatie van centraal beschikbare kwantitatieve informatie en decentrale kwalitatieve informatie over het uitgevoerde onderwijs. Er is sprake van interne checks and balances. Tevens leveren de risicogerichte intern onafhankelijk georganiseerde audits aanvullend zinvolle en voldoende betrouwbare informatie op. De keuze om een externe onafhankelijke deskundige aan deze auditsystematiek toe te voegen versterkt dit alleen maar. Nu is het zo dat op deze manier niet alle opleidingen een

Pagina 13 van 59

onafhankelijke audit ondergaan. We zien het daarom als aandachtspunt dat frequenter van deze systematiek gebruik kan worden gemaakt. Op managementniveau heeft ROC A12 aan de hand van kwaliteitsrapportages en daaruit voortvloeiende teamplannen een algemeen beeld over de onderwijskwaliteit en de gestelde doelen op teamniveau. Hierbij geldt voor de teamplannen in zijn algemeenheid dat deze 'smarter' kunnen worden geformuleerd: meer gericht op het beoogde effect in plaats van het benoemen van een activiteit en meer opleidingsspecifiek. De kwaliteitsrapportages grijpen aan op teamniveau; passend bij de opzet van de sturing bij ROC A12. Hierin stuurt de directie afdelingsmanagers aan die verantwoordelijk zijn voor een of meerdere opleidingsteams. Deze teams zijn vervolgens verantwoordelijk voor verschillende - verwante - opleidingen. In geval er sprake is van onvoldoende rendementen wordt, onder verantwoordelijkheid van de roc-directie, door de afdelingsmanager een specifieke verbeterplan opgesteld. Tijdens het onderzoek hebben we echter enkele tekortkomingen in deze systematiek geconstateerd. Ten eerste ontbreekt een verbijzondering naar opleidingsniveau in de kwaliteitsrapportages. Feitelijk maakt de opleidingsspecifieke informatie wel onderdeel uit van de informatie-uitwisseling voor het beoordelen van de kwaliteit, maar maakt deze geen deel uit van de formele kwaliteitsrapportages, noch van de team(verbeter)plannen. Tijdens het onderzoek is geconstateerd dat de afdelingsmanager de opleidingsspecifieke doorvertaling in hoofdzaak mondeling verzorgd. Hierdoor bestaat er een kwetsbare link in de kwaliteitszorg om de specifieke onderwijskwaliteit van individuele opleidingen te beheersen en te borgen. Door het ontbreken van een systematische vastlegging van tekortkomingen, verbetermaatregelen en aandachtspunten is het vaststellen of datgene wat beoogd werd, ook bereikt is, niet verankerd. De verankering van de kwaliteitszorgsystematiek is daarmee te zeer afhankelijk van uitvoering door de afdelingsmanager. Aanvullend hebben we geconstateerd dat dit bij de opleidingen waarbij sprake is van het experiment 'gedeeld leiderschap' minder prominent aanwezig is, maar niet afwezig. Hierbij werd zichtbaar dat door geclaimed eigenaarschap door en verantwoordelijkheid van het team de verantwoording over onderwijs en examinering aan de roc-directie directer op de opleiding aansluit. Daarnaast bleek dat de organisatie- en sturingsvorm behorend bij 'gedeeld leiderschap' tijdens het onderzoek nog sterk in ontwikkeling is. We hebben wel het beeld dat deze manier van organiseren en verantwoordelijkheidsverdeling perspectief biedt voor oplossingen van geconstateerde tekortkomingen.

Pagina 14 van 59

Ten tweede is voor examinering en diplomering gebleken dat de systematiek onvoldoende toereikend is om de kwaliteit ervan te borgen. Het gebruikte evaluatie-instrumentarium van het Servicebureau examinering (SBE) is niet specifiek genoeg. De evaluaties die SBE namens de opleidingen uitvoert (tevredenheidsmetingen), zijn te weinig specifiek om zicht te krijgen op de betrouwbaarheid van de afname. De DEC's zullen zich daar (zelfstandig) een oordeel over moeten vormen. Daarnaast vergewissen de Domeinexamencommissies (DEC) zich onvoldoende van de kwaliteit om deze te borgen. Dit komt deels door het ontbreken van relevante informatie, deels doordat dit veelal aan het team wordt gedelegeerd, zonder dat de DEC van de resultaten op de hoogte is. Hierdoor heeft bij drie van de vijf opleidingen de DEC onvoldoende zicht op de betrouwbaarheid van afname, beoordeling en diplomering. Bij de andere twee onderzochte opleidingen is sprake van het experiment 'gedeeld leiderschap', waarbij de effecten van deze werkwijze, door andere oorzaken, niet waarneembaar zijn. Voor vavo loopt de kwaliteitsborging via dezelfde cyclus als bij de onderzochte mbo opleidingen. De kwaliteitsrapportage is aangepast aan het vavo toezichtkader en vormt input voor het teamplan, dat hier wel directe opleidingsspecifieke gegevens bevat. Resultatenanalyses worden met individuele docenten besproken, waarna verbeteracties afgesproken worden. Vanwege de onvoldoende opbrengsten van de afdeling vwo en havo van het vavo, is er sprake van risico´s. Het management heeft goed zicht op de kwaliteit van deze afdeling en op de risico’s. Er is sterk ingezet op verbetering van de schoolexamens door samen te werken met een ander roc, waardoor expertise uitwisseling en vaststelling van examens ook mogelijk worden binnen de eenpersoonssecties. 3.2

Risico’s op relevante indicatoren Bij het bepalen van de risico’s in de zin van het toezichtkader hebben we, in samenhang met de toezichthistorie, gekeken naar de kwaliteit van onderwijs en examinering, de opbrengsten, de tevredenheid van studenten, medewerkers en werkgevers, de stabiliteit van organisatie en management en de financiële continuïteit. Het onderzoek heeft geleid tot de volgende risicobepaling: Geen Enkele Veel 0

Mate van risico's

•

Kwaliteit onderwijs

Pagina 15 van 59

Het risico voor de kwaliteit van onderwijs kwalificeren we als gering tot matig. Bij twee van de vijf onderzochte opleidingen zijn tekortkomingen in het onderwijsproces geconstateerd. De aard en de context van deze tekortkomingen zijn opleidingen locatiespecifiek en geven ons geen aanleiding om te veronderstellen dat deze breder binnen de instelling spelen. Daarnaast is gebleken dat de beoordeling van de onderwijskwaliteit voldoende adequaat is gebleken om geconstateerde tekortkomingen te onderkennen. Echter gelet op de opmerkingen in het kader van de verankering willen we het risico niet geheel negeren; de kans bestaat dat mogelijke tekortkomingen onvoldoende systematisch worden omgebogen. Kwaliteit examinering Het risico voor de kwaliteit van examinering wordt als matig tot hoog ingeschat. Voornaamste oorzaak hiervoor is de constatering dat de examenkwaliteit en de borging van examenkwaliteit door de Domeinexamencommissies (DEC) tekortkomingen laat zien. Bij drie van de vijf opleidingen is de kwaliteit van examinering en diplomering onvoldoende. Het betreft tekortkomingen die betrekking hebben op de werkwijze van de DEC's en de centrale informatievoorziening van het Servicebureau examinering (SBE) daarmee verwachten we dat de examenkwaliteit bij andere opleidingen ook manco's laat zien. Opbrengsten Voor de opbrengsten op instellingsniveau wordt het risico op onvoldoende onderwijskwaliteit op geen tot gering ingeschat. De opbrengsten liggen boven het landelijk gemiddelde voor alle niveaus. Desondanks zijn er opleidingen waarvan de rendementen onder de norm liggen. Dit betreft met name opleidingen (bc-codes) in de commerciële sector (administratie en handel) en horeca sector. Het gaat om bc-codes bc049 (niveau 3), bc221 (niveau 3), bc089 (niveau 3) en bc097 (niveau 3). Uit de vergelijking tussen de rendementen van 2010-2011 en 2011-2012 blijkt dat ROC A12 in staat is een dalend dan wel onvoldoende rendement bij te sturen. De analyse van de instelling laat op dit punt al zien dat verbetermaatregelen zijn genomen. Er is daarom geen specifieke reden om het risico hoger in te schatten. We houden echter wel graag samen met de instelling de vinger aan de pols. Het percentage voortijdig schoolverlaten laat al vijf jaar een daling zien, maar ligt met 7,7 procent nog boven de eigen doelstelling en het landelijk gemiddelde.

De afdeling vwo van het vavo voldoet niet aan de inspectienormen voor

Pagina 16 van 59

de opbrengstindicatoren 'verschil CE – SE' en 'gemiddeld CE-cijfer'. Ook bij de afdeling havo ligt het 'driejaarsgemiddelde van het CE-cijfer' onder de norm. De opbrengstcijfers worden overigens ongunstig beïnvloed door de kleine aantallen eindexamenkandidaten. Daar het management dit scherp in het oog heeft en hier maatregelen voor heeft genomen, wordt het risico hier als gering gekwalificeerd. Tevredenheid studenten/medewerkers/werkgevers De risico’s naar aanleiding van tevredenheidsonderzoek onder studenten kwalificeren we als geen tot gering. Uit de JOB-enquête blijkt dat de studenten met een 6,8 tevreden zijn met hun opleiding. Daar waar studenten minder positief zijn is een relatie met de opbrengsten zichtbaar, onder ander bij de horeca opleidingen. Ten tijde van het onderzoek van de inspectie was nog geen rapportage beschikbaar van het meest recente medewerkerstevredenheidsonderzoek. ROC A12 heeft in 2012 een enquête uit onder bpv-bedrijven uitgevoerd. ROC A12 kreeg gemiddeld een 6,6. Stabiliteit organisatie en management Voor wat betreft het risico van de stabiliteit van de organisatie en management schat de inspectie in dat dit gering is. ROC A12 staat met een vernieuwde strategische visie en een organisatorische wijziging in de aansturing van de opleidingsteams, naast de ontwikkeling van de domeinbrede opleidingsplannen aan de vooravond van een complex veranderproces. Het is ons tijdens het onderzoek gebleken dat deze veranderingen met passende zorgvuldigheid en zorg in overleg met betrokkenen wordt vormgegeven. Financiën Elk jaar voeren we een financiële risicoanalyse uit voor alle bekostigde onderwijsinstellingen op basis van de meest recente jaarrekeningen. Daarbij kijken we naar drie kengetallen, liquiditeit, solvabiliteit en rentabiliteit. In de zomer van 2012 zijn alle instellingen betrokken in het onderzoek naar 'de financiële staat van het mbo'. Hierbij is gebruikgemaakt van de jaarrekening 2011 en aanvullend opgevraagde informatie over investeringsplannen voor huisvesting en derivaten. De financiële kengetallen uit deze jaarrekening en onze analyse van de aanvullende informatie gaven geen aanwijzing voor verhoogde financiële risico’s bij ROC A12. In 2013 voeren we op verzoek van de Staten-Generaal een nader onderzoek uit naar de huisvestingssituatie van mbo-instellingen. Het is mogelijk dat wij op basis van een risicoanalyse uw instelling in dit onderzoek betrekken.

Pagina 17 van 59

We komen hiermee tot de conclusie dat er betreffende de examinering een zwaarwegende tekortkoming is en er ook bij het onderwijs zorgen bestaan. Door de over het algemeen voldoende opbrengsten, de stabiliteit van de organisatie en de tevredenheid van betrokkenen is er sprake is van enkele risico's voor de onderwijskwaliteit in brede zin.

Pagina 18 van 59

4

RESULTATEN PER OPLEIDING In dit hoofdstuk vermelden we per opleiding de oordelen over de vijf kwaliteitsgebieden. Tevens geven we per opleiding een beschouwing.

4.1

Schoonheidsspecialist Het kwaliteitsonderzoek bij Schoonheidsspecialist, 91190, niveau 3, locatie Ede heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2

Examinering en diplomering

3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5


• • • • Voldoet Voldoet niet

•

Naleving wettelijke vereisten

De kwaliteitsgebieden kwaliteitsborging en naleving wettelijke vereisten zijn niet voldoende. Hierdoor vindt vervolgtoezicht plaats vanwege niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging en schoolkosten. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de vijf kwaliteitsgebieden weer. In bijlage IV is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.2

Maatwerk

• •

Leren in de onderwijsinstelling 1.3

Didactisch handelen*

1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7

Studieloopbaanbegeleiding*

1.8

Zorg

• • •

Leren in de beroepspraktijk 1.9

Beroepspraktijkvorming*

•

Pagina 19 van 59

Gebied 2: Examinering en diplomering 2.1

Exameninstrumentarium*

2.2

Afname en beoordeling*

2.3

Diplomering*

Gebied 3: Opbrengsten 3.1

Rendement

Gebied 4: Kwaliteitsborging 4.1

Sturing *

4.2

Beoordeling *

4.3


4.4


Gebied 5: Naleving wettelijke vereisten 5.1


• • • Voldoende Onvoldoende

• Voldoende Onvoldoende


•



Beschouwing Algemeen Het onderwijsproces kenmerkt zich door een gestructureerde en professionele leeromgeving. Het onderwijs wordt door een klein, bevlogen team in een prettige en productieve sfeer verzorgd. Verbeterpunten zijn maatwerk en een gedeelde visie op het didactisch handelen. Binnen het experiment 'gedeeld leiderschap' nemen teamleden hun verantwoordelijkheid als het gaat om kwaliteitsverbetering van de opleiding, de examinering en het eigen functioneren. De gebieden onderwijsproces, examinering en diplomering en opbrengsten zijn hierdoor van voldoende kwaliteit. Deze kwaliteit is echter nog niet voldoende geborgd. Onderwijsproces De kwaliteit van het onderwijsproces is voldoende. Het gestructureerde en door leertaken gestuurde opleidingsprogramma bereidt studenten goed voor op de examens en de beroepspraktijk. De verbinding tussen intake, studieloopbaanbegeleiding en zorg en de hieraan gekoppelde proactieve begeleiding leiden tot een laag uitvalpercentage. Door de korte lijnen in het kleine team worden signalen snel doorgegeven, waarna de studieloopbaanbegeleider onmiddellijk actie onderneemt. Wat beter kan is het tijdig verstrekken van informatie over de inhoud van het portfolio, zodat

Pagina 20 van 59

eerstejaars studenten direct op de hoogte zijn van alle documenten die hierin gedurende de hele opleiding opgenomen moeten worden. Ook in het didactisch handelen van docenten zien wij dat hun begeleiding en feedback effectief gericht zijn op het leerproces van de studenten. In de geobserveerde lessen hebben wij goede voorbeelden van interactie gezien tussen de docent en individuele studenten. Verbeterpunten zijn de interactie tussen studenten onderling en een eenduidige aanpak in het aangeven van doel en structuur van de les. Wij zijn niet positief over het maatwerk. De beroepsgerichte vakken worden uitsluitend door middel van een standaard programma aangeboden. Er zijn geen verschillende programma’s voor studenten. Hoewel studenten leertaken in de beroepspraktijkvorming eerder kunnen afsluiten, leidt dit niet tot de mogelijkheden voor studenten om te verdiepen of te verrijken. Examinering en diplomering De kwaliteit van examinering en diplomering is voldoende. Het exameninstrumentarium voldoet aan de basiskwaliteit. Het kwalificatiedossier wordt volledig gedekt door de proeve de richtlijnen voor de beoordelaar zijn helder beschreven. Voor alle betrokkenen is duidelijk wat er van hen verwacht wordt. Voor Nederlands is de dekking van het examenmateriaal onvoldoende voor Spreken en Gesprekken voeren. Gesprekken voeren wordt geïntegreerd getoetst tijdens de proeve van bekwaamheid. Er is weliswaar een koppeling gemaakt naar de kenmerken van taakuitvoering uit het referentiekader, maar deze zijn nog niet terug te vinden in de beoordelingscriteria van de proeve. Spreken wordt niet kwalificerend getoetst, maar slechts formatief als onderdeel van Loopbaan en Burgerschap. De waardering voor talen weegt overigens nu nog niet mee in het oordeel over het exameninstrumentarium. Afname en beoordeling zijn deugdelijk en verlopen zoals beoogd. Er is daardoor sprake van een betrouwbare beoordeling. De gesimuleerde beroepspraktijk op school garandeert een realistische context die overeenkomt met het toekomstige beroep, met gelijke afnamecondities voor elke student. Om een onafhankelijke beoordeling te bevorderen wordt de beoordeling door drie assessoren gedaan. Voor de borging van de kwaliteit van de afname en beoordeling baseert de Domeinexamencommissie (DEC) zich op resultatenanalyses van tevredenheidevaluaties van studenten en beoordelaars en op het nauwkeurig beschreven waargenomen gedrag op het beoordelingsformulier van de proeve.

Pagina 21 van 59

Vaststelling van de resultaten gebeurt door het opleidingsteam onder verantwoordelijkheid van de teamcoördinator, waarna de DEC de diplomabeslissing neemt. Hierdoor heeft de DEC indirect maar niet zelfstandig zicht op de besluitvorming betreffende de diplomering. Opbrengsten De opbrengsten zijn met een jaarresultaat van 71,4 procent en een diplomaresultaat van 45,5 procent voldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2011-2012 zijn de resultaten van de bc-code bc189, niveau 3 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De kwaliteitsborging is als onvoldoende beoordeeld. Door de domeinbrede aanpak herkent het opleidingsteam zich niet in het teamplan en de daaraan ten grondslag liggende kwaliteitsrapportages. Bovendien heeft het team een ander beeld bij kwaliteitsborging en is de relatie die het teamplan heeft met roc-brede strategische doelen onbekend. Daarnaast vloeit het teamplan in hoofdzaak voort uit de evaluatieve kwaliteitsrapportage, is onvoldoende smart geformuleerd en is, ondanks de beschikbare sturingsinformatie, nauwelijks opleidingsspecifiek. Wij zien als mogelijke oorzaak hiervan dat voor deze opleiding voor het gedeeld leiderschap nog geen sturingssystematiek uitgekristalliseerd is. De verbetering en verankering beoordelen wij als onvoldoende. De borging van kwaliteit op opleidingsniveau is nog sterk impliciet; de systematische verankering van de kwaliteit van de opleiding is nog onvoldoende. Met name de verantwoording over kwaliteit en borging van verbetermaatregelen zijn onvoldoende expliciet en opleidingsspecifiek verankerd. Positief zijn wij over de verbeteraanpak en de deskundigheidsbevordering. Ondanks dat er geen sprake is van een samenhangend verbeterplan, is er wel sprake van effectieve verbetermaatregelen die passen bij de geconstateerde tekorten en bij het organisatieniveau. Ook zijn wij positief over de beoordeling. De onderwijskwaliteit wordt systematisch geëvalueerd aan de hand van vooraf opgestelde kwaliteitscriteria en er wordt een evaluatieve kwaliteitsrapportage op teamniveau opgesteld. Het opleidingsteam vertaalt de evaluatieve gegevens vervolgens naar de eigen opleiding. Een aandachtspunt hierbij is dat er hiervan geen schriftelijke weerslag voorhanden is, waardoor de beoordeling van de opleiding en daarmee ook de verbeteraanpak, meer gestructureerd zou kunnen verlopen. Dit benadrukt het impliciete karakter van de kwaliteitsborging.

Pagina 22 van 59

Desondanks zijn gunstige effecten zichtbaar betreffende onderwijstijd en opbrengsten. Daarnaast kan de opleiding profiteren van de interne auditsystematiek die objectief, betrouwbaar en valide is opgezet, waardoor sprake is van betrokkenheid van onafhankelijke deskundigen. Wettelijke vereisten De opleiding voldoet niet aan de onderzochte wettelijke eisen. Schoolkosten De opleiding voldoet niet aan de eisen gesteld in artikel 8.1.4 van de WEB. Naast het lesgeld en boekenpakket worden er kosten voor onder andere een uniform en werkpakket van 850 euro in rekening gebracht. Deze kosten worden ten onrechte als verplicht in rekening gebracht.

4.2

Ondernemer detailhandel/Manager handel (Filiaalmanager) Het kwaliteitsonderzoek bij Ondernemer detailhandel, 90290 / Manager handel (Filiaalmanager), 93492, niveau 4, locatie Velp heeft geleid tot de volgende oordelen: Kwaliteitsgebied 2


3

Opbrengsten


• •

De kwaliteitsgebieden onderwijsproces, examinering en diplomering, opbrengsten en kwaliteitsborging zijn niet voldoende. Hierdoor vindt vervolgtoezicht plaats vanwege zeer zwak onderwijs, onvoldoende examenkwaliteit en het niet naleven van de wettelijke vereisten op het gebied van kwaliteitsborging. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de vijf kwaliteitsgebieden weer. In bijlage IV is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Programma Leren in de onderwijsinstelling Begeleiding Leren in de beroepspraktijk

Pagina 23 van 59



2.2


2.3

Diplomering*




•

Rendement


Beschouwing Algemeen De opleiding kenmerkt zich door een betrokken, praktisch opererend team. Er is sprake van een goede samenwerking met het netwerk van Arnhemse ondernemers. Niettemin is het onderwijsproces als onvoldoende beoordeeld en zijn de opbrengsten onvoldoende. Ondanks de grote inzet, komt het team namelijk onvoldoende tegemoet aan de initiële wens van de studenten: het behalen van het diploma Ondernemer detailhandel. Dit wordt voornamelijk veroorzaakt door de inrichting van het onderwijs, waarbij onvoldoende nadruk wordt gelegd op de kern van de opleiding, het ‘ondernemerschap’. De deelnemers behalen vervolgens het diploma van de opleiding Manager handel (Filiaalmanager). Daarom is voor het onderwijsproces de opleiding Ondernemer detailhandel onderzocht en is voor examinering en diplomering het exameninstrumentarium voor Manager handel (Filiaalmanager) onderzocht. Verder borgt het kwaliteitszorgsysteem de kwaliteit van het onderwijs en de examinering nog onvoldoende. Onderwijsproces De kwaliteit van het onderwijsproces is onvoldoende vanwege drie zaken die tekort schieten, te weten samenhang, maatwerk en studieloopbaanbegeleiding. Daarnaast is er ook een aandachtspunt voor het didactisch handelen. Desondanks zijn wij van mening dat studenten weliswaar onderwijs en begeleiding ontvangen, maar dat zij niet gericht worden opgeleid voor het diploma van de opleiding, waar zij zich in eerste instantie voor hebben aangemeld. Bij de samenhang van de opleiding doen zich problemen voor bij de programmering. Op zich is de inhoud van het lesprogramma voldoende afgestemd op het kwalificatiedossier. Voor de opzet van de opleiding heeft de afdeling ervoor gekozen de inhoud van de kwalificatiedossiers van de opleidingen Verkoopspecialist detailhandel (niveau 3), Filiaalmanager (niveau 4)

Pagina 24 van 59

en Ondernemer detailhandel (niveau 4) te integreren. De onderwijsactiviteiten vormen inhoudelijk en didactisch een logisch geheel, dat mogelijk gemaakt wordt door de overlap tussen de verschillende kwalificatiedossiers. Echter het gevolg van het op deze manier inrichten van het onderwijs is dat tegelijkertijd een zogenaamde ‘beperking’ voor ondernemerschap ontstaat. De programmering is hierdoor onvoldoende. Vooral in het eerste en in een deel van het tweede leerjaar van de opleiding ligt het accent van de lesinhoud op de niveau 3 opleiding, Verkoopspecialist detailhandel. De nadruk van het onderwijsprogramma in deze leerjaren is mede daardoor ook te weinig gericht op het ontwikkelen en stimuleren van ondernemersvaardigheden. De afstemming tussen theorie en praktijk blijft hierbij tevens onderbelicht. Pas in het hogere leerjaar komen de onderdelen die erg essentieel zijn voor het voltooien van de opleiding Ondernemer detailhandel, nadrukkelijk aan bod. Dit betreft met name kerntaak 1. Tijdens de eerste leerjaren raken de studenten hierdoor weinig gemotiveerd voor ondernemerschap. Daarnaast ervaren zij de werkdruk in het derde jaar als zwaarder dan de overige jaren. In dit licht valt ook de interactie met studenten op. Het didactisch handelen kenmerkt zich door veel traditionele klassikale lessen, door duidelijk betrokken docenten en voldoende ruimte voor vragen, maar de interactie met studenten verdient versterking. Door gebrek aan interactie worden studenten minder uitgedaagd, en komt de overdracht en ontwikkeling van kennis, maar met name houding en vaardigheden onvoldoende tot uiting. Voor een opleiding voor ondernemers in spé, hebben wij nog te weinig waargenomen dat studenten gericht gecoacht worden en gemotiveerd worden om zich ondernemersvaardigheden eigen te maken. Daarnaast is het maatwerk onvoldoende. Het onderwijs differentieert op belangrijke onderdelen niet naar mogelijkheden en behoeften van individuele studenten. Met name bij de beroepsgerichte vakonderdelen worden verschillen in mogelijkheden van studenten niet gehonoreerd in de vorm van een structureel aanbod van een ander programma en/of begeleiding. Tijdens de intake is hier wel aandacht voor, maar de realisatie ervan blijft achterwege. Wel is het zo dat studenten een doorstroomprogramma naar het hbo aangeboden krijgen en hier ook gebruik van maken. In het verlengde van het bovenstaande, zien we ook op het gebied van de informatievoorziening aan studenten - als onderdeel van de studieloopbaanbegeleiding - een tekortkoming. Studenten blijken oppervlakkig te zijn geïnformeerd over de opbouw van de opleiding en het bijbehorende beroepsperspectief. Het team geeft aan in de eerste leerjaren wel kleine

Pagina 25 van 59

projecten met op ondernemen gerichte activiteiten aan te bieden, maar deze worden niet als zodanig door studenten ervaren. Daarbij komt dat studenten in het huidige derde leerjaar nog steeds de verwachting hebben als ondernemer af te studeren, terwijl het team reeds heeft vastgesteld dat dit niet het geval zal zijn. Desondanks hebben we wel gezien dat het team zich sinds dit jaar wel inspant om een betere spreiding van de lesinhoud over de leerjaren heen aan te brengen. Zo biedt zij onder andere de theorieonderdelen die als moeilijk worden ervaren reeds in eerdere leerjaren aan. Daarnaast kunnen studenten al in het tweede leerjaar starten met een minionderneming, het ‘College company project’. Examinering en diplomering De kwaliteit van examinering en diplomering is als slecht is beoordeeld. Zowel het exameninstrumentarium, de afname en beoordeling en de verantwoordelijkheid van de examencommissie voldoen niet aan de vereisten. Het onderzochte exameninstrumentarium betreft de uitstroom Filiaalmanager, omdat er afgelopen jaren op deze locatie geen studenten op Ondernemer detailhandel zijn uitgestroomd. Voor de beroepsgerichte vakken maakt het team gebruik van examenmateriaal, ingekocht bij KCHandel. Dit materiaal is op een eerder moment door de inspectie beoordeeld, en voldoende bevonden. Maar het team heeft de examinering van kerntaak 1 zelf ontwikkeld. Dit instrument is echter intern niet vastgesteld en de kwaliteit ervan is onvoldoende. Het team kan niet aantonen dat de opdrachten de werkprocessen volledig dekken. Aan de hand van de beoordelingsaspecten is ook niet herleidbaar of alle werkprocessen voor deze kerntaak ook in het instrument zijn opgenomen. Daarnaast ontbreekt de cesuur en is het beoordelingsvoorschrift onvolledig. De toe te kennen punten zijn niet uitgewerkt en een scoretabel ontbreekt. Tot slot blijkt dat met de examinering van deze kerntaak reeds gedurende het tweede leerjaar wordt aangevangen. De resultaten lieten hierbij niet het niveau van een niveau 4 student zien, zo geeft een docent desgevraagd aan. Wij vinden dit niet verwonderlijk: studenten hebben in het tweede leerjaar immers nog niet het vereiste niveau bereikt. Bij afname en beoordeling is wel sprake van authentieke afname, maar schiet de betrouwbaarheid tekort. De examendossiers laten niet eenduidig zien dat examens zijn afgenomen en beoordeeld zoals beoogd. In de dossiers ontbreken beoordelingen van observaties en een toelichting daarop. Tevens is er geen zicht op het soort opdracht waaraan in de praktijk is gewerkt en de complexiteit

Pagina 26 van 59

ervan. Dit geldt ook voor de beoordelingen van de evaluatie gesprekken (CGI) en hoe deze zijn uitgevoerd. Tot slot constateren we dat de Domeinexamencommissie (DEC) weinig zicht heeft op het examenmateriaal en op de uitvoering van de examinering. Zoals eerder genoemd, is gebleken dat de opdrachten van kerntaak 1 intern niet zijn vastgesteld. Dit, en de door ons geconstateerde bevindingen over de afname en beoordeling, waren niet bij de DEC bekend. Onze conclusie is dat de DEC zich onvoldoende frequent en grondig vergewist van de inhoud van examendossiers en de uitvoering van de examinering. We zien wel dat veel operationele taken aan de sterrolhouder examinering worden toevertrouwd, maar er is geen gedegen systematiek waarmee de DEC het examenproces en het besluit tot diplomeren borgt. Opbrengsten De opbrengsten zijn met een jaarresultaat van 35,3 procent en een diplomaresultaat van 46,2 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2011-2012 zijn de resultaten van de bc-code bc151, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. De opbrengsten zijn met een jaarresultaat van 57,7 procent en een diplomaresultaat van 58,7 procent onvoldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2010-2011 zijn de resultaten van de bc-code bc109, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De kwaliteitsborging is als onvoldoende beoordeeld. Er is sprake van kwaliteitsbewustzijn in het opleidingsteam en de aansturing van de opleiding. De borging van kwaliteit op opleidingsniveau is echter nog sterk impliciet; de systematische verankering van de kwaliteit van de opleiding is nog niet voldoende. Met name de verantwoording over kwaliteit en borging van verbetermaatregelen zijn onvoldoende expliciet en opleidingsspecifiek verankerd. De instellingsbrede en de domeinspecifieke plannen zijn in voldoende mate kaderstellend, maar de doorvertaling daarvan naar het teamplan geschiedt vervolgens echter onvoldoende zichtbaar. Het teamplan vloeit in hoofdzaak voort uit de evaluatieve kwaliteitsrapportage, maar is onvoldoende smart geformuleerd en is, ondanks de beschikbare sturingsinformatie, nauwelijks opleidingsspecifiek.

Pagina 27 van 59

Wel is gebleken dat de beoordeling voldoet omdat de onderwijskwaliteit systematisch wordt geëvalueerd aan de hand van vooraf opgestelde kwaliteitscriteria. Het opleidingsteam vertaalt de evaluatieve gegevens naar de eigen opleiding. Analyses hiervan worden omgezet in verbetermaatregelen die passend zijn bij geconstateerde tekortkomingen. Een aandachtspunt hierbij is dat hiervan geen schriftelijke weerslag voorhanden is, waardoor de beoordeling van de opleiding en daarmee ook de verbeteraanpak, meer gestructureerd zou kunnen verlopen. Dit benadrukt het impliciete karakter van de kwaliteitsborging. Daarnaast kan de opleiding profiteren van de interne auditsystematiek die objectief, valide en betrouwbaar is opgezet, waardoor sprake is van betrokkenheid van onafhankelijke deskundigen. Ook de interne dialoog is op orde; voor zowel studenten als medewerkers is er een goed werkende dialoog. De externe dialoog is waardevol; de opleiding heeft frequent contact met het netwerk van Arnhemse ondernemers dat nauw betrokken is bij de opleiding. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen. Onderwijstijd Over het onderzoek naar de programmering en realisatie van de onderwijstijd bent u separaat per brief geïnformeerd. Schoolkosten De schoolkosten voldoen aan de vereisten. Deze zijn niet voorwaardelijk, of onderdeel van de onderwijsovereenkomst. Een overzicht van kosten toont het onderscheid tussen vrijwillige kosten en verplichte kosten duidelijk aan.

4.3

Onderwijsassistent Het kwaliteitsonderzoek bij Onderwijsassistent, 93500, niveau 4, locatie Velp heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging


• • • •

Pagina 28 van 59

Kwaliteitsgebied 5

Voldoet Voldoet niet

•


De kwaliteitsgebieden onderwijsproces, examinering en diplomering en kwaliteitsborging zijn niet voldoende. Hierdoor vindt aangepast toezicht plaats vanwege zwak onderwijs, onvoldoende examenkwaliteit en het niet naleven van de wettelijke vereisten op het gebied van kwaliteitsborging. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de vijf kwaliteitsgebieden weer. In bijlage IV is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •





2.2


2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4





• • • •

Pagina 29 van 59



Voldoet Voldoet niet

•


Beschouwing Algemeen De opleiding Onderwijsassistent is een niveau 4 opleiding die door ROC A12 is vormgegeven als een driejarig traject. Het algemene beeld is een opleidingsteam dat hard werkt, maar waarin het samenspel en de sturing beter kan. De docenten voelen zich meer uitvoerder en minder eigenaar van de opleiding. Het onderwijsprogramma is in ontwikkeling en daarvoor ligt de regie hoofdzakelijk bij het domein. Door een inadequate vormgeving van de studieloopbaanbegeleiding is het onderwijsproces echter onvoldoende. Bij de examinering en diplomering neemt de Domeinexamencommissie onvoldoende zelf haar verantwoordelijkheid. Het gebrek aan samenspel en sturing op opleidingsniveau vertaalt zich eveneens in een onvoldoende kwaliteitsborging op opleidingsniveau. Onderwijsproces De kwaliteit van het onderwijsproces is onvoldoende, omdat de studieloopbaanbegeleiding te kort schiet. De individuele begeleiding bij de studievoortgangbegeleiding van de student vindt plaats aan het eind van elke onderwijsperiode. De resultaten van die onderwijsperiode zijn dan echter nog niet bekend. Die resultaten worden klassikaal teruggekoppeld in de eerste weken van de volgende periode. Daarmee wordt er niet tijdig bijgestuurd op de studievoortgang van individuele studenten. Een aandachtspunt is de informatievoorziening aan de eerstejaars. Zij krijgen nu geen integraal studieprogramma uitgereikt. Daarmee beschikken ze niet tijdig over relevante informatie betreffende hun opleiding. Voor de tweede- en derdejaars is dit wel het geval. Het onderwijsprogramma sluit in voldoende mate aan bij het kwalificatiedossier. Ook de uitvoering van het programma inclusief het didactisch handelen voldoet aan de minimumeisen. Een aandachtspunt is dat tijdens het onderzoek evenwel duidelijk werd dat het zicht en de betrokkenheid op de momenteel doorgevoerde vernieuwingen in het onderwijs niet voor iedereen binnen het opleidingsteam even duidelijk zijn. Dat de regie voor de vernieuwing in belangrijke mate elders ligt, onderstreept dit beeld. Het opleidingsteam geeft naar eigen zeggen vooral uitvoering aan het

Pagina 30 van 59

programma en voelt zich in mindere mate eigenaar. Hierop vindt momenteel onvoldoende sturing plaats. Examinering en diplomering De kwaliteit van examinering en diplomering is onvoldoende, omdat de diplomering niet aan de vereisten voldoet. De Domeinexamencommissie (DEC) geeft onvoldoende invulling aan haar verantwoordelijkheid. De diplomering is gedelegeerd aan het opleidingsteam en de examenencommissie vertrouwt daarbij op de accuratesse van het team. Slechts in formele zin en in sommige gevallen achteraf, worden de diploma’s door de examencommissie vastgesteld. Daardoor kan het voorkomen dat de student het diploma al ontvangen heeft, zonder dat een besluit tot diplomering is genomen. De DEC vergewist zich ook niet van de volledigheid van de examendossiers. Tijdens het onderzoek bleek dat er in de dossiers het nodige ontbrak: in enkele gevallen ontbrak een deel van de proeves van bekwaamheid, vaker ontbraken de resultaten voor Nederlands en Engels. Voorts blijft de DEC in gebreke bij het beoordelen van de objectiviteit en betrouwbaarheid van de beoordeling tijdens de examinering. Er wordt hiervoor gebruikgemaakt van enquêtegegevens. Het feit dat ROC A12 gestandaardiseerde enquêtes uitzet bij studenten en examinatoren na afloop van het examen is overigens positief, maar de resultaten van de enquête zijn onvoldoende toereikend om de objectiviteit en betrouwbaarheid van de beoordeling te kunnen waarborgen. Ook beoordeelt de commissie in onvoldoende mate de deskundigheid van de examinatoren uit de praktijk. Het argument dat het geaccrediteerde leerbedrijven zijn, is daarbij niet valide. Daarnaast worden waarderende onderzoeken gehouden. De resultaten van deze onderzoek leveren in potentie nuttige verbetermogelijkheden op, maar het is onvoldoende inzichtelijk welke conclusies en vervolgacties de examencommissie aan deze bevindingen verbonden heeft. Hierdoor heeft de examencommissie onvoldoende zicht op de examinering en wordt de kwaliteit van examinering onvoldoende geborgd. Het exameninstrumentarium voor het beroepsgerichte deel is overigens wel als voldoende beoordeeld. De vormgeving van de opdrachten is passend voor beroepsvereisten uit het kwalificatiedossier. De uitvoering vindt hoofdzakelijk in de beroepspraktijk plaats met een adequaat beoordelingsprotocol en examinatoren uit de praktijk en van het roc. Voor Nederlands is de dekking van het examenmateriaal onvoldoende voor spreken. Dat wordt niet getoetst. Engels wordt helemaal niet getoetst. Daarmee

Pagina 31 van 59

wordt op ondeugdelijke gronden geëxamineerd. De waardering voor talen weegt overigens nu nog niet mee in het oordeel over het exameninstrumentarium. Opbrengsten De opbrengsten zijn met een jaarresultaat van 80,7 procent en een diplomaresultaat van 83,9 procent voldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2011-2012 zijn de resultaten van de bc-code bc154, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De kwaliteitsborging is als slecht beoordeeld. De kwaliteitsborging op opleidingsniveau krijgt op meerdere momenten van de cyclus in onvoldoende mate vorm. De instellingsbrede en de domeinspecifieke plannen zijn weliswaar in voldoende mate kaderstellend, maar de doorvertaling daarvan naar het teamplan is vervolgens echter onvoldoende zichtbaar. Het teamplan, dat bij het team weinig leeft, vloeit in hoofdzaak voort uit de evaluatieve kwaliteitsrapportage, kan smarter geformuleerd worden en is ondanks sturingsinformatie op opleidingsniveau nauwelijks opleidingsspecifiek. Ten behoeve van de beoordeling van de kwaliteit van de opleiding wordt er door de instelling in voldoende mate gemonitord, maar is de evaluatie niet toereikend. Hierdoor is de beoordeling onvoldoende. Het opleidingsteam vertaalt de monitoringsgegevens onvoldoende naar de eigen opleiding; de beoordeling geschiedt vooral impliciet. Daarmee is vervolgens onvoldoende sprake van gefundeerde beoordeling van de eigen onderwijskwaliteit. Er is geen schriftelijke weerslag voorhanden waardoor de beoordeling van de opleiding en daarmee ook de verbeteraanpak meer gestructureerd zou kunnen verlopen. Met name de verantwoording over kwaliteit en borging van verbetermaatregelen zijn onvoldoende expliciet en opleidingsspecifiek verankerd. Daarnaast kan de opleiding wel profiteren van de interne auditsystematiek die objectief, betrouwbaar en valide is opgezet, waardoor sprake is van betrokkenheid van onafhankelijke deskundigen. De deskundigheidsbevordering is op orde. Dat betreft eveneens de interne en externe dialoog. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen.

Pagina 32 van 59

Onderwijstijd Over het onderzoek naar de programmering en realisatie van de onderwijstijd bent u separaat per brief geïnformeerd. Schoolkosten De schoolkosten voldoen aan de vereisten. Deze zijn niet voorwaardelijk, of onderdeel van de onderwijsovereenkomst. Een overzicht van kosten toont het onderscheid tussen vrijwillige kosten en verplichte kosten duidelijk aan.

Pagina 33 van 59

4.4

Installeren (Eerste monteur elektrotechnische installaties) Het kwaliteitsonderzoek bij Installeren (Eerste monteur elektrotechnische installaties), 94281, niveau 3, locatie Ede heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5



•


De kwaliteitsgebieden examinering en diplomering en kwaliteitsborging zijn niet voldoende. Hierdoor vindt aangepast toezicht plaats vanwege onvoldoende examenkwaliteit en het niet naleven van de wettelijke vereisten op het gebied van kwaliteitsborging. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de vijf kwaliteitsgebieden weer. In bijlage IV is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •






•

Pagina 34 van 59



2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4





• • Voldoende Onvoldoende



•


Beschouwing Algemeen De opleiding Eerste monteur elektrotechnische installaties is een niveau 3 bblopleiding die door ROC A12 is vormgegeven als een tweejarig traject. Kenmerk daarbij is dat het kleine team flexibel inspeelt op de faseverschillen binnen de groep studenten. Het exameninstrumentarium voldoet daarentegen niet en de kwaliteitszorg is op het niveau van de opleiding onvoldoende vormgegeven. Onderwijsproces De kwaliteit van het onderwijsproces is voldoende. De inhoud van het onderwijsprogramma is afgestemd op het kwalificatiedossier en een regioprofiel van elektrotechnische bedrijven in de regio van de instelling. Hierdoor kan de opleiding een adequate afstemming vormgeven tussen school- en praktijkleren. Positief punt is dat het team zich vergewist van de nieuwste technische ontwikkelingen en deze steeds in het programma verwerkt. Het programma blijft daarmee actueel en sluit aan op de beroepspraktijk. Het programma is voldoende flexibel opgezet om in te spelen op de twee leerjaren en verschillen (in studievoortgang) tussen de studenten in de klas. De docenten hebben goed zicht op de studievoortgang. Ze houden in één overzicht voor elke student bij welke onderdelen zijn afgesloten of wat er nog openstaat. De begeleiding geschiedt tijdens de practicumuren. Aandachtspunt voor de opleiding is het ontbreken van een expliciet moment voor studieloopbaanbegeleiding. Dit is een zorgpunt voor de effectiviteit van de begeleiding.

Pagina 35 van 59

Examinering en diplomering De kwaliteit van examinering en diplomering is als slecht beoordeeld. Zowel het exameninstrumentarium, de afname en beoordeling en de verantwoordelijkheid van de examencommissie voldoen niet aan de vereisten. Het exameninstrumentarium voor het beroepsgerichte deel is over vrijwel de gehele breedte als onvoldoende beoordeeld. Tijdens het onderzoek bleek dat de instelling in een vergevorderd stadium is om het instrument te vernieuwen. Doordat voor bpv en proeve van bekwaamheid dezelfde opdrachten worden gebruikt is er geen onderscheid tussen ontwikkelgerichte toetsing en examinering. Het instrument stamt uit 1997 en toetst eindtermen. De dekking van het kwalificatiedossier is niet vast te stellen. De beoordelingswijze is door het ontbreken van een helder beoordelingsvoorschrift niet voldoende. Bij het overzetten van de beoordelingen van eindtermen naar werkprocessen en kerntaken blijkt dat diverse eindtermen tot meerdere werkprocessen behoren. Hierdoor wordt de dekking en cesuur onduidelijk en is onvoldoende. De studenten konden weinig toelichting geven op toetsing en examinering en meldden tevens dat het materiaal en het aantal opdrachten tussentijds waren veranderd. Dat een eindgesprek onderdeel uitmaakte van de examinering wist nog geen van de studenten. Daarnaast is de objectiviteit van de beoordeling onvoldoende. Dit komt omdat de opdrachten samenvallen met de bpvopdrachten en de bpv-begeleider tevens examinator is. Daarbij komt ook dat er tijdens de uitvoering geen bijwoning (of anderszins) vanuit school plaatsvindt. Wel is sprake van een authentieke afname. Nederlands en Rekenen worden niet getoetst. De diplomering geschiedt om die reden op ondeugdelijke gronden. De Domeinexamencommissie (DEC) heeft geen vaststellingsverslag van het examenproduct. De DEC toetst zelf niet, ook niet per steekproef, of het examendossier volledig is. Men vertrouwt hierbij op de opleiding. De DEC vergewist zich niet van de betrouwbaarheid van de afname en de deskundigheid van de beoordelaars tijdens de examinering. Positief is dat ROC A12 gestandaardiseerde enquêtes uitzet bij studenten en examinatoren na afloop van het examen. Het servicebureau examinering rapporteert aan de opleidingen en hun respectievelijke domeinexamencommissies over de resultaten. Wel wordt de bruikbaarheid van de resultaten door de examencommissies gerelativeerd, omdat de geënquêteerden doorgaans tevreden zijn.

Pagina 36 van 59

Opbrengsten De opbrengsten zijn met een jaarresultaat van 76,5 procent en een diplomaresultaat van 100 procent voldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2011-2012 zijn de resultaten van de bc-code bc083, niveau 3 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De kwaliteitsborging is als onvoldoende beoordeeld. Binnen het opleidingsteam en de aansturing is sprake van kwaliteitsbewustzijn voor de opleiding. De borging van kwaliteit op opleidingsniveau is echter nog sterk impliciet; de systematische verankering van de kwaliteit van de opleiding is nog niet voldoende. Met name de verantwoording over kwaliteit en de borging van verbetermaatregelen zijn onvoldoende expliciet en opleidingsspecifiek verankerd. De instellingsbrede en de domeinspecifieke plannen zijn in voldoende mate kaderstellend. De doorvertaling daarvan naar het teamplan is vervolgens echter onvoldoende zichtbaar. Het teamplan volgt in hoofdzaak uit de evaluatieve kwaliteitsrapportage, kan smarter geformuleerd worden en is ondanks de beschikbare sturingsinformatie op opleidingsniveau nauwelijks opleidingsspecifiek. Ten behoeve van de beoordeling van de kwaliteit van de opleiding wordt er door de instelling in voldoende mate gemonitord en een evaluatieve kwaliteitsrapportage op teamniveau opgesteld. Het opleidingsteam vertaalt de evaluatieve gegevens vervolgens naar de eigen opleiding. Een aandachtspunt hierbij is dat hiervan geen schriftelijke weerslag voorhanden is, waardoor de beoordeling van de opleiding en daarmee ook de verbeteraanpak, meer gestructureerd zou kunnen verlopen. Dit benadrukt het impliciete karakter van de kwaliteitsborging. Daarnaast kan de opleiding profiteren van de interne auditsystematiek die objectief, betrouwbaar en valide is opgezet. De deskundigheidsbevordering is voldoende. Dit geldt eveneens voor de interne en externe dialoog. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen.

Pagina 37 van 59

Schoolkosten De schoolkosten voldoen aan de vereisten. Deze zijn niet voorwaardelijk, of onderdeel van de onderwijsovereenkomst. Een overzicht van kosten toont het onderscheid tussen vrijwillige kosten en verplichte kosten duidelijk aan.

4.5

Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) Het kwaliteitsonderzoek bij Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081, niveau 2, locatie Ede heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5



•


Het kwaliteitsgebied kwaliteitsborging is niet voldoende. Hierdoor vindt vervolgtoezicht plaats vanwege niet naleving van de wettelijke vereisten op het gebied van kwaliteitsborging. Oordeel per aspect Hieronder geven we het oordeel over de aspecten van de vijf kwaliteitsgebieden weer. In bijlage IV is de beoordeling van de onderliggende indicatoren van de betreffende aspecten per kwaliteitsgebied opgenomen. Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •

Pagina 38 van 59

Gebied 1: Onderwijsproces






2.2


2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4








•


Beschouwing Algemeen De opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden) is een opleiding die in 2010 is gestart op initiatief van Defensie in samenwerking met zeven roc’s. Inmiddels wordt deze opleiding aangeboden op 30 roc’s. Omdat Defensie tevens de beoogde werkgever is van de gediplomeerde studenten, wordt het aantal in te schrijven studenten bepaald door Defensie in overleg met de betrokken instellingen. Deze plaatsingsmogelijkheid wordt verhoogt met een surplus van ca. 30 procent waarmee de te verwachten uitval wordt ondervangen. De lessen voor het beroepsgerichte deel van deze opleiding worden verzorgd door instructeurs van Defensie, en het examen wordt afgenomen op terreinen van Defensie. De opleiding is daarmee op verschillende manieren verankerd met Defensie en andere roc's. Binnen het experiment 'gedeeld leiderschap' nemen teamleden hun verantwoordelijkheid als het gaat om kwaliteitsverbetering van de opleiding, de examinering en het eigen functioneren. Deze kwaliteit is echter nog niet voldoende geborgd.

Pagina 39 van 59

Onderwijsproces De kwaliteit van het onderwijsproces is goed. Het programma is samenhangend ingericht en de beroepsgerichte lessen zijn opvallend helder georganiseerd en ingericht. Deze lessen worden gegeven door betrokken instructeurs van Defensie waarmee de beroepspraktijk ook op een duidelijke manier geïntegreerd wordt in het onderwijsleerproces. De gesproken studenten waren erg te spreken over deze duidelijkheid. De lessen, waaronder de bpv, zijn opgedeeld in leseenheden van tien weken die afgesloten worden met een beoordeling. Hierdoor wordt ook de voortgang van de student inzichtelijk. Alle studenten volgen hetzelfde programma. Dit past binnen de context van de opleiding en het beroep, waarin groepswerk en samenwerking een centrale rol innemen en studenten nog niet beschikken over relevante voorkennis of ervaring. Maatwerk is hierdoor niet opportuun en is daarom niet als onvoldoende beoordeeld. Studenten kunnen wel, indien nodig, op individueel niveau op extra ondersteuning rekenen. De lessen worden op stimulerende wijze gegeven, zijn goed voorbereid en duidelijk voor de studenten. Uit de gesprekken met de studenten komt dit in positieve zin naar voren. Theorie wordt aansluitend in de praktijk geoefend. In een sfeer van aandacht en respect voor elkaar is de benutting van de onderwijstijd optimaal. Bij de intake wordt, naast de begrensde plaatsingsmogelijkheid, duidelijk rekening gehouden met de geschiktheid van de aankomende student voor zowel de opleiding als het beroep, zoals een medische keuring en voldoende fitheid. Voor studenten die bij nader inzien toch een andere richting ambiëren zijn er alternatieven die aansluiten, bijvoorbeeld Toezicht en veiligheid of Beveiliger. Studieloopbaanbegeleiding en, indien nodig, zorg is ingericht en bekend bij de studenten. Vermeldenswaard is hierbij ook het project Uiterwaarden, wat ingezet kan worden indien er bijvoorbeeld behoefte is aan een onderbreking of herbezinning van een als onprettig ervaren situatie of risico's rondom de studievoortgang. De bpv wordt uitgevoerd bij Defensie. Door de directe relatie van deze opleiding en Defensie is het onderlinge overleg intensief. Examinering en diplomering De kwaliteit van examinering en diplomering is voldoende. Er is een duidelijk onderscheid tussen voortgangstoetsing en het examen, dat wordt afgenomen met een Proeve van Bekwaamheid. Het exameninstrument dat vorig jaar is ingezet kent enkele gebreken, waardoor de dekking onvoldoende is bij kerntaak 5 waar een van de drie werkprocessen ontbreekt. Bij het afgelopen examen is er nogmaals een werkproces van kerntaak 5 niet getoetst en is de cesuur, die

Pagina 40 van 59

oorspronkelijk op 100 procent lag, op meerdere kerntaken in een laat stadium veel aangepast. Dit heeft voor het team geleid tot het organiseren van afstemmingsoverleg over het toepassen van de cesuur met de betrokken roc's. In het nieuwe exameninstrument is de cesuur zodanig dat aan alle onderdelen voldaan moet worden om te kunnen slagen. Dit exameninstrument wordt inmiddels niet meer gebruikt. Voor de examinering van het huidige cohort is het instrumentarium ontwikkeld door Stichting Praktijkleren en dit wordt ingekocht door alle betrokken roc’s. Hierin komen de geconstateerde gebreken in de dekking en de cesuur niet voor. Omdat dit instrument binnenkort in februari reeds wordt ingezet, is de verbetering al aanwezig voordat dit onderzoeksrapport is afgerond. Hierdoor vervalt de reden om de beoordeling van het oude examenmateriaal aan te houden en is de beoordeling derhalve gebaseerd op het beoordeelde nieuwe exameninstrument. De proeve van bekwaamheid wordt afgenomen op het terrein van Defensie door een beoordelaar van Defensie en een beoordelaar uit de pool van de betrokken instellingen. Er wordt daarbij expliciet voorkomen dat een beoordelaar van een instelling een student van dezelfde instelling beoordeeld. De onvolkomenheden in het exameninstrumentarium dat is ingezet (en thans niet meer wordt gebruikt), hebben afgelopen jaar de verantwoording van het besluit tot diplomering vertroebeld. Een aandachtspunt is dan ook dat de examencommissie erop toeziet dat het nieuwe exameninstrumentarium ongewijzigd wordt ingezet en dat de diplomabesluitvorming daarmee in overeenstemming is. Het exameninstrumentarium voor Nederlands is ingekocht bij Deviant. Dit materiaal hebben we op een eerder moment onderzocht en voldoende bevonden. Voor het exameninstrumentarium van Engels worden de taalvaardigheden Gesprekken voeren, Spreken en Luisteren ingekocht bij Deviant. Dit materiaal is eerder door de inspectie onderzocht en voldoende bevonden. Voor de taalvaardigheden Lezen en Schrijven zijn toetsen ingezet die gebaseerd zijn op Campaign Standards. Deze toetsen sluiten niet aan bij CEF niveau A2 en zijn daardoor onvoldoende. Voor het komende examen worden voor alle taalvaardigheden toetsen ingekocht bij Deviant. Opbrengsten De opbrengsten zijn met een jaarresultaat van 60,0 procent en een diplomaresultaat van 61,9 procent voldoende. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2011-2012 zijn de resultaten

Pagina 41 van 59

van de bc-code bc217, niveau 2 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn. Kwaliteitsborging De kwaliteitsborging is als onvoldoende beoordeeld. Binnen het opleidingsteam en de aansturing is sprake van kwaliteitsbewustzijn voor de opleiding, maar door de domeinbrede aanpak herkent het opleidingsteam zich niet in het teamplan en de daaraan ten grondslag liggende kwaliteitsrapportages. Wij zien als mogelijke oorzaak hiervan dat voor deze opleiding voor het gedeeld leiderschap nog geen sturingssystematiek uitgekristalliseerd is. De borging van kwaliteit op opleidingsniveau is nog sterk impliciet; de systematische verankering van de kwaliteit van de opleiding is nog niet voldoende. Met name de verantwoording over kwaliteit en borging van verbetermaatregelen zijn onvoldoende expliciet en opleidingsspecifiek verankerd. De instellingsbrede en de domeinspecifieke plannen zijn in voldoende mate kaderstellend, maar de doorvertaling daarvan naar het teamplan geschiedt vervolgens echter onvoldoende zichtbaar. Het teamplan vloeit in hoofdzaak voort uit de evaluatieve kwaliteitsrapportage, maar is onvoldoende smart geformuleerd en is, ondanks de beschikbare sturingsinformatie, nauwelijks opleidingsspecifiek. Er wordt in voldoende mate gemonitord ten behoeve van de beoordeling van de kwaliteit van de opleiding en er wordt een evaluatieve kwaliteitsrapportage op teamniveau opgesteld. Het opleidingsteam vertaalt dit vervolgens naar de eigen opleiding. Een aandachtspunt hierbij is dat hiervan geen schriftelijke weerslag voorhanden is, waardoor de beoordeling van de opleiding en daarmee ook de verbeteraanpak, meer gestructureerd zou kunnen verlopen. Dit benadrukt het impliciete karakter van de kwaliteitsborging. Daarnaast kan de opleiding profiteren van de interne auditsystematiek die objectief, betrouwbaar en valide is opgezet. De deskundigheidsbevordering is voldoende. Dit geldt eveneens voor de interne en externe dialoog. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen. Onderwijstijd Over het onderzoek naar de programmering en realisatie van de onderwijstijd bent u separaat per brief geïnformeerd.

Pagina 42 van 59

Ongeoorloofd verzuim en voortijdig schoolverlaten De opleiding voldoet aan de wettelijk voorgeschreven meldingsplicht van verzuim voor deelnemers zonder geldige reden. Als het ongeoorloofd verzuim voortduurt na 16 uur binnen 4 opeenvolgende lesweken voor deelnemers vindt een vervolgmelding plaats (artikel 21a Leerplichtwet 1969). Daarnaast is gebleken dat de opleiding voldoet aan de wettelijk voorgeschreven meldingsplicht van verzuim zonder geldige reden voor deelnemers van 18 tot 23 jaar zonder startkwalificatie. Als dit verzuim plaatsvindt in een aaneengesloten periode van vier weken vindt een vervolgmelding plaats (artikel 8.1.8a van de Wet Educatie en Beroepsonderwijs). Schoolkosten De opleiding voldoet aan de vereisten van de schoolkosten. Deze zijn niet voorwaardelijk, of onderdeel van de onderwijsovereenkomst. Een overzicht van kosten toont het onderscheid tussen vrijwillige kosten en verplichte kosten duidelijk aan.

Pagina 43 van 59

Pagina 44 van 59

5

BIJLAGEN

Bijlage I Normeringen kwaliteitsgebieden De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruik maakt van een normering. Deze bestaat uit: 1.

Een normering per indicator: wanneer wordt voldaan aan de indicator? Hiervoor gebruikt de inspectie portretten: de aangetroffen situatie voldoet aan de indicator indien deze over het geheel genomen voldoet aan de beschrijving in het portret. Het gaat hier om een weging van het geheel met hantering van toleranties. Een normering per aspect. Een normering per kwaliteitsgebied.

2. 3.

Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed

• • •

Voldoende

• • •

•

Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan; daarbij is tevens aan alle indicatoren voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd. Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Voor elk aspect aan alle indicatoren is voldaan, daarbij mag 1 indicator onvoldoende zijn als een aspect meer dan 2 indicatoren omvat. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.

Onvoldoende

• •

Aan één of meer kernaspecten is niet voldaan. Aan drie, vier of vijf aspecten is niet voldaan.

Slecht

• •

Aan geen van de kernaspecten is voldaan. Aan zes of meer aspecten is niet voldaan.

Pagina 45 van 59

Voor de beoordeling van de opbrengsten is gebruik gemaakt van onderstaande norm. Voor een oordeel voldoende moet ten minste aan één van de twee normen zijn voldaan.

Niveau

Jaarresultaat

Diplomaresultaat

1

60,7

45,1

2

56,5

45,2

3

65,3

67,3

4

64,2

67,3

Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect aangegeven. Normering Examinering en diplomering Goed

• •

Aan alle standaarden is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd.

Voldoende

• •

Aan alle standaarden is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.

Onvoldoende

•

Aan één standaard is niet voldaan.

Slecht

•

Aan twee of drie standaarden is niet voldaan.

Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Deze kernaspecten moeten alle drie voldoende zijn om een voldoende beoordeling te krijgen. Bij één of meer onvoldoende kernaspecten is de kwaliteitsborging onvoldoende. De borging van de kwaliteit van de examinering moet voldoende zijn, om tot een voldoende beoordeling van de kwaliteitsborging te komen.

Pagina 46 van 59

Normering Kwaliteitsborging Goed

• • •

Aan alle aspecten is voldaan. Aan alle indicatoren is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd.

Voldoende

• • •

Aan alle kernaspecten is voldaan. Aan alle indicatoren van deze aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.

Onvoldoende

• •

Aan twee aspecten is niet voldaan. Aan één of twee kernaspecten is niet voldaan

Slecht

•

Aan drie of vier aspecten is niet voldaan.

Normering Naleving wettelijke vereisten: de instelling of opleiding voldoet niet aan de wettelijke bepalingen indien de inspectie vaststelt dat één van deze bepalingen niet wordt nageleefd. Bij sommige bepalingen vloeit de norm direct uit de wet voort. Voor enkele bepalingen zijn nadere operationaliseringen opgesteld (bijvoorbeeld onderwijstijd).

Pagina 47 van 59

Pagina 48 van 59

Bijlage II Overzicht bc-codes Hieronder is per onderzochte bc-code aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten.

bc-code: bc189

Niveau: 3

Crebo:

Opleiding:

91190

Schoonheidsspecialist

bc-code: bc151

Niveau: 4

Crebo:

Opleiding:

10850

Ondernemer/Manager Detailhandel

90290

Ondernemer detailhandel

bc-code: bc109

Niveau: 4

Crebo:

Opleiding:

93490

Manager handel

93492

Manager handel (Filiaalmanager)

93494

Manager handel (Vestigingsmanager groothandel)

bc-code: bc154

Niveau: 4

Crebo:

Opleiding:

10710

Onderwijsassistent

93500

Onderwijsassistent

bc-code: bc083

Niveau: 3

Crebo:

Opleiding:

10248

Eerste Monteur Elektrische Bedrijfsinstallaties (EMBI)

10249 94281

Eerste Monteur Sterkstroominstallaties (EMSI) Installeren (Eerste monteur elektronische installaties)

bc-code: bc217

Niveau: 2

Crebo:

94860

Opleiding: Vrede en veiligheid (Medewerker vrede en veiligheid)

95081

Aankomend medewerker grondoptreden

Pagina 49 van 59

Bijlage III Beoordeling aspecten en indicatoren kwaliteitsborging instellingsbreed Gebied 4: Kwaliteitsborging 4.1

Sturing *

4.1.1

Plannen

4.1.2

Informatie

4.1.3

Continuïteit

4.2

Beoordeling *

4.2.1

Monitoring

4.2.2

Evaluatie

4.3


4.3.1

Verbeteraanpak

4.3.2

Deskundigheidsbevordering

4.3.3

Verankering

4.4


4.4.1

Intern

4.4.2

Extern


• • • • • • • • • • • • • •

De aspecten met een * zijn kernaspecten, zie bijlage 1 voor normering per gebied.

Pagina 50 van 59

Bijlage IV Beoordeling aspecten en indicatoren opleiding Opleiding Schoonheidsspecialist, 91190 Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.1.1

Inhoud

1.1.2

Programmering

1.2

Maatwerk

1.2.1

Differentiatie

• • • • •

Leren in de onderwijsinstelling

• •

1.3


1.3.1

Interactie

1.3.2

Ondersteuning en begeleiding van de leeractiviteiten

•

1.3.3

Feedback op de leeractiviteiten en de leerresultaten

•

1.4

Leertijd

1.4.1

Benutting

1.4.2

Werkdruk

1.5

Leeromgeving

1.5.1

Schoolklimaat

1.5.2

Materiële voorzieningen

• • • • • •

Begeleiding 1.6

Intake & plaatsing

1.6.1

Voorlichting

1.6.2

Intake en plaatsing

1.7


1.7.1

Informatievoorziening

1.7.2

Studieloopbaanbegeleiding

1.8

Zorg

1.8.1

Eerste- en tweedelijnszorg

1.8.2

Derdelijnszorg

• • • • • • • • •



1.9.1

Voorbereiding studenten en bedrijven

1.9.2

Plaatsing

1.9.3

Begeleiding door leerbedrijf

1.9.4

Begeleiding door de opleiding



• • • • • Voldoende Onvoldoende

•

Pagina 51 van 59

Gebied 2: Examinering en diplomering 2.1.1

Onderscheid tussen ontwikkelgerichte toetsen en examinering

2.1.2

Dekking van het kwalificatiedossier

2.1.3

Cesuur

2.1.4

Beoordelingswijze

2.1.5

Transparantie

2.2


2.2.1

Authentieke afname

2.2.2

Betrouwbaarheid

2.3

Diplomering*

2.3.1

Besluitvorming diplomering

2.3.2

Verantwoordelijkheid examencommissie


Rendement

3.1.1

Jaarresultaat en/of diplomaresultaat


Sturing *

4.1.1

Plannen

4.1.2

Informatie

4.1.3

Continuïteit

4.2

Beoordeling *

4.2.1

Monitoring

4.2.2

Evaluatie

4.3


4.3.1

Verbeteraanpak

4.3.2


4.3.3

Verankering

4.4


4.4.1

Intern

4.4.2

Extern



5.1.1



• • • • • • • • • • • Voldoende Onvoldoende


• • • • • • • • • • • • • • Voldoet Voldoet niet

• •

Pagina 52 van 59

Opleiding Ondernemer detailhandel, 90290 / Manager handel (Filiaalmanager), 93492 Gebied 2: Examinering en diplomering 2.1


2.1.1


2.1.2


2.1.3

Cesuur

2.1.4

Beoordelingswijze

2.1.5

Transparantie

2.2


2.2.1

Authentieke afname

2.2.2

Betrouwbaarheid

2.3

Diplomering*

2.3.1


2.3.2



Rendement

3.1.1



• • • • • • • • • • • • Voldoende Onvoldoende

• •

Pagina 53 van 59

Opleiding Onderwijsassistent, 93500 Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.1.1

Inhoud

1.1.2

Programmering

1.2

Maatwerk

1.2.1

Differentiatie

• • • • •


• •

1.3


1.3.1

Interactie

1.3.2


•

1.3.3


•

1.4

Leertijd

1.4.1

Benutting

1.4.2

Werkdruk

1.5

Leeromgeving

1.5.1

Schoolklimaat

1.5.2


• • • • • •

Begeleiding 1.6

Intake & plaatsing

1.6.1

Voorlichting

1.6.2

Intake en plaatsing

1.7


1.7.1


1.7.2


1.8

Zorg

1.8.1


1.8.2

Derdelijnszorg

• • • • • • • • •



1.9.1


1.9.2

Plaatsing

1.9.3


1.9.4


Gebied 2: Examinering en diplomering


2.1


•

2.1.1


•

Pagina 54 van 59



2.1.3

Cesuur

2.1.4

Beoordelingswijze

2.1.5

Transparantie

2.2


2.2.1

Authentieke afname

2.2.2

Betrouwbaarheid

2.3

Diplomering*

2.3.1


2.3.2



Rendement

3.1.1



Sturing *

4.1.1

Plannen

4.1.2

Informatie

4.1.3

Continuïteit

4.2

Beoordeling *

4.2.1

Monitoring

4.2.2

Evaluatie

4.3


4.3.1

Verbeteraanpak

4.3.2


4.3.3

Verankering

4.4


4.4.1

Intern

4.4.2

Extern



5.1.1



• • • • • • • • • • Voldoende Onvoldoende



• •

Pagina 55 van 59

Opleiding Installeren (Eerste monteur elektrotechnische installaties), 94281 Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.1.1

Inhoud

1.1.2

Programmering

1.2

Maatwerk

1.2.1

Differentiatie

• • • • •


• •

1.3


1.3.1

Interactie

1.3.2


•

1.3.3


•

1.4

Leertijd

1.4.1

Benutting

1.4.2

Werkdruk

1.5

Leeromgeving

1.5.1

Schoolklimaat

1.5.2


• • • • • •

Begeleiding 1.6

Intake & plaatsing

1.6.1

Voorlichting

1.6.2

Intake en plaatsing

1.7


1.7.1


1.7.2


1.8

Zorg

1.8.1


1.8.2

Derdelijnszorg

• • • • • • • • •



1.9.1


1.9.2

Plaatsing

1.9.3


1.9.4





•

Pagina 56 van 59



2.1.2


2.1.3

Cesuur

2.1.4

Beoordelingswijze

2.1.5

Transparantie

2.2


2.2.1

Authentieke afname

2.2.2

Betrouwbaarheid

2.3

Diplomering*

2.3.1


2.3.2



Rendement

3.1.1



Sturing *

4.1.1

Plannen

4.1.2

Informatie

4.1.3

Continuïteit

4.2

Beoordeling *

4.2.1

Monitoring

4.2.2

Evaluatie

4.3


4.3.1

Verbeteraanpak

4.3.2


4.3.3

Verankering

4.4


4.4.1

Intern

4.4.2

Extern



5.1.1






• •

Pagina 57 van 59

Opleiding Veiligheid en vakmanschap (Aankomend medewerker grondoptreden), 95081 Gebied 1: Onderwijsproces


Programma 1.1

Samenhang

1.1.1

Inhoud

1.1.2

Programmering

1.2

Maatwerk

1.2.1

Differentiatie

• • • • •


• •

1.3


1.3.1

Interactie

1.3.2


•

1.3.3


•

1.4

Leertijd

1.4.1

Benutting

1.4.2

Werkdruk

1.5

Leeromgeving

1.5.1

Schoolklimaat

1.5.2


• • • • • •

Begeleiding 1.6

Intake & plaatsing

1.6.1

Voorlichting

1.6.2

Intake en plaatsing

1.7


1.7.1


1.7.2


1.8

Zorg

1.8.1


1.8.2

Derdelijnszorg

• • • • • • • • •



1.9.1


1.9.2

Plaatsing

1.9.3


1.9.4





•

Pagina 58 van 59



2.1.2


2.1.3

Cesuur

2.1.4

Beoordelingswijze

2.1.5

Transparantie

2.2


2.2.1

Authentieke afname

2.2.2

Betrouwbaarheid

2.3

Diplomering*

2.3.1


2.3.2



Rendement

3.1.1



Sturing *

4.1.1

Plannen

4.1.2

Informatie

4.1.3

Continuïteit

4.2

Beoordeling *

4.2.1

Monitoring

4.2.2

Evaluatie

4.3


4.3.1

Verbeteraanpak

4.3.2


4.3.3

Verankering

4.4


4.4.1

Intern

4.4.2

Extern



5.1.1






• •

Pagina 59 van 59

STAAT VAN DE INSTELLING MBO ROC A12

Recommend Documents