STAAT VAN DE INSTELLING MBO. Stg. Reg. Opl.Centrum ROC Midden Nederland

STAAT VAN DE INSTELLING MBO Stg. Reg. Opl.Centrum ROC Midden Nederland

Plaats Bestuursnummer BRIN nummer Onderzoeksnummer Datum onderzoek Datum vaststelling

: : : : : :

Utrecht 40597 25LH 282062 9 - 26 maart 2015 17 juni 2015

Pagina 2 van 50

INHOUDSOPGAVE 1

INLEIDING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2

CONCLUSIE EN VERVOLGTOEZICHT. . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1 2.2 3

Conclusie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Vervolgtoezicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 INSTELLINGSBREDE RESULTATEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1

Oordeel kwaliteitsborging op instellingsniveau . . . . . . . . . . . . . . . . . 9

3.2

Financiële continuïteit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.3

Risicobepaling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4

RESULTATEN PER OPLEIDING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.1

Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang) . . . . . 17

4.2

Verkoper (Verkoper detailhandel) . . . . . . . . . . . . . . . . . . . . . . . . . 22

4.3

Betonreparateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.4

Kapper (Junior Kapper) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4.5

Applicatie- en mediaontwikkeling (Applicatieontwikkelaar) . . . . . . . . 39

5

BIJLAGEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Bijlage I Normeringen kwaliteitsgebieden . . . . . . . . . . . . . . . . . . . . . 48 Bijlage II Overzicht bc-id . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Pagina 3 van 50

Pagina 4 van 50

1

INLEIDING In dit rapport staan de uitkomsten van het onderzoek naar de Staat van de instelling, dat de Inspectie van het Onderwijs van 9 maart 2015 tot en met 26 maart 2015 heeft uitgevoerd bij ROC Midden Nederland. De inspectie baseert zich op het Toezichtkader bve 2012 en het Addendum 2015 (zie www.onderwijsinspectie.nl). ROC Midden Nederland is een roc met ongeveer 24000 studenten en circa 180 opleidingen. De instelling heeft onderwijslocaties in Utrecht, Nieuwegein, Amersfoort, Heerhugowaard, Woerden en Zeist. Dit onderzoek heeft betrekking op het middelbaar beroepsonderwijs en vavo. Het onderzoek is gestart met een analyse van informatie over de instelling, zoals het jaarverslag, opbrengstgegevens, uitkomsten tevredenheidsonderzoek en signalen. Aanvullend is bij vijf opleidingen een kwaliteitsonderzoek uitgevoerd (zie tabel hieronder) en is de kwaliteitsborging van de instelling onderzocht. Op locatie zijn onderwijsactiviteiten geobserveerd, documenten onderzocht en gesprekken gevoerd. Er is gesproken met studenten, vertegenwoordigers van een college studentenraad, docenten, management, kwaliteitszorgmedewerkers en het college van bestuur. Als onderdeel van het onderzoek is ook een financiële risicoanalyse uitgevoerd. De inspectie heeft daarvoor de jaarstukken 2013 en aanvullend opgevraagde (toekomstgerichte) financiële gegevens geanalyseerd en hierover een gesprek gevoerd met het college van bestuur en de directeur Financiën, Planning en Control. De kwaliteitsonderzoeken zijn uitgevoerd bij de volgende opleidingen. Gebied Opbrengsten

Gebied Onderwijsproces, Kwaliteitsborging en Wettelijke vereisten

Gebied Examinering en diplomering

Leerweg, niveau, locatie

bc166

92620, Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang)

92620, Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang)

leerweg bol, niveau 3, locatie Vondellaan 174 te Utrecht

Pagina 5 van 50

bc222

93751, Verkoper (Verkoper detailhandel)

93751, Verkoper (Verkoper detailhandel)

leerweg bbl, niveau 2, locatie Marco Pololaan 2 te Utrecht

bc037

93931, Betonreparateur

93931, Betonreparateur

leerweg bbl, niveau 2, locatie Harmonielaan 2 te Nieuwegein

bc088

95120, Kapper (Junior Kapper)

95120, Kapper (Junior Kapper)

leerweg bbl, niveau 2, locatie Kretadreef 61 te Utrecht

bc009

95311, Applicatie- en mediaontwikkeling (Applicatieontwikkelaar)

95311, Applicatie- en mediaontwikkeling (Applicatieontwikkelaar)

leerweg bol, niveau 4, locatie Zangvogelweg 140 te Amersfoort

In dit rapport starten we met de conclusie van het onderzoek en geven we vervolgens aan of er sprake is van vervolgtoezicht (hoofdstuk 2). Daarna volgen de toelichting op de beoordeling van de kwaliteitsborging op instellingsniveau, de financiële continuïteit en de risicobepaling (hoofdstuk 3). Vervolgens is per onderzochte opleiding het resultaat van het kwaliteitsonderzoek beschreven (hoofdstuk 4). De normering van de eerste vijf kwaliteitsgebieden is als bijlage opgenomen.

Pagina 6 van 50

2

CONCLUSIE EN VERVOLGTOEZICHT In dit hoofdstuk staat de conclusie van het onderzoek naar de Staat van de instelling en beschrijven we het vervolg. Het vervolg is bepaald op basis van het aantal geconstateerde risico’s voor de onderwijskwaliteit (geen, enkele of veel) in combinatie met het niveau van de kwaliteitsborging van de instelling (goed, voldoende, onvoldoende, slecht). De toelichting op de risicobepaling en de toelichting op de beoordeling van de kwaliteitsborging staan in hoofdstuk 3.

2.1

Conclusie Zijn er mogelijke risico's voor de onderwijskwaliteit? We zien geen risico's voor de kwaliteit van het onderwijs. Deze risicobepaling is gebaseerd op een risico-inschatting voor de kwaliteit van het onderwijs, de examinering, de opbrengsten, de tevredenheid van studenten, medewerkers en werkgevers, de stabiliteit van organisatie en management en de financiële continuïteit. Wat is de stand van de kwaliteitsborging van de instelling? We concluderen dat de kwaliteitsborging op instellingsniveau bij ROC Midden Nederland voldoende is. We gaan ervan uit dat de instelling voldoende zicht heeft op de onderwijskwaliteit en in staat is om ook in de toekomst de risico's voor de onderwijskwaliteit te voorkomen, dan wel vroegtijdig te signaleren en te verhelpen.

2.2

Vervolgtoezicht Het onderzoek naar de Staat van de instelling geeft aanleiding om vervolgtoezicht, maar geen aanvullend vervolgtoezicht uit te voeren bij ROC Midden Nederland. Vervolgtoezicht naar aanleiding van onderzoek kwaliteitsborging instellingsbreed We voeren geen vervolgtoezicht uit naar de kwaliteitsborging van de instelling, omdat de instelling voldoet aan de wettelijke vereiste (WEB, art. 1.3.6). Vervolgtoezicht financiële continuïteit De financiële risicoanalyse geeft geen aanleiding tot het aanpassen van het financiële continuïteitstoezicht. De inspectie kent daarom opnieuw het basisarrangement toe aan de instelling.

Pagina 7 van 50

Dit besluit is gebaseerd op de door de instelling zelf verzamelde en verstrekte informatie en de toelichtingen daarop. De inspectie heeft geen controlewerkzaamheden op de informatie verricht. Ook heeft de inspectie de volledigheid en/of de juistheid van de gegevens in de (financiële) administratie van de instelling niet onderzocht. Het onderzoek is niet te kwalificeren als een accountantsonderzoek. Vervolgtoezicht naar aanleiding van de onderzochte opleidingen Voor het onderzoek naar de Staat van de instelling hebben we vijf opleidingen onderzocht (zie de tabel in 1 Inleiding). We voeren bij vier opleidingen geen vervolgtoezicht uit, omdat we alle kwaliteitsgebieden als voldoende hebben beoordeeld. Bij één opleiding voeren we wel vervolgtoezicht uit, omdat we niet alle kwaliteitsgebieden als voldoende hebben beoordeeld. Het vervolgtoezicht richt zich op de geconstateerde tekortkomingen binnen het onvoldoende kwaliteitsgebied. In onderstaand schema is het vervolgtoezicht te lezen. Applicatie- en mediaontwikkeling (Applicatieontwikkelaar), 95311 Beoordeling

Toezichtvorm

Vervolgtoezicht

Kwaliteitsborging is onvoldoende.

Aangepast toezicht vanwege niet-naleving van artikel 1.3.6 van de WEB.

Circa een jaar na het definitieve rapport beoordelen wij de kwaliteitsborging opnieuw.

Pagina 8 van 50

3

INSTELLINGSBREDE RESULTATEN In dit hoofdstuk informeren wij u over de beoordeling van de kwaliteitsborging op instellingsniveau en onderbouwen wij ons oordeel. Daarna lichten we de financiële risicoanalyse en vervolgens de risicobepaling toe.

3.1

Oordeel kwaliteitsborging op instellingsniveau In onderstaande tabel staat de beoordeling van de kwaliteitsborging. Dit oordeel is gebaseerd op de beoordeling van de onderliggende aspecten. De normering staat in bijlage I. Kwaliteitsgebied 4

Kwaliteitsborging

Gebied 4: Kwaliteitsborging 4.1

Sturing *

4.2

Beoordeling *

4.3

Verbetering en verankering *

4.4

Dialoog en verantwoording

Goed Voldoende Onvoldoende Slecht

• Voldoende Onvoldoende

• • • •

De aspecten met een * zijn kernaspecten, zie bijlage I voor normering per gebied.

Beschouwing De kwaliteitsborging op instellingsniveau bij ROC Midden Nederland is beoordeeld als voldoende. Aan alle aspecten is voldaan. De sturing beoordelen we als voldoende. Het kwaliteitszorgsysteem is zo ingericht dat er zowel op instellingsniveau als binnen de twaalf colleges en de onderliggende onderwijsafdelingen op structurele basis voldoende specifieke en meetbare doelen zijn vastgelegd. De doelstellingen en normen voor het beoordelen van onder meer de opbrengsten, voortijdig schoolverlaten, ziekteverzuim en de tevredenheid van de studenten, docenten en bedrijven zijn tot op het niveau van de opleidingen vastgelegd en worden gemonitord met behulp van het dashboard. Het dashboard zorgt ervoor dat de instelling continu beschikt over actuele managementinformatie en maakt in een oogopslag zichtbaar of doelstellingen wel of niet zijn behaald. Het verbeteren van de inhoudelijke kwaliteit van de afdelingsplannen heeft de aandacht. Het college van bestuur (cvb) wil meer scherpte in deze plannen door minder te sturen op de vorm (gebruik van formats) en meer op de inhoud van de plannen. Hiermee wil het cvb bereiken dat de teams de doelstellingen voor komend schooljaar zo concreet mogelijk formuleren. In de huidige

Pagina 9 van 50

afdelingsplannen zijn namelijk de doelstellingen gericht op het onderwijs- en examenproces op opleidingsniveau nog niet concreet genoeg geformuleerd om gericht te kunnen (bij)sturen. De beoordeling beoordelen we als voldoende. ROC Midden Nederland verzamelt structureel voldoende informatie om na te gaan of de onderwijskwaliteit inclusief de examenkwaliteit aan de eigen normen voldoet. Hiervoor maakt de instelling gebruik van verschillende instrumenten, waaronder de tevredenheidsonderzoeken, de zelfevaluaties en de interne audits met betrokkenheid van onafhankelijk deskundigen. De uitkomsten van de monitoring worden gebruikt om te beoordelen of aan de normen is voldaan op het gebied van de opbrengsten, voortijdig schoolverlaten, ziekteverzuim en tevredenheid van de betrokkenen. In het dashboard is zichtbaar of de vooraf gestelde doelen en normen zijn behaald. Op alle niveaus wordt op vergelijkbare wijze informatie verzameld. Binnen de colleges wordt echter nog niet alle verzamelde informatie gebruikt om daadwerkelijk te beoordelen of doelstellingen zijn behaald. De verbetering en verankering beoordelen we als voldoende. De samenhang tussen de gesignaleerde tekortkomingen, klachten en wenselijke ontwikkelingen en de ingezette verbeteracties is voldoende inzichtelijk. Er wordt nagegaan of ingezette verbeteracties hebben geleid tot het gewenste effect. De standaardisatie van de sturings- en beoordelingsinstrumenten zorgt hierbij voor eenduidigheid en draagt eraan bij dat er roc-breed gestructureerd gewerkt wordt aan verbetering. De kwaliteitszorg en taken, verantwoordelijkheden en bevoegdheden zijn beschreven. Het cvb is zich er wel van bewust dat er nog verschillen zijn tussen de onderwijsteams. Bij het ene team is het doelgericht werken aan verbetering voor alle teamleden een vanzelfsprekendheid, terwijl dit bij het andere team meer een zaak is van de leidinggevenden in plaats van dat het gehele team zich verantwoordelijk voelt voor de resultaten die het behaalt. Het cvb heeft een wijziging in aansturing in gang gezet, waarbij de resultaatverantwoordelijkheid meer bij de colleges en bijbehorende onderwijsteams wordt belegd. Er zijn meerdere initiatieven in gang gezet om de betrokkenen te informeren, te ondersteunen en te faciliteren. Er wordt onder meer geïnvesteerd in scholingen en bijeenkomsten. De dialoog en verantwoording beoordelen we als voldoende. Het roc heeft een functionerende dialoog over de onderwijskwaliteit en de verbetering daarvan met zowel interne als externe betrokkenen en legt hierover verantwoording af. De inrichting van de interne overleg- en verantwoordingssystematiek zorgt ervoor dat er zicht is op diverse gegevens. In principe voert het cvb twee keer per jaar een verantwoordingsgesprek met de collegedirecteuren. Als er signalen

Pagina 10 van 50

zijn worden extra gesprekken gevoerd. Er zijn duidelijke afspraken over de vorm en de frequentie van deze gesprekken en omtrent de verantwoordingsinformatie. De wijziging in aansturing, waarbij de verantwoordelijkheid meer bij de teams zelf komt te liggen, vraagt om aanvullende afspraken op het niveau van de onderwijsteams. Het cvb is momenteel bezig met een herinrichting van de centrale studentenraad om de dialoog met studenten verder te verbeteren. Ook investeert het cvb actief in samenwerking en partnerschappen met externe belanghebbenden, zoals bedrijven, gemeenten en andere onderwijsinstellingen. Dit zorgt ervoor dat het roc met het (her)ontwerp van opleidingstrajecten tijdig kan inspelen op ontwikkelingen in de samenleving en de doorstroom binnen de beroepskolom kan bevorderen. In het kader van de pdca-cyclus evalueert het cvb momenteel het meerjarenbeleidsplan Focus, de strategische koers 2010-2014. Het cvb is nagegaan of de doelstellingen van het strategische plan zijn behaald en heeft op basis van een interne analyse ‘verbeter-hefbomen’ bepaald. Deze analyse heeft sturingsinformatie opgeleverd, die meegenomen wordt in het meerjarenplan Koers 2018. De eerste gesprekken rondom de nieuwe koers zijn gepland. Onderwijstijd De kwaliteitsborging met betrekking tot onderwijstijd is voldoende. De instelling stuurt voldoende op het naleven van de wettelijke bepalingen over onderwijstijd. De instelling houdt daardoor op een effectieve wijze zicht op het naleven van deze wettelijke bepalingen. De instelling maakt geen gebruik van de mogelijkheid om af te wijken van de wettelijke urennorm. 3.2

Financiële continuïteit Uit de financiële risicoanalyse blijken geen verhoogde financiële risico’s. Er zijn geen aanwijzingen dat het door de instelling verzorgde onderwijs wegens de financiële continuïteit binnen afzienbare termijn in het geding is. In onderstaande tabel wordt met enkele kengetallen de financiële ontwikkeling van ROC Midden Nederland in de periode 2011 tot en met 2016 afgezet tegen de signaleringsgrenzen. De inspectie hanteert deze signaleringsgrenzen om mogelijke risico’s voor de financiële continuïteit te detecteren. De kengetallen tot en met 2013 zijn door Dienst Uitvoering Onderwijs (DUO) ontleend aan de door de instellingsaccountant gecontroleerde jaarrekeningen. De kengetallen vanaf 2014 zijn ontleend aan de continuïteitsparagraaf uit het jaarverslag 2013.

Pagina 11 van 50

Realisatie Kengetallen

Begroting

2011

2012

2013

2014

Solvabiliteit II

0,61

0,54

0,51

0,49

0,51

0,52

Liquiditeit

1,22

0,90

0,76

0,86

1,10

1,27

1,9

-1,9

0,1

0,8

3,5

3,2

Rentabiliteit

2015

Signalerings grenzen

2016

< 0,30 < 0,50 Meerjarig negatief

De rentabiliteit van de instelling heeft in de periode tot 2012 een daling vertoond. Door een programma van kostenreductie, met name op het personeelsvlak, is deze daling van de rentabiliteit tot stand gebracht. De verwachting is dat de instelling de komende jaren weer een licht positief resultaat zal laten zien. De solvabiliteit II is weliswaar heel licht gedaald maar lag de afgelopen jaren ruim boven de signaleringsgrens van 0,3 en de instelling verwacht dat de solvabiliteit II de komende jaren stabiel blijft rond het huidige niveau. De liquiditeit is de afgelopen jaren gedaald. Naar verwachting zal de liquiditeit na 2014 weer toenemen en rond een waarde van 1 liggen, ruim boven de signaleringsgrens van 0,5 die de inspectie hanteert. De exploitatie wordt gestuurd op een plus in de liquiditeit. De instelling heeft de afgelopen jaren het eerdere overschot aan vierkante meters huisvesting gereduceerd. Men stuurt bewust op “low cost in bakstenen”. Realisatie

Studentenaantallen

Begroting

2011

2012

2013

2014

17.832

18.458

18.546

18.715

2015

2016

18.715

18.715

De in de tabel opgenomen studentenaantallen zijn ontleend aan de in de jaarstukken 2013 opgenomen continuïteitsparagraaf. Deze cijfers zijn daarin voor de jaren 2014 tot en met 2016 niet met exacte waarden maar met een bandbreedte aangegeven (17.293 tot 20.138). Voor de weergave in bovenstaande tabel is het gemiddelde van beide uitersten genomen. De instelling gaat uit van een stabilisatie van het studentenaantal op het niveau van 2014. 3.3

Risicobepaling Het onderzoek heeft geleid tot de volgende risicobepaling. Geen Enkele Veel 0

Mate van risico's

•

Pagina 12 van 50

Deze risicobepaling is gebaseerd op een risico-inschatting voor de kwaliteit van het onderwijs, de examinering, de opbrengsten, de tevredenheid van studenten, medewerkers en werkgevers, de stabiliteit van organisatie en management en de financiële continuïteit. Hierna volgt de toelichting. Kwaliteit onderwijs We schatten het risico voor de kwaliteit van het onderwijs in als geen tot gering. De toezichthistorie laat zien dat het onderwijsproces de laatste jaren als voldoende is beoordeeld en er geen vervolgtoezicht heeft plaatsgevonden naar aanleiding van de Staat van de instelling 2012. Uit de kwaliteitsonderzoeken die tijdens dit onderzoek zijn uitgevoerd bij vijf opleidingen blijkt opnieuw dat de kwaliteit van het onderwijs voldoende is. Ook de resultaten van de JOB2014 laten positieve scores zien. Het rapportcijfer voor de opleidingen ligt - met uitzondering van drie kleine opleidingen (score 5,9) – boven de zes. Dit geldt ook voor de scores voor onder andere de aangeboden lessen, onderwijstijd en voor de begeleiding. De klachten die in 2014 bij de inspectie zijn binnengekomen, blijken naar behoren te zijn afgehandeld. Kwaliteit examinering We schatten het risico voor de kwaliteit van de examinering in als geen tot gering. Het roc heeft op het gebied van examinering een positieve ontwikkeling doorgemaakt. Tijdens de vorige Staat van de instelling voldeed de examinering en diplomering bij twee van de vijf steekproefopleidingen. Tijdens de daarop volgende onderzoeken naar kwaliteitsverbetering in 2013 is vastgesteld dat de examinering en diplomering voldoende was. Ook nu is de examinering en diplomering bij de vijf onderzochte opleidingen als voldoende beoordeeld. In de JOB2014 zijn zowel de toetsing instellingsbreed als de scores bij de vijf steekproefopleidingen voor toetsorganisatie en toetsinhoud ruim voldoende. De uitkomsten van het instellingsbrede bpv-onderzoek wijzen uit dat het bedrijfsleven in voldoende mate tevreden is over de kwaliteit van de beoordeling in de beroepspraktijkvorming. Het roc heeft integraal zicht op de kwaliteit van de examinering en mogelijke risico’s. Dit zicht is er door middel van de zelfevaluaties die de teams zelf opstellen, de interne audits met betrokkenheid van onafhankelijk deskundigen en het toezicht door de afdeling Compliance. Deze afdeling controleert of voldaan is aan wettelijke vereisten, voert onderzoeken uit als er tekortkomingen zijn gesignaleerd in de onderwijskwaliteit en bewaakt de voortgang van verbetermaatregelen.

Pagina 13 van 50

Opbrengsten We schatten het risico voor de opbrengsten in als geen tot gering. Dit is gebaseerd op de opbrengsten van de mbo-opleidingen, het voortijdig schoolverlaten en de opbrengsten van vavo toe. Opbrengsten mbo-opleidingen Het roc realiseert instellingsbreed een jaar- en diplomaresultaat dat op alle niveaus boven de norm ligt die de inspectie hanteert. Wel blijken het jaar- en diplomaresultaat onder het landelijk gemiddelde te liggen (-4%). De primaire detectie gebaseerd op de jaar- en diplomaresultaten van schooljaar 2012/2013 wijst uit dat er binnen het roc opleidingen zijn met een opbrengstrisico. Het roc zelf heeft via de kwaliteitskaarten in het dashboard goed zicht op de opbrengsten per opleiding. Er is per opleiding met onvoldoende opbrengsten een analyse gemaakt van de mogelijke oorzaken en er zijn meerdere maatregelen getroffen. In een enkel geval geeft de analyse nog geen duidelijk beeld van de oorzaken. Hier is het onderzoek nog gaande. De opbrengstgegevens van schooljaar 2013/2014 tonen aan dat het aantal opleidingen met opbrengstrisico’s ten opzichte van schooljaar 2012/2013 iets is afgenomen. Zeer positief is dat het aantal opleidingen dat valt in de categorie zeer zeer ernstig risico door te lage opbrengsten is gedaald van negen naar vijf opleidingen. Het aantal studenten dat een van deze opleidingen volgt is hierdoor vrijwel gehalveerd. Voortijdig schoolverlaten Bij niveau 1 en 2 wordt aan de vsv-norm voldaan. Bij niveau 3 en 4 is dat nog niet het geval, maar is een stijgende lijn zichtbaar. We zien positieve ontwikkelingen, maar het percentage nieuwe vsv-ers ligt echter nog wel hoger dan het landelijke gemiddelde. Binnen het roc wordt scherp gestuurd op het terugdringen van vsv. Het is als doelstelling in alle plannen opgenomen en via de kwaliteitskaarten in het dashboard is actueel zicht op de cijfers per college, afdeling en opleiding. Het roc treft continu maatregelen om het aantal schoolverlaters te verminderen. Onder andere worden tijdens het intakegesprek extra begeleidingsbehoeften van een student in kaart gebracht, worden opleidingen aantrekkelijker gemaakt (herontwerp) en wordt verzuim digitaal bijgehouden in Eduarte zodat studenten die verzuimen in kaart zijn en kunnen worden aangesproken. Opbrengsten vavo Het driejaarsgemiddelde voor het CE-cijfer ligt zowel bij VMBO-t als bij HAVO en VWO voor alle vakken boven de norm. Bij HAVO en VWO is daarbij ook nog sprake van een duidelijke stijging in de opbrengsten. Ook het verschil tussen het

Pagina 14 van 50

driejaarsgemiddelde SE-cijfer minus CE-cijfer is voor alle vakken bij alle opleidingen binnen de norm. Tevredenheid studenten/medewerkers/werkgevers We schatten het risico voor de tevredenheid van de studenten, medewerkers en werkgevers in als geen tot gering. De tevredenheidsonderzoeken onder studenten (JOB 2014), het medewerkerstevredenheidsonderzoek (MTO 2013) met de aanvullende meting (MTO eind 2014) en het tevredenheidsonderzoek onder werkgevers (bpv-monitor 2013) laten over het algemeen positieve scores zien. De resultaten van deze onderzoeken zijn geanalyseerd en hebben waar nodig geleid tot acties. De resultaten van de herhalingsmeting MTO 2014 laten zien dat de tevredenheid binnen diverse teams aanzienlijk is verbeterd. Stabiliteit organisatie en management We schatten het risico voor de stabiliteit van de organisatie in als geen tot gering. Er zijn momenteel geen signalen of bevindingen die wijzen op discontinuïteit in bestuur en management. Wel zijn er de afgelopen jaren meerdere personele wisselingen geweest. De samenstelling van het college van bestuur is medio 2014 gewijzigd. Er is een nieuwe voorzitter aangetrokken en het college bestaat niet meer uit drie maar uit twee leden. Ook binnen de colleges zijn in de jaren na de reorganisatie meerdere personele wijzigingen geweest. Bij diverse teams is sprake geweest van aanstelling van een andere collegedirecteur of afdelingsmanager. Ook zijn er wijzigingen doorgevoerd in teamsamenstelling, met name door het toevoegen van vakdocenten aan teams en door personeelsreductie. Het aantal wijzigingen is sinds de start van dit schooljaar beperkt. Er lijken op dit moment geen grote wijzigingen voorhanden. Wel is bij meerdere teams sprake van een ad interim manager en worden bij het ICT-College twee afdelingsmanagers geworven. Financiële continuïteit We zien geen verhoogde risico’s voor de financiële continuïteit. Dit blijkt uit de financiële risicoanalyse die is uitgevoerd (zie toelichting in paragraaf 3.2). Samenvattend We zien geen risico's voor de onderwijskwaliteit en beoordelen de kwaliteitsborging van de instelling als voldoende. We gaan ervan uit, dat de instelling voldoende zicht heeft op de onderwijskwaliteit en in staat is om ook in de toekomst de risico's voor de

Pagina 15 van 50

onderwijskwaliteit te voorkomen, dan wel vroegtijdig te signaleren en te verhelpen.

Pagina 16 van 50

4

RESULTATEN PER OPLEIDING In dit hoofdstuk lichten wij per onderzochte opleiding het resultaat van het kwaliteitsonderzoek toe. We geven per gebied aan wat het oordeel is (goed, onvoldoende, voldoende, slecht) en lichten ons oordeel toe.

4.1

Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang) Het kwaliteitsonderzoek bij Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang), 25LH|92620, niveau 3, bol, locatie Vondellaan 174 te Utrecht heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2

Examinering en diplomering

3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5


• • • • Voldoet Voldoet niet

•

Naleving wettelijke vereisten

Gebied 1: Onderwijsproces

Voldoende Onvoldoende

Programma 1.1

Samenhang

1.2

Maatwerk

• •

Leren in de onderwijsinstelling 1.3

Didactisch handelen*

1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7

Studieloopbaanbegeleiding*

1.8

Zorg

• • •

Leren in de beroepspraktijk 1.9

Beroepspraktijkvorming*

Gebied 2: Examinering en diplomering 2.1

Exameninstrumentarium*

2.2

Afname en beoordeling*

2.3

Diplomering*


• • •

Pagina 17 van 50

Gebied 3: Opbrengsten 3.1

Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4


Gebied 5: Naleving wettelijke vereisten 5.1





•


Beschouwing Algemeen De opleiding Pedagogisch medewerker kinderopvang maakt deel uit van het Welzijn College en wordt aangeboden op drie locaties: Amersfoort, Utrecht en Zeist. De arbeidsmarkt in de kinderopvang is de afgelopen jaren gekrompen, met als gevolg een (nog steeds) krimpend studentenaantal. Als gevolg hiervan heeft ongeveer een vijfde van het onderwijsteam de opleiding afgelopen jaar moeten verlaten. Wij zien dat het team over veerkracht en doorzettingsvermogen beschikt en ondanks de personeelsreductie blijft investeren in een goede relatie met studenten als basis voor een effectief leeren begeleidingstraject. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Aan alle aspecten is voldaan. Het programma kent voldoende samenhang en biedt mogelijkheden voor maatwerk. Het is afgestemd op het kwalificatiedossier en vertoont een passende opbouw. Het programma bereidt de student voldoende voor op de arbeidsmarkt en doorstroom naar niveau 4. De teams van de diverse uitvoeringslocaties stemmen onderling af, waardoor studenten desgewenst naadloos kunnen overstappen naar een andere locatie. Het programma houdt op verschillende manieren rekening met de verschillen tussen de studenten. Tijdens de lessen voor de generieke vakken kunnen studenten dankzij de digitale lesmethode op eigen niveau en op eigen tempo werken. Voor taal en rekenen worden ondersteuningslessen aangeboden. Desondanks verdient maatwerk de aandacht. Enerzijds omdat de mogelijkheid om te versnellen flink minder is, nadat studenten na ongeveer 1,5 jaar studie de keuze hebben gemaakt voor niveau 3 of 4. Anderzijds omdat het programma is

Pagina 18 van 50

ingericht op een studieduur van 2,5 jaar, terwijl in de praktijk het merendeel van de studenten er drie jaar over doet. Het didactisch handelen, de leertijd en leeromgeving beoordelen we als voldoende. De opleiding biedt voldoende structurering van de leeractiviteiten, instructie en begeleiding. Docenten bouwen een relatie met studenten op, waardoor er een basis voor effectief leren ontstaat. De onderwijstijd wordt voldoende benut en over roosterwijzigingen wordt effectief gecommuniceerd. De leeromgeving is voldoende veilig. Wat beter kan is het tijdig geven van feedback op het werk dat studenten inleveren en het bevorderen van de eigen verantwoordelijkheid van studenten. Van studenten wordt namelijk veel verwacht op het gebied van het nemen van verantwoordelijkheid, maar zij lijken zich hier onvoldoende van bewust. Een voorbeeld hiervan is het animo voor de ondersteuningslessen taal en rekenen. De deelname aan deze lessen is vrijblijvend, waardoor studenten wegblijven en de kans niet benutten om hun achterstanden weg te werken. De intake en plaatsing, de studieloopbaanbegeleiding en de zorg beoordelen we als voldoende. De voorlichting vooraf over de opleiding is voldoende specifiek en realistisch en de intake is zorgvuldig en leidt tot een passende plaatsing. Voor studenten met een zorgbehoefte is er voldoende begeleiding beschikbaar en zijn er samenwerkingsverbanden met instellingen buiten de opleiding. De studieloopbaanbegeleiding biedt juiste en tijdige informatie over de uitvoering van de opleiding, verloopt planmatig en proactief. De opleiding heeft de arbeidsmarktontwikkelingen goed in beeld, mede door ondergenoemde dialoog met het werkveld. Tijdens de intake worden diverse gegevens over de student vastgelegd, desgewenst ook over een aanvullende zorgvraag. Tijdens de eerste week van de opleiding neemt de loopbaanbegeleider deze dossiers door, zodat er een goed beeld van de student ontstaat. De loopbaanbegeleider heeft minimaal viermaal per jaar een voortgangsgesprek met elke student. Op aanvraag kan dit meer zijn. Tijdens de gesprekken wordt de voortgang besproken en komen eventueel belemmerende factoren aan de orde. De aandachtsfunctionaris zorg van de opleiding houdt de studenten met extra zorgvragen in beeld, communiceert er enerzijds over met docenten en loopbaanbegeleider en anderzijds met het studieloopbaancentrum. De opleiding heeft een intensieve samenwerking met het MBO-jeugdteam. Wat beter kan is de communicatie van de verschillende loopbaanbegeleiders naar studenten. Deze is niet altijd eenduidig, waardoor soms verwarring ontstaat bij studenten. De opleiding heeft dit zelf ook geconstateerd en heeft maatregelen getroffen om dit te verbeteren.

Pagina 19 van 50

De beroepspraktijkvorming (bpv) beoordelen we als voldoende. De opleiding zorgt voor een passende plaatsing en bereidt studenten en bedrijven voor op de bpv. De studenten werken tijdens de bpv aan opdrachten beroepsprestaties. Viermaal per jaar is er contact met het bpv-bedrijf, waarvan minimaal tweemaal fysiek. Tijdens de gesprekken wordt de voortgang van de student besproken en komt eveneens de planning voor de proeves aan de orde. De werkbegeleider heeft een sleutelrol in het bepalen wanneer de student de beroepsprestaties voldoende beheerst en aan de proeve mag beginnen. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel voor de instellingsexamens Nederlandse taal tellen in studiejaar 2014-2015 nog niet mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het instrumentarium wordt deels ingekocht: het proeveboekje met daarin de beoordeling door de praktijkassessor. De beoordeling van het criterium gericht interview (cgi) en de kennistoetsen zijn zelf ontwikkeld. Door de examenmix is er een valide en betrouwbaar instrumentarium. Het exameninstrumentarium voor Nederlands sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Aandachtspunt is de dekking bij het examen Schrijven. Oorzaak hiervan is dat de deelnemer de informatie vaak vrijwel letterlijk uit de instructie kan overschrijven, met als gevolg dat de examenopdracht niet in overeenstemming is met het vereiste niveau. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. De kennistoetsen en de toetsen Nederlands worden op school afgenomen. De proeven worden in de praktijk afgenomen. De werkbegeleider bepaalt samen met de student wanneer de proeve kan aanvangen. De opleiding heeft hier een sturende en begeleidende rol in. Het cgi wordt afgenomen door een andere praktijkassessor en een assessor van de opleiding, niet zijnde de loopbaanbegeleider. De diplomering is voldoende deugdelijk en geborgd door de wijze waarop het proces van examineren en diplomeren is ingericht en wordt uitgevoerd. De secretaris van de sub-examencommissie stelt het examendossier samen waarna het geheel samen met de voorzitter wordt vastgesteld. De examencommissie

Pagina 20 van 50

ziet toe op het gehele examenproces door middel van steekproeven, tweede correcties en evaluaties. De verbetermaatregelen worden gemonitord en beoordeeld op hun effectiviteit. Om de deskundigheid van de betrokken functionarissen verder te bevorderen hebben zij recent een scholing op hun taakgebied gevolgd. Opbrengsten De opbrengsten zijn voldoende, omdat het jaarresultaat (73,5 procent) en het diplomaresultaat (74,3 procent) boven de norm liggen. Voor deze beoordeling, gebaseerd op de BRON-gegevens 2013-2014 zijn de resultaten van de bcid 166, niveau 3 gebruikt. In bijlage II staan de opleidingen die betrokken zijn bij het bepalen van de opbrengsten. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. De sturing beoordelen we als voldoende. Er zijn op structurele basis voldoende specifieke en meetbare doelen voor de opleiding geformuleerd. Er is sprake van voldoende continuïteit in onderwijsgevend en leidinggevend personeel. Mogelijke discontinuïteit als gevolg van het verder krimpen van de opleiding is voldoende in beeld bij het management. Op teamniveau spelen het teamplan, de zelfevaluatie en het verbeterplan op basis van de JOB-enquête een duidelijk rol. Docenten en management weten waaraan ze willen en moeten werken. Dit bewustzijn zien we het sterkst bij het management en de betrokkenen bij examinering. De beoordeling beoordelen we als voldoende. De opleiding beoordeelt regelmatig en betrouwbaar, met betrokkenheid van belanghebbenden de voortgang en de realisatie van de gestelde doelen. De JOB-enquête, het studentenpanel, lesbezoeken, overleg met het werkveld en het zogenaamde dashboard worden gebruikt door met name het management om de voortgang van verbeteracties in beeld te houden en te communiceren met het team. Hierdoor leeft er breed binnen de opleiding een helder beeld van de voortgang van ingezette verbeteracties. De verbetering en verankering beoordelen we als voldoende. De opleiding neemt verbetermaatregelen die passen bij de uitkomst van beoordelingen en de eigen doelstellingen. We zien dat kwaliteitsborging verder gaat dan het hanteren van systemen en instrumenten. Het is met name bij het managementteam een integraal onderdeel van denken en handelen. Het onderwijsteam is zich in

Pagina 21 van 50

toenemende mate bewust van de eigen verantwoordelijkheid voor het behalen van resultaten. Aandachtspunt hierbij is de komende scheiding van de examenorganisatie van de onderwijsorganisatie. Eventuele risico’s die uit deze organisatieverandering voortvloeien zijn voldoende in beeld bij het management van de opleiding. De dialoog en verantwoording beoordelen we als voldoende. De opleiding voert een functionele dialoog met studenten, docenten en met het werkveld op het gebied van onderwijs en examinering. Hierdoor zijn wensen en ideeën van zowel intern als extern belanghebbenden goed in beeld. De opleiding vertaalt de resultaten van de dialoog naar passende verbetermaatregelen. Op deze wijze draagt de dialoog bij aan de kwaliteit van zowel het onderwijs als de examinering. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen, omdat voor zover onderzocht is vastgesteld dat de bepalingen zijn nageleefd. Schoolkosten/wettelijke bijdragen De opleiding voldoet aan de eisen gesteld in artikel 8.1.4 van de WEB. 4.2

Verkoper (Verkoper detailhandel) Het kwaliteitsonderzoek bij Verkoper (Verkoper detailhandel), 25LH|93751, niveau 2, bbl, locatie Marco Pololaan 2 te Utrecht heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5



•




Programma 1.1

Samenhang

1.2

Maatwerk

• •

Leren in de onderwijsinstelling

Pagina 22 van 50

Gebied 1: Onderwijsproces 1.3


1.4

Leertijd

1.5

Leeromgeving


• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •





2.2


2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4





• • • Voldoende Onvoldoende



•


Beschouwing De groep bbl-studenten die deze opleiding volgt bestaat voor een groot deel uit studenten die specifieke zorg behoeven en baat hebben bij de positieve benadering om zich te ontwikkelen. Het team werkt heel bewust aan een stimulerend leerklimaat, zodat de studenten worden aangezet tot werkelijk leren. Het effect is zichtbaar in stijgende opbrengsten van schooljaar 2013-2014 ten op zichte van het voorgaand schooljaar en de tevredenheid onder studenten over de kwaliteit van het onderwijs en de begeleiding. Onderwijsproces Het onderwijsproces beoordelen we als voldoende, omdat aan alle aspecten is voldaan.

Pagina 23 van 50

Het programma kent voldoende samenhang en biedt mogelijkheden voor maatwerk. Het programma is afgestemd op het kwalificatiedossier en de opbouw is passend. Het ingekochte lesmateriaal vormt de basis van de inrichting van het programma voor de vier dagen beroepspraktijkvorming en de ene dag op school. Het programma houdt rekening met verschillen tussen studenten. De reguliere opleidingsduur is twee jaar, waarbij studenten mogelijkheid hebben om te versnellen. Een aantal studenten rondt de opleiding een half jaar eerder af. Daarnaast krijgen de degenen die moeilijkheden hebben met bijvoorbeeld Nederlands, extra lessen aangeboden en kunnen zij er langer over doen om op te gaan voor het taalexamen. Het didactisch handelen, de leertijd en leeromgeving beoordelen we als voldoende. De leersituaties op school verlopen gestructureerd. Er wordt bewust ingezet op een duidelijke opbouw en afronding, zodat studenten weten waar ze aan toe zijn en het doel en nut van het geleerde inzien. De leertijd wordt voldoende benut. Het nieuwe gebouw en de lichte ruimtes dragen bij aan de goede sfeer en veiligheid voor studenten en docenten. De docenten zijn onlangs geschoold in didactische vaardigheden. Dit heeft ertoe bijdragen dat het team de ervaringen van de studenten opgedaan in de beroepspraktijk nog meer als uitgangspunt of aangrijpingspunt benut. De docenten leggen in de lessen bewust persoonlijk contact met iedere student, waardoor ze betrokken zijn en ook werkelijk leren. Aandachtspunt blijft het nagaan of de balans in aandacht voor de zwakkere en voor de betere studenten in verhouding is. De studenten worden tijdens de lessen voldoende begeleid, hoewel de zwakkere studenten altijd nog meer uitleg willen krijgen. De intake en plaatsing, de studieloopbaanbegeleiding en de zorg beoordelen we als voldoende. De intake is verder aangescherpt en de informatie die het oplevert wordt als aangrijpingspunt genomen voor de begeleiding van de vele studenten met een specifieke hulpvraag. We hebben positieve verwachting dat het plan om de AMN toets mede in te zetten bij de intake, het team meer mogelijkheid biedt om de getoonde motivatie te toetsen aan hun daadwerkelijke capaciteiten en hun ontwikkeling. De studenten zijn tevreden over de begeleiding die zij krijgen. Er is naast aandacht voor de geregistreerde resultaten, ook aandacht voor de persoonlijke ontwikkeling van studenten in de pop-gesprekken. Deze persoonlijke aandacht zorgt voor een extra stimulans voor studenten om hun opleiding af te ronden. Er is een duidelijk beleid voor de tweede- en derdelijns zorg, waarvan de studenten gebruik maken. Er wordt door de deelnemende partijen volgens een

Pagina 24 van 50

stappenplan gehandeld. Dit leidt ertoe dat er adequaat gehandeld wordt. Via de registratie van afspraken en de feedback daarop wordt de zorg door het team geëvalueerd en indien gewenst bijgesteld. De beroepspraktijkvorming beoordelen we als voldoende. De studenten en bedrijven zijn in voldoende mate voorbereid op de beroepspraktijkvorming (bpv). De begeleiding door de school en het leerbedrijf is zo ingericht dat er sprake is van frequent contact. De betrokkenen zijn op de hoogte van de voortgang van de student en of er specifieke actie vereist is. De studenten hebben bij binnenkomst een bpv-plaats, waar ze ook werkzaam zijn. Bij ontslag of faillissement is het uitgangspunt dat de student zelf op zoek gaat naar een andere leerwerkplek, maar indien nodig ondersteunt de opleiding bij het vinden van werk. Als dat niet mocht lukken, dan kunnen ze overstappen naar de bol-opleiding. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel voor de instellingsexamens Nederlandse taal tellen in studiejaar 2014-2015 nog niet mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding maakt gebruik van ingekocht examenmateriaal (KC Handel) dat door de inspectie als voldoende is beoordeeld. Het team vindt het examenmateriaal goed bruikbaar en zet het ongewijzigd in. Het exameninstrumentarium voor Nederlands sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding maakt gebruik van ingekocht examenmateriaal (ESS/TOA) dat door de inspectie als voldoende is beoordeeld. De examens voor spreken en gesprekken voeren is geïntegreerd in de beroepsgerichte examinering. Deze taalvaardigheden worden beoordeeld op basis van een presentatie, waarbij meerdere beoordelaars betrokken zijn die conform een helder protocol werken. De examenprocessen van afname en beoordeling verlopen deugdelijk. De opleiding heeft voldoende zicht of de afname en de beoordeling in de praktijk. Wat de aandacht heeft en ook verdient is de garantie dat het examen binnen de MKB-wereld voor iedereen gelijk is. Het team is zich hier terdege van bewust. Het team beschouwt het als een vorm van maatwerk, waarbij een sterkere

Pagina 25 van 50

student bij een chiquere winkel werkt waaraan ook iets hogere eisen gesteld mogen worden. Tijdens het criterium gericht interview zien de beoordelaars erop toe dat het binnen de grenzen van de examenvereisten blijft vallen. Daarbij gaan zij na of de beoordeling van de proeve in lijn is met de twee beoordelingen die voorafgaan aan de proeve in de praktijk en gaan zij na of het werk van de student eigen werk is. De diplomering is voldoende deugdelijk en geborgd. De examenresultaten van de studenten worden afgezet tegen de exameneisen uit het kwalificatiedossier, waarbij zorgvuldig wordt nagegaan of een diploma kan worden verstrekt. De examencommissie heeft voldoende zicht op de kwaliteit van de examinering en diplomering. De examendossiers worden steekproefsgewijs door de examencommissie gecontroleerd op volledigheid aan de hand van een recent ingevoerde checklist. Uit de tussenevaluatie die onlangs is uitgevoerd is gebleken dat het scheiden van de rol van beoordelaar en begeleider bij de proeve en het meerogenprincipe bij de theorie- en taalexamens beter kan. Dit heeft de aandacht van de examencommissie. Opbrengsten De opbrengsten zijn voldoende, omdat het jaarresultaat (65,8 procent) en diplomaresultaat (58,2 procent) boven de norm liggen. Voor deze beoordeling, gebaseerd op de BRON-gegevens van schooljaar 2013-2014 zijn de resultaten van de bc222, niveau 2 gebruikt. In bijlage II staan de opleidingen die betrokken zijn bij het bepalen van de opbrengsten. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende, omdat voldaan is aan alle aspecten. De sturing beoordelen we als voldoende. Er zijn specifieke en meetbare doelen voor de opleiding geformuleerd. De sturingsinformatie is overzichtelijk beschikbaar op de kwaliteitskaart in het dashboard. Het dashboard geeft direct zicht op opbrengsten, verzuim, voortijdig schoolverlaten, ontwikkeling studentenaantallen en tevredenheid van studenten, beroepenveld en eigen opleidingsteam. Hiermee is informatie voorhanden om doelgericht te sturen op kwaliteit. Wat beter kan is de samenhang tussen het college- en afdelingsplan. De beoordeling beoordelen we als voldoende. De opleiding beoordeelt in lijn met de roc-brede systematiek regelmatig en betrouwbaar de voortgang en de

Pagina 26 van 50

realisatie van de gestelde doelen die zijn opgenomen in het dashboard. De opleiding verzamelt frequent informatie, waarbij gebruik wordt gemaakt van diverse beoordelingsinstrumenten. Een punt van aandacht is de analyse van de monitoringsinformatie, zodat dit bruikbare informatie oplevert om specifiek voor deze opleiding meetbare doelstellingen te formuleren gericht op onderwijsproces en examinering. De verbetering en verankering beoordelen we als voldoende. De verbetermaatregelen passen bij de uitkomsten van de beoordelingen in het licht van de gestelde doelen. In het professionaliseringsplan dat onderdeel uitmaakt van het team is de scholing opgenomen, gericht op het behouden en vergroten van de aanwezige deskundigheid van het team. De verbeteraanpak die het team hanteert heeft geleid tot structurele verbeteringen binnen het onderwijsproces en examinering, zoals bijvoorbeeld de invulling van loopbaanleren en de samenstelling van de examendossiers. De dialoog en verantwoording beoordelen we als voldoende. De dialoog met teamleden, studenten en bpv-bedrijven is voldoende effectief. Er wordt met interne en externe belanghebbenden gesproken over de kwaliteit van onderwijs en examinering. Er zijn panelgesprekken gevoerd met studenten waarbij uitkomsten van enquêtes zijn gebruikt en er zijn werkveldbijeenkomsten georganiseerd. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen. Schoolkosten/wettelijke bijdragen De opleiding voldoet aan de eisen gesteld in artikel 8.1.4 van de WEB. 4.3

Betonreparateur Het kwaliteitsonderzoek bij Betonreparateur, 25LH|93931, niveau 2, bbl, locatie Harmonielaan 2 te Nieuwegein heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5




•

Pagina 27 van 50



Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •





2.2


2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4








•


Beschouwing Algemeen Het Bouw en Interieur College verzorgt de tweejarige opleiding Betonreparateur in nauwe samenwerking met de Stichting Landelijk Samenwerkingsverband Betonreparatie bedrijven (hierna: LSVB). De LSVB neemt de studenten in dienst en meldt ze na een proefperiode aan bij de school. Het positieve gevolg hiervan

Pagina 28 van 50

is dat de studenten binnenkomen met een realistisch beeld van het beroep en over het algemeen goed gemotiveerd zijn. Onderwijsproces Het onderwijsproces beoordelen we als voldoende, omdat aan alle aspecten is voldaan. Het programma kent voldoende samenhang en biedt mogelijkheden voor maatwerk. Het programma is afgestemd op het kwalificatiedossier en kent een duidelijke structuur. Een sterk punt is de nauwe samenwerking met het bedrijfsleven. Het opleidingsteam verzorgt gedurende drie maanden (januari, februari en maart) de zogenaamde winterschool, bestaande uit theorie en praktijk aangevuld met de algemeen vormende vakken. In de overige maanden zijn de studenten werkzaam in een van de leerbedrijven, aangesloten bij de LSVB. De afstemming tussen het leren op school en het leren in de praktijk zorgt voor een goede voorbereiding op het toekomstig beroep. De studenten kunnen tijdens de praktijkuren op school en in de beroepspraktijk op eigen niveau en in eigen tempo praktijkervaring opdoen en zich het vak eigen maken. Bij de vakken Nederlands en rekenen verdient het de aandacht om meer rekening te houden met de verschillen tussen studenten in vooropleiding, capaciteiten, vorderingen en vervolgwensen. Een aantal studenten komt met een redelijk hoge, soms afgeronde vooropleiding binnen en kunnen 2F makkelijk aan. De verrijkings- en verdiepstof is in ontwikkeling. De huidige studenten geven aan behoefte te hebben aan meer maatwerk bij deze vakken. Het ontbreken van extra stof is een gemis. Het didactisch handelen, de leertijd en leeromgeving beoordelen we als voldoende. Het leren in de onderwijsinstelling verloopt gestructureerd, de leertijd wordt benut en de studenten ervaren de sfeer in de klas en op school als prettig. De keuze om taal- en rekendocenten te verbinden aan het opleidingsteam zorgt ervoor dat het team met elkaar in gesprek is over de samenhang tussen de beroepsgerichte en generieke vakken. Dit met het oog op meer aansluiting. De studenten zijn over het algemeen tevreden over hun docenten en waarderen het zeer dat de beroepsgerichte docenten hun praktijkervaring als uitgangspunt nemen bij de lessen. De studenten worden gestimuleerd tot leren, tot het stellen en beantwoorden van vragen en ontvangen daarbij gericht feedback. Wat beter kan en de aandacht verdient is de interactie bij de lessen rekenen, een meer doelmatige invulling van de lessen loopbaanleren en meer uitdaging bij de avo-vakken.

Pagina 29 van 50

De intake en plaatsing, de studieloopbaanbegeleiding en de zorg beoordelen we als voldoende. De begeleiding is gericht op het welbevinden van de studenten en op het behalen van het diploma binnen de maximale opleidingsduur. De studenten waarderen de persoonlijke aandacht en voelen zich gezien. Er is weinig verzuim en er is nauwelijks uitval van studenten. Een sterk punt in de beleiding is de wekelijkse leerlingbespreking, waarbij het team bijzonderheden over de studievoortgang, motivatie en relevante informatie rondom studenten (zorgvraag, thuissituatie oid) met elkaar bespreekt. De docenten zijn op de hoogte van wat er speelt en houden hier tijdens en buiten de lessen om rekening mee. Ook de aanwezigheid op locatie van een medewerker van het studieloopbaancentrum waardoor extra zorg binnen handbereik is, wordt als zeer positief ervaren. De wijze waarop het team de begeleiding vormgeeft werkt in de praktijk, maar er is wel een professionaliseringsslag nodig. Het is van belang dat het team een student-begeleidingsmodel ontwikkelt, zodat formele contactmomenten kunnen worden ingepland. Dit zorgt voor duidelijkheid omtrent het doel en de frequentie van de contactmomenten en zorgt ervoor dat gestuurd kan worden op naleving van de gemaakte afspraken. Daarnaast is het van belang dat het team conform afspraak Eduarte gaat gebruiken voor de registratie van de begeleidingsgegevens en afspraken, zodat deze systematisch en op een plek zijn vastgelegd. Dit zorgt ervoor dat de school beschikt over een zo actueel mogelijk totaaloverzicht van de leeren ontwikkellijn van de studenten. De beroepspraktijkvorming (bpv) beoordelen we als voldoende. De studenten zijn in dienst bij het LSVB en beschikken bij de start van de opleiding al over een leerwerkplek bij een erkend bedrijf. De studenten zijn goed voorbereid op wat hen te wachten staat, omdat zij voordat zij starten met de opleiding (op een uitzondering na) een proefperiode bij het leerbedrijf gewerkt hebben. Daarbij is ook in de lessen vakleer en praktijk op school regelmatig een verbinding gelegd met de beroepspraktijk. Verder geeft de trajectmap duidelijkheid, omdat hierin de opdrachten rondom de vier werkprocessen behorend bij de kerntaak staan. De studenten zijn tevreden over de begeleiding. Desondanks kan de school op dit punt wel een verbeterslag maken om de verbinding tussen het leren op school en het leren in de praktijk gedurende de maanden dat de studenten werkzaam zijn bij het leerbedrijf te versterken. Een punt van aandacht is namelijk dat voor studenten niet duidelijk is wat zij gedurende de praktijkmaanden van de school kunnen en mogen verwachten. Zij geven aan dat zij zichzelf op de leerwerkplek als werknemer zien en niet als student. De school lijkt alleen in beeld tijdens de zogenaamde terugkomdagen. Het maken van duidelijke afspraken over het aantal bpv-bezoeken vanuit school en het doel van deze bezoeken maakt de school zichtbaarder.

Pagina 30 van 50

Een ander punt van aandacht is het ontbreken van afspraken over de begeleiding en de registratie van gegevens tijdens de periode dat de studenten aan het werk zijn. De studenten lijken uit beeld te zijn van school omdat er geen actuele begeleidingsgegevens voorhanden zijn, maar de docenten geven aan dat de studenten zeker niet uit beeld zijn. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel voor de instellingsexamens Nederlandse taal tellen in studiejaar 2014-2015 nog niet mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het beroepsgerichte exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding maakt gebruik van het exameninstrumentarium van Fundeon, bestaande uit vijf theorietoetsen en vier praktijktoetsen die aansluiten op het lesmateriaal. Dit instrumentarium is eerder door de inspectie onderzocht en omdat de opleiding de exameninstrumenten ongewijzigd inzet, wordt het voldoende oordeel overgenomen. Het exameninstrumentarium voor Nederlands beoordelen we voor de taalvaardigheden spreken en schrijven inclusief taalverzorging als onvoldoende, omdat het exameninstrumentarium voor deze taalvaardigheden onvoldoende aansluit op de uitstroomeisen en de toetstechnische eisen. Dit komt omdat de cesuur en de beoordelingswijze niet voldoen. Het exameninstrumentarium voor de taalvaardigheden gesprekken voeren, lezen en luisteren voldoet wel. De taalvaardigheden lezen en luisteren zijn afgenomen volgens het landelijke pilotexamen. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. Voor de beroepsgerichte examens zijn de richtlijnen en voorschriften van Fundeon leidend. Fundeon schrijft onder andere voor dat een van de vier praktijktoetsen moet zijn afgenomen in een erkend examencentrum; dit is voor de studenten van deze opleiding het praktijklokaal op school. De kracht hiervan is enerzijds de zekerheid dat de beoordeling wordt gedaan door een onafhankelijke beoordelaar. Anderzijds zorgt de controle door een adviseur examinering van Fundeon ervoor dat er steekproefsgewijs sprake is van een vier-ogenprincipe. Er zijn aanvullende acties geformuleerd in het document ‘Tussenevaluatie jaarplannen B&I College’ gericht op het vergroten van het zicht op de afname en beoordeling van de praktijkexamens. Wat beter kan is het zicht op de afname en

Pagina 31 van 50

beoordeling van de taalexamens Nederlands die op school worden geëxamineerd. De diplomering is voldoende deugdelijk en geborgd. De examenresultaten van de studenten worden afgezet tegen de exameneisen uit het kwalificatiedossier, waarbij zorgvuldig wordt nagegaan of een diploma kan worden verstrekt. De examencommissie heeft voldoende zicht op de kwaliteit van de examinering. De opleiding heeft geïnvesteerd in het compleet maken van de examendossiers. Deze worden steekproefsgewijs door de examencommissie gecontroleerd op volledigheid aan de hand van een recent ingevoerde checklist. Wat beter kan is de borging van examinering van Nederlands. Opbrengsten De opbrengsten zijn voldoende, omdat het jaarresultaat (92,6 procent) en het diplomaresultaat (90,9 procent) boven de norm liggen. Voor deze beoordeling, gebaseerd op de BRON-gegevens van schooljaar 2013-2014 zijn de resultaten van de bc037, niveau 2 gebruikt. In bijlage II staan de opleidingen die betrokken zijn bij het bepalen van de opbrengsten. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. De sturing beoordelen we als voldoende. In het afdelingsplan zijn concrete doelstellingen en normen vastgelegd gericht op onder meer de opbrengsten, voortijdig schoolverlaten, ziekteverzuim en de tevredenheid van de studenten, docenten en bedrijven. De doelstellingen gericht op de ‘harde’, meetbare gegevens zijn concreet en in het dashboard is zichtbaar of deze doelen zijn behaald. Wat beter kan is de formulering van de doelstellingen gericht op kwaliteit van het onderwijsproces en de examinering specifiek voor deze opleiding. De doelen die in het afdelingsplan staan zijn niet concreet genoeg om doelgericht te kunnen (bij)sturen. De beoordeling beoordelen we als voldoende. De opleiding gaat in voldoende mate na of de onderwijskwaliteit waaronder de examinering voldoende is. Op opleidingsniveau zijn monitoringsgegevens beschikbaar betreffende de tevredenheid onder studenten (JOB en les- en docentevaluatie), bedrijven (bpvmonitor) en medewerkers (MTO). In het dashboard is zichtbaar of de vooraf gestelde doelen en normen zijn behaald. Een punt van aandacht is de analyse van de monitoringsinformatie. Deze analyse kan scherper en structureler worden toegepast om de relatie tussen verbeteracties en doelen duidelijk te maken.

Pagina 32 van 50

De verbetering en verankering beoordelen we als voldoende. De uitkomsten van beoordelingen en waarnemingen zijn gebruikt om verbetermaatregelen te treffen. Wat opvalt is dat het doelgericht werken aan verbetering nog niet voor alle teamleden een vanzelfsprekendheid is. De afgelopen periode is met name gestuurd op naleving van gemaakte afspraken, zoals het gebruik van Eduarte. Ook is er aandacht voor actiepunten in het kader van kwaliteitsborging tijdens de teamoverleggen en vindt ondersteuning van alle teamleden plaats in de vorm van scholingen. Het management wil hiermee bereiken dat het onderwijsteam zich meer verantwoordelijk gaat voelen voor de resultaten die zij behalen. De dialoog en verantwoording beoordelen we als voldoende. De dialoog met en verantwoording naar externen is goed ontwikkeld. Er is sprake van intensieve samenwerking met de LSVB, waarin de bpv-bedrijven zijn vertegenwoordigd. Als er ontwikkelingen zijn in de branche, dan leiden deze snel tot aanpassingen in de opleiding. De interne dialoog met studenten gericht op de onderwijskwaliteit en de beoordeling daarvan vraagt echter de aandacht. Er zijn duidelijke afspraken zodat er duidelijkheid is over de vorm, frequentie en inhoud van panelgesprekken, maar deze zijn dit schooljaar nog niet gevoerd. Daarbij zijn de resultaten van de JOB Monitor die collegebreed zijn teruggekoppeld niet representatief voor deze opleiding gezien het beperkt aantal respondenten. De panelgesprekken zijn inmiddels ingepland en er wordt bij de volgende JOB gestuurd op deelname. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eis(en), omdat voor zover onderzocht, is vastgesteld dat de bepalingen zijn nageleefd. Schoolkosten/wettelijke bijdragen De opleiding voldoet aan de eisen gesteld in artikel 8.1.4 van de WEB. De opleiding wordt betaald door de LSVB. De opleiding brengt de studenten geen extra kosten in rekening. 4.4

Kapper (Junior Kapper) Het kwaliteitsonderzoek bij Kapper (Junior Kapper), 25LH|95120, niveau 2, bbl, locatie Kretadreef 61 te Utrecht heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2



• •

Pagina 33 van 50

Kwaliteitsgebied 3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5


• • Voldoet Voldoet niet

•




Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •





2.2


2.3

Diplomering*


Rendement


Sturing *

4.2

Beoordeling *

4.3


4.4








•


Pagina 34 van 50

Beschouwing Algemeen De opleiding Junior kapper is onderdeel van het Beauty College. De opleiding heeft de afgelopen jaren op diverse vlakken een verbeterslag gemaakt. De opleiding kenmerkt zich door kleinschaligheid en een sterke combinatie van informele en formele interactie. De docenten en het management zijn trots op wat bereikt is en hebben de ambitie om nog beter te worden. De student wordt gefaciliteerd en uitgedaagd, zonder overvraagd te worden. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Aan alle kernaspecten is voldaan. Het programma kent voldoende samenhang, maar biedt onvoldoende mogelijkheden voor maatwerk. Het programma is afgestemd op het kwalificatiedossier en de regionale arbeidsmarkten kent een passende opbouw die helder is voor student, docent en voor het leerbedrijf. Maatwerk is onvoldoende. Het programma houdt op zich wel rekening met verschillen tussen studenten. Er zijn diverse mogelijkheden tot verbreding en verdieping en een student kan vooruit werken. Bij de algemene vakken wordt op niveau gewerkt. Als een student voor ligt kan hij eerder examen doen voor de algemene vakken. Maar, studenten die vooruitwerken krijgen vervolgens niet de mogelijkheid geboden om de opleiding versneld af te ronden en de tijd die resteert wordt niet ingevuld als effectieve leertijd. Zij worden bijvoorbeeld ingezet om andere studenten te helpen. Het team is ervan op de hoogte dat dit als een gemis wordt ervaren en heeft aangegeven dat zij dit gaan oppakken. Het didactisch handelen, de leertijd en leeromgeving beoordelen we als voldoende. De opleiding biedt een goede structurering van de leeractiviteiten. Docenten hebben een effectieve interactie met studenten en leggen verbanden tussen het leren op de opleiding en het leren in de beroepspraktijkvorming. Het team stimuleert de studenten tot actief leren. De onderwijstijd wordt voldoende benut en er is een evenwichtige werkdruk voor de student. Het leerklimaat is goed, studenten ervaren een veilige en prettige leeromgeving. De intake en plaatsing, de studieloopbaanbegeleiding en de zorg beoordelen we als voldoende. De voorlichting vooraf is realistisch en de intake is zorgvuldig. Voor studenten die nog geen werkgever hebben organiseert de opleiding voor aanvang van de studie een bedrijvenmarkt. Dit levert vaak een match tussen

Pagina 35 van 50

student en werkgever op. De studenten hebben een reëel beeld van de arbeidsmarkt voordat zij met de opleiding starten. De studieloopbaanbegeleiding verloopt adequaat en is voldoende proactief en planmatig. Door middel van de opleidingskaart is er voortdurend een goed beeld van de voortgang van de student. De voortgang wordt, mede aan de hand van aanwezigheidscijfers, minimaal tweemaal per jaar met de student besproken. Bij achterstand wordt gezamenlijk een verbeterplan opgesteld. Hierdoor worden eventuele belemmeringen bij de student tijdig gesignaleerd en effectief aangepakt. Tijdens de intake en ook tijdens de studie worden specifieke zorgbehoeften in kaart gebracht. Het team heeft zicht op de benodigde zorg en zorgt ervoor dat studenten extra ondersteuning krijgen. Afhankelijk van de zorgvraag werkt het team samen met het interne studieloopbaancentrum, dat samenwerkt met organisaties buiten de instelling. Relevante informatie wordt via de loopbaanbegeleider weer aan het team teruggekoppeld. De beroepspraktijkvorming (bpv) beoordelen we als voldoende. De opleiding bereidt de student en het leerbedrijf voldoende voor op de bpv en bewaakt het leren in het leerbedrijf. De praktijkopleider ziet op de opleidingskaart wat de student al weet en wat hij nog moet leren en sluit hier bij aan. Hierdoor is er een totaaloverzicht van de ontwikkeling van de student. Als het leerbedrijf andere ideeën heeft over de opbouw of inhoud van de opleiding wordt dat – al dan niet via de werkveldcommissie – met de opleiding kortgesloten. De opleiding pakt deze signalen op en communiceert hier effectief over met het werkveld. Hierdoor is er een goede aansluiting tussen het leren op de opleiding en het leren op de leerwerkplek. Examinering en diplomering De examinering en diplomering beoordelen we als goed. Aan alle aspecten wordt op uitstekende wijze voldaan. Het oordeel voor de instellingsexamens Nederlandse taal tellen in studiejaar 2014-2015 nog niet mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding. Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het instrumentarium is door de opleiding zelf ontwikkeld. Voorafgaand aan deze ontwikkeling hebben betrokkenen gerichte scholing gevolgd. De examenmix is evenwichtig samengesteld. We zien een helder en overzichtelijk instrumentarium aan de hand waarvan studenten goed examen kunnen doen. Ook voor beoordelaars is het een goed hanteerbaar instrument om tot een adequate beoordeling te komen.

Pagina 36 van 50

Het exameninstrumentarium voor Nederlands sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. De opleiding maakt gebruik van een zelf ontwikkeld instrumentarium voor de taalvaardigheden spreken, gesprekken voeren en schrijven en taalverzorging. De examenprocessen van afname en beoordeling verlopen deugdelijk. De beroepsgerichte proeves worden in de schoolsalon afgenomen, waarbij een groep studenten tegelijk het examen aflegt. Hierbij zijn volgens procedure twee assessoren aanwezig, namelijk een schoolassessor en een assessor uit de praktijk. Dit zijn allebei onafhankelijke beoordelaars. Zij observeren tijdens het examen en noteren zoveel mogelijk scores en toelichtingen op het beoordelingsformulier. Na afloop van de proeve vergelijken de assessoren de scores en komen zij tot één oordeel. Bij grote afwijkingen voeren de assessoren overleg en komen desgewenst tot een aangepast oordeel. Bij de afname en beoordeling van Nederlands rouleren de assessoren, zodat niet de eigen docent maar een andere docent de assessor is. De gesprekken bij de examens spreken en gesprekken voeren worden opgenomen. De diplomering is deugdelijk en goed geborgd. De examendossiers zien er verzorgd en overzichtelijk uit. De examencommissie voert een steekproef uit op de dossiers, voordat het diploma wordt vastgesteld. De examencommissie signaleert ook op basis van signalen en eigen gedegen onderzoek of er mogelijke verbeterpunten zijn in het instrumentarium of in het examineringsproces. Bij afwijkingen wordt nagegaan waar de afwijkingen vandaan komen en worden gepaste verbetermaatregelen getroffen. Ook ziet de examencommissie toe op de deskundigheid van assessoren, ontwikkelaars en vaststellers. Er vinden jaarlijks passende scholingen plaats, ook voor de assessoren uit de praktijk. Opbrengsten De opbrengsten zijn voldoende, omdat het jaarresultaat (73,5 procent) en het diplomaresultaat (58,4 procent) boven de norm liggen. Voor deze beoordeling, gebaseerd op de BRON-gegevens 2013-2014 zijn de resultaten van de bc088, niveau 2 gebruikt. In bijlage II staan de opleidingen die betrokken zijn bij het bepalen van de opbrengsten. Kwaliteitsborging De kwaliteitsborging beoordelen we als voldoende. Aan alle aspecten is voldaan. Hierna volgt een toelichting per aspect.

Pagina 37 van 50

De sturing beoordelen we als voldoende. Er zijn op structurele basis specifieke en meetbare doelen voor de opleiding geformuleerd, in lijn met het beleid van het roc en rekening houdend met signalen uit het werkveld. Er is sprake van voldoende continuïteit in management en personeel. De afdelingsmanager stelt in overleg met het team en de college-directeur het afdelingsjaarplan samen. De input voor dit plan bestaat uit een waardevolle mix van formele en informele bronnen. Het management zoekt deze informatie actief op. De beoordeling is voldoende. De opleiding beoordeelt regelmatig en met betrokkenheid van onafhankelijke deskundigen en belanghebbenden de voortgang en realisatie van de gestelde doelen. De monitoring is goed ontwikkeld. De beoordelingsinstrumenten leveren samen met de signalen op de werkvloer informatie op, die het team en het management zicht geven op ontwikkelingen en verbeterpunten. Aandachtspunt hierbij is de analyse van de uitkomsten van het monitoringsproces. Deze analyse kan nog scherper en structureler worden toegepast om de relatie tussen verbeteracties en doelen duidelijk te maken. De verbetering en verankering beoordelen we als voldoende. De opleiding neemt indien nodig passende verbetermaatregelen en bevordert, waar gewenst, de deskundigheid van het personeel. Het team is zich meer bewust geworden van de eigen verantwoordelijkheid voor de kwaliteit en de te behalen resultaten. De opleiding is de afgelopen jaren merkbaar verbeterd. Positieve effecten zijn dat de opbrengsten zichtbaar zijn verbeterd en het aantal voortijdig schoolverlaters is gedaald. De ambitie van management en team zorgt ervoor dat men blijft zoeken naar verdere verbeteringen. De dialoog en verantwoording beoordelen we als voldoende. De dialoog met en verantwoording naar interne en externe belanghebbenden is ingericht en functioneert. Ook hier blijkt de effectiviteit van de combinatie van formeel en informeel. Wat de opleiding hoort van studenten en uit het werkveld wordt daadkrachtig opgepakt. Na een eventuele verbeteractie wordt het resultaat teruggekoppeld aan belanghebbenden, onder andere via een nieuwsbrief. Het resultaat is dat de opleiding een goed beeld heeft van wat er intern en extern leeft en dat belanghebbenden een goed beeld hebben van de opleiding. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eis(en), omdat voor zover onderzocht is vastgesteld dat de bepalingen zijn nageleefd. Schoolkosten/wettelijke bijdragen

Pagina 38 van 50

De opleiding voldoet aan de eisen gesteld in artikel 8.1.4 van de WEB. De opleiding heeft duidelijk gemaakt dat de aanschaf van het materialenpakket en het schort vrijwillig is. 4.5

Applicatie- en mediaontwikkeling (Applicatieontwikkelaar) Het kwaliteitsonderzoek bij Applicatie- en mediaontwikkeling (Applicatieontwikkelaar), 25LH|95311, niveau 4, bol, locatie Zangvogelweg 140 te Amersfoort heeft geleid tot de volgende oordelen: Kwaliteitsgebied 1

Onderwijsproces

2


3

Opbrengsten

4

Kwaliteitsborging

Kwaliteitsgebied 5



•




Programma 1.1

Samenhang

1.2

Maatwerk

• •



1.4

Leertijd

1.5

Leeromgeving

• • •

Begeleiding 1.6

Intake & plaatsing

1.7


1.8

Zorg

• • •





2.2


2.3

Diplomering*


Rendement



•

Pagina 39 van 50


Sturing *

4.2

Beoordeling *

4.3


4.4






•


Beschouwing Algemeen De enorme groei van het aantal studenten sinds de start in 2010-2011, de verhuizingen, de diverse personele wisselingen en de aangepaste wijze waarop het onderwijs gegeven wordt heeft gezorgd voor veel dynamiek. De opleiding is nu in rustiger vaarwater gekomen. De groei in studentenaantal is gestabiliseerd en op de aanstelling van een nieuwe afdelingsmanager na, lijkt er ook stabiliteit te komen in de samenstelling van het team. Het team (en eigenlijk het gehele ICT College) is bezig met het herontwerp van de opleiding en het op orde brengen van de basis van de opleiding. Het onderwijsprogramma is opnieuw opgebouwd om ervoor te zorgen dat de opleiding voor alle studenten drie jaar duurt. Er is verdere verbetering van het onderwijsproces wenselijk, zodat beter ingespeeld kan worden op de behoeften van de studenten. De opleiding is namelijk nog niet voor alle studenten uitdagend genoeg, waardoor leertijd niet optimaal wordt benut. Het management heeft de sterke en zwakke kanten van de opleiding in beeld gebracht en stuurt gericht op versterking van het programma en de uitvoering. Onderwijsproces Het onderwijsproces beoordelen we als voldoende. Aan alle kernaspecten is voldaan. Er is echter niet voldaan aan de aspecten maatwerk en leertijd. Het programma kent voldoende samenhang, maar biedt onvoldoende mogelijkheden voor maatwerk. Het huidige programma is afgestemd op het kwalificatiedossier en is voldoende gestructureerd. Het team is bezig met het verder aanscherpen van de leerlijnen en het vergroten van de samenhang tussen leren op school en in de beroepspraktijk. Het bieden van maatwerk verdient echter wel de aandacht, omdat het huidige programma onvoldoende rekening houdt met de verschillen tussen studenten in

Pagina 40 van 50

vooropleiding, capaciteiten, vorderingen en vervolgwensen. De groep studenten is heterogeen. Een aantal studenten komt binnen met veel voorkennis op ICTgebied. De mogelijkheid om de opleiding eerder af te ronden wordt in principe niet meer geboden. De opleiding biedt ook nog onvoldoende individuele en/of groepsgewijze mogelijkheden als aanvulling op het reguliere programma. Het team is wel bezig met de ontwikkeling van meer en kleinere opdrachten, maar het huidige aanbod voor de beroepsgerichte vakken is nog onvoldoende toereikend om te kunnen spreken van maatwerk. Het risico bestaat dat de studenten die meer uitdaging nodig hebben gaan verzuimen en uitvallen. De studenten geven aan dat er wel voldoende verrijkings- en verdiepingsstof voorhanden is voor de talen. Het didactisch handelen en de leeromgeving beoordelen we als voldoende. De leertijd beoordelen we als onvoldoende, omdat deze onvoldoende wordt benut. Het leren in de onderwijsinstelling heeft binnen het ICT-College de aandacht en verdient deze aandacht ook. Er is scholing ingezet op basis van het professionaliseringsplan ICT 2014-2015, gelijk opgaand met de uitwerking van het herontwerp. Hieraan voorafgaand is een inventarisatie bij het team gemaakt, om duidelijk zicht te krijgen op waar het team staat en naar toe wil. Dit heeft onder andere geleid tot aanvullende scholing in pedagogisch didactische vaardigheden voor een betere interactie, ondersteuning en begeleiding van leeractiviteiten. De voortgang van deze scholing verdient de aandacht, omdat professionalisering van het didactisch handelen van het team op zichzelf van belang is en van invloed is voor een verdere succesvolle implementatie van het herontwerp. Bij Nederlands worden de leeractiviteiten gestructureerd aangeboden en is er voldoende sprake van ondersteuning, begeleiding en feedback. De studenten worden gestimuleerd tot werkelijk leren. Het didactisch handelen bij de beroepsgerichte lessen voldoet weliswaar, maar verdient de aandacht. De leeractiviteiten worden op zich gestructureerd aangeboden en studenten worden ondersteund en begeleid, maar er wordt tijdens de lessen nog weinig geoefend met leerinhouden en gewerkt aan opdrachten. De studenten geven aan dat het didactisch handelen wel merkbaar is verbeterd ten opzichte van de beginjaren. Wat ook de aandacht verdient is de invulling van de lessen loopbaanleren. De leertijd beoordelen we als onvoldoende. De onderwijstijd wordt tijdens een groot aantal lessen onvoldoende benut en de werkdruk is voor meerdere studenten te laag. Er gaat veel lestijd verloren, omdat het onderwijsleerproces nog niet zo is ingericht dat iedere student in lessituaties aan het leren is. Dit lijkt met name het nadelig effect van het ontbreken van maatwerk in het programma. Er is geen extra stof voor handen om studenten extra uit te dagen.

Pagina 41 van 50

De studenten zijn wel aanwezig bij de lessen en zijn op hun computer regelmatig met andere zaken bezig dan met de lesstof. Wat de leeromgeving betreft merken de studenten op dat het soms rumoerig is in de klas, maar dat zij de sfeer in de klas over het algemeen als prettig ervaren en tevreden zijn over de materiële voorzieningen. De intake en plaatsing, de studieloopbaanbegeleiding en de zorg beoordelen we als voldoende. Voorlichting is gegeven op open avonden, ook zijn er Doe dagen die een eerste indruk van het beroep geven. Bij de intake wordt onder meer gelet op de motivatie, de ervaring en, indien relevant, wordt de zorgbehoefte geregistreerd. Bij een zorgvraag wordt het studieloopbaancentrum ingezet. Recent is het deelprojectplan instroom voor de intake geheel uitgewerkt met een onderliggend draaiboek. In plaats van één-op-één-gesprekken is er een intakemiddag ingevoerd en worden er opdrachten per niveau gegeven. Het besluit tot plaatsing wordt uiteindelijk genomen door het intaketeam, uiterlijk een week na de intake. Scholing van de intakers is opgenomen in het professionaliseringsplan. De studieloopbaanbegeleiding voldoet, maar studenten merken wel verschillen in de begeleiding. Scholing in studieloopbaanbegeleiding is opgenomen in het professionaliseringsplan. Ook is de voortgang van de student niet altijd duidelijk, omdat reeds behaalde cijfers gebrekkig geregistreerd zijn. Het is een aandachtspunt dat de registratie van behaalde cijfers verbeterd wordt en beter toegankelijk wordt voor de studenten. De beroepspraktijkvorming (bpv) beoordelen we als voldoende. Wel geven de studenten aan dat de voorbereiding voor de bpv nog verbeterd kan worden. Tijdens studieloopbaanlessen wordt hier globaal aandacht aan gegeven. Omdat de bpv-bedrijven onderling sterk kunnen verschillen hebben de studenten vaak behoefte aan een meer specifiek beeld van het betreffende bedrijf. Op Blackboard staat alle benodigde basisinformatie. Het leren op school en tijdens de beroepspraktijkvorming is voldoende op elkaar afgestemd. Het is voor studenten en bedrijven duidelijk welke opdrachten de studenten gaan doen. Examinering en diplomering De examinering en diplomering beoordelen we als voldoende. Aan alle aspecten is voldaan. Het oordeel voor de instellingsexamens Nederlandse taal tellen vanaf het jaar van centrale examinering mee in het eindoordeel van de inspectie over de examenkwaliteit van de opleiding.

Pagina 42 van 50

Het exameninstrumentarium voldoet, omdat het aansluit op de uitstroomeisen en voldoet aan de toetstechnische eisen. Het beroepsgerichte exameninstrumentarium wordt ingekocht bij SPL (Stichting PraktijkLeren) en wordt ongewijzigd ingezet. De inspectie heeft dit exameninstrument eerder beoordeeld en voldoende bevonden. Ook het exameninstrumentarium voor Nederlands en Engels sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Voor Nederlands wordt het exameninstrument voor Schrijven ingekocht bij Bureau ICE. Dit is eerder door de inspectie beoordeeld en voldoende bevonden. Het exameninstrumentarium voor Spreken en Gesprekken voeren is zelf ontwikkeld en voldoet. Lezen en Luisteren worden centraal afgenomen. Voor Engels wordt het exameninstrumentarium voor Lezen, Luisteren en Schrijven ingekocht bij Bureau ICE. Dit is eerder door de inspectie beoordeeld en voldoende bevonden. Het exameninstrumentarium voor Spreken en Gesprekken voeren is zelf ontwikkeld en voldoet. De examenprocessen van afname en beoordeling zijn voldoende deugdelijk verlopen. Voorheen werd de examinering afgenomen bij de bedrijven met kadertoetsen die per bedrijf werden ingericht. Omdat de borging en de gelijkwaardigheid soms een probleem gaven is er recent overgegaan op examinering in simulatie op de school. De afname wordt beoordeeld door een beoordelaar uit het bedrijf en door een beoordelaar van school. Er wordt op gelet dat de beoordeling onafhankelijk is. De diplomering is voldoende deugdelijk en geborgd. De examendossiers zien er verzorgd en overzichtelijk uit. Het recent ingerichte examenbureau vult de dossiers. De dossiers worden gecontroleerd op volledigheid en correcte invulling van de resultaten door de andere locatie en omgekeerd. De examencommissie heeft voldoende zicht op de examinering die in school plaatsvindt door bijwoningen. Van elk examen wordt een proces-verbaal opgemaakt en reacties en evaluaties worden besproken in de examencommissie. Een eerste controle op de inrichting en beoogde werking van het examenbureau heeft plaatsgevonden door de afdeling Compliance. Opbrengsten De opbrengsten zijn onvoldoende, omdat het jaarresultaat (45,5 procent) en het diplomaresultaat (45,5 procent) onder de norm liggen. Voor de beoordeling van de opbrengsten, gebaseerd op de BRON-gegevens 2013-2014 zijn de resultaten van de bc009, niveau 4 gebruikt. In bijlage II is te zien welke opleidingen hierbij betrokken zijn.

Pagina 43 van 50

De opbrengsten liggen weliswaar onder de norm, maar dit leidt niet tot vervolgtoezicht. De opleiding is namelijk na de start van de opleiding in schooljaar 2011-2012 zeer sterk gegroeid in aantal studenten. De groei kende percentages van 54 procent en 160 procent. Hierdoor levert de berekening van het rendement van deze niveau 4 opleiding geen valide beoordeling op. Er zijn namelijk relatief veel eerstejaars studenten ongediplomeerd uitgestroomd, waar aan het einde van de opleiding relatief weinig gediplomeerde uitstroom tegenover heeft gestaan. Kwaliteitsborging De kwaliteitsborging beoordelen we als onvoldoende, omdat niet voldaan is aan de beoordeling en de verbetering en verankering. Hierna volgt een toelichting per aspect. De sturing beoordelen we als voldoende. De opleiding beschikt over voldoende concreet geformuleerde doelen met bijbehorende activiteiten. De doelstellingen zijn opgenomen in het ICT-collegeplan, het deelplan-herontwerp, het deelplan ICT College Instroom en het Professionaliseringsplan ICT 2014-2015. Het team beschikt via de kwaliteitskaar ICT in het dashboard over sturingsinformatie. Hierop staan onder meer de opbrengstgegevens, voortijdig schoolverlaten, tevredenheid en ontwikkeling studentenaantallen. Op het moment van onderzoek was de aansturing in Amersfoort ingevuld met een interimmanager en was het management op de locatie Utrecht nog niet ingevuld. Om continuïteit in het management aan te brengen zijn er nu vergevorderde gesprekken gaande om op korte termijn op beide locaties invulling te geven aan deze posities. De opzet is om een complementaire invulling aan het management te geven zodat er minder risico is dat de vestigingen uit elkaar drijven. De beoordeling beoordelen we als onvoldoende. In het kader van het herontwerp van de opleiding zijn er veel doelstellingen vastgelegd in de plannen. Op dit moment wordt de voortgang en de realisatie van slechts een deel hiervan regelmatig en betrouwbaar beoordeeld conform de roc-brede systematiek. Dit zijn de doelstellingen die zijn gekoppeld aan het dashboard, waarin zichtbaar is of de doelstellingen zijn behaald. De fase waarin de opleiding nu zit vraagt echter om een grondige evaluatie. Het team heeft nog onvoldoende zicht op de kwaliteit van het onderwijs inclusief de eventuele risico’s en tekortkomingen. Een gedegen analyse van de uitkomsten van de monitoring is nodig om een doorvertaling naar verbeteracties te kunnen maken. Het koppelen van deze acties aan specifieke en meetbare doelen zorgt

Pagina 44 van 50

ervoor dat het team de voortgang van de verbeteracties in beeld kan houden en daadwerkelijk kan beoordelen of doelstellingen zijn behaald. De verbetering en verankering beoordelen we als onvoldoende. De samenhang tussen de uitkomsten van de monitoring, de getroffen verbetermaatregelen en de vooraf gestelde doelstellingen is onvoldoende zichtbaar. De opleiding heeft een turbulente periode achter de rug, waarna veel verbeteringen in gang zijn gezet, onder andere op het gebied van deskundigheidsbevordering. Het aantal verbeteringen is echter nog ontoereikend, daarvoor is er ook nog teveel in beweging. Daarbij is nog onvoldoende nagegaan of de ingezette verbeteracties hebben geleid tot het gewenste effect. Ook de beschrijving van de kwaliteitszorg en taken, verantwoordelijkheden en bevoegdheden is in beweging en zal verder moeten worden belegd. De dialoog en verantwoording beoordelen we als voldoende. De interne dialoog met studenten vindt plaats via panelgesprekken, waar verslagen van worden gemaakt. Uit de gesprekken met studenten tijdens het onderzoek kwam naar voren dat zij zich weliswaar gekend voelen, maar dat de communicatie nog wel kan worden verbeterd. Studenten uit verschillende jaargangen hebben ook vaak een wat ander beeld van de opleiding door de vele veranderingen. In grote lijn kon echter ook geconstateerd worden dat er een duidelijke verbetering gaande is. De dialoog met de bedrijven is intensief. Bedrijven worden regelmatig geïnformeerd en geconsulteerd. Hierdoor is de inbreng van de bedrijven substantieel bij de inrichting van het onderwijs. Tevens zijn de bedrijven betrokken bij de examinering. Bedrijven zijn hierdoor goed op de hoogte van de opleiding. Wettelijke vereisten De opleiding voldoet aan de onderzochte wettelijke eisen, omdat voor zover onderzocht is vastgesteld dat de bepalingen zijn nageleefd. Schoolkosten/wettelijke bijdragen De opleiding voldoet aan de eisen gesteld in artikel 8.1.4 van de WEB. Er worden alleen leermiddelen in rekening gebracht en er is geen vrijwillige bijdrage gevraagd. Ongeoorloofd verzuim en voortijdig schoolverlaten De procedure van de instelling betreffende de verzuimregistratie en de uitvoering in de praktijk voldoet.

Pagina 45 van 50

De instelling heeft een helder Handboek Verzuim met daarin onder andere opgenomen: het verzuimprotocol, de procedures rond verzuim en de rollen van diverse functionarissen. Dit handboek is bekend bij de betrokkenen en de rollen zijn uitgewerkt in duidelijke werkinstructies. De regels rond verzuim voor studenten zijn vermeld in het deelnemersstatuut. De studenten hebben ook een mail ontvangen waarin is aangegeven op welke wijze geoorloofd verzuim (ziekte of anderszins) gemeld moet worden. Alle informatie is digitaal beschikbaar en alle acties worden vastgelegd in Eduarte. De instelling beschikt over een afdeling Compliance die controleert of opleidingen zich aan de gemaakte afspraken houden, onder andere ten aanzien van registratie en melding van ongeoorloofd verzuim. Het ICT College beschikt over een fulltime verzuimmedewerker voor wie bij afwezigheid ook vervanging is geregeld. Deze aggregeert tenminste drie maal per week de verzuimgegevens. De opleiding voldoet aan de wettelijk voorgeschreven meldingsplicht van verzuim zonder geldige reden van 16 uur gedurende een periode van vier weken voor studenten op wie de Leerplichtwet 1969 van toepassing is. Dit betreft de wettelijke bepaling in artikel 21a van de Leerplichtwet 1969. Wanneer er na de eerste 16 uur ongeoorloofd verzuim opnieuw sprake is van verzuim zonder geldige reden van 16 uur gedurende een periode van 4 opeenvolgende lesweken vinden vervolgmeldingen plaats. Al na 12 uur ongeoorloofd verzuim gaat een preventieve melding uit. Als vervolgens de 16 uurs norm wordt bereikt dan meldt de verzuimmedewerker dit veelal dezelfde dag of een dag later bij DUO. Ook de loopbaanbegeleider van de verzuimende student krijgt een afschrift van de melding met daarbij het verzoek een het gesprek met de student over diens verzuim aan te gaan. Alle acties worden vastgelegd in Eduarte. In de onderzochte periode (januari-maart 2015) was het niet nodig om bij aanhoudend verzuim ook vervolgmeldingen te doen. Uit de door de afdeling Compliance aangeleverde rapportage over registratie en melding van verzuim bij het ICT-College Amersfoort blijkt dat het ICT College indien nodig deze vervolgmeldingen wel doet. De opleiding voldoet tevens aan de wettelijk voorgeschreven meldingsplicht van verzuim zonder geldige reden in een aaneengesloten periode van vier weken voor studenten van 18 tot 23 jaar zonder startkwalificatie. Dit betreft de wettelijke bepaling in artikel 8.1.8a van de Wet educatie en beroepsonderwijs (WEB). Wanneer er na de eerste vier weken ongeoorloofd verzuim opnieuw sprake is van verzuim zonder geldige reden in een aaneengesloten periode van vier weken vinden vervolgmeldingen plaats.

Pagina 46 van 50

Het ICT-College hanteert voor deze groep studenten dezelfde werkwijze als bij de leerplichtige studenten: men meldt als de 16 uurs norm wordt overschreden. In de onderzochte periode (januari-maart 2015) was het echter niet nodig om bij de onderzochte opleiding een vervolgmelding te doen. Van deze groep studenten was namelijk geen enkele student een periode van 4 weken aaneengesloten ongeoorloofd afwezig. De meldingen die voor deze groep studenten in de onderzoeksperiode zijn gedaan betroffen in alle gevallen 18+ signaalmeldingen waarbij de wettelijke norm voor onverwijld melden nog niet was overschreden. De opleiding voldoet ook aan de wettelijke verplichting om in de onderwijsovereenkomst het verzuimbeleid kenbaar te maken. Dit betreft de wettelijke bepaling in artikel 8.1.3f van de Wet educatie en beroepsonderwijs (WEB).

Pagina 47 van 50

5

BIJLAGEN Bijlage I Normeringen kwaliteitsgebieden De normering per gebied is per januari 2015 aangepast (zie het Toezichtkader mbo 2012, Addendum 2015). De normering heeft betrekking op de toezichtperiode 2015-2016. De normen Op basis van het onderzoek spreekt de inspectie oordelen uit waarvoor zij gebruikmaakt van een normering. Deze bestaat uit twee stappen: 1.

Een normering per aspect: per aspect wordt een beschrijving gegeven. Indicatoren en portretten zijn daarvoor indicerend en richtinggevend. Een normering per kwaliteitsgebied.

2.

Voor de normering van het gebied Onderwijsproces zijn drie kernaspecten benoemd. De kernaspecten zijn: aspect 1.3 Didactisch handelen, aspect 1.7 Studieloopbaanbegeleiding en aspect 1.9 Beroepspraktijkvorming. Normering Onderwijsproces Goed

• • •

Aan acht van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd.

Voldoende

• • •

Aan zeven van de negen aspecten is voldaan. Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten van deze indicatoren voldaan, waaronder de essentiële onderdelen.

Onvoldoende

• •

Aan één of meer kernaspecten is niet voldaan. Aan drie tot acht van de aspecten is niet voldaan.

Slecht

•

Aan geen van de aspecten is voldaan.

Voor de beoordeling van de opbrengsten is gebruikgemaakt van onderstaande norm. Voor een oordeel voldoende moet ten minste aan één van de twee normen zijn voldaan. Normering opbrengsten Niveau

Jaarresultaat (%)

Diplomaresultaat (%)

1

60,7

45,1

2

56,5

45,2

Pagina 48 van 50

3

65,3

67,3

4

64,2

67,3

Bij het gebied Examinering en diplomering zijn alle aspecten als kernaspect benoemd. Normering Examinering en diplomering Goed

• •

Aan alle drie de aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd.

Voldoende

• •

Aan alle drie de aspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen.

Onvoldoende

•

Aan één of twee aspecten is niet voldaan.

Slecht

•

Aan geen van de drie aspecten is voldaan.

Voor de normering van het gebied Kwaliteitsborging zijn drie kernaspecten benoemd. De kernaspecten zijn 4.1 Sturing, 4.2 Beoordeling en 4.3 Verbetering en verankering. Normering Kwaliteitsborging Goed

• •

Aan alle aspecten is voldaan. De elementen in het portret worden op een uitstekende wijze uitgevoerd.

Voldoende

• •

Aan alle kernaspecten is voldaan. Er wordt voor het grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen.

Onvoldoende

•

Aan twee of drie aspecten is niet voldaan.

Slecht

•

Aan alle vier de aspecten is niet voldaan.

Normering Naleving wettelijke vereisten: de instelling of opleiding voldoet niet aan de wettelijke bepalingen indien de inspectie vaststelt dat één van deze bepalingen niet wordt nageleefd. Bij sommige bepalingen vloeit de norm direct uit de wet voort. Voor enkele bepalingen zijn nadere operationaliseringen opgesteld (bijvoorbeeld onderwijstijd).

Pagina 49 van 50

Bijlage II Overzicht bc-id In deze bijlage is per onderzochte bc-id aangegeven welke opleidingen betrokken zijn bij het bepalen van de opbrengsten. Bc-id: bc166

Niveau: 3

Crebo:

Opleiding:

10742 22197 92620

Sociaal pedagogisch werker 3 (SPW 3) Pedagogisch Werk Pedagogisch Werk (Pedagogisch medewerker 3 kinderopvang)

Bc-id: bc222

Niveau: 2

Crebo: 93751

Opleiding: Verkoper (Verkoper detailhandel)

Bc-id: bc037

Niveau: 2

Crebo: 93931

Opleiding: Betonrepateur

Bc-id: bc088

Niveau: 2

Crebo:

Opleiding:

91172

Kapper (Junior Kapper)

95120

Kapper (Junior Kapper)

Bc-id: bc009

Niveau: 4

Crebo:

Opleiding:

90020

Applicatieontwikkelaar

95311

Applicatie- en mediaontwikkeling (Applicatieontwikkelaar)

Pagina 50 van 50

STAAT VAN DE INSTELLING MBO. Stg. Reg. Opl.Centrum ROC Midden Nederland

Recommend Documents