ONDERZOEK NAAR KWALITEITSVERBETERING: REALISATIE VAN DOELSTELLINGEN SPECIFIEK ONDERZOEK
ROC LEIDEN
Plaats: BRIN: Onderzoeksnummer: Onderzoek uitgevoerd in: Conceptrapport verzonden op: Rapport vastgesteld te Utrecht op:
Utrecht 25MA 284682 Juni en juli 2015 10 juli 2015 22 juli 2015
Inleiding De inspectie van het onderwijs heeft op 27 juni en 2 en 3 juli 2015 een onderzoek uitgevoerd naar de kwaliteit van het onderwijs en de kwaliteitsborging bij ROC Leiden. Het doel van het onderzoek was om ons beeld daarover te actualiseren. Het college van bestuur heeft in de ‘Rapportage onderwijsprogramma algemeen’ (12 mei 2015) doelen geformuleerd. Deze doelen resulteren in een aantal te behalen concrete doelstellingen voor juni 2015, september 2015 en eind 2015. Het onderzoek was er vooral op gericht om na te gaan of ROC Leiden de zes verbeterdoelstellingen, die ze voor zich zelf had gesteld voor juni 2015, heeft gerealiseerd. ROC Leiden heeft de volgende doelstellingen voor juni 2015 geformuleerd: De relatie met de kwalificatiedossiers is helder en duidelijk omschreven in complete en samenhangende onderwijsprogramma’s. Teksten voor het STOER geven studenten voor het studiejaar 2015-2016 voldoende houvast. Er zijn voldoende gekwalificeerde nieuwe docenten aangesteld. Docenten zijn waar nodig didactisch bijgeschoold. Alle diploma’s die voor de zomer uitgereikt worden, zijn correct geborgd. De examencommissies hebben er adequaat op toegezien dat diploma’s op valide basis en met betrouwbaar onderliggend materiaal zijn aangevraagd. De intaketeams zijn versterkt en het plaatsingsproces is aangescherpt. De mate waarin de zes doelstellingen zijn gerealiseerd hebben we gecontroleerd tijdens ons onderzoek. We hebben een uitvoerig onderzoek gedaan bij drie opleidingen: Mediavormgever, Sociaal maatschappelijk dienstverlener en Applicatieontwikkelaar. Bij de eerste twee hebben we in november en december 2014 een kwaliteitsonderzoek uitgevoerd. Beide opleidingen waren toen onvoldoende. Het huidige onderzoek gaf ons de gelegenheid om de voortgang van de verbeteringen te monitoren. Bij de laatst genoemde opleiding is al meerdere jaren sprake van onvoldoende opbrengsten. Bij deze opleiding hebben we ook een onderzoek naar ongeoorloofd verzuim en voortijdig schoolverlaten uitgevoerd, omdat we een signaal hadden ontvangen dat er niet tijdig gemeld zou worden. We zijn ons onderzoek gestart met een gesprek met het college van bestuur, de onderwijsdirecteuren en medewerkers van de dienst Onderwijs & Kwaliteit, om zicht te krijgen op de verbeteringen die de afgelopen tijd zijn doorgevoerd. Ook hebben we gesproken met de voorzitter van de centrale examencommissie. Voor het onderzoek bij de opleidingen hebben we gesprekken gevoerd met onderwijsmanagers, docenten en studenten. Vervolgens hebben we een gesprek gevoerd met de manager onderwijs van de opleidingen Sport en Bewegen en met de manager onderwijs en de secretaris van de examencommissie van de opleiding Helpende Zorg en Welzijn. De examinering en diplomering van deze opleidingen zijn in de winter van 2014 ook met een onvoldoende beoordeeld. We zijn nu nagaan of de verbetermaatregelen goed waren doorgevoerd. Daarnaast bestond het onderzoek uit een documentenonderzoek.
2 van 7
Om een breder beeld te krijgen over de verbeteringen in de STOER-en en de onderwijsprogramma’s hebben we die documenten van vijftien, door ons willekeurig geselecteerde, opleidingen onderzocht. Het gaat om STOER-en en onderwijsprogramma’s die gelden voor het cohort 2015-2016. We beschrijven achtereenvolgens: het onderwijs, de examinering en diplomering, ongeoorloofd verzuim en voortijdig schoolverlaten, onze conclusie en we sluiten af met enkele risico’s die wij zien.
Onderwijs De doelstelling: ‘De relatie met de kwalificatiedossier is helder en duidelijk omschreven in complete en samenhangende onderwijsprogramma’s’ is niet volledig behaald. ROC Leiden heeft een risico-indeling van opleidingen gemaakt (rood: onvoldoende bevonden door de inspectie, oranje: ROC Leiden ziet risico’s en groen: ROC Leiden ziet geen risico’s). De rode opleidingen kregen de meeste ondersteuning van onderwijskundigen in het beschrijven van het onderwijsprogramma. Alle onderwijsteams hebben een format aangereikt gekregen om het onderwijsprogramma op macro-, meso- en microniveau te beschrijven. Wij hebben de onderwijsprogramma’s van achttien opleidingen onderzocht. (Mediavormgever, Sociaal maatschappelijk dienstverlener, Applicatieontwikkelaar en de vijftien willekeurig geselecteerde opleidingen) Wij constateerden dat de kwaliteit van de onderwijsprogramma’s verschilde. Lang niet alle teams zijn er in geslaagd een samenhangend onderwijsprogramma te schrijven. De doelstelling: ‘Teksten voor het STOER geven studenten voor het studiejaar 2015-2016 voldoende houvast’, is ook niet volledig behaald. Wij hebben de STOERen van negentien opleidingen onderzocht (Mediavormgever, Sociaal maatschappelijk dienstverlener, Applicatieontwikkelaar, Sport en Bewegen en de vijftien willekeurig geselecteerde opleidingen). Voor elke opleiding is een STOER aanwezig, maar deze bevatten onvoldoende informatie. De STOER-en bieden studenten weliswaar enig zicht op hun opleiding maar ze zijn op onderdelen, zoals bijvoorbeeld de studievoortgang, niet specifiek genoeg beschreven. Hierdoor geeft de STOER aan studenten en ook docenten minder houvast dan gewenst. We zien daarbij risico’s op het gebied van bijvoorbeeld de uitvoering van de studieloopbaanbegeleiding. Ook bevatten de STOER-en, op onderdelen, niet relevante informatie, zoals informatie voor niveau 2 en 3 opleidingen terwijl de STOER voor een niveau 4 opleiding geschreven is. Ook zagen we (kleine) slordigheidsfouten, zoals bijvoorbeeld een foutieve nummering van een werkproces en een verkeerd crebonummer in het examenplan. De STOER-en moeten echter nog vastgesteld worden, onze opmerkingen worden verwerkt in nieuwe versies. De doelstelling: ‘Er zijn voldoende gekwalificeerde nieuwe docenten aangesteld’, is grotendeels behaald. Dit bleek uit onze gesprekken, onder andere met het college van bestuur. We hebben dit geverifieerd bij drie opleidingen. Tijdens ons onderzoek bij die drie opleidingen gaven studenten aan dat ze het effect hiervan al direct merkten. Studenten kregen bijvoorbeeld meer en sneller ondersteuning tijdens het werken aan opdrachten. Ook constateerden we dat er door de aanname van docenten meer ruimte kwam voor andere docenten om het onderwijsprogramma vorm te geven.
3 van 7
Bij de onderzochte teams van de drie opleidingen heeft dat geleid tot verbeterde onderwijsprogramma’s. Aan de doelstelling: ‘Docenten zijn waar nodig didactisch bijgeschoold’, wordt nog volop gewerkt. De doelstelling is nog niet gerealiseerd. Er zijn scholingsprogramma’s ontwikkeld en een aantal uitgevoerd. De effecten van die bijscholingen hebben we nog niet kunnen waarnemen, daar bleek het nog te vroeg voor. We hebben geconstateerd dat de doelstelling: ‘De intaketeams zijn versterkt en het plaatsingsproces is aangescherpt’, grotendeels is behaald. Alle aangemelde studenten hebben een capaciteitentest (AMN-test) gehad en een intakegesprek. Hierdoor is de startsituatie van de student beter in beeld en is gekeken of de opleiding past bij de wensen en mogelijkheden van de student. Voor de opleiding Sociaal maatschappelijk dienstverlener is er bijvoorbeeld een numerus fixus ingesteld. Het aantal toe te laten studenten is gerelateerd aan het aantal beschikbare bpv-plaatsen. De intake vindt gericht plaats op basis van een aantal criteria. Bij de opleiding Applicatieontwikkelaar zien we ruimte voor verbetering, met name door o.a. een het schetsen van een realistisch beroepsbeeld.
Examinering en diplomering De Doelstelling: ‘Teksten voor het STOER geven studenten voor het studiejaar 2015-2016 voldoende houvast’, komt ook terug in deze paragraaf over examinering en diplomering, omdat in het STOER informatie over examinering is opgenomen. De informatie over de examinering is onduidelijk en soms onjuist. Zo staan in de STOER-en de beroepsspecifieke eisen m.b.t. Nederlands, moderne vreemde talen en rekenen onduidelijk weergegeven. Studenten weten daardoor niet wat er van ze verwacht wordt. Ook wordt bij een aantal STOER-en de cesuurbepaling op kerntaakniveau niet altijd juist weergegeven; studenten weten daarom niet wanneer ze geslaagd zijn. De doelstelling: ‘Alle diploma’s die voor de zomer uitgereikt worden, zijn correct geborgd. De examencommissies hebben er adequaat op toegezien dat diploma’s op valide basis en met betrouwbaar onderliggend materiaal zijn aangevraagd’, is grotendeels behaald. De examendossiers bij de door ons onderzochte vijf opleidingen (Mediavormgever, Sociaal maatschappelijk dienstverlener, Applicatieontwikkelaar, Helpende zorg en welzijn en Sport en bewegen) waren volledig. De examencommissies hadden alle dossiers erg zorgvuldig gecontroleerd. Hierdoor is geborgd dat diploma’s op de juiste gronden worden uitgereikt. Er is nog ruimte voor verbetering door het verder inrichten van controle op de inhoud van het onderliggend materiaal door de examencommissie. Door ook een controle uit te voeren op de inhoud van de examinering kan de examencommissie zich beter verantwoorden over het niveau van de afgestudeerde studenten. We zagen daarin verschillen per team. Bij één opleiding vroegen wij ons af of de gemaakte eindopdrachten wel op het juiste niveau gemaakt waren.
4 van 7
Ongeoorloofd verzuim en voortijdig schoolverlaten De procedure van het ROC Leiden, locatie Lammenschans, betreffende de verzuimregistratie en de uitvoering in de praktijk voldoet. ROC Leiden heeft een helder verzuimprotocol, dat bekend is bij de betrokkenen. ROC Leiden maakt gebruik van het verzuimregistratiesysteem KRD (Kern Registratie Deelnemers). Dit systeem biedt de mogelijkheid om een norm voor o.a. ongeoorloofd verzuim zodanig in te stellen, dat de verantwoordelijke verzuimfunctionaris bij bereiken van de normgrens een automatische mail vanuit KRD ontvangt, om maatregelen naar de betreffende student en studiebegeleider te treffen en om tijdig meldingen aan het verzuimloket te doen. De verzuimmedewerker ziet hier dagelijks en streng op toe. Wij stellen vast dat de opleiding voldoet aan de wettelijke vereisten ten aanzien van het melden van ongeoorloofd verzuim dat voortduurt na 16 uur in 4 weken, inclusief herhaalmelding (artikel 21a Leerplichtwet 1969). Verder is gebleken dat de opleiding voldoet aan de voorwaarden om te komen tot de wettelijk voorgeschreven meldplicht van verzuim zonder geldig reden voor deelnemers van 18 tot 23 jaar zonder startkwalificatie (artikel 8.1.8a en artikel 8.1.7 van de Wet Educatie en Beroepsonderwijs). De opleiding voldoet aan de wettelijke verplichting om in de onderwijsovereenkomst het verzuimbeleid kenbaar te maken. Dit betreft de wettelijke bepaling in artikel 8.1.3f van de Wet Educatie en Beroepsonderwijs. De instelling is gewezen op het feit dat de processtap voor herhaalmelden niet (duidelijk genoeg) in het eigen verzuimprotocol is opgenomen. Daardoor zou uitvoering van dit verzuimprotocol bij studenten jonger dan 18 jaar kunnen leiden tot vergissingen.
Conclusie Wij hebben vastgesteld dat er ondanks de zeer turbulente tijd hard gewerkt wordt om verbeteringen door te voeren. Eerst was de focus gericht op het doorvoeren van verbeteringen op basis van verschillende verbeterplannen, zowel op instellingsals op teamniveau, daarna brak een periode aan waarin de focus lag op de fusie met het ID College, en nu wordt er gewerkt met de (oude) verbeterplannen aangevuld met kennis die tijdens de korte samenwerkingsperiode met het ID College is opgedaan. In onderstaand schema geven we weer in hoeverre de door ROC Leiden geformuleerde doelstellingen zijn behaald.
5 van 7
Doelstellingen geformuleerd door ROC Leiden
De relatie met de kwalificatiedossiers is helder en duidelijk omschreven in complete en samenhangende onderwijsprogramma’s. Teksten voor het STOER geven studenten voor het studiejaar 2015-2016 voldoende houvast. Er zijn voldoende gekwalificeerde nieuwe docenten aangesteld. Docenten zijn waar nodig didactisch bijgeschoold. Alle diploma’s die voor de zomer uitgereikt worden, zijn correct geborgd. De examencommissies hebben er adequaat op toegezien dat diploma’s op valide basis en met betrouwbaar onderliggend materiaal zijn aangevraagd. De intaketeams zijn versterkt en het plaatsingsproces is aangescherpt.
Mate van realisatie: vijfpuntschaal 1= niet gerealiseerd, 5= volledig gerealiseerd 1 2 3 4 5 x
x x x x
x
Van de zes doelstellingen die ROC Leiden zich voor juni 2015 heeft gesteld is er slechts één volledig behaald. De helft van de doelen is niet gehaald. Wij concluderen dat een aantal doelen inhoudelijk minder ver behaald is dan het college van bestuur in haar rapportage van 25 juni jl. schrijft. In deze rapportage beschrijft zij wat het resultaat is van de ondernomen acties. Gedeeltelijk hebben we deze resultaten ook zo gezien tijdens ons onderzoek. Voor een aantal essentiële doelen geldt dat echter niet. Wij constateren dat de inhoudelijke check op de te behalen doelen door het college van bestuur niet volledig is uitgevoerd. Dat maakt duidelijk dat de kwaliteitszorgcyclus nog niet volledig sluitend is, waardoor er nog geen sprake is van volledig werkend kwaliteitsborgingsysteem. Een voorbeeld hiervan is de aanwezigheid van de STOER-en. De door ons geselecteerde STOER-en waren allemaal gereed, de inhoud bleek echter bij geen enkele volledig in orde te zijn. Er was geen kwalitatieve check uitgevoerd op de inhoud maar alleen een kwantitatieve check op de aanwezigheid van STOER-en. Ook bleek de kwaliteit van de door ons opgevraagde onderwijsprogramma’s bij een groot deel van de opleidingen te kort te schieten. Onderwijsprogramma en STOER vormen de basis van het onderwijs. Als de kwaliteit daarvan niet op orde is dan vormt dat een risico voor de inhoud en uitvoering van de opleidingen. Een goed onderwijsprogramma biedt ook de basis voor het (gericht) didactisch scholen van docenten. We zagen wel een verbetering ten opzichte van eerdere onderzoeken. Zo zagen we dat er in de teams meer systematisch gewerkt wordt aan kwaliteitsverbetering. De analyses van geconstateerde problemen zijn scherper en passende acties worden beschreven. In de verbeterplannen zijn deadlines opgenomen en zijn verantwoordelijken voor de uitvoering benoemd. Tijdens ons onderzoek constateerden wij dat er gericht gestuurd werd op de uitvoering van het verbeterplan. De verbeteringen die doorgevoerd worden n.a.v. van onze vorige onderzoeken vorderen daardoor. Het is echter nog te vroeg om (alle) effecten van de verbeteringen vast te stellen.
6 van 7
Ook is de procedure tot diplomering aantoonbaar beter geborgd dan tijdens onze vorige onderzoeken. Een voorbeeld hiervan hebben we hierboven al beschreven, de volledige controle van de examencommissies op de examendossiers, waardoor diploma’s op de juiste gronden worden uitgereikt.
Risico’s Tot slot beschrijven wij de risico’s die wij zien. Die risico’s zijn het grootst op het gebied van de examinering, het zicht hebben op de ‘groene opleidingen’, zicht op de inhoudelijke verbeteringen van het onderwijsprogramma en het STOER en onvoldoende deskundigheid om de noodzakelijke verbeteringen door te voeren. •
•
•
•
Bij de examinering missen we een duidelijke visie. Er ontbreken daardoor kaders waardoor het moeilijk is om instellingsbreed te sturen op (de borging van) de examenkwaliteit. Het college van bestuur heeft er voor gekozen om ‘rode’ en ‘oranje opleidingen’ meer ondersteuning aan te bieden. Deze opleidingen moeten zich vaker verantwoorden richting het college van bestuur. Het risico is dat de ‘groene opleidingen’ de opleidingen waar ROC Leiden geen risico ziet, onvoldoende urgentiebesef voelen om te verbeteren en daardoor achterblijven. Uit onze vorige onderzoeken bleek dat er instellingsbreed kwaliteitsverbetering plaats moet vinden. Of er voldoende zicht is op de kwaliteit van ‘groene opleidingen’ vragen wij ons af. Tijdens dit onderzoek constateerden wij in ieder geval wel dat er grote kwaliteitsverschillen zijn in de uitwerking van de onderwijsprogramma’s. In de conclusie schreven we al dat er instellingsbreed onvoldoende zicht is op de kwaliteit van de onderwijsprogramma’s en de STOER-en. Deze vormen echter de basis voor het onderwijs. Als de kwaliteit hiervan te kort schiet dan bestaat de kans dat het onderwijsproces onvoldoende wordt vormgegeven en dat studenten onvoldoende houvast hebben bij het doorlopen van hun studie. Tot slot het risico dat er onvoldoende deskundigheid aanwezig is om de noodzakelijke verbeteringen door te voeren. De afgelopen jaren is er een enorme druk gelegd op docenten. De student-docent ratio was te hoog, docenten zijn daarom voornamelijk bezig geweest met lesgeven en was er geen tijd en ruimte voor deskundigheidsontwikkeling. Inmiddels zijn er nieuwe docenten aangesteld en worden docenten op het gebied van didactiek en examinering bijgeschoold. We missen echter een samenhangend scholingsprogramma met een onderliggende visie. Het risico bestaat dat er onvoldoende gericht geschoold gaat worden en dat er onvoldoende wordt aangesloten bij de beginsituatie van de docent of het team. Wij constateerden verschil in deskundigheid in de verschillende teams, dat verschil was op dit moment onvoldoende in beeld bij het college van bestuur.
Vervolg In het najaar van 2015 voeren we een volgend onderzoek uit bij ROC Leiden. We gaan dan tevens na of de doelstellingen voor september 2015 zijn gerealiseerd.
7 van 7
