Rapportage. Inventarisatie Kwaliteitszorg NLQAVET

Rapportage Inventarisatie Kwaliteitszorg NLQAVET

Inhoudsopgave Voorwoord 1 Management samenvatting .......................................................................................... 5 2 Inleiding ...................................................................................................................... 7 2.1

Korte introductie EQAVET en NLQAVET ............................................................... 7

2.2

Vraagstelling van de inventarisatie .................................................................... 7

2.3

Werkwijze in hoofdlijnen .................................................................................... 9

2.4

Opbouw van de rapportage ................................................................................. 9

3 Beleid voor kwaliteitszorg.......................................................................................... 10 3.1

Inleiding ........................................................................................................... 10

3.2

Samenvatting en conclusie kwaliteitszorgbeleid............................................... 10

3.2.1 3.2.2 3.3

Samenvatting ................................................................................................... 10 Conclusies ........................................................................................................ 11 Bevindingen beleid voor kwaliteitszorg ............................................................ 13

3.3.1

Vastleggen van beleid en visie op KWZ ................................................................ 13

3.3.2

Algemene doelen KWZ beleid .............................................................................. 13

3.3.3

Specifieke doelen van KWZ beleid ....................................................................... 14

3.3.4

Handboek op zes aspecten ................................................................................. 15

3.3.5

Standaarden ..................................................................................................... 16

3.3.6

Bedrijven betrekken bij opstellen KWZ beleid ........................................................ 17

3.3.7

Geïnformeerd zijn en betrokken zijn .................................................................... 17

4 De uitvoering van de kwaliteitszorg ........................................................................... 18 4.1

Inleiding ........................................................................................................... 18

4.2

Samenvatting en conclusies.............................................................................. 19

4.2.1 4.2.2 4.3

Samenvatting ................................................................................................... 19 Conclusies ........................................................................................................ 21 Bevindingen uitvoering kwaliteitszorg .............................................................. 23

4.3.1

Verankering van de uitvoering bij management en bij opleidingsteams .................... 23

4.3.2

Opvattingen borging kwaliteit ............................................................................. 25

4.3.3

Organisatorische inrichting ................................................................................. 25

4.3.4

Integrale aanpak uitvoering KWZ ........................................................................ 26

4.3.5

Inzet PDCA ....................................................................................................... 27

4.3.6

Goodpractices ................................................................................................... 33

4.3.7

Horizontale en verticale verantwoording ............................................................... 34

4.3.8

Uitvoering congruent met beleid .......................................................................... 34

5 De impact van kwaliteitszorg ..................................................................................... 35 5.1

Inleiding ........................................................................................................... 35

5.2

Samenvatting en conclusies.............................................................................. 35

5.2.1

Samenvatting ................................................................................................... 35

Rapportage Inventarisatie Kwaliteitzorg NLQAVET

2

5.2.2 5.3

Conclusies ........................................................................................................ 36 Bevindingen impact kwaliteitszorg ................................................................... 38

5.3.1

Impact KWZ op kwaliteit van onderwijs en organisatie ........................................... 38

5.3.2

Impact op betrokkenheid bedrijven ..................................................................... 39

5.3.3

Gemotiveerd om te verbeteren ........................................................................... 39

5.3.4

Cultuur van verbeteren van de kwaliteit ............................................................... 40

5.3.5

Opvattingen over kwaliteit .................................................................................. 40

5.3.6

Impact KWZ congruent met inspanningen ............................................................ 41

5.3.7

Dromen over versterking van KWZ ...................................................................... 41

6 Slotbeschouwing ........................................................................................................ 44 Bijlage 2: Werkwijze ...................................................................................................... 49 6.1 6.1.1 6.1.2 6.2

De schriftelijke enquête .................................................................................... 49 Deelnemende instellingen aan de enquête. ........................................................... 49 Aard van verzamelde resultaten .......................................................................... 50 De diepte interviews ......................................................................................... 51

Colofon

Titel

Rapportage Inventarisatie Kwaliteitszorg NLQAVET

Auteur

Ida Bontius en Marloes van Bussel

Versie

September 2011

Datum

April 2012 Dit project is gefinancierd met de steun van de Europese Commissie. De verantwoordelijkheid voor deze publicatie ligt uitsluitend bij de auteurs. De Commissie kan niet aansprakelijk worden gesteld voor het gebruik van de informatie die erin is vervat.

Pettelaarpark 1, 5216 PC ’s-Hertogenbosch Postbus 1585, 5200 BP ’s-Hertogenbosch Tel: 073-6800730 www.eqavet.nl, [email protected]


3

Voorwoord

Deze inventarisatie is uitgevoerd in het kader van het NLQAVET project. Dit project is gericht op het stimuleren van de cultuur van kwaliteitszorg in het middelbaar beroepsonderwijs. Het project is tot stand gekomen in nauwe samenwerking met de MBO Raad en sluit aan bij de behoefte en prioriteit van het netwerk kwaliteitszorg om meer inzicht te verkrijgen in good practices en uitdagingen met betrekking tot kwaliteitszorg en leren van elkaar (halen en brengen) nog beter mogelijk te maken. De resultaten van de inventarisatie zijn door de adviesgroep EQAVET, waarin OCW, MBO15, SBB, MBOraad, JOB, Inspectie, sociale partners, NRTO vertegenwoordigd zijn, al gebruikt om speerpunten te benoemen voor kwaliteitszorg in het beroepsonderwijs. MBO 2015 neemt deze punten mee bij het invullen van haar werkprogramma. Ik hoop dat u de rapportage met interesse leest en dat de resultaten aanleiding voor u zijn om te leren en kwaliteitszorg verder te ontwikkelen. Rest mij om alle instellingen die hebben meegewerkt aan deze inventarisatie hartelijk te danken voor hun bijdrage.

Drs. Siegfried Willems Directeur Internationaal Agentschap NCP EQAVET


4

1 Management samenvatting Deze inventarisatie, die gericht is op de stand van zaken ten aanzien van kwaliteitszorg (KWZ) in instellingen voor mbo, heeft in het voorjaar van 2011 plaatsgevonden in het kader van het Nederlandse NLQAVET project dat is aangevraagd in het kader van de implementatie van het Europese EQAVET raamwerk. Aan deze inventarisatie namen 27 onderwijsinstellingen deel (roc’s, aoc’s en vakcolleges). De inventarisatie heeft deels schriftelijk en deels in de vorm van diepte interviews plaatsgevonden. Het doel was om een algemeen beeld te vormen over de huidige stand van zaken aangaande kwaliteitszorg (KWZ) binnen het (bekostigde) middelbare beroepsonderwijs. Gezien het exploratieve karakter van de inventarisatie zijn de uitkomsten vooral beschrijvend van aard en kunnen er geen (significante) uitspraken op gebaseerd worden. De vraagstellingen van de inventarisatie hebben betrekking op het KWZ beleid, de uitvoering van het beleid en de impact van de KWZ op onderwijs en organisatie. Kernpunten In ruim de helft van de instellingen is KWZ gefundeerd in een schriftelijk vastgelegde beleidsvisie. Het KWZ beleid in deze instellingen lijkt meer solide te zijn dan wanneer het beleid niet is vastgelegd. Zelf gestelde doelen vormen hier (mede) de motor voor de KWZ en niet vooral extern opgelegde doelen. KWZ speelt zich af in een spanningsveld van leren/verbeteren en (extern en intern) verantwoorden. Instellingen hebben de wens om KWZ vooral in te zetten voor verbeteringen. Desondanks blijken ze zich sterk te richten, c.q. te laten leiden door het verantwoorden bijvoorbeeld naar de Onderwijsinspectie. In een derde van de instellingen heeft de KWZ een zodanige impact dat er daadwerkelijk verbeteringen uit voortvloeien. Bij de overige twee derde van de instellingen lijkt de KWZ vooral een functie te vervullen bij het (intern en extern) verantwoorden. Bij KWZ zijn de verschillende aspecten (opleidingen, examinering, opleiders, leeromgeving op school, leeromgeving in de praktijk en interne organisatie) beleidsmatig en qua uitvoering meestal niet aan elkaar gekoppeld. Dat geldt zelfs voor de aspecten ‘opleidingen’ en ‘examinering’. Het bedrijfsleven wordt alleen in uitzonderlijke gevallen betrokken bij het opstellen van KWZ beleid en bij de uitvoering van de KWZ. De vormgeving en uitvoering van KWZ gebeurt vooral door het management en bestuur. KWZ dringt meestal beperkt door op de werkvloer. Uit de inventarisatie valt af te leiden dat de top meer gemotiveerd is om verbeteringen door te voeren op basis van de KWZ dan de werkvloer. De PDCA cyclus is een veelgebruikt instrument bij de KWZ maar vaak doorloopt men niet alle vier de fasen. Dit is een gemiste kans in het licht van het alom nagestreefde doel om te leren en te verbeteren. In een beperkt aantal instellingen worden alle stappen van de PDCA gezet. Het KWZ beleid wordt op de aspecten ‘opleidingen’ en ‘examinering‘ in redelijke mate ook uitgevoerd. Op deze aspecten heeft de KWZ dan ook impact op de daadwerkelijke kwaliteit.


5

De uitvoering van de KWZ is krachtiger als er consequent op gestuurd wordt door management en bestuur en als er voor gezorgd is dat opleidingsteams zich er betrokken bij voelen. Instellingen waar dat voor geldt, doorlopen de PDCA volledig. Bij de opzet van het KWZ beleid en bij de uitvoering heeft de staf een belangrijke rol. Het vermoeden ontstaat dat de staf meer dan ‘de lijn’ en de werkvloer drager is van de KWZ. De KWZ heeft allereerst een impact in de zin van concrete verbeteringen (vooral op de aspecten ‘opleidingen’ en ‘examinering’) Dit betreft eerste orde leren (dat wil zeggen concrete instrumentele verbeteringen; denk bijvoorbeeld aan het gaan werken met toets matrijzen om de kwaliteit van de examinering te verbeteren). Van een meer overkoepelde impact, in die zin dat er een kwaliteitsbewustzijn ontstaat, is bij management en bestuur wel maar op de werkvloer weinig sprake (tweede orde leren, dat wil zeggen veranderingen in het systeem binnen de onderwijsinstelling; denk bijvoorbeeld aan versterking van het kwaliteitsbewustzijn ten aanzien van examinering bij managers en opleidingsteams). Het komt in de bij deze inventarisatie betrokken instellingen niet voor dat KWZ meer oplevert dan er in geïnvesteerd wordt. De ervaring is – volgens de KWZ adviseurs- zelfs dat er vaak meer geïnvesteerd wordt dan het oplevert. Mogelijk dat de KWZ meer op gaat leveren (dan er in geïnvesteerd wordt), wanneer de werkvloer er bij betrokken wordt.


6

2 Inleiding Voor u ligt het resultaat van een inventarisatie over de wijze waarop onderwijsinstellingen in het mbo omgaan met hun kwaliteitszorg (KWZ). Wat is het KWZ-beleid van de instellingen, hoe voeren zij hun KWZ uit en hoe ervaren zij de impact van de uitgevoerde KWZ op onderwijs en organisatie.

2.1

Korte introductie EQAVET en NLQAVET

De EU stimuleert mobiliteit in Europa en toegankelijkheid tot een leven lang leren. In dat kader worden tal van acties ondernomen waarvan het stimuleren van de kwaliteit van het beroepsonderwijs er één is. Het European Quality Assurance Reference Framework for Vocational Education and Training (EQAVET) is een referentiekader om de lidstaten te ondersteunen bij hun KWZ in het beroepsonderwijs. Voor het implementeren van het EQAVET raamwerk is in de lidstaten, waaronder Nederland, een coördinatiepunt ingericht. In Nederland vervult het Internationaal Agentschap deze rol. Het Agentschap werkt daarbij samen met tal van partijen in het beroepsonderwijs. Eén van de projecten die ondernomen worden is het NLQAVET project waar de voorliggende inventarisatie deel van uitmaakt. NLQAVET is een tweejarig project dat vanuit het Europese raamwerk met als doelen: KWZ inventariseren om kennis tussen mbo instellingen over KWZ te delen. Met behulp van projecten op de scholen (test en taste) een cultuur van kwaliteitsverbetering stimuleren. De EQAVET aanbevelingen in Nederland promoten. Versterken van het Nederlandse Nationaal Coördinatiepunt Alle stakeholders te betrekken bij KWZ (zowel bekostigd als niet bekostigde instellingen). Als eerste stap in het NLQAVET project is de voorliggende inventarisatie opgesteld om goodpractices en uitdagingen te inventariseren. Als vervolg op de voorliggende inventarisatie zullen vijf instellingen een project uitvoeren ten aanzien van de cultuur van kwaliteitszorg. (Voor meer informatie over EQAVET en NLQAVET: zie de bijlage)

2.2

Vraagstelling van de inventarisatie

Deze rapportage doet verslag van een verkennende inventarisatie die gebaseerd is op informatie die verzameld is bij KWZ adviseurs van (bekostigende) instellingen voor mbo. Gezien het omvattende karakter van het begrip kwaliteit, is er bij deze inventarisatie voor gekozen om het onderwerp af te bakenen. De focus ligt op de KWZ als één van de organisatieprocessen binnen een onderwijsinstelling. Het accent ligt op KWZ als middel; hoe geven instellingen dit middel vorm? Er is in explorerende zin informatie verzameld over de wijze waarop onderwijsinstellingen met dit organisatieproces omgaan. Er is gekeken naar de volgende drie aspecten van KWZ: het KWZ beleid, de uitvoering van de KWZ en de impact die volgens betrokkenen uitgaat van de KWZ. In de inventarisatie zijn de volgende vraagstellingen gehanteerd:


7

Wat staat op papier: Wat is het beleid dat instellingen in hun documenten vastgelegd hebben ten aanzien van integrale KWZ? Wat doet de instelling aan KWZ: Wat is de daadwerkelijke uitvoering van integrale KWZ? Wat is de impact van KWZ: Wat is de impact/ het effect van de uitgevoerde KWZ op kwaliteit van onderwijs en organisatie in de instelling?

Kwaliteitszorg is een middel om de kwaliteit van te leveren diensten en producten te verbeteren. Uitgaande van de strategie en het ontwikkelingsstadium van een organisatie worden – in een cyclisch proces - de kwaliteit van het primaire proces en van de interne organisatie gevolgd en steeds verbeterd. De KWZ bevindt zich op een meta-niveau; KWZ beziet met een zekere distantie de voortgang in de verschillende organisatieonderdelen en hun samenhang. In deze inventarisatie is in kaart gebracht hoe onderwijsinstellingen op dit meta-niveau met hun KWZ omgaan. Er is bezien hoe instellingen omgaan met hun integrale KWZ, gericht op de volgende zes aspecten van een onderwijsinstelling: opleidingen, examinering, opleiders, leeromgeving op school, leeromgeving in de praktijk en interne organisatie. (Zie ook het plaatje in de bijlage). De inventarisatie focust niet in inhoudelijke zin op de bovengenoemde zes aspecten van het onderwijsproces. Wel focust de inventarisatie op de vraag of en hoe KWZ (als middel) vorm krijgt ten aanzien van al deze aspecten. Kortom: deze inventarisatie brengt in kaart wat de huidige stand van zaken is met betrekking tot de inzet van het middel KWZ. In Nederland wordt overigens al veel onderzoek gedaan en toezicht gehouden op de inhoudelijke kwaliteit, bijvoorbeeld door de Inspectie van het onderwijs. Door een wat andere scoop te kiezen wil NLQAVET met deze inventarisatie een bijdrage leveren aan de reeds beschikbare kennis over kwaliteit en KWZ in het mbo. Het uiteindelijke doel is om met KWZ een bijdrage te leveren aan het streven van onderwijsinstellingen in het mbo om de kwaliteit in onderwijs en organisatie te vergroten. Veel gebruikte manieren om die kwaliteit uit te drukken zijn: Een hoger diplomarendement. Geringe studentenuitval. Goed gekwalificeerde afgestudeerden. Tevreden studenten, onderwijspersoneel en (regionaal) bedrijfsleven. Onderliggende gedachte in deze inventarisatie is dat een goed en structureel vormgegeven en uitgevoerde KWZ (het middel) bij zal dragen aan de realisatie van deze doelen. De mate waarin instellingen er in slagen deze doelen te realiseren maakt zelf geen deel uit van deze inventarisatie. Met de zojuist geschetste focus sluit de inventarisatie aan bij het Europese EQAVET raamwerk dat onder andere focust op de aard van gehanteerde systemen voor kwaliteitsborging en op de relevantie van kwaliteitsborgingsystemen voor aanbieders van beroepsonderwijs en –opleidingen. Ook sluit de inventarisatie aan bij eerdere bevindingen van de Inspectie van het Onderwijs (2010), die pleit voor versterking van het bestuurlijk vermogen o.a. door middel van de inzet van KWZ. 1 Het onderzoek van de Inspectie laat zien dat onderzochte instellingen met een hoge 1

Zie: Inspectie van het Onderwijs (2010). Besturing en onderwijskwaliteit in het mbo. Utrecht.


8

onderwijskwaliteit hun KWZ beter op orde hebben. Dit komt bijvoorbeeld tot uitdrukking in een goede kwaliteit van jaar- en verbeterplannen, centrale kaderstelling voor het middenniveau, goede onderwijsinformatievoorziening met name op teamniveau, gebruik van monitoringuitkomsten, gebruik van normen voor het beoordelen van de onderwijskwaliteit. De inventarisatie van NLQAVET gaat in aanvulling op het onderzoek van de Inspectie nader in op de wijze waarop de KWZ vormgegeven is in mbo instellingen. Er is breed in kaart gebracht wat er allemaal komt kijken bij een goed functionerend KWZ systeem.

2.3

Werkwijze in hoofdlijnen

De KWZ adviseurs van alle bekostigende mbo instellingen zijn met behulp van een enquête benaderd om informatie voor deze inventarisatie te verzamelen. Tevens is bij enkele instellingen informatie verzameld via een diepte-interview met de KWZ adviseur, managers en docenten. Er zijn 27 instellingen die geparticipeerd hebben in het onderzoek (20 rc’s, 4 abc’s en 3 bankinstellingen). De instellingen zijn gespreid naar studentenaantallen van klein naar zeer groot. Op basis van het verzamelde materiaal in de enquête kunnen uitspraken gedaan worden over de groep instellingen die deelnam aan de inventarisatie. Gezien het verkennende karakter en de respons is het niet mogelijk om op basis van het materiaal uitspraken te doen voor de gehele MBO sector (significante uitspraken). In de rapportage worden de verzamelde gegevens in beschrijvende zin weergegeven. Er is een interpretatie gegeven van de resultanten met behulp van het EQAVET raamwerk. In elke hoofdstuk zijn illustraties bij verschillende thema’s opgenomen die ontleend zijn aan de diepte-interviews. (Meer informatie over de gehanteerde werkwijze bij de inventarisatie is te vinden in de bijlage 2.)

2.4

Opbouw van de rapportage

De rapportage is als volgt opgebouwd: Hoofdstuk 3, 4 en 5 rapporteren over de bevindingen. Hoofdstuk 3 gaat in op het KWZ beleid van de instellingen (de eerste hoofdvraag). Hoofdstuk 4 laat zien hoe instellingen hun KWZ uitvoeren (de tweede hoofdvraag). Hoofdstuk 5 geeft een impressie van de impact die de KWZ heeft binnen de instellingen (de derde hoofdvraag). Hoofdstuk 6 biedt een slotbeschouwing, o.a. vanuit de thema’s die in het EQAVET raamwerk centraal staan. In bijlage 1 vindt de lezer nadere informatie over EQAVET en NLQAVET. In bijlage 2 is de gehanteerde werkwijze verantwoord.


9

3 Beleid voor kwaliteitszorg 3.1 Inleiding In dit onderdeel gaat het om de vraag hoe het KWZ beleid van de instellingen is vormgegeven. De visie en het beleid dat instellingen vastgelegd hebben voor hun kwaliteitszorg is in kaart gebracht. Bezien vanuit het veel gehanteerde onderscheid bij beleidsontwikkeling en implementatie tussen richten, inrichten en verrichten gaat het hierbij om het richten van dit organisatieproces. Hebben instellingen vastgelegd waarom ze aan KWZ doen, vanuit welke visie ze er aan werken, of hun KWZ vooral intern of extern gericht is en of dat beleid ingebed is in de organisatie? We willen nagaan of er factoren aan te wijzen zijn die het KWZ beleid van instellingen stevigheid geven. Het EQAVET kader is gebaseerd op de PDCA. Bij het opstellen van KWZ beleid (de PLAN van de KWZ cyclus) zijn de volgende aandachtspunten relevant voor de inventarisatie: Het betrekken van externe partners – zoals sociale partners - bij het opstellen van plannen. Het opstellen van richtsnoeren (standaarden) en normen voor te leveren kwaliteit. Aandacht voor meerdere aspecten van kwaliteitsborging waaronder (de opleiding van) opleiders. Benoemen van de verantwoordelijkheden van onderwijsinstellingen bij KWZ. Hanteren van een nationaal of regionaal kader voor kwaliteitsborging. In Nederland is dat bijvoorbeeld het waarderingskader van de Onderwijsinspectie. In dit onderdeel van de rapportage wordt - met behulp van de uit de enquête verkregen informatie - antwoord gegeven op de volgende vragen: Zijn de visie en het KWZ beleid vastgelegd; wat is de visie van waaruit instellingen voor hun mbo opleidingen KWZ opzetten? Hebben de instellingen hun KWZ beleid vastgelegd in een handboek? Heeft de instelling vastgelegd welke standaarden gehanteerd worden bij de KWZ? Waar richt het KWZ beleid van de instellingen zich op: leren en verbeteren; intern toezicht en verantwoording en extern toezicht en verantwoording. Wat is de betrokkenheid van het bedrijfsleven bij het opstellen van het KWZ beleid? Hoe is het KWZ beleid van de instellingen ingebed in de organisatie?

3.2 3.2.1

Samenvatting en conclusie kwaliteitszorgbeleid Samenvatting

De gegevens van de groep van 27 instellingen, die meegewerkt hebben aan deze inventarisatie, laten zien dat zij allemaal over KWZ beschikken. Ruim de helft heeft beleid schriftelijk vastgelegd en gebaseerd op een visie op KWZ. De krappe andere helft kent geen vastgelegde beleidsvisie op KWZ.


10

Volgens de KWZ adviseurs van alle instellingen staat in het KWZ-beleid een streven naar steeds leren en verbeteren van onderwijs en organisatie voorop. Hun beeld is dat zich verantwoorden naar externe en interne toezichthouders op de tweede plaats komt. Daarnaast geven die zelfde adviseurs aan dat zij hun KWZ-beleid in sterke mate afstemmen op de eisen van de Onderwijsinspectie, dat wil zeggen op externe verantwoording. De inventarisatie laat zien dat instellingen die hun beleidsvisie op KWZ schriftelijk vastgelegd hebben, zich onderscheiden wat betreft het zich in sterkere mate stellen van doelen ten aanzien van: o

hun onderwijs en interne organisatie: ‘bewaken voortgang strategisch beleid’ en ‘ontwikkeling van de organisatie’;

o

hun verantwoording naar stakeholders in de regio: ‘imago op de markt’ en ‘goede positionering om studenten te trekken’.

Bij de overige informatie uit dit hoofdstuk is het gegeven dat instellingen hun visie op KWZ-beleid schriftelijk vastgelegd hebben niet onderscheidend. Opvallend is dat de mensgerichte doelen (met name ontwikkeling medewerkers en plezier in het werk) bij relatief veel instellingen niet sterk nagestreefd worden als doel van de KWZ. Het komt amper voor dat instellingen voor 6 aspecten (examinering, opleidingen, opleiders, leeromgeving op school en in de praktijk en interne organisatie) in samenhang KWZ-beleid hanteren. Wel hanteren bijna alle instellingen KWZ-beleid voor het aspect ‘examinering’ en hebben dit vastgelegd in een handboek. Voor de andere aspecten hanteert slechts een minderheid KWZ én legt het vast in een handboek. De inventarisatie laat zien dat de afwezigheid van een handboek KWZ op de 6 aspecten niet hoeft te betekenen dat instellingen naast de verplichte standaarden geen eigen standaarden en normen hanteren. Dat doen ze vaak wel. De meeste instellingen betrekken het bedrijfsleven (uit de regio) niet bij het opstellen van hun KWZ-beleid. Het KWZ-beleid in de meeste van de bij deze inventarisatie betrokken instellingen wordt vooral gezien als iets van het management en vooral van de top van de organisatie; een bestuurlijke kwestie. Vooral de top van de instellingen is over KWZ-beleid goed geïnformeerd en er bij betrokken. De werkvloer is veel minder geïnformeerd en betrokken bij het KWZ beleid.

3.2.2

Conclusies

Op basis van de beschreven bevindingen (zie 3.3) kunnen de onderstaande zes conclusies getrokken worden. Elk van deze zes factoren kan opgevat worden als een indicatie voor de stevigheid van het KWZ beleid.


11

Eigen beleidsvisie en doelen KWZ Het blijkt niet vanzelfsprekend dat instellingen ten behoeve van hun KWZ een beleidsvisie vastleggen. Ruim de helft van de instellingen onderscheidt zich met een vastgelegde beleidsvisie op KWZ en een breed spectrum van sterk nagestreefde KWZ doelen. Of anders gezegd: de indruk ontstaat dat bij hen sterker dan bij de andere instellingen ook zelf gestelde doelen de motor voor KWZ zijn. Bij de andere instellingen voeren meer alleen doelen van KWZ de boventoon die zij vanuit de externe omgeving (bijvoorbeeld Onderwijsinspectie) aangereikt krijgen. Bewust omgaan met het dilemma leren en verantwoorden De gegevens maken duidelijk dat er binnen onderwijsinstellingen bij het opstellen van hun KWZ beleid een spanningsveld of dilemma lijkt te liggen tussen enerzijds ‘leren en verbeteren’ en anderzijds ‘verantwoorden’. Hoewel de KWZ adviseurs het als wenselijk ervaren dat het ‘leren en verbeteren’ het dominante doel is, is de vraag hoe dat in de realiteit uitpakt gezien ook aanwezige sterke inzet op interne en externe verantwoording. Een aantal instellingen lijkt bewust en op een uitgebalanceerde wijze om te gaan met dit dilemma. Bij andere instellingen lijkt de beleidsprioriteit (vooral) te liggen bij de externe verantwoording. Betrokkenheid top en werkvloer Er is een beperkt aantal instellingen waar zowel bestuur, management en docenten geïnformeerd zijn over het KWZ beleid. Die geïnformeerdheid en de betrokkenheid van de drie lagen bij het KWZ beleid kan gezien worden als een indicatie voor sterk KWZ beleid. Deze informatie over de verankering van het KWZ beleid in de instellingen kan tevens een indicatie bieden voor hoe het bovenstaande dilemma uitpakt in de betrokken instellingen. KWZ-beleid lijkt vooral gezien te worden als een bestuurlijke aangelegenheid. Bezien vanuit doelen van (externe) verantwoording valt dat te begrijpen. Bezien vanuit het uitgesproken streven van de meeste instellingen om met hun KWZ te leren en steeds te verbeteren, valt de beperkte betrokkenheid van de werkvloer bij het KWZ-beleid niet goed te begrijpen. Dat kan er toe leiden dat ook de betrokkenheid van deze laag bij de uitvoering van de KWZ beperkt blijft en – nog essentiëler - de doorwerking naar verbeteringen in het primaire proces niet goed van de grond komt. Samenhang 6 aspecten Het KWZ-beleid wordt in de betrokken instellingen over het algemeen voor elk van de zes aspecten apart opgezet. Er is weinig samenhang tussen het KWZ beleid op de zes aspecten. Verankeren normen en standaarden in beleid De aanwezigheid van eigen normen en standaarden is blijkbaar niet altijd een indicatie voor structureel KWZ-beleid. Instellingen rapporteren immers dat zij wel met standaarden en normen werken ook als zij geen handboek KWZ hanteren over KWZ beleid beschikken. Dat roept de vraag op hoe systematisch die standaarden/normen organisatorisch ingebed zijn en toegepast worden bij instellingen die geen handboek of KWZ-beleid hanteren. Betrokkenheid bedrijfsleven Gezien de ontbrekende betrokkenheid van het bedrijfsleven kunnen we concluderen dat het opstellen van KWZ-beleid een interne aangelegenheid is van instellingen.


12

3.3 3.3.1

Bevindingen beleid voor kwaliteitszorg Vastleggen van beleid en visie op KWZ

De aanwezigheid van een visie en het vastleggen van die visie is een mogelijke indicatie voor de stevigheid van het KWZ beleid van een instelling. Hiermee sluiten we aan bij de aanbeveling van EQAVET om te starten vanuit een gemeenschappelijke strategische visie van de belanghebbenden met specifieke doelstellingen, maatregelen en indicatoren als het gaat om kwaliteitszorg. Onderzoeksvraag: Zijn de visie en het KWZ beleid vastgelegd? Van ruim de helft van de betrokken instellingen geeft de KWZ adviseur aan dat het KWZ beleid gebaseerd is op een visie op KWZ en dat deze schriftelijk is vastgelegd (15). Daarnaast zeggen de adviseurs van ongeveer een kwart van de instellingen dat het KWZ beleid gebaseerd is op een visie op KWZ maar dat deze niet schriftelijk is vastgelegd (7). Tenslotte zijn er enkele instellingen waarvan de adviseur zegt dat het KWZ beleid niet gebaseerd is op een visie op KWZ (4). Tabel 2 laat zien hoe deze gegevens verdeeld zijn over de drie typen instellingen. Tabel 2 Beleid gebaseerd op visie KWZ en type instelling Visie KWZ en

Visie KWZ maar

Beleid niet

schriftelijk

niet schriftelijk

gebaseerd op

vastgelegd

vastgelegd

visie KWZ

Roc

11

6

Aoc

3

Vakcollege

1

1

15

7

2

19

1

4

1

3

4

26

Uit de interviews: Een uitdaging is om het beleid niet in de waan van de dag weg te laten glippen. Om zicht te krijgen op het KWZ beleid van de instelling als geheel. Ook de implementatie van het beleid vraagt nog veel aandacht. Teveel beleid kan echter ook betekenen dat je jezelf gek maakt. De term ‘kwaliteitszorg’ is eigenlijk niet een passende term. Beter is ‘kwaliteitsmanagement’. De bijklank van de term ‘zorg’ is te soft.

3.3.2

Algemene doelen KWZ beleid

In dit onderdeel wordt de focus van het beleid geïnventariseerd. Een visie kan ofwel gericht zijn op het verbeteren van de organisatie ofwel gericht zijn op verantwoording. Bij verantwoording kan het dan gaan om interne of externe verantwoording. Onderzoeksvraag: Waar richt het KWZ beleid van de instellingen zich op: leren en verbeteren, intern toezicht en verantwoording, extern toezicht en verantwoording? Voor de betrokken instellingen geldt dat zij zich met hun KWZ beleid richten op het verbeteren van onderwijs en organisatie (overwegend vinden zij dit heel belangrijk (22x)). Het maakt daarbij niet uit of zij een (expliciete, impliciete of geen visie onder hun KWZ beleid leggen).


13

Verantwoorden naar interne toezichthouders en naar externe toezichthouders geven ook alle instellingen een plaats in hun KWZ beleid. Dit vinden zij echter overwegend redelijk belangrijk (respectievelijk 14x en 15x). De gegevens laten zien dat in de visie van de bij deze inventarisatie betrokken instellingen een streven naar verbeteren van onderwijs en organisatie de boventoon voert. (zie tabel 4; tabellen boek). Uit de interviews: De top moet in-control zijn. De top moet weten wat er speelt zodat het CvB en de directeuren vanuit hun bestuurlijk vermogen verantwoording af kan leggen. Uit de interviews: Kwaliteit is de drijfveer en de overlevingskans van deze school. Daar ben je constant mee bezig. Dit uit zich in tijdige signalering, continu bijsturen en risico’s in kaart brengen. Communicatie is hierin van belang, dat maakt het mogelijk om iets dat uit de lijn loopt direct bij te sturen. De focus van de KWZ ligt intern: op leren en verbeteren.

Tegelijkertijd blijkt dat de instellingen hun KWZ beleid – of ze nu een vastgelegde, geen vastgelegde of geen visie op KWZ hebben - sterk afstemmen op de Onderwijs inspectie, dat wil zeggen dat zij gericht zijn op externe verantwoording. Een meerderheid stemt zijn KWZ beleid vooral in sterke mate af op de eisen van de Inspectie van het Onderwijs (20x). (zie tabel 5; tabellenboek). Uit de interviews: Het gesprek over kwaliteit ging voorheen in de instelling puur om geld. Er waren branchedirecteuren en stafdirecteuren zonder relatie met de kwaliteit van het onderwijs. Die relatie wordt nu steeds meer wel gelegd. De huidige controle van de kwaliteit van het onderwijs wordt voornamelijk door de inspectie gedaan; niet intern. Het zou mooi zijn als het CvB zich kritisch opstelt als er sprake is van een zesjes cultuur ten aanzien van bijvoorbeeld tevredenheid deelnemers. Er is nu wel een kanteling gaande op centraal niveau in die richting. Op decentraal niveau beschouwden teams het enige jaren geleden als de ver van mijn bed show als zij een onvoldoende van de inspectie kregen. Nu voelen zij zich meer in hun beroepseer aangetast. Men voelt zich aangesproken; energie komt vrij om te verbeteren. CGO heeft daar ook een rol in: teams krijgen mee verantwoordelijkheid waardoor ook meer betrokkenheid ontstaat.

Ook wat betreft de afstemming op de eisen van de WEB is er geen verschil tussen de instellingen met of zonder vastgelegde visie. Bijna alle betrokken instellingen zeggen deze eisen geïntegreerd te hebben. (zie tabel 6; tabellenboek). 3.3.3

Specifieke doelen van KWZ beleid

In dit onderdeel komen de meer specifieke doelen aan de orde die de instellingen met hun KWZ beleid willen nastreven. Er is gevraagd naar een groot aantal doelen, die opgedeeld zijn in de onderstaande groepen. In dit onderdeel is verkend met welke doelen instellingen zich van elkaar onderscheiden. Onderzoeksvraag: Wat is de visie van waaruit instellingen voor hun mbo opleidingen KWZ opzetten? Doelen onderwijs en organisatie: De meeste instellingen, en vooral de instellingen die hun beleidsvisie op KWZ schriftelijk hebben vastgelegd, streven de doelen het ‘bewaken


14

voortgang strategisch beleid’ en ‘ontwikkeling van de organisatie’ in sterke mate na. De andere instellingen (wel een beleidsvisie maar niet schriftelijke vastgelegd en geen beleidsvisie) streven dit vaker in redelijke mate na. Mensgerichte doelen: Ongeveer de helft van de betrokken instellingen streeft deze doelen in redelijke mate na met het KWZ beleid; daarnaast doen slechts 8 dat in sterke mate en 4 beperkt of niet. (‘Medewerkers zich verder kunnen ontwikkelen’ en ‘medewerkers plezier in hun werk hebben’ zijn in redelijke mate een motief). Het maakt daarbij niet uit of zij een vastgelegde, geen vastgelegde of geen visie onder hun KWZ beleid leggen. Doelen stakeholders in de regio: ‘Transparantie naar studenten en ouders’ is vooral in beperkte mate een doel van de KWZ bij alle instellingen; ‘imago van de instelling verbeteren’ is in sterke of in redelijke mate een doel vooral bij de instellingen die hun KWZ beleid op een visie baseren. ‘Goed positioneren en studenten trekken’ is bij de meeste instellingen een sterk of redelijk doel van hun KWZ beleid. Doelen externe verantwoording: ‘Voldoen aan wettelijke verplichtingen’ is bij alle instellingen vooral in sterke mate een doel. ‘Voldoen aan verantwoordingsplicht naar de inspectie’ is bij de meeste instellingen in sterke of redelijke mate een doel. Hetzelfde geldt voor ‘verantwoording naar de overheid en andere financiers’. (zie tabel 7; tabellenboek). 3.3.4

Handboek op zes aspecten

In deze inventarisatie is er een onderscheid gemaakt naar KWZ beleid voor zes aspecten: het onderwijs, de examinering, de opleiders, de leeromgeving op school, de leeromgeving in de praktijk en de interne organisatie. We zijn nagegaan of instellingen op deze aspecten KWZ beleid formuleren. Onderzoeksvraag: Is het beleid voor de KWZ op de verschillende aspecten vastgelegd, bijvoorbeeld in een handboek? Van de 25 instellingen hebben de meeste hun KWZ verankerd in een handboek op het aspect ‘examinering’. Dit kan gezien worden als een minimum variant omdat op dit aspect de aanwezigheid van een dergelijk handboek (gekoppeld aan de verplichte OER-en) verwacht mag worden. Zo bezien valt het op dat 4 instellingen ten aanzien van examinering niet over zo’n handboek beschikken. De meerderheid van de instellingen kent op de overige vijf aspecten wel KWZ-beleid, echter zonder dat in een handboek te borgen. Er is bij alle aspecten (behalve bij examinering) een substantieel aantal instellingen die aangeeft geen KWZ-beleid te hanteren voor een aspect (variërend van 3 tot 6 instellingen). Een kwart van de betrokken instellingen hanteert op meerdere aspecten (waaronder opleidingen) geen KWZ. De instellingen voeren bijna nooit een KWZ-beleid op alle 6 aspecten dat verankerd is in een handboek. (zie tabel 9 en 10; tabellenboek). Uit de interviews: Het werken volgens een handboek past niet zo bij onze school. De afstand van wat op papier staat en de praktijk is te groot. Het kwaliteitshandboek is nu vooral beschrijvend in algemene termen. In het handboek is niet terug te vinden wat er daadwerkelijk op de werkvloer gebeurt. Het handboek wordt op dit moment niet gemist. Er wordt gewerkt aan het optimaliseren van het kwaliteitszorgsysteem waarbij iedereen goed betrokken wordt en dat goed past bij de organisatie. Kwaliteitszorg moet levend zijn. Beleven


15

van kwaliteitszorg, dat is de sleutel waar het om gaat. We gaan eerst aan de slag met de processen op de werkvloer. Uit de interviews: We hebben geen ‘handboek kwaliteitszorg’. Dit is overigens geen bewuste keuze en wordt ook niet als gemis ervaren. Onze docenten zijn doorgaans eigenzinnig en wars van regels. Kwaliteit moet vanuit het hart komen. Het besef en bewustzijn van het belang van kwaliteit is de laatste tien jaar meer ontstaan, mede door een veranderd CvB. Het gevoel dat ze goed bezig waren is er altijd al geweest, dat wordt ook bevestigd door hbo’s en bedrijven. Doordat we meer zijn gaan borgen, is dat gevoel ook bevestigd. Door deze borging hebben we ook hiaten in de kwaliteit weten aan te wijzen.

De onderstaande tabel brengt de gegevens in beeld. Tabel 3 KWZ beleid verankerd in handboek op 6 aspecten KWZ-beleid en

KWZ-beleid

handboek

zonder handboek

Opleidingen

5

14

Examinering

21

4

5

Opleiders Leeromgeving op school Leeromgeving in de praktijk Interne organisatie 3.3.5

Geen KWZ-beleid

Onbekend/weet niet

4

2

12

6

2

4

14

4

2

6

12

5

1

6

15

3

1

Standaarden

De aanwezigheid van eigen standaarden/normen en prestatie-indicatoren kan gezien worden als een indicatie voor de mate waarin een instelling zijn KWZ-beleid doordacht en uitgewerkt heeft, c.q. een indicatie voor de stevigheid van het beleid. Onderzoeksvraag: Heeft de instelling vastgelegd welke standaarden gehanteerd worden bij het KWZ-beleid? De KWZ adviseurs van de meeste instellingen geven aan dat in hun school, naast hetgeen wettelijk verplicht is, ook eigen standaarden gehanteerd worden op alle 6 aspecten. Bij hun KWZ van de examinering koerst ongeveer een kwart van de betrokken instellingen alleen op de verplichte standaarden. Eigen standaarden worden zowel gehanteerd door instellingen die een handboek hanteren als door instellingen die geen handboek of KWZ beleid hanteren op een specifiek aspect. (zie tabel 15 t/m 21; tabellenboek).


16

3.3.6

Bedrijven betrekken bij opstellen KWZ beleid

Er is in deze inventarisatie vanuit gegaan dat één van de factoren waaruit de stevigheid van het KWZ-beleid van een instelling blijkt de betrokkenheid van het bedrijfsleven bij de opstelling van het beleid is. Onderzoeksvraag: Wat is de betrokkenheid van bedrijfsleven bij het opstellen van KWZ-beleid? Op instellingsniveau zijn bedrijven volgens de KWZ adviseur in de meeste instellingen (21) beperkt of niet betrokken bij het opstellen van het KWZ-beleid. (Alleen 1 AOC en 3 vakinstellingen zeggen dat zij in redelijke mate betrokken zijn). Op het niveau van sectoren en domeinen zijn bedrijven in de helft van de instellingen in redelijke mate en in de andere helft beperkt of niet betrokken. (zie tabel 22; tabellenboek). 3.3.7

Geïnformeerd zijn en betrokken zijn

Als instellingen hun KWZ-beleid bepaald hebben, kan vervolgens de vraag gesteld worden, in welke mate de diverse actoren in de organisatie geïnformeerd zijn over en betrokken zijn bij dit KWZbeleid. De mate waarin dat het geval is, wordt hier opgevat als een indicatie voor de stevigheid van het KWZ-beleid. Onderzoeksvraag: Hoe is de KWZ in de instellingen ingebed in de organisatie? Zowel voor het geïnformeerd zijn over het KWZ-beleid als voor de betrokkenheid bij het KWZbeleid blijkt dat de top van de instelling (CvB en directeuren) het best geïnformeerd en betrokken is. . De middenlaag (directeuren van diensten, onderwijsmanagers en teamleiders) zijn redelijk geïnformeerd en betrokken. De werkvloer (docenten, opleidingsteams en ondersteuners) zijn redelijk tot beperkt geïnformeerd en betrokken. (zie tabel 24 en 25 tabellenboek).


17

4 De uitvoering van de kwaliteitszorg 4.1

Inleiding

Nadat in hoofdstuk 4 ingegaan is op de manier waarop het beleid is vormgegeven binnen de betrokken instelling, zal in dit hoofdstuk gekeken worden naar de wijze waarop de KWZ daadwerkelijk uitgevoerd wordt. Hierbij gaat het om het inrichten en verrichten van dit organisatieproces. Belangrijke aspecten daarbij zijn de mate waarin de uitvoering van de KWZ aangestuurd wordt, de betrokkenheid van de mensen in de organisatie bij de uitvoering en het toepassen van de PDCA-cyclus. We willen nagaan of er factoren aan te wijzen zijn die de uitvoering van de KWZ van instellingen krachtig maken. Deze inventarisatie sluit ook hier aan bij het Europese EQAVET kader, waarin aan de PDCA gerelateerde descriptoren benoemd zijn en wel de volgende: Het gezamenlijk opstellen van uitvoeringsplannen (PLAN). Inzetten van middelen en instrumenten om de plannen tot uitvoering te kunnen brengen. Hierbij wordt de opleiding van docenten als een belangrijk aandachtspunt genoemd (DO). Regelmatige evaluatie van behaalde resultaten met behulp van metingen (CHECK). Herziening: het bespreken van de evaluatieresultaten met belanghebbenden, ervan leren. (ACT). Openbaar maken van de evaluaties en van de actieplannen voor verbetering. (ACT). Vervolg actieplannen opzetten zodat de cyclus opnieuw kan beginnen. (PLAN). De vragen in hoofdstuk 5 zijn: Hoe is de uitvoering van de KWZ verankerd in de organisatie bij management en bij opleidingsteams? Wat zijn de opvattingen binnen de instellingen over het borgen van kwaliteit? Hoe is de KWZ in de instellingen in de organisatie belegd? Op welke wijze hanteren de instellingen bij hun aanpak van KWZ de PDCA? Hanteren zij een samenhangend KWZ systeem en heeft dat betrekking op de volgende zes aspecten: o

De opleidingen

o

De examinering

o

De opleiders

o

De leeromgeving op school

o

De leeromgeving in de praktijk

o

De interne organisatie

Hoe voeren zij de KWZ ten aanzien van de zes aspecten uit? Doorlopen de instellingen op alle niveaus consequent alle stappen van de PDCA? Worden de in het beleid vastgelegd standaarden daadwerkelijk gehanteerd? Wat is de betrokkenheid van het bedrijfsleven bij het uitvoeren van de KWZ? Wat zijn goodpractices op het gebied van KWZ? Is de uitvoering van de KWZ congruent met het vastgelegde beleid?


18

4.2 4.2.1

Samenvatting en conclusies Samenvatting

De sturing van de KWZ en het gevoel bij opleidingsteams dat zij er bij betrokken zijn hebben we samen gehanteerd als een indicatie voor de verankering van de uitvoering in instellingen. Bij een krappe helft van de instellingen wordt volgens de KWZ adviseurs consequent gestuurd op de uitvoering van de KWZ. Bij de meeste instellingen is die sturing echter vooral redelijk of beperkt. Opleidingsteams voelen zich, volgens de KWZ adviseurs die meededen aan de inventarisatie, in de meeste instellingen beperkt betrokken bij de uitvoering van de KWZ. Slechts in ongeveer een kwart van de instellingen voelen opleidingsteams zich wel betrokken. Bij een kleine groep van 4 instellingen is sprake van consequente sturing én tevens een gevoel van betrokkenheid van opleidingsteams bij de KWZ. Daar waar sprake is van consequente sturing kent niet automatisch de werkvloer ook een gevoel van betrokkenheid bij de KWZ. Wat betreft het waarom van kwaliteitsborging is in alle betrokken instellingen een opvatting dominant dat dit nodig is vanwege eisen van de Inspectie van het Onderwijs en vanwege andere interne en externe regels. In de instellingen die meer sturing geven en bovendien de instellingen waar opleidingsteams zich betrokken voelen bij de uitvoering van de KWZ, bestaat een meer gedifferentieerde opvatting over het borgen van kwaliteit. In deze instellingen heersen daar bovenop in wat sterkere mate opvattingen over het belang van kwaliteitsborging die gaan over: reflectie om ervan te leren; voldoen aan wensen externe stakeholders; voldoen aan wensen van studenten. De taken die gepaard gaan met de uitvoering van de KWZ hebben de instellingen die meewerkten aan deze inventarisatie belegd bij de staf (zoals KWZ adviseur, KWZ medewerker en afdeling KWZ). De inventarisatie laat zien dat de instellingen bij de uitvoering van hun KWZ gebruik maken van de PDCA. PLAN: Op strategisch en tactisch niveau wordt in alle betrokken instellingen vooral consequent met plannen gewerkt. Op operationeel niveau wordt echter bij de helft van de instellingen in mindere mate met plannen gewerkt. De 6 aspecten zijn volgens de adviseurs wisselend in de plannen op de drie niveaus terug te vinden. Er lijkt geen sprake te zijn van een samenhangende aanpak van de aspecten. Bij het opstellen van de plannen op alle niveaus hebben bedrijven een heel beperkte tot geen rol. DO: Het feit dat plannen opgesteld zijn (in de PLAN fase) betekend niet automatisch dat zij (in de DO fase) ook uitgevoerd worden. Dat geldt op alle niveaus maar nog sterker op het operationele niveau. Ook geldt dit voor alle 6 aspecten maar in sterke mate voor de aspecten: opleiders, leeromgeving op school en leeromgeving in de praktijk. Instellingen die consequent sturen op KWZ en instellingen waar de opleidingsteams zich betrokken voelen lijken in de uitvoering ook beter te voorzien in de benodigde middelen om in de DO fase de plannen uit te kunnen voeren. Vooral op operationeel niveau zijn de middelen bij de overige instellingen volgens de KWZ adviseurs vaak te beperkt om de plannen goed uit te kunnen voeren.


19

CHECK: Het checken van de voortgang van de uitvoering van beleid gebeurt volgens de adviseurs in de meeste instellingen ten dele. Er wordt gecheckt via harde gegevensverzameling, dialoog, interne en externe audits. De indruk ontstaat dat KWZ adviseurs meer gebruik maken van de (harde) dataverzameling dan van het verzamelen van meer kwalitatieve informatie via dialoog of audits. Uit de inventarisatie ontstaat het beeld dat zij bijvoorbeeld bij ‘dialoog’ geen taken hebben. Verschillende groepen worden in de betrokken instellingen bevraagd in de checkfase: bedrijven, studenten, docenten, niet onderwijzend personeel. Er wordt tevens gebruik gemaakt van externe monitors. Het bevragen van deze groepen in deze fase is echter bijna nooit intensief. Vooral voor het checken van het strategische beleid wordt beperkt bij deze groepen gecheckt. Instellingen die volgens de adviseur consequent sturen op de uitvoering van hun KWZ en waar opleidingsteams zich betrokken voelen, betrekken al deze groepen sterker in monitors en dergelijke dan de andere instellingen. ACT: De inventarisatie laat zien dat sturingsinformatie (die uit de checkfase komt) in de betrokken instellingen vooral op strategisch en tactisch niveau beschikbaar wordt gesteld aan de actoren die er mee kunnen sturen. Maar er zijn ook instellingen waar actoren op alle niveaus amper sturingsinformatie krijgen. Een mogelijk gevolg is dat de informatie – voor zover beschikbaar daar niet op de juiste plaats terecht komt. Er wordt op alle niveaus met managementreviews gewerkt; bij de helft van de instellingen periodiek, bij de andere incidenteel. Uit beschikbaar gestelde sturingsinformatie worden niet altijd daadwerkelijk conclusies getrokken: het CvB doet dat meer dan opleidingsteams. Bij de betrokken instellingen zijn er maar weinig die de in het KWZ-beleid verankerde standaarden, prestatie-indicatoren en normen ook consequent toepassen bij het trekken van conclusies uit verkregen informatie. Het bedrijfsleven wordt in de ACT fase maar zelden betrokken bij het trekken van conclusies uit de verzamelde informatie. Het bijsturen als volgende stap in de act fase is geen automatisme in de instellingen die meededen aan de inventarisatie. Op strategisch niveau gebeurt het meer dan op tactisch en operationeel niveau. De stap naar verbeterplannen, waarmee een nieuwe cyclus in gang gezet wordt, is geen vanzelfsprekendheid in een derde van de instellingen op strategisch en tactisch niveau en in de helft op operationeel niveau. De inventarisatie laat zien dat voor bijna alle betrokken instellingen de uitkomsten van hun KWZ een externe functie heeft. KWZ leidt tot daden, in de zin van rapportages, naar de toezichthouders en naar stakeholders. De KWZ adviseurs schatten in dat het opgestelde KWZ-beleid (hoofdstuk 3) en de uitvoering van KWZ (hoofdstuk 4) op twee aspecten (opleidingen en examinering) in de meeste instellingen redelijk congruent is. Wat beleidsmatig in gang gezet is wordt daadwerkelijk uitgevoerd. Op de andere vier aspecten (opleiders, leeromgeving op school en in de praktijk en interne organisatie) lijkt die congruentie veel minder het geval te zijn.


20

4.2.2

Conclusies

Op basis van de beschreven bevindingen (zie 4.3) kunnen de onderstaande zes conclusies getrokken worden. Elk van deze zes factoren kan opgevat worden als een indicatie voor een krachtige uitvoering van de KWZ. Krachtige uitvoering In de condities voor verankering van de uitvoering van de KWZ bij de lijn (sturing) en bij opleidingsteams (een gevoel van betrokkenheid) is in de meeste instellingen in beperkte mate voldaan. Daar waar deze condities wel aanwezig zijn lijkt de uitvoering van de KWZ krachtiger. De kracht in de uitvoering van die instellingen blijkt uit: Consequent sturing geven aan de uitvoering van hun KWZ. Er voor zorgen dat opleidingsteams zich betrokken voelen bij de uitvoering van de KWZ. Met deze twee kenmerken gaat samen dat deze instellingen: Een gedifferentieerdere opvatting hanteren over het borgen van kwaliteit: naast het voldoen aan de eisen van de inspectie en aan interne en externe regels – wat voor alle instellingen geldt - is in hun opvatting borgen van kwaliteit ook: o Reflecteren met collega’s om ervan te leren. o Voldoen aan wensen van externe stakeholders. o Voldoen aan wensen van studenten. Deze instellingen doorlopen de PDCA cyclus volledig. Zij hanteren de PDCA consequent en maken de cyclus rond: o PLAN: Zij werken consequent met plannen op de drie niveaus; zij onderscheiden zich omdat zij in sterkere mate dan andere instellingen met operationele plannen werken. o DO: Zij voeren hun plannen uit, ook die op operationeel niveau. Zij voorzien in de benodigde middelen ook op het operationele niveau. o CHECK: Zij betrekken in sterkere mate studenten, docenten en niet-onderwijzend personeel in de checkfase. o ACT: Zij stellen stuurinformatie beschikbaar en werken met managementreviews. o Zij stellen op alle niveaus verbeterplannen op en zetten zo de cyclus opnieuw in gang. Drie niveaus Uit de verkregen informatie ontstaat het beeld dat de uitvoering van de KWZ zich sterker op het strategische en tactische niveau beweegt dan op het operationele niveau. KWZ op operationeel niveau lijkt beperkt vorm te krijgen. Het accent op het strategische en tactische niveau doet vermoeden dat de KWZ de facto als een bestuurlijk/managerial aangelegenheid wordt gezien. Moeten en willen bij borgen kwaliteit Bij de opvattingen over het borgen van kwaliteit, die in instellingen overheersen, springen opvattingen die verwijzen naar (interne en externe) eisen en regels eruit. Daarbij speelt een MOETEN een rol. Het belang van borgen van kwaliteit vanuit opvattingen die meer verwijzen naar een eigen intrinsieke WIL van instellingen ten aanzien van kwaliteit zijn minder dominant. Ook roept deze bevinding de vraag op hoe het zit met de sterk aanwezige beleidsintentie om KWZ te benutten om te leren en steeds te verbeteren.


21

In dit verband is ook interessant dat de congruentie tussen beleid en uitvoering volgens de adviseurs vooral op die twee aspecten sterk is die veel externe controle kennen (opleidingen en examinering). Dat roept de vraag op of op de overige vier aspecten – waar instellingen bij de opstelling en uitvoering van hun KWZ voornamelijk op eigen kracht aangewezen zijn- zij voldoende doortastend met de KWZ omgaan. KWZ belegd bij de staf In organisatorische zin wordt de uitvoering van de KWZ in de betrokken instellingen vooral gezien als een taak van de staf. Denkbaar is dat het de KWZ ten goede zou komen als bestuur en management sterker een rol zouden nemen als eigenaar van de KWZ. Dat geldt zeker voor die instellingen waar consequente sturing van de uitvoering van de KWZ ontbreekt. Samenhang 6 aspecten Bij de uitvoering pakken de instellingen uit deze inventarisatie de KWZ op de 6 aspecten niet in samenhang aan. Voor zover de KWZ op de 6 aspecten uitgevoerd wordt, gebeurd dat vooral los van elkaar. Dat geldt zelfs voor de aspecten ‘opleidingen’ en ‘examinering’. Hoewel de KWZ adviseurs, als hen dat rechtstreeks gevraagd wordt, zeggen dat de KWZ op de 6 aspecten ‘redelijk’ geïntegreerd uitgevoerd wordt, doet het gegeven dat zij in hun takenpakket zich beperken tot vooral de KWZ op ‘opleidingen’ vermoeden dat de samenhang beperkter is. Ook het feit dat er een system voor KWZ gehanteerd wordt lijkt niet bij te dragen aan een geïntegreerde aanpak op de 6 aspecten. Hetzelfde geldt voor de P&C cyclus. De indruk ontstaat dat KWZ adviseurs bijna nooit integraal verantwoordelijk zijn voor de uitvoering van de KWZ op alle 6 aspecten in samenhang. PDCA volledig en intensief doorlopen Instellingen geven niet altijd invulling aan alle stappen van de PDCA. Ook doorlopen zij niet alle stappen in de PDCA cyclus. Voor zover de instellingen het accent leggen op de functie van de KWZ bij ‘verantwoorden’ valt dat te begrijpen. Vanuit de functie van KWZ bij leren en verbeteren is juist het rond maken van de PDCA op alle niveaus van groot belang. En dat zeggen de instellingen juist te willen. PLAN: Het is in de betrokken instellingen niet gebruikelijk dat alle 6 aspecten een plaats krijgen in de plannen op strategisch, tactisch en operationeel niveau. Opvallend is dat de ‘leeromgeving op school of in de praktijk’ vaak afwezig is in de plannen terwijl een uitdagende leeromgeving in het CGO onderwijs een cruciale rol speelt. De plannen op drie niveaus zijn meestal niet verankerd in een ‘externe gerichtheid’ in die zin dat bedrijven er een directe invloed op hebben. DO: De plannen zijn weliswaar meestal geen papieren tijgers maar de uitvoering van de plannen kan wel beter op alle niveaus. Dat geldt ook voor de uitvoering van de plannen op het operationele niveau terwijl daar juist de verbetering van de kwaliteit van het primaire proces gerealiseerd kan worden. CHECK: De betrokkenheid van bedrijven, studenten, docenten en niet onderwijzend personeel in de checkfase lijkt nu nog te beperkt om tot een voldoende goede KWZ te komen. Vergroting van


22

deze betrokkenheid lijkt daarom wenselijk. Opvallend is dat vooral waar het om het strategische beleid gaat eigenlijk amper bij deze groepen gemonitord wordt. ACT: De actoren lijken de stuurinformatie niet zozeer systematisch benutten (wat leert de informatie ons?) maar deze meer inzetten (te scannen) op risico’s. Het beoordelen van de verzamelde informatie in de actfase – voor zover dat plaats vindt – speelt zich vooral binnen de instelling af. Partners uit de regio worden er niet bij betrokken.

4.3

Bevindingen uitvoering kwaliteitszorg

4.3.1

Verankering van de uitvoering bij management en bij opleidingsteams

De wijze waarop bestuur en management de uitvoering van de KWZ aansturen zien we als een indicatie voor de verankering van KWZ in de organisatie. Ook de mate waarin opleidingsteams zich betrokken voelen bij de uitvoering van KWZ zien we als een indicatie voor de verankering van de KWZ in de organisatie. Onderzoeksvraag: In welke mate stuurt de leiding van de instellingen op de uitvoering van de KWZ? In welke mate voelen opleidingsteams zich betrokken bij de uitvoering van de KWZ? Sturing door de leiding De verankering bij management (CvB, directeuren, opleidingsmanagers en teamleiders) is in beeld gebracht door naar de mate van aansturing van de uitvoering van de KWZ te vragen. We kunnen op basis van deze informatie drie manieren onderscheiden waarop instellingen de uitvoering van hun KWZ aansturen: A: consequente sturing (een groep van 9 instellingen). B: redelijke sturing (4 instellingen). C: beperkte sturing (8 instellingen). De verzamelde gegevens laten zien dat minder dan de helft van de betrokken instellingen volgens de adviseurs sprake is van consequente sturing (groep A). Bij de meerderheid van de instellingen is sprake van redelijke of beperkte sturing (groep B en groep C). Tabel 4 laat zien hoe deze instellingen zijn verdeeld over roc’s, aoc’s en vakcolleges. (zie ook tabel 28 en 29; tabellenboek) Tabel 4 Mate van sturing uitvoering KWZ Roc

AOC

Vakcollege

Totaal

6

2

1

9

2

1

1

4

Groep A: consequente sturing Groep B: redelijke sturing Groep C: beperkte sturing

8


8

23

In dit hoofdstuk gaan we na in hoeverre bij de instellingen van groep A die ‘consequent sturen’ de uitvoering van de KWZ krachtiger is dan bij beide andere groepen (12 instellingen). In enkele van de betrokken onderwijsinstellingen (5) stuurt de Raad van Toezicht volgens de KWZ adviseurs mede de KWZ. Bij de meeste instellingen is die sturing echter beperkt of niet aanwezig. Betrokkenheid opleidingsteams De verankering bij opleidingsteams hebben we in beeld gebracht door naar het gepercipieerde gevoel van betrokkenheid van deze teams bij de uitvoering van de KWZ te vragen. Op basis van de bij de KWZ adviseurs verzamelde informatie kunnen we twee groepen onderscheiden: D: opleidingsteams voelen zich betrokken (6 instellingen). E: opleidingsteams voelen zich beperkt betrokken (15 instellingen). In een minderheid (ongeveer een kwart) van de betrokken instellingen voelen opleidingsteams zich betrokken bij de uitvoering van de KWZ (zij voelen zich slechts in 1 instelling in sterke mate en in 5 instellingen in redelijke mate betrokken ). In de meeste instellingen voelen de opleidingsteams zich volgens de adviseurs in beperkte mate betrokken bij de uitvoering van de KWZ. (zie tabel 30 en 31, tabellenboek). Tabel 5 laat zien hoe deze beide groepen verdeeld zijn over roc’s, aoc’s en vakcolleges. Tabel 5 Mate van gevoel van betrokkenheid opleidingsteams bij uitvoering KWZ Groep D: betrokken

roc

aoc

vakcollege

Totaal

4

0

2

6

12

2

1

15

Groep E: beperkt betrokken

In deze rapportage gaan we na in hoeverre bij de instellingen van groep D, waar opleidingsteams zich betrokken voelen bij de uitvoering, de KWZ krachtiger is dan bij de andere 15 instellingen waar dat gevoel van betrokkenheid beperkt is (groep E). Sturing en betrokkenheid Sturing (groepen A,B,C) en betrokkenheid van opleidingsteams (groepen D,E) met elkaar in verband gebracht laat zien dat daar waar consequente sturing ontbreekt (B,C) ook de betrokkenheid van de werkvloer beperkt is (E). Echter: consequente sturing betekent niet vanzelf ook een gevoel van betrokkenheid van opleidingsteams. Bij slechts 4 van de instellingen uit de groep ‘consequente sturing’ voelen de opleidingsteams zich betrokken. Kortom: er is in deze inventarisatie een kleine groep van 4 instellingen die aangeven dat zij consequent sturen én waar tevens opleidingsteams zich betrokken voelen. Consequente sturing betekent niet automatisch dat de werkvloer zich betrokken voelt bij de uitvoering van het KWZ-beleid. (zie tabel 32; tabellenboek).


24

4.3.2

Opvattingen borging kwaliteit

We verwachten dat betrokkenen zich bij de uitvoering van KWZ behalve door het opgestelde beleid ook laten leiden door hun opvatting over hoe kwaliteit het best geborgd kan worden. Daarom is de KWZ adviseurs van de betrokken instellingen gevraagd welke opvattingen over het borgen van kwaliteit in hun instelling heersen. Onderzoeksvraag: Wat zijn de opvattingen binnen de instellingen over het borgen van kwaliteit? De analyse van het onderzoeksmateriaal laat het volgende zien: ‘je zo goed mogelijk te houden aan de eisen van de inspectie van het onderwijs’: de grote meerderheid beschouwt dit als een dominante opvatting in de eigen organisatie. Dit lijkt niet samen te hangen met de mate van consequente sturing of de mate van betrokkenheid van de opleidingsteams. ‘je aan interne en externe regels houden’: de grote meerderheid beschouwt deze opvatting als dominant voor de manier van denken in de organisatie. Dit lijkt niet samen te hangen met de mate van consequente sturing of de mate van betrokkenheid van de opleidingsteams. ‘te reflecteren op je eigen handelen samen met collega’s om er van te leren’: deze opvatting beschouwen de adviseurs van instellingen met consequente of redelijke sturing (A en B) als sterker dominant dan in instellingen uit groep C. Ook de instellingen uit groep D (betrokken teams) vinden dit wat sterker van dominant. ‘zoveel mogelijk te voldoen aan de wensen van externe stakeholders’: deze opvatting is bij instellingen met beperkte sturing (C) minder dan bij de andere instellingen aanwezig. In de instellingen met betrokken opleidingsteams (D) is deze opvatting juist sterker aanwezig. ‘zoveel mogelijk aan de wensen te voldoen van studenten’: Deze opvatting over het borgen van kwaliteit komt sterker voor bij de A en B instellingen dan bij de C instellingen. Bij de instellingen waar de betrokkenheid van teams bij de KWZ minder is (E ) komt deze opvatting ook minder sterk voor. (zie tabel 35 t/m 37; tabellenboek). 4.3.3

Organisatorische inrichting

De uitvoering van de KWZ vraagt om het verrichten van taken die de onderwijsinstellingen belegd hebben bij diverse medewerkers of organisatorische eenheden. Onderzoeksvraag: Hoe is de uitvoering van de KWZ in de organisatie belegd? De organisatie van de KWZ is in de meeste instellingen belegd bij een centrale KWZ adviseur (soms wordt deze functionaris anders genoemd). Er zijn 4 instellingen waar deze rol bij een andere functionaris ondergebracht is (bijvoorbeeld een directeur onderwijs, een directeur beleidscontrole en planning of een bestuurssecretaris). De helft van de instellingen kent naast de adviseur nog KWZ medewerkers op centraal en/of decentraal niveau. Minder dan de helft van de instellingen kent een KWZ bureau. Het materiaal laat zien dat de meeste instellingen de KWZ organisatorisch belegd hebben bij de staf. Er is hier geen verschil zichtbaar tussen de groepen (A,B,C) of tussen de groepen (D en E) (zie tabel 39; tabellenboek). Uit de interviews: In de school is de KWZ adviseur continu bezig met kwaliteit; zij is als een spin in het web


25

gericht op vergroten van kwaliteitsbewustzijn. Ook het management is steeds gespitst op het borgen. Het zijn twee lijnen die elkaar aanvullen.

4.3.4

Integrale aanpak uitvoering KWZ

Bij deze inventarisatie is ook voor de uitvoering gekeken in hoeverre deze betrekking heeft op de 6 aspecten, die ook al bij ‘KWZ beleid’ in hoofdstuk 4 beschreven zijn. Instellingen kunnen op deze aspecten uitvoering geven aan hun KWZ. Ook kan dat gebeuren op een manier waarbij afstemming tussen de aspecten en een integrale aanpak gehanteerd wordt. Bij ‘samenhang’ kan het bijvoorbeeld gaan om de relatie tussen de didactische aanpak in een opleiding, die om verbetering vraagt, de geconstateerde gebreken in de wijze waarop studenten voorbereid zijn op hun examens en gebreken in het functioneren van docenten. De vraag in dit onderdeel is in hoeverre de KWZ er aan bijdraagt dat dit soort verbeterpunten in samenhang zichtbaar worden en aangepakt worden. Onderzoeksvraag: Voeren de instellingen (op een samenhangende wijze) KWZ uit op de volgende zes aspecten: o

De opleidingen

o

De examinering

o

De opleiders

o

De leeromgeving op school

o

De leeromgeving in de praktijk

o

De interne organisatie

De KWZ op de 6 aspecten wordt volgens de adviseurs overwegend ‘redelijk geïntegreerd’ aangepakt. In een kwart van de instellingen is sprake van een beperkt of niet geïntegreerde aanpak. Op een vraag welke van de 6 aspecten tot het taakgebied van de KWZ adviseur behoren komt echter een beeld naar voren van een beperkt samenhangende aanpak. De KWZ adviseurs, die meegewerkt hebben aan deze inventarisatie, houden zich vooral bezig met het aspect ‘opleidingen’. Voor zover de adviseurs deze vraag beantwoord hebben blijkt dat zij zich meestal niet bezig houden met de uitvoering van de KWZ op de aspecten: opleiders, leeromgeving op school en in de praktijk. Ook met de aspecten examinering en interne organisatie houdt zich slechts een beperkt aantal KWZ adviseurs bezig (respectievelijk 2 en 4). (zie tabel 39 tot 44; tabellenboek). Uit de interviews: Wat betreft de verschillende aspecten van de organisatie zou de kwaliteitszorg / het beleid meer geïntegreerd kunnen. Op dit moment vindt er tussen de verschillende aspecten te weinig communicatie plaats, bijvoorbeeld P&O en financieel. Verder zouden de ervaringen van het bedrijfsleven ook beter benut kunnen worden. Wanneer deze aspecten meer vervlochten zouden worden dan zou er nog veel meer winst te behalen zijn. Dit vergt een onderzoekende houding. Deze houding houdt in dat wanneer iets niet goed loopt, je dit allereerst moet opmerken, vervolgens moet je gaan kijken aan welke factoren dat ligt en welke factoren je zelf kunt veranderen en welke factoren elders in de organisatie kunnen veranderen. Op alle lagen van de organisatie moet je naar jezelf kijken.

Bijna alle instellingen hanteren een systeem voor hun KWZ: het INK systeem of een eigen systeem. (zie tabel 49 en 50 ; tabellenboek).


26

Ook is de uitvoering van de KWZ in de planning en controle cyclus (P&C) in de meeste instellingen niet volledig geïntegreerd. Dat is slechts in 4 instellingen het geval. Deze instellingen behoren tot de groep (A) consequente sturing van de KWZ. (zie tabel 45 t/m 48; tabellenboek). Een directeur stelt zich het volgende ideaal plaatje voor: Op management niveau wordt het beleid vastgesteld, dit wordt uitgezet in de teams. Op basis daarvan maken teams hun plannen en hun POP’s. Bij het uitvoeren van de plannen is rekening gehouden met de competenties van de docenten.

4.3.5

Inzet PDCA

Bij de inventarisatie is er vanuit gegaan dat de instellingen hun KWZ als een cyclisch proces aanpakken met behulp van de PDCA. Er is in de inventarisatie voor alle vier stappen van de PDCA gevraagd of deze uitgevoerd wordt. De PLAN fase: doelen en activiteiten opnemen in jaarplannen op strategisch, tactisch en operationeel niveau. De DO fase: het uitvoeren van de voorgenomen activiteiten op alle drie niveaus. De CHECK fase: het evalueren van al dan niet gerealiseerde doelen of behaalde resultaten. De ACT fase: op basis van de verkregen evaluatiegegevens conclusies trekken en prioriteiten stellen. Door de vragen te verdelen over de vier stappen van de cyclus ontstaat inzicht in de mate waarin de instellingen de PDCA op alle niveaus (strategisch, tactisch en operationeel) hanteren en of de cyclus rond gemaakt wordt. Onderzoeksvraag: Op welke wijze hanteren de instellingen bij hun uitvoering van KWZ de PDCA? Doorlopen de instellingen op alle niveaus consequent alle stappen van de PDCA? Uit de interviews: Er is eerst een goede basis nodig voordat er in een team geleerd kan worden. Het team moet zich eerst bewust worden dat er problemen en uitdagingen spelen. Een team begint de cyclus met een probleem of een verbeterpunt. Daarna kan er een verschuiving optreden richting ‘leren’ in de cyclus. Uit de interviews: Ideaal zou zijn als de PDCA-cyclus ingezet zou worden voor zowel leren in een cyclisch proces als de monitoring van strategisch beleid van de instelling. Een voorwaarde is dan wel dat eerst voldaan moet zijn aan de eisen van de inspectie. Wanneer hieraan voldaan is, ontstaat er meer ruimte voor andere zaken. De PDCA-cyclus wordt op docent niveau niet letterlijk onder deze benaming en in deze vorm gebruikt. Docenten herkennen het wel als je een voorbeeld geeft en de stappen worden wel uitgevoerd, alhoewel een groot verschil bestaat tussen de mate waarin de verschillende stappen worden uitgevoerd. Sommige stappen van de PDCA-cyclus blijven op sommige momenten liggen. Uit de interviews: De cyclus van kwaliteitszorg zien we als een workflow. Plannen is vooral belangrijk. Je kunt het onderwijs zelf vormen. Het is mooi meegenomen als Inspectie ook tevreden is, maar dat is geen uitgangspunt.

4.3.5.1 Plan: het opstellen van plannen. Een eerste stap in het cyclische KWZ proces is het opstellen van plannen. Aangezien onderwijsinstellingen van klein tot groot over verschillende lagen beschikken kunnen er plannen zijn op strategisch, tactisch en operationeel niveau.


27

De meeste van de betrokken instellingen werkt volgens de KWZ adviseur op strategisch en tactisch niveau consequent met beleidsplannen. Op operationeel niveau werkt iets minder dan de helft van de instellingen met beleidsplannen. Ruim de helft van de instellingen werkt op dit niveau juist slechts in redelijke mate, beperkt of niet met plannen. Wat betekent dat dat op operationeel niveau minder consequent met plannen gestuurd wordt dan op beide andere niveaus. Bij instellingen waar de sturing op KWZ beperkt is (groep C), doet zich dat in de meest sterke mate voor. De instellingen die consequent sturing geven aan KWZ (groep A) werken ook het meest consequent met beleidsplannen op strategisch, tactisch én op operationeel niveau. De KWZ adviseur van deze instellingen geeft ook in sterkere mate aan dat er samenhang is tussen de plannen op de drie niveaus. De instellingen waar teams een gevoel van betrokkenheid hebben bij de KWZ (D) werken in sterkere mate dan de andere instellingen met operationele plannen. (zie tabel 51 t/m 53 en 57 t/m 59; tabellenboek). De 6 aspecten komen in wisselende mate voor in de plannen van de instellingen die meewerkten aan deze inventarisatie: o

Strategische plannen: In de meeste plannen komen de aspecten ‘opleidingen’ en ‘interne organisatie’ voor; de overige aspecten komen wisselend voor waarbij de leeromgeving op school en in de praktijk het minst voorkomt.

o

Tactische plannen: De aspecten ‘opleidingen’ en ‘examinering’ komen in de meeste plannen voor. De andere aspecten komen in wisselende mate voor waarbij ‘leeromgeving op school’ het minst.

o

Operationele plannen: alle aspecten komen voor alleen ‘interne organisatie’ niet.

(zie tabel 54 t/m 56; tabellenboek) Wat betreft de betrokkenheid van bedrijven bij het opstellen van de plannen op de drie niveaus laat de inventarisatie zien dat deze (heel) beperkt is. Noch de mate van sturing noch de mate van betrokkenheid van opleidingsteams bij de KWZ lijkt een duidelijke relatie te hebben met de betrokkenheid van bedrijven in de plan fase. (zie tabel 60 t/m 63 tabellenboek).

4.3.5.2 Do: het uitvoeren van de plannen De volgende stap in de PDCA cyclus is de uitvoering van de plannen (DO). Blijven het papierentijgers of voeren de instellingen op alle niveaus hun plannen daadwerkelijk uit? Volgens de KWZ adviseurs worden de plannen op alle niveaus (strategisch, tactisch en operationeel) weliswaar niet volledig maar wel in redelijke mate uitgevoerd. De plannen worden in de instellingen die de KWZ consequent sturen (A) beter uitgevoerd dan in de instellingen die slechts beperkt sturing geven. Die laatste groep voert z’n plannen vooral op operationeel niveau, in mindere mate uit. Bij een derde van de instellingen waar teams zich – volgens de adviseurs - beperkt betrokken voelen bij de KWZ (E) worden de plannen in mindere mate uitgevoerd. De uitvoering verschilt volgens de adviseurs voor de 6 aspecten. De geplande acties op de aspecten ‘opleidingen’ en ‘examinering’ worden overwegend volledig of in redelijke mate


28

uitgevoerd (hoewel in enkele gevallen beperkt). Op de andere aspecten worden ze in redelijke mate of beperkt uitgevoerd. Er lijkt bij de betrokken instellingen een positieve samenhang te zijn tussen consequente sturing van de KWZ (groep A) en de mate waarin de opgestelde plannen ook daadwerkelijk uitgevoerd worden, vooral op het operationele niveau. Vooral instellingen waar teams zich niet betrokken voelen bij de KWZ worden op operationeel niveau de plannen minder goed uitgevoerd. (zie tabel 64 t/m 66; tabellenboek) . Instellingen variëren in de mate waarin zij middelen beschikbaar stellen voor de uitvoering van de plannen op de drie niveaus. Bij de instellingen waar consequent gestuurd wordt (A) zijn middelen volgens de adviseurs meestal voldoende of in redelijke mate aanwezig. Bij de helft van de instellingen met beperkte sturing (C) zijn die middelen vooral op operationeel niveau echter juist beperkt of weinig aanwezig. Hetzelfde beeld geldt voor instellingen die verschillen wat betreft het gevoel van betrokkenheid bij KWZ van hun opleidingsteams. Bij de groep met teams die zich betrokken voelen (D) zijn de middelen in voldoende of redelijke mate beschikbaar terwijl in de groep waar teams zich beperkt betrokken voelen op operationeel niveau de middelen vaker beperkt beschikbaar zijn. (zie tabel 70 t/m 72; tabellenboek).

4.3.5.3 Check: het evalueren en monitoren van de voortgang Als een instelling de PDCA volgt zal op enig moment een evaluatie plaats vinden van de voortgang van de realisatie van de plannen, de behaalde resultaten en eventuele knelpunten. Dat vraagt op alle drie niveaus en voor de 6 aspecten om een periodiek terugkerende interventie, die verschillende vormen aan kan nemen (van het verzamelen van harde gegevens tot het voeren van gesprekken en het houden van een dialoog). Volgens de KWZ adviseurs worden de nagestreefde doelen en gewenste resultaten uit de plannen in de meeste instellingen ten dele gecheckt. Er is geen relatie tussen dit gegeven en de mate van sturing (groepen A,B,C) en de mate waarin opleidingsteams zich betrokken voelen bij de KWZ (groep D en E). (zie tabel 73 t/m 75; tabellenboek). Als aanpak bij het checken hanteren de instellingen vooral bij de aspecten ‘opleidingen’ en ‘examinering’ harde, kwantitatieve dataverzameling. Daarnaast hanteert de helft van de instellingen bij deze aspecten meer kwalitatieve vormen om te checken: gesprekken, interviews en dialoog. Uit de interviews: Er wordt verschillend gedacht over het belang van data. Sommigen zeggen het is informatie waar je weinig mee kunt. Anderen vinden het juist belangrijk: doen we de dingen goed en doen we de goede dingen. Je moet oppassen met het verzamelen van alleen ideeën en gedachten; het is nodig ‘de werkelijkheid’ te checken. Maar ook andersom worden er kanttekeningen gemaakt. Als bijvoorbeeld blijkt dat xx % van medewerkers tevreden is: wat zegt dat dan? In panels hoor je het verhaal er achter. De teamleider merkt op: toen we dat verhaal hoorden schrokken we wel. Kwalitatief en kwantitatief vullen elkaar aan en zijn beide nodig.


29

Wat betreft de inzet van dialoog geven nogal wat KWZ adviseurs aan dat zij niet weten in welke mate dit instrument ingezet wordt. (Mogelijk behoort het niet tot de taak van de adviseur om dit te organiseren. Wat zou kunnen impliceren dat de uitkomsten van dialoog geen rol spelen in KWZ rapportages. Het gegeven dat er geen verband is tussen ‘de inzet van dialoog’ en de mate waarin teams zich betrokken voelen bij de KWZ (D) en (E) zou kunnen betekenen dat dialoog niet zozeer in opleidingsteams maar op een andere wijze (bijvoorbeeld in panels) georganiseerd wordt). Uit de interviews: Er wordt steeds meer doelbewust gereflecteerd op wat minder goed gaat. Niet bij alle docenten is die vaardigheid al aanwezig maar er is beweging.

Interne audits zetten instellingen vooral zo af en toe in op alle 6 aspecten maar vooral bij de aspecten ‘opleidingen’ en ‘examinering’. Externe audits worden ook zo af en toe ingezet op alle aspecten. (zie tabel 76 t/m 84; tabellen boek). Uit de interviews: Er is een interne audit geweest; het team is er nog niet overheen. Het bleek net zo spannend als een bezoek van de inspectie. Doen we wel goed wat we doen? Het resultaat was minder positief dan zij hadden gehoopt.

Bij de CHECK monitoren instellingen bij verschillende groepen. Bedrijven worden in redelijke of beperkte mate betrokken bij het monitoren van de strategische plannen. Bij de monitoring van de tactische en operationeel plannen worden bedrijven vooral in redelijke mate betrokken. (zie tabel 85 t/m 87; tabellenboek). Studenten worden op strategisch niveau in de meeste instellingen vooral in beperkte mate bij de monitoring betrokken. Naarmate de monitoring dichter op het operationele niveau gericht is zijn studenten sterker betrokken. In de instellingen waar de sturing consequent is (groep A) is de betrokkenheid van studenten bij de monitoring op alle niveaus intensiever dan in instellingen met beperkte sturing (C ). Instellingen waar opleidingsteams zich betrokken voelen bij de uitvoering van de KWZ (D) betrekken ook studenten intensief of in redelijke mate in hun monitoring; ook van strategische plannen. (zie tabel 88 t/ 93; tabellenboek). Docenten worden op strategisch niveau vooral in beperkte mate, op tactisch en operationeel niveau in redelijke mate bij de monitoring betrokken. Slecht in 3 instellingen worden docenten op alle niveau intensief bij de monitoring betrokken. Bij de instellingen waar consequent gestuurd wordt op de uitvoering van de KWZ (A) worden docenten vooral intensief of in redelijke mate betrokken bij de monitoring. Terwijl in de instellingen die beperkt sturen docenten beperkt of niet bevraagd worden. In de instellingen waar opleidingsteams zich betrokken voelen bij de uitvoering van de KWZ (D) worden zij op tactisch en operationeel niveau in sterkere mate bevraagd in het kader van monitoring. (zie tabel 94 t/m 97; tabellenboek).


30

Niet onderwijzend personeel wordt in ongeveer de helft van de instellingen soms intensief maar meestal in redelijke mate bij de monitoring van beleid betrokken. Voor de andere helft is dat beperkt of niet. De inbreng is er sterker op tactisch en operationeel niveau dan op strategisch niveau. Bij de instellingen die consequent sturen op KWZ (A) wordt niet onderwijzend personeel sterker betrokken bij de monitoring dan bij de instellingen die beperkt sturen (C). (zie tabel 98 t/m 101; tabellenboek). Externe monitors worden in veel instellingen gebruikt, dat geldt met name voor de JOB monitor en voor de roc spiegel. (zie tabel 102/103; tabellenboek). De externe monitors spelen daadwerkelijk een rol in de checkfase bij het KWZ-beleid van de meeste instellingen. In een openvraag noemen de KWZ adviseurs nog enkel andere stakeholders die een rol spelen in de checkfase: regionale overheden, ouders, toeleverend en afnemend onderwijs, binnen de categorie ‘bedrijfsleven’ specifiek de BPV bedrijven, externe deskundigen, assessoren en gecommitteerden. Uit de interviews: Monitoren van strategisch beleid is het perspectief maar nu nog deels een papieren werkelijkheid. Het verschilt ook tussen branches. In enkele (uitzonderlijke) situaties komt het nog voor dat de beleidsmedewerker het teamplan maakt en zelf de rapportages invult. Voor die docenten is de pdca: ‘we doen toch ons best’?

4.3.5.4 Act: conclusies trekken uit de verzamelde informatie De laatste stap die de PDCA rond maakt is de ACT fase. Met de verzamelde informatie uit de CHECK fase vragen actoren op de verschillende niveaus zich af wat de betekenis ervan is in hun context. Kunnen ze voortgaan op de ingeslagen weg, is het nodig bij te sturen en verbeteringen in gang te zetten? De inventarisatie laat zien dat het gegeven dat er informatie uit de check fase komt nog niet betekent dat deze ter beschikking gesteld wordt aan degenen die er mee kunnen sturen. Op strategisch en tactisch niveau stelt ongeveer de helft van de instellingen volgens de KWZ adviseur veel sturingsinformatie beschikbaar. Echter zijn er ook enkele instellingen waar amper sturingsinformatie beschikbaar wordt gesteld. Op operationeel niveau wordt slechts bij een derde van de instellingen sturingsinformatie beschikbaar gesteld. De instellingen die consequent of in redelijke mate sturen (A en B) stellen in sterkere mate sturingsinformatie beschikbaar op alle drie niveaus dan de instellingen die beperkt sturen (groep C). Dit verschil komt vooral tot uitdrukking op de aspecten ‘opleiders’ en ‘interne organisatie’. (zie tabel 104 t/m 107; tabellenboek). Een van de vormen waarin verzamelde informatie teruggekoppeld kan worden naar betrokkenen is de managementreview. Instellingen werken op alle niveaus met


31

managementreviews; de helft van de instellingen doet dat op vaste momenten; de andere helft incidenteel. Instellingen die consequent sturing geven aan de KWZ (A) werken wat vaker periodiek met managementreviews dan de andere instellingen (groepen B,C). Het zelfde geld voor betrokkenheid opleidingsteams: wat meer instellingen waar opleidingsteams zich betrokken voelen bij de KWZ (D) werken systematisch met management reviews. (zie tabel 116 t/m 118). Uit de interviews: In een kwartaalrapportage worden financiële en onderwijs data teruggekoppeld. Dat levert voor CvB en directeuren belangrijke sturingsinformatie op. Daarmee zijn de problemen in de organisatie niet opgelost maar risico’s worden wel benoemd.

Als de informatie eenmaal beschikbaar is gesteld gaat het erom dat relevante actoren er ook conclusies uit trekken als opstap naar verbeterplannen. Dit gebeurt volgens de KWZ adviseurs echter in verschillende mate. Op strategisch niveau altijd of in redelijke mate; op tactisch niveau vooral in redelijke mate en op operationeel niveau vooral in beperkte mate. In instellingen waar opleidingsteams zich betrokken voelen bij de KWZ trekken relevante actoren op alle niveaus vaker conclusies dan in de andere instellingen. (Opvallend is dat er hier geen relatie zichtbaar wordt met de mate van sturing.) In de meeste instellingen beoordelen CvB, directie en managers de informatie uit de checkfase volgens de KWZ adviseurs expliciet in het licht van kwaliteitsrisico’s en waarschuwingssignalen. (zie tabel 109 t/m 112 en 122; tabellenboek). Onderzoeksvraag: Worden de in het beleid vastgelegde standaarden daadwerkelijk gehanteerd? Het hanteren van standaarden bij het beoordelen van verzamelde informatie gebeurd volgens de KWZ adviseurs bij de aspecten ‘opleidingen’ en ‘examinering’ vooral in redelijke mate. Bij de andere aspecten in redelijke of beperkte mate. Er zijn maar weinig instellingen die de in het KWZ-beleid verankerde standaarden, prestatie-indicatoren en normen ook consequent toepassen bij het trekken van conclusies uit verkregen informatie. (zie tabel 119 t/m 121; tabellenboek) Er is hier geen relatie met de mate van sturing of de mate waarin opleidingsteams zich betrokken voelen bij de uitvoering van de KWZ. Onderzoeksvraag: Wat is de betrokkenheid van het bedrijfsleven bij het uitvoeren van de KWZ? Het bedrijfsleven wordt volgens de KWZ adviseurs in de act fase maar zelden betrokken bij het trekken van conclusies uit de verzamelde gegevens. Er is geen duidelijk verband met de mate van sturing of met het gevoel van betrokkenheid van opleidingsteams. (zie tabel 123; tabellenboek). Na het beschikking krijgen over informatie en het trekken van conclusies is een volgende stap om over te gaan tot bijsturing. In ongeveer de helft van de instellingen gebeurt dat inderdaad en wel vooral in redelijke mate. Op strategisch niveau gebeurt het meer dan op


32

tactisch en operationeel niveau. De bijsturing op operationeel niveau lijkt het meest beperkt. De instellingen uit deze inventarisatie die consequent of in redelijke mate sturen (groep A en B) sturen op strategisch niveau over het algemeen in redelijke mate of altijd bij. Terwijl instellingen met beperkte sturing (C) op dat niveau in beperkte mate bijsturen. Op tactisch en operationeel niveau zijn deze verschillen er niet. De instellingen waar teams zich betrokken voelen bij de uitvoering van de KWZ (D) sturen in sterkere mate bij dan de instellingen waar dat niet voor geldt (E).(zie 113 t/m 115; tabellenboek). Het is opvallend dat ook instellingen waarvan de KWZ adviseur aangegeven heeft dat deze consequent of in redelijke mate sturen op hun KWZ (groep A en B) toch maar matig bijsturen in de act fase.

4.3.5.5 De cyclus rond: verbeterplannen Na de ACT fase start de cyclus opnieuw met het opstellen van (verbeter) plannen. De in het cyclische PDCA proces verkregen inzichten worden lang niet in alle instellingen vertaald in verbeterplannen. Soms gebeurt het opstellen van verbeterplannen consequent maar meestal in redelijke mate en dan nog het minst op operationeel niveau. Twee derde van de instellingen, die meededen aan deze inventarisatie, stelt op strategisch en tactisch niveau verbeterplannen op en de helft doet dat op operationeel niveau. Ongeveer een kwart van de instellingen doet dat op alle drie niveaus in beperkte mate. Dit zijn tevens overwegend instellingen die de uitvoering van hun KWZ in beperkte mate aansturen (C). Tevens betrekken deze instellingen hun opleidingsteams in beperkte mate bij de uitvoering van hun KWZ (E). (zie tabel 124 t/m 126; tabellenboek). 4.3.6

Goodpractices

De KWZ adviseurs hebben een aantal goodpractices genoemd in hun instelling op het gebied van KWZ. Samengevat gaat het om de onderstaande goodpractices. Data verzameling en rapportage versterken: Een digitaal zelfevaluatiesysteem dat scholen en teams invullen. Beschikbaar stelling voor management per school/team vanuit een centraal punt van data. Risico analyses op basis van harde data. Waarderend auditen als instrument in zetten. Audits inzetten met externen. Koppeling KWZ aan de beleidscyclus: Monitor op alle niveaus gekoppeld aan de beleidscyclus. Resultaten rapporteren aan en bespreken met managers. KWZ integreren in de strategische cyclus en de P&C. Betrouwbare managementinformatie beschikbaar stellen op alle niveaus. Betrokkenheid opleidingsteams versterken:


33

Opleidingsteams hebben zich het PDCA-denken eigen gemaakt. Met teams een scan bespreken waarmee hun kwaliteit in beeld is gebracht; vervolgens in gesprek met teams resultaten monitoren. KWZ beter organiseren: Werkgroep KWZ waarin docenten uit alle teams o.l.v. KWZ adviseur deelnemen. Uitkomsten onderzoeken worden besproken; docenten denken mee over verbeteracties. Innovatiecommissie beoordeelt aan de hand van criteria de innovatieprojecten.

4.3.7

Horizontale en verticale verantwoording

Onderzoeksvraag: In welke mate zetten de instellingen de uitkomsten van hun KWZ in bij horizontale en verticale verantwoording? Bijna alle instellingen zetten de uitkomsten van hun KWZ in bij hun horizontale verantwoording naar stakeholders en verticale verantwoording naar de Onderwijsinspectie. Deze inzet laat in deze inventarisatie geen relatie zien met de mate van sturing of de mate van betrokkenheid van de opleidingsteams. (zie tabel 131; tabellenboek). 4.3.8

Uitvoering congruent met beleid

In hoofdstuk 4 is geïnventariseerd hoe het KWZ-beleid van instellingen eruit ziet. In dit hoofdstuk 5 is vervolgens in kaart gebracht hoe de instellingen hun KWZ uitvoeren. Hier is de vraag aan de orde in hoeverre de uitvoering congruent is met het vastgestelde beleid. Met congruentie is in deze inventarisatie bedoeld dat de uitvoering van de KWZ plaatsvindt zoals het bedoeld is in het beleid. Onderzoeksvraag: Is de uitvoering van de KWZ congruent met het KWZ beleid? De congruentie is er volgens de KWZ adviseurs ten dele. Alleen bij de aspecten ‘opleidingen’ en ‘examinering’ is de uitvoering in de meeste situatie, volgens de adviseurs, geheel of gedeelte congruent met het beleid. Op de andere vier aspecten zijn KWZ-beleid en uitvoering van de KWZ volgens hen veel minder congruent. De KWZ adviseurs van de instellingen waar opleidingsteams zich betrokken voelen bij hun KWZ (D) zeggen allemaal dat hun KWZ op alle aspecten geheel of ten dele congruent is met het opgestelde beleid. Terwijl de instellingen van groep (E) (teams beperkt betrokken) aangeven dat op de overige vier aspecten (naast opleidingen en examinering) de uitvoering beperkt conform het beleid is of zij weten het niet. (zie tabel 127 t/m 130; tabellenboek)


34

5 De impact van kwaliteitszorg 5.1

Inleiding

KWZ is een organisatieproces dat van iedereen binnen de organisatie energie en aandacht vraagt. Het is een middel om de doelstellingen van de organisatie beter te reiken. In een onderwijsorganisatie gaat het daarbij om het borgen en verbeteren van de kwaliteit van onderwijs en organisatie. Het ging voor deze inventarisatie te ver om rechtstreeks te onderzoeken wat de impact van de KWZ, zoals instellingen die hanteren, is op de kwaliteit van onderwijs en organisatie. Om toch in enige mate een indruk daarvan te krijgen hebben we de KWZ adviseurs gevraagd wat hun mening is over de impact van de uitgevoerde KWZ op de kwaliteit van onderwijs en organisatie. Bezien is op welke punten instellingen waarvan de adviseur aangeeft dat er een sterke impact is, verschillen van de andere instellingen waar dat in (veel) mindere mate het geval is. Hoe ziet de impact er bij verschillende groepen uit? In dit hoofdstuk gaat het zo bezien vooral over wat KWZ intern in de instellingen in beweging zet: het leren en verbeteren. We willen nagaan of er factoren aan te wijzen zijn die er aan bijdragen dat er een sterke impact tot stand komt. Bezien vanuit het EQAVET raamwerk sluit dit onderdeel van deze inventarisatie aan bij het over all vraagstuk van de relevantie van gehanteerde KWZ systemen voor aanbieders van beroepsonderwijs en –opleidingen. Criteria die EQAVET daarbij aanbeveelt zijn: Bevordering van een cultuur van kwaliteitsverbetering bij de aanbieders van beroepsonderwijs en –opleidingen. Vergroting van de transparantie van de opleidingskwaliteit. Verbetering van het wederzijds vertrouwen in het opleidingsaanbod tussen onderwijsinstellingen, studenten en afnemers. De vragen in dit onderdeel zijn: Draagt de KWZ in de instellingen bij aan de kwaliteit van het onderwijs en van de organisatie? Wat zijn opvattingen over ‘kwaliteit’ in de instellingen; en wat is de relatie daarvan met de KWZ? Draagt KWZ bij aan een cultuur van kwaliteitsbewustzijn? Heeft de uitgevoerde KWZ een impact op de betrokkenheid van het bedrijfsleven? Is de impact van de KWZ congruent met de inspanningen die geleverd zijn om KWZ beleid te maken en de KWZ uit te voeren?

5.2 5.2.1

Samenvatting en conclusies Samenvatting

De inventarisatie laat zien dat volgens de KWZ adviseurs er vooral een behoorlijke impact is van de KWZ op de aspecten ‘opleidingen’ (5x) en ‘examinering’ (8x). De KWZ draagt volgens hen vooral


35

op deze aspecten bij aan de kwaliteit van onderwijs en organisatie. Op de andere aspecten (opleiders, leercontext op school en in de praktijk en interne organisatie) is die impact beperkt. De gemiddelde impact van de KWZ op alle aspecten is – uitgaande van deze inventarisatie- bij de meeste betrokken instellingen matig of zwak te noemen. Slechts bij een derde van de instellingen is sprake van een sterk ervaren impact van de uitgevoerde KWZ. De inventarisatie laat zien dat de uitgevoerde KWZ in de meeste instellingen (zeer) beperkt bijdraagt aan de versterking van de band met het bedrijfsleven. Bij die instellingen waar in op meerdere aspecten sprake is van een sterke impact, draagt de KWZ echter wel bij aan het versterken van de band met bedrijven in de regio. Dat er minder impact is dan gewenst kan liggen aan de aanpak van de KWZ. Het kan ook liggen aan de motivatie van actoren om daadwerkelijk verbeteringen door te voeren. (Natuurlijk kunnen ook condities als beschikbaarheid van tijd en menskracht een rol spelen.) De inventarisatie laat zien dat volgens de KWZ adviseurs vooral de top van de instellingen over het algemeen gemotiveerd is om met de inzichten uit de KWZ tot verbeteringen te komen. Op de werkvloer is die motivatie – om wat voor reden dan ook – minder aanwezig. De KWZ draagt er in de betrokken instellingen meestal niet aan bij dat zij werken met een expliciete opvatting over kwaliteit. De bevindingen laten zien dat de opvattingen over kwaliteit variëren tussen de verschillende niveaus in de instellingen die betrokken zijn bij deze inventarisatie. De inventarisatie laat zien dat instellingen waar in de optiek van de KWZ adviseurs de KWZ ook echt impact heeft op de kwaliteit van onderwijs en organisatie, tevens in wat sterkere mate een cultuur aanwezig is die gericht is op kwaliteit. De KWZ draagt juist bij deze instellingen bij aan het ontstaan van een meer algemeen kwaliteitsbewustzijn, zowel bij de top als op de werkvloer. Bij de andere instellingen (waar de impact van de KWZ als matig of zwak ervaren wordt) draagt de KWZ – volgens de adviseurs alleen bij aan het kwaliteitsbewustzijn van de top. Bij de helft van de instellingen is er volgens de KWZ adviseur een balans tussen de inspanningen voor KWZ (hoofdstuk 4 en 5) en de impact die deze heeft op de kwaliteit van onderwijs en organisatie (hoofdstuk 6). Bij alle andere instellingen slaat de meter negatief uit: er wordt meer in geïnvesteerd dan het oplevert.

5.2.2

Conclusies

Op basis van de beschreven bevindingen (zie 5.3) kunnen de onderstaande zes conclusies getrokken worden. Elk van deze zes factoren kan opgevat worden als een indicatie voor een sterke impact van de KWZ op de kwaliteit van onderwijs en organisatie. Daadwerkelijk leren en verbeteren Uit de inventarisatie ontstaat het beeld dat slechts bij een deel (ongeveer een derde) van de instellingen de KWZ een zodanig impact heeft dat er als uitvloeisel van de KWZ intern ook werkelijk geleerd en verbeterd wordt. Als dat klopt dan zou dat betekenen dat bij de overige instellingen


36

(ongeveer twee derde) de KWZ toch vooral een functie heeft bij het intern en extern verantwoorden (en dat ondanks het gegeven dat ook de adviseurs van deze instellingen aangegeven hebben dat leren en verbeteren bovenaan staat in hun visie op KWZ). Verbeteringen op 6 aspecten De impact van de uitgevoerde KWZ op de kwaliteit van onderwijs en organisatie is voor alle 6 aspecten tezamen vooral matig of zwak. Slechts bij een derde van de instellingen is sprake van een sterk ervaren impact op meerdere aspecten. Het beeld is nogal schraal: geen van de adviseurs zegt dat de KWZ meer oplevert dan wat er in geïnvesteerd wordt. Kwaliteitsbewustzijn en cultuur In de meeste instellingen lijkt de KWZ alleen voor de top bij te dragen aan een meer overkoepeld kwaliteitsbewustzijn en kwaliteitscultuur. Op de werkvloer draagt de KWZ zoals uitgevoerd in de meeste situaties weinig bij aan een kwaliteitsbewustzijn en dito cultuur. De indruk ontstaat dat vooral de top zich druk maakt over het ingang zetten van verbeteringen zodat de KWZ echt impact heeft. Visie op kwaliteit Het doet wat vreemd aan dat de meeste betrokken mbo instellingen niet expliciet maken wat hun opvatting over kwaliteit is. De indruk ontstaat dat de KWZ er slechts in enkele instellingen aan bijdraagt dat de opvatting, die verschillende actoren hanteren over kwaliteit, expliciet wordt en dat deze opvattingen op elkaar afgestemd worden. Nu kent elk niveau zijn eigen opvatting op kwaliteit en lijken deze naast elkaar te staan. Eerste orde en tweede orde leren De inventarisatie laat zien dat er vier verschillende ‘lagen’ onderscheiden kunnen worden als het gaat om de impact van het KWZ beleid in instellingen voor mbo: Concrete verbeteringen op 6 aspecten: De KWZ leidt er toe dat er op de 6 aspecten concrete verbeteringen doorgevoerd worden in onderwijskundig of organisatorische zin. Het gaat om aanpassingen in instrumenten en dergelijke en om versterking van een band met het bedrijfsleven. Versterking Kwaliteitsbewustzijn op de 6 aspecten: De KWZ leidt er toe dat er een verandering op treedt in gedrag en attitude van de betrokkenen op strategisch, tactisch en operationeel niveau. Versterking Kwaliteitscultuur: De KWZ resulteert in een meer overkoepelend en gezamenlijk ervaren kwaliteitsbewustzijn. Een verankering van kwaliteit in de instelling als systeem. Explicitering en afstemming visie of opvattingen over kwaliteit: De kwaliteitszorg stimuleert een onderliggende of overkoepelende visie op kwaliteit die betrokkenen met elkaar delen. De verbeteringen waar de eerste bullet naar verwijst kunnen opgevat worden als een vorm van aanpassing en eerste orde leren; de veranderingen bij de overige bullets hebben meer betrekking op een tweede orde leren.


37

Zo bezien doet de inventarisatie vermoeden dat in een kleine groep instellingen zowel sprake is van eerste orde en van tweede orde leren als gevolg van de KWZ. Bij de meeste instellingen is sprake van eerste orde leren en wel beperkt tot de aspecten ‘opleidingen’ en ‘examinering’. Krachtige impact Op basis van deze inventarisatie kunnen we de volgende indicaties benoemen voor instellingen die kwalitatief sterk zijn wat betreft de impact van hun KWZ: Er blijkt in deze inventarisatie een groep instellingen te zijn waar KWZ leidt tot concrete verbeteringen op meerdere van de 6 aspecten (in samenhang). Met dit kenmerk gaat in deze instellingen samen dat: KWZ leidt (in sterkere mate) tot versterking van de betrokkenheid van het bedrijfsleven bij de instelling. Actoren op strategisch, tactisch en operationeel niveau zijn (meer) gemotiveerd voor een continue verbeterproces. Naast en in samenhang met de impact op concrete aspecten is er meer overkoepelend een cultuur die sterk gericht is op kwaliteit en bij actoren op alle niveaus een (groter) kwaliteitsbewustzijn. Opvattingen over wat onder kwaliteit verstaan wordt zijn in deze instellingen meer expliciet.

5.3 5.3.1

Bevindingen impact kwaliteitszorg Impact KWZ op kwaliteit van onderwijs en organisatie

Onderzoeksvraag: Draagt de KWZ in de instellingen bij aan de kwaliteit van het onderwijs en van de organisatie? In hoofdstuk 5 is de wijze waarop instellingen hun KWZ uitvoeren beschreven. Maar heeft die uitgevoerde KWZ nu ook een impact op de kwaliteit van onderwijs en organisatie? Gerelateerd aan de 6 aspecten geven de KWZ adviseurs aan dat vooral bij ‘examinering’ de impact van de uitgevoerde KWZ groot is (8x). Ook bij ‘opleidingen’ is er een aanzienlijke impact van de KWZ op de daadwerkelijke kwaliteit van onderwijs en organisatie (5x). Uit de interviews: Ten aanzien van de examinering (proeve van bekwaamheid) wordt niet meer gedacht: hoeveel van mijn studenten komen er doorheen? Er wordt meer gedacht: meten we wat we moeten meten? De kwaliteit gaat vooruit en het zit tussen de oren.

Bij de aspecten opleiders, leeromgeving op school, leeromgeving in de praktijk en interne organisatie is de impact beperkt: de adviseurs zeggen dat er vooral ‘enige’ impact is. Slechts in enkele instellingen is er op deze vier aspecten een duidelijke impact. (zie tabel 132 en 132a; tabellenboek). Bij de 17 instellingen die dit deel van de vragenlijst ingevuld hebben zijn er 6 die op de zes aspecten gemiddeld vooral een sterke impact aangeven. Er zijn daarnaast 6 instellingen waarvan


38

de KWZ adviseur op deze aspecten gemiddeld de impact als matig inschat. De KWZ adviseurs van 5 instellingen schat tenslotte in dat de impact zwak is. We kunnen ten aanzien van de mate waarin de uitgevoerde KWZ volgens de KWZ adviseurs een impact heeft op de kwaliteit van onderwijs en organisatie (gerelateerd aan de 6 aspecten) drie groepen onderscheiden. De tabel brengt de groepen in beeld. Tabel 6 Mate van ervaren impact Roc

Aoc

vakcollege

Totaal

3

2

1

6

3

1

2

6

5

0

0

5

F Sterk ervaren impact G Matig ervaren impact H Zwak/geen ervaren impact

In dit hoofdstuk gaan we na in waarin de impact bij de instellingen van groep F verschilt van de andere instellingen. Uit de interviews: We streven ernaar dat het resultaat van kwaliteitszorg is: dat we steeds lerend in ons werk staan en dit komt de kwaliteit van het onderwijs ten goede. Dat we tijdig kunnen bijsturen als er iets mis dreigt te gaan en we risico’s onder controle houden. dat we op een onderbouwde wijze invulling wordt gegeven aan de planningscyclus. expliciet als laatste: het krijgen van een voldoende van de instanties waar ze aan verantwoorden. Dit laatste resultaat van kwaliteitszorg leeft sterker onder de docenten. Zij hebben meer het gevoel dat het effect van kwaliteitszorg is dat men een voldoende haalt bij de Onderwijsinspectie.

5.3.2

Impact op betrokkenheid bedrijven

KWZ zetten instellingen in om de kwaliteit van onderwijs en organisatie te borgen. De KWZ zou tevens een impact kunnen hebben op de betrokkenheid van het bedrijfsleven bij de instelling. Als tenminste het bedrijfsleven in de uitvoering betrokken wordt (in hoofdstuk 4 en 5 bleek al dat dat zeer beperkt het geval is). Hier is de vraag in hoeverre er toch een impact is. Onderzoeksvraag: Heeft de uitgevoerde KWZ een impact op de betrokkenheid van het bedrijfsleven? Bij de meeste instellingen zegt de KWZ adviseur dat de KWZ een beperkte impact heeft op de versterking van de band tussen de instelling en het bedrijfsleven. Bij de instellingen die een sterke impact van hun KWZ ervaren (groep F) draagt de KWZ wel in sterke of redelijke mate bij aan de versterking van die band. Bij de beide andere groepen (G en H) is die relatie beperkt of de adviseurs zeggen het niet te weten. (zie tabel 142 en 143; tabellenboek). 5.3.3

Gemotiveerd om te verbeteren

De KWZ heeft impact op de kwaliteit van onderwijs en organisatie als verschillende actoren (op strategisch, tactisch en operationeel niveau) inderdaad passende verbeteringen doorvoeren. Maar zijn zij daartoe gemotiveerd?


39

De inschatting van de KWZ adviseurs is dat vooral het CvB en zij zelf sterk gemotiveerd zijn om met de verkregen inzichten uit de KWZ verbeteringen in gang te zetten. Vanuit het perspectief van de KWZ adviseur is de inschatting dat de opleidingsteams en de stage bedrijven overwegend beperkt of redelijk daartoe gemotiveerd zijn. (Naar de reden daarvan is in deze inventarisatie niet gevraagd.) In de instellingen van groep (F; sterke impact) zijn de meeste opleidingsteams sterk of redelijk gemotiveerd. Terwijl in de instellingen van groep G en H (matig en zwak ervaren impact) de opleidingsteams vooral in beperkte mate gemotiveerd zijn. (zie tabel 133 en 134a; tabellenboek). 5.3.4

Cultuur van verbeteren van de kwaliteit

De KWZ kan een zodanige impact hebben dat op concrete aspecten verbeteringen doorgevoerd worden (zie 6.2). KWZ kan ook een meer diepgaande impact tot gevolg hebben, namelijk dat er in een instelling (mede) dankzij de uitgevoerde KWZ een breed bewustzijn van het belang van kwaliteit ontstaat. Met kwaliteitsbewustzijn wordt een voortdurende alertheid om kwaliteit te leverden bedoeld; een gespitst zijn op kwaliteit. Onderzoeksvraag: Draagt KWZ bij aan een cultuur van kwaliteit en aan kwaliteitsbewustzijn? De instellingen van de groep met een sterk of redelijk ervaren impact van de KWZ op het daadwerkelijke functioneren (F en G) zeggen wat vaker dat hun cultuur sterk of in redelijke mate gericht is kwaliteit. Van de groep met een zwakke impact (H) zeggen juist meer instellingen dat hun cultuur in beperkte mate gericht is op kwaliteit. De cultuur van de meeste instellingen die meededen aan deze inventarisatie is in redelijke mate gericht op kwaliteit. (zie tabel 135 en 136; tabellenboek). Volgens de KWZ adviseurs draagt de KWZ vooral voor CvB en directeuren sterk bij aan hun kwaliteitsbewustzijn. Bij docenten/opleiders en teamleiders is dat veel minder het geval. Bij de instellingen met een sterke impact (groep F) draagt de KWZ meer bij aan het kwaliteitsbewustzijn van docenten en opleiders dan bij de instellingen van groep met een matige of zwakke impact. 5.3.5

Opvattingen over kwaliteit

Binnen mbo instellingen kunnen verschillende opvattingen heersen over wat kwaliteit eigenlijk is. Dergelijke opvattingen kunnen een onderlegger zijn bij concrete interventies om de kwaliteit te verbeteren (6.2) en/of om een meer algemene cultuur van KWZ en kwaliteitsbewustzijn (6.5) in een instelling. Ook deze opvattingen kunnen van invloed zijn op de impact die de KWZ heeft op de kwaliteit van onderwijs en organisatie. Onderzoeksvraag: Wat zijn opvattingen over ‘kwaliteit’ in de instellingen; en wat is de relatie daarvan met de KWZ? In de inventarisatie is nagegaan wat de overheersen opvatting over kwaliteit is op drie niveaus in de instellingen: verstaat men onder ‘kwaliteit’: Een streven naar excellentie; voorbeeld: elke student zijn of haar maximale eindniveau laten behalen. Goed omgaan met opbrengsten gerelateerd aan de kosten; voorbeeld: het op efficiënte en effectieve wijze organiseren van processen in de organisatie.


40

Je houden aan vooraf vastgestelde specificaties en standaarden; voorbeeld: het voldoen aan de normen die de Inspectie van het Onderwijs stelt. Aan de verwachtingen van de klant voldoen; voorbeeld: Het zodanig voorbereiden van een student voor zijn stage, zodat hij/zij voldoet aan de verwachtingen van het stage bedrijf. Opvattingen over kwaliteit verschillen volgens de KWZ adviseurs tussen de lagen in de organisatie. Op strategisch niveau overheerst vooral een streven naar excellentie. Op tactisch niveau overheerst goed omgaan met kosten versus opbrengsten. Op operationeel niveau overheerst vooral zich houden aan standaarden. Bij de KWZ adviseurs zelf overheerst, volgens eigen zeggen, in sterke mate een streven naar excellentie en het goed omgaan met kosten versus opbrengsten. Je houden aan afspraken en de verwachtingen van klanten overtreffen past volgens hen in redelijk mate bij ze. De opvattingen over kwaliteit zijn volgens de adviseurs vooral impliciet. Dat komt vooral veel voor daar waar een zwak of matig impact wordt ervaren (groepen G en H). Daar waar een sterke impact wordt ervaren van de KWZ (groep F) zijn de opvattingen over kwaliteit echter juist redelijk expliciet. (zie tabel 137 t/m 141(tabel 137a en 139a niet); tabellenboek). Uit de interviews: Een KWZ adviseur: Als school streven we primair naar excellent presteren. Tevredenheid stakeholders daarin meenemen. Voldoen aan normen en goede verhouding prijs/kwaliteit spreekt vanzelf. Tevredenheid is niveau lager dan excellentie (bovendien: wat is tevredenheid?).

Teams zijn wel vooral gericht op de tevredenheid van studenten en docenten wordt heel belangrijk gevonden. De tevredenheid van het bedrijfsleven ligt al wat verder weg. Vroeger was er weinig oog voor de student. Nu is dat sterk veranderd. Het kost veel tijd om dat bij mensen in hun systeem te krijgen (cultuur). 5.3.6

Impact KWZ congruent met inspanningen

Het materiaal uit deze inventarisatie overziend, is de vraag of alle moeite om KWZ-beleid op te stellen (hoofdstuk 4) en de KWZ uit te voeren (hoofdstuk 5) loont in het licht van de impact die de KWZ heeft op onderwijs en organisatie. Onderzoeksvraag: Is de impact van de KWZ congruent met de inspanningen in de beleids- en uitvoeringsfase? De helft van de KWZ adviseurs zegt dat de geleverde inspanningen voor KWZ ongeveer in balans zijn met wat het de instelling oplevert. De andere helft van de groep KWZ adviseurs zegt dat er meer geïnvesteerd wordt dan wat het de instelling oplevert of zegt het niet te weten. Er is wat deze evaluaties van de KWZ adviseurs geen duidelijke relatie naar de mate waarin de instellingen een impact ervaren (de groepen F,G,H). 5.3.7

Dromen over versterking van KWZ

In de inventarisatie hebben de KWZ adviseurs de ruimte gekregen om aan te geven welke wensen zij hebben om de KWZ in hun instelling te versterken. Op deze vraag hebben zij de volgende wensen benoemd.


41

Visie: Gedragen visie door alle betrokkenen Expliciete doelstellingen benoemen (en dit vervolgens monitoren) Meer focus op focus i.p.v. op incidenten Een duidelijke kwaliteitsagenda Basiskwaliteit in overleg met docenten benoemen Eenduidigheid in het benoemen en werken met normen en standaarden Te behalen resultaten teams meetbaar benoemen Minder afhankelijkheid van de Inspectie van het onderwijs; toezicht let op Wat i.p.v. op het HOE Leren van andere sectoren zoals de zorg Rol in cultuuromslag: Rol KWZ in cultuuromslag t.b.v. verbetering onderwijs Intrinsieke motivatie voor leveren van kwaliteit op alle lagen Kwaliteitsontwikkeling laten meelopen met teamontwikkeling en professionalisering docenten Meer dialoog Meer tijd durven nemen voor reflectie op alle niveaus Appreciative inquiry Actieve betrokkenheid docenten om onderwijs te verbeteren Versterking van de sturing: Meer bestuurlijk vermogen op alle organisatielagen KWZ in de eerste plaats verantwoordelijkheid van de lijn Meer sturen op basis van verkregen informatie KWZ onder de aandacht blijven brengen ook in tijden van organisatieverandering Goed vastleggen en elkaar aanspreken Versterking aanpak en condities voor KWZ: Betere procesbeheersing meer gevoel voor kritische procedures Alle processen duidelijk in beeld hebben Meer risico-inventarisatie vooraf en meer risicomanagement PDCA rond maken Ondersteuning van teams door data te verzamelen over meetbare resultaten Betere structuur en verspreiding van informatie Interne audit functie versterken Waarderend auditen integreren Meer bekendheid van de beschikbare informatie bij medewerkers Borgen dat verbeteracties daadwerkelijk worden doorgevoerd. Document beheerssysteem organiseren Positie KWZ versterken Financiële input om kwaliteit te implementeren en KWZ instrumenten te ontwikkelen Vertrouwen van het management in de kennis en kunde van KWZ medewerkers Voldoende formatie om de KWZ goed neer te zetten.


42


43

6 Slotbeschouwing Deze inventarisatie laat zien dat KWZ in Nederlandse mbo instellingen een ingeburgerd fenomeen is. De inventarisatie is in 2011 gehouden in het kader van het NLQAVET project- dat gefundeerd is in het Europese EQAVET raamwerk. Sterke KWZ Al met al wordt op basis van de gehele inventarisatie duidelijk dat sturing van de KWZ en een gevoel van betrokkenheid bij KWZ van opleidingsteams het verschil maakt. Instellingen voor mbo die hun KWZ willen versterken zouden dat kunnen bereiken met betere sturing van KWZ (bestuurlijk vermogen) en het creëren van een gevoel van betrokkenheid van opleidingsteams bij KWZ. Instellingen die consequent sturen op KWZ en/of waar opleidingsteams zich er bij betrokken voelen laten op meerdere factoren een krachtiger KWZ beleid, uitvoering en impact zien. Wat dit betreft sluiten de bevindingen van deze inventarisatie in grote lijnen aan bij de uitkomsten van het onderzoek van de Inspectie van het Onderwijs in 2010. Instellingen met consequente sturing hebben wat vaker een beleidsvisie onder hun KWZ die schriftelijk vastgelegd is. Zij streven een breed spectrum van doelen na met hun KWZ. Ook hanteren zij een meer gedifferentieerde opvatting over het borgen van kwaliteit: naast het voldoen aan externe eisen ook het reflecteren met collega’s om ervan te leren en het tegemoet komen aan wensen van stakeholders en studenten. Deze instellingen doorlopen over het algemeen de PDCA volledig en op de drie niveaus (strategisch, tactisch en operationeel). Opvallend is dat ongeveer de helft van de instellingen die aangeeft consequent te sturen tevens benoemt dat een sterke impact wordt ervaren, terwijl ongeveer de andere helft juist aangeeft weinig impact te ervaren. Mogelijk wijst dit erop dat de sterke impact alleen geldt voor instellingen waar consequent sturen samengaat met opleidingsteams die zich betrokken voelen. De zwakke impact zou te maken kunnen hebben met het gegeven dat instellingen waar - hoewel ze consequent sturen - toch opleidingsteams zich beperkt betrokken voelen. De meeste instellingen waar teams zich beperkt betrokken voelen bij de KWZ geven immers tevens aan dat de KWZ een matige of zwakke impact heeft (8 van 10). Voelen teams zich wel betrokken dan ervaart men in relatief meer instellingen een sterke impact (3 van 5). (zie tabel 145; tabellen boek). Pragmatisch KWZ beleid Instellingen hanteren een KWZ beleid dat ze in iets minder dan de helft van de gevallen niet op een schriftelijk vastgelegde visie baseren. Uit de onderzoeksgegevens ontstaat de indruk dat het KWZ beleid veelal pragmatisch ingevuld wordt en niet zozeer vanuit een visie op wat de school met dit organisatieproces wil. Soms volstaat men met het vastleggen van enkele normen; soms worden deze verankerd in een handboek; soms is het handboek gefundeerd in een visie en in KWZ beleid. Verantwoorden en leren Verantwoorden en leren/verbeteren spelen beide een belangrijke rol bij de KWZ in mbo instellingen. Instellingen benutten de uitkomsten van evaluaties in het kader van KWZ – zoals EQAVET aanbeveelt –om horizontaal en verticaal te verantwoorden, en in dat kader wordt informatie openbaar gemaakt.


44

De inventarisatie laat zien dat instellingen bij voorkeur willen dat hun KWZ bijdraagt aan leren en verbeteren binnen hun organisatie. Er zijn echter op basis van de inventarisatie aanwijzingen dat in veel instellingen de verantwoording naar externe en interne toezichthouders de boventoon voert. Leren en verbeteren lijkt in de realiteit niet automatisch in het verlengde van die verantwoording te liggen. Een dilemma of spanningsveld bij KWZ lijkt te zijn de relatie tussen enerzijds leren en verbeteren en anderzijds verantwoorden als focus van KWZ. Het is een vraag of de resultaten (rapportages) van KWZ die benut worden voor externe horizontale en verticale verantwoording tevens inzetbaar zijn om er intern van te leren en steeds te verbeteren in een cyclisch proces. Vanuit deze inventarisatie kan in meerdere richtingen een antwoord op deze vragen gezocht worden. De eerste invalshoek betreft de uitkomst van deze inventarisatie dat in nogal wat instellingen KWZ vooral iets is van de staf, van bestuur en management en weinig doordringt op de werkvloer. Dat zou er op kunnen wijzen dat bijvoorbeeld de op externe rapportages gerichte dataverzamelingen geen geschikte basis vormen voor terugkoppelingen naar opleidingsteams en teamleiders waardoor het leren en verbeteren op de werkvloer onvoldoende gevoed wordt. Anders bekeken wordt echter zichtbaar dat extern toezicht juist een stimulans kan zijn voor de instellingen om hun KWZ ter hand te nemen. De inventarisatie laat immers zien dat de impact van KWZ juist op de aspecten onderwijs en examinering het meest duidelijk vorm krijgt (bij respectievelijk ongeveer een derde en de helft van de betrokken instellingen). En dit zijn nu juist de aspecten waarop extern toezicht plaats vindt. Voor deze aspecten beschikken de Nederlandse instellingen over een duidelijk waarderingskader dat de Inspectie hen aanreikt. Ook de verantwoordelijkheden van de instellingen ten aanzien van KWZ zijn in dit kader vastgelegd. Bij de instellingen die aangeven dat de impact op deze twee aspecten groot is, mogen we verwachten dat er in opleidingsteams van geleerd wordt. Bij de andere instellingen – waar de impact matig of zwak is- zou het accent toch meer kunnen liggen op verantwoorden in plaats van ook op leren. Bezien vanuit de 6 aspecten valt op dat slechts een beperkt aantal instellingen er in slaagt vanuit een eigen kracht KWZ te hanteren op ook die aspecten waar de inspectie niet op toeziet. De achtergrond zou kunnen zijn dat het streven naar leren en verbeteren een onvoldoende krachtige trigger is om KWZ autonoom op te zetten. De inventarisatie maakt duidelijk dat er een trend is in instellingen om KWZ meer zodanig in te richten dat opleidingsteams meer centraal komen te staan. Daarbij lijkt er zich een ontwikkeling af te tekenen waarbij audits, dialoog en cyclische reflectie een plaats krijgen in de aanpak. Zodoende kunne leer en verbeterprocessen in teams gefaciliteerd worden. Lacunes De inventarisatie laat zien dat de aspecten ‘opleiders’ en ‘samenwerking met het bedrijfsleven bij KWZ’, waar EQAVET zoveel belang aan hecht, in de mbo instellingen niet erg sterk uit de verf komen. PDCA rond maken In het EQAVET raamwerk staat de PDCA centraal. Ook in de Nederlandse mbo instellingen is de KWZ gebaseerd op de PDCA. De inventarisatie laat zien dat in een beperkt aantal instellingen de cyclus geheel rond wordt gemaakt op strategisch, tactisch en operationeel niveau. Er doen zich in de meeste instellingen


45

omissies voor in alle fasen van de cyclus. In instellingen waar de cyclus wel rond gemaakt wordt, is de kans groter dat er sprake is van een levendige PDCA: plannen doen er toe en worden daadwerkelijk uitgevoerd, er wordt gecheckt op vooraf in de plannen gestelde doelen, op basis van verkregen inzichten worden praktische conclusies getrokken en prioriteiten gesteld. Opvallend is dat er veel gecheckt wordt. Het is daarbij niet altijd duidelijk of dat gerelateerd is aan de aanwezige plannen of dat er meer in algemene zin gevraagd wordt naar tevredenheid van diverse groepen. Het is een vraag of in dat laatste geval de check wel een goede basis legt voor de vervolgstappen: namelijk de ‘act’ en het plannen en in gang zetten van verbeteringen. Ook is het de vraag of de KWZ rapportages die gebaseerd zijn op meer algemene tevredenheidgegevens bijdragen aan het vergroten van de transparantie van de opleidingskwaliteit en het verbeteren van het vertrouwen in het opleidingsaanbod – zoals EQAVET dat aanbeveelt. De rapportages van de Inspectie van het Onderwijs dragen in Nederland wel bij aan die transparantie over de kwaliteit van opleidingen. (Gezien de risicogerichte aanpak komen in deze rapportages echter vooral die opleidingen in beeld die een (zeer) zwakke kwaliteit laten zien.) Opleidingsteams en KWZ De uitvoering van de KWZ vindt in de bij deze inventarisatie betrokken instellingen het minst krachtig plaats in het primaire proces, op de werkvloer, in opleidingsteams. Als we er – zoals EQAVET lijkt te doen – vanuit gaan dat kwaliteitsverbetering vooral op de werkvloer in het handelen van docenten bereikt kan worden, is de beperkte focus op opleidingsteams een onwenselijke situatie. Het is een vraag of het complexe proces waarin nu in het kader van de KWZ data verzameld en gerapporteerd worden voldoende geschikt is of aanknopingspunten biedt om in het onderwijsproces tot een continue cyclus van verbeteringen te komen. Mogelijk dat een benadering die meer gericht is op het bevorderen van een kwaliteitsbewustzijn en een cultuur van KWZ – zoals EQAVET dat aanbeveelt - daartoe meer aanknopingspunten biedt. Dit zou een aanvulling kunnen zijn op de huidige KWZ in Nederlandse mbo instellingen.


46

Bijlage 1

Wat is EQAVET? Een belangrijke prioriteit van het Europese onderwijsbeleid is het verbeteren van de kwaliteit en aantrekkelijkheid van het beroepsonderwijs en het bevorderen van transparantie van beleidsontwikkelingen tussen de lidstaten. Kwaliteitszorg is een belangrijk instrument bij het in Europees verband stimuleren van wederzijds vertrouwen, transparantie en erkenning van competenties en kwalificaties. Hiermee wordt een basis gelegd voor verhoogde mobiliteit in Europa en toegankelijkheid tot een Leven Lang Leren. Het European Quality Assurance Reference Framework for Vocational Education and Training (EQAVET) is een referentie instrument om individuele lidstaten te ondersteunen bij het promoten en monitoren van constante kwaliteitsverbetering van het beroepsonderwijs, op zowel stelsel- als instellingsniveau. Het moet ertoe leiden dat de landen van de Europese Unie een gezamenlijk begrippenkader hanteren ten aanzien van kwaliteitsborging. Zodoende kan er meer inzicht in elkaars systemen ontstaan en kan het wederzijds vertrouwen toenemen. Het is belangrijk om te vermelden dat EQAVET niet is bedoeld om bestaande systemen en structuren te vervangen. Het raamwerk biedt kwaliteitscriteria, indicatieve descriptoren en referentie-indicatoren waarvan de lidstaten afgesproken hebben die te gebruiken om de KWZ van het beroepsonderwijs te onderhouden en te verbeteren. Zie www.eqavet.nl voor meer informatie. Voor de implementatie van het EQAVET raamwerk hebben de lidstaten een Nationaal Coördinatiepunt EQAVET ingericht. Dit coördinatiepunt vervult de volgende taken: -

het uitwisselen van informatie en ervaringen (tussen lidstaten).

-

bijdragen aan het vergroten van de aandacht voor kwaliteitszorg in Europees verband.

-

informeren van de stakeholders over de activiteiten van het EQAVET netwerk.

-

verspreiden van de resultaten van het EQAVET netwerk.

-

een actieve bijdrage leveren aan het EQAVET werkprogramma op Europese niveau.

In Nederland is het Internationaal Agentschap aangewezen als Nationaal Coördinatiepunt EQAVET. Samen met nationale stakeholders (Ministerie van OCW, MBO Raad, NRTO, JOB, procesmanagement MBO 2015, en de Inspectie van het Onderwijs) en met oog voor de nationale context wordt de implementatie gecoördineerd.


47

Wat is NLQAVET? Per 1 januari is het NLQAVET project van start gegaan. Dit project is vorig jaar ingediend door het Nationaal Coördinatiepunt EQAVET in het kader van de call EACEA/09/201 award of grants to support national projects for the development of a national approach to improve the quality Assurance of vocational education and training systems by promoting and developing the use of the European Quality Assurance Reference Framework in VET. De aanvraag is tot stand gekomen in samenwerking met de verschillende stakeholders waaronder MBO Raad en ministerie van OCW. Het project bestaat uit twee belangrijke pijlers: Het eerste onderdeel van het project focust op het inventariseren van kwaliteitszorg op instellingsniveau. Wat speelt er, waar liggen good practices en uitdagingen, waar kan men van elkaar leren. Vervolgens biedt het project 5 instellingen de kans om deel te nemen aan een ‘test and taste’ rondom het verbeteren van de cultuur van kwaliteitszorg. Naast de individuele trajecten wordt er toegewerkt naar een methodiekbeschrijving/ overdraagbare tool voor de overige instellingen. Onderstaand figuur geeft een overzicht van de thema’s die bij de inventarisatie aan de orde komen.

Eqavet onderzoek Nederland

P

P

KWZ examiniering

A

A

KWZ opleiding

D

D C Visie

C Relatiebedrijven P Toezicht

KWZ Nqavet A

KWZ personeel

D

Standaarden

P

A

KWZ leeromgeving

C Organisatie KWZ D P

C A

KWZ interne organisatie

D

C


48

Bijlage 2: Werkwijze Voor deze inventarisatie is met behulp van een enquête informatie verzameld bij de KWZ adviseurs van mbo instellingen. Er is tevens bij enkele instellingen informatie verzameld met behulp van diepte interviews met de KWZ adviseur, managers en docenten. De functienaam behorende bij de medewerkers die KWZ in hun pakket hebben de wisselt per instellingen en is verschillend ingebed in de schoolorganisatie. Wij spreken in deze rapportage over ‘kwaliteitszorg adviseur’ en vatten daar al deze varianten onder. Ook is gevraagd de belangrijkste taken te noemen die de respondenten uitvoeren in het kader van kwaliteitszorg. In grote lijn kunnen de taken onderverdeeld worden in advies, uitvoering en ontwikkeling. De meeste instellingen kennen de functie van KWZ adviseur al meerdere jaren.

6.1

De schriftelijke enquête

Bij de schriftelijke enquête zijn de volgende stappen gezet: Na een kleine verkenning van recent onderzoek naar KWZ bij onderwijsinstellingen heeft een NLQAVET werkgroep van het Agentschap een concept enquête opgesteld. De adviesgroep en het netwerk van KWZ adviseurs van de MBO Raad heeft geresoneerd op het concept op basis waarvan bijstellingen doorgevoerd zijn. Vanuit het EU netwerk heeft een gesprek plaatsgevonden met mevrouw Leena Koski, projectleider EQAVET uit Finland, over de enquête in ontwikkeling. Ook dat heeft tot bijstellingen geleid. De enquête is via het netwerk KWZ adviseurs van de MBO Raad uitgezet naar de KWZ adviseurs van alle mbo instellingen. De KWZ adviseurs hebben 6 weken de tijd gehad om de online enquête in te vullen. De KWZ adviseurs van in totaal 27 instellingen hebben gereageerd op het verzoek de vragenlijst in te vullen. (Niet alle respondenten hebben de vragenlijst volledig ingevuld). De gegevens zijn verwerkt en op een eenvoudige wijze geanalyseerd (met name kruistabellen). Er is een concept rapportage opgesteld. De concept rapportage is besproken in de NLQAVET werkgroep van het Agentschap. Tenslotte is de definitieve rapportage gepresenteerd aan de resonansgroep en op de conferentie Quality Time aan de EU partners op 27 september 2011.

6.1.1

Deelnemende instellingen aan de enquête.

Alle bekostigde mbo instellingen hebben een verzoek ontvangen de enquête in te vullen. Er zijn 27 instellingen die hier positief op gereageerd hebben. Het overgrote deel van de KWZ adviseurs die de enquête hebben ingevuld, geeft te kennen de vragenlijst in te vullen voor de gehele organisatie.2

2

In hun feedback op de vragenlijst hebben sommige KWZ adviseurs commentaar gegeven op de opzet en

lengte, de toegankelijkheid van SurveyMonkey en op de complexiteit en helderheid van de vragen.


49

Van de 27 instellingen gaat het om 20 roc’s, 4 aoc’s en 3 vakinstellingen. Er zijn een aantal kleine instellingen met minder dan 5000 studenten die de enquête hebben ingevuld. Hieronder bevinden zich de aoc’s, de vakinstellingen en 2 roc’s. De overige roc’s hebben een studentenaantal groter dan 5000. Twee van de deelnemende roc’s hebben meer dan 20.000 studenten. (De studentenaantallen per type instelling zijn weergegeven in tabel 1). (Meer specifieke uitwerking van de bovenstaande informatie vindt u in het tabellenboek) 3. Tabel 1: Betrokken instellingen naar omvang ROC

AOC

< 5000

2

5.000 tot 10.000

6

10.000 tot 15.000

6

15.000 tot 20.000

4

> 20.000

Vakcollege 4

3

4

3

2 20

Aangezien het eerder genoemde Inspectie onderzoek heeft laten zien dat er geen belangrijke verschillen zijn qua bestuurlijk vermogen tussen grote en kleinere instellingen is in deze inventarisatie verder geen onderscheid gemaakt op dit aspect.

6.1.2

Aard van verzamelde resultaten

Gezien het verkennende karakter van de inventarisatie en gezien de respons is het niet mogelijk met het beschikbare materiaal uit de enquête uitspraken te doen voor de gehele populatie (significante uitspraken). Uitspraken voor de gehele mbo sector kunnen op basis van het beschikbare materiaal niet gedaan worden. Wel is het mogelijk om uitspraken te doen over de onderwijsinstellingen die hebben deelgenomen aan de inventarisatie als groep. Het onderzoeksmateriaal brengt vraagstukken, fenomenen en uitdagingen in beeld (die in vervolgonderzoek nader onderzocht kunnen worden). Doelstelling van de analyse van de resultaten is geweest om de samenhang tussen antwoorden op verschillende vragen te begrijpen, zonder de pretentie te hebben deze geheel te kunnen verklaren of bewijzen hiervoor aan te kunnen leveren. In deze rapportage gebruiken we de gegevens in beschrijvende zin en geven een interpretatie van de verkregen resultaten, gebruikmakend van het EQAVET raamwerk voor kwaliteitszorg. Bij de onderdelen KWZ beleid (hfdst 3), uitvoering KWZ (hfdst 4) en impact KWZ (hfdst 5) is gewerkt met één of enkele kerngegevens waar de overige informatie mee in relatie gebracht is. Bij het onderdeel KWZ beleid (hfdst 3) is gewerkt met één kerngegeven: de mate waarin instellingen een schriftelijk vastgelegde visie onder hun KWZ beleid leggen. Bij het onderdeel over de uitvoering van de KWZ (hfdst 4) gaat het om twee kerngegevens: de mate van sturing van de KWZ en de mate waarin opleidingsteams het gevoel hebben dat zij betrokken worden bij de KWZ. Bij hoofdstuk 5 gaat het om de mate waarin in een instelling (volgens de KWZ adviseur) een impact van de KWZ ervaren wordt. 3

In verschillende hoofdstukken wordt bij de presentatie van de data verwezen naar het tabellenboek; dit is op

aanvraag in te zien ([email protected])


50

6.2

De diepte interviews

De uitkomsten van de enquêtes hebben deels als basis gediend voor de diepte interviews. De diepte interviews zijn opgezet vanuit dezelfde hoofdvraagstelling als de enquête. Daarbij zijn de volgende stappen gezet: De NLQAVET werkgroep van het Agentschap heeft een concept interviewleidraad opgesteld. In het netwerk van KWZ adviseurs Van de MBO Raad is een oproep gedaan om deel te nemen aan de diepte interviews. Op basis van de aanmelding van onderwijsinstellingen is er voor gekozen diepte interviews te houden met drie onderwijsinstellingen: een roc, een vakcollege en een aoc. Bij de interviews zijn personen in verschillende functies betrokken geweest, zoals docent, teamleider, directeur en stafmedewerker. Het aantal geïnterviewde per instelling varieerde van vier tot zeven. De interviews zijn steeds uitgevoerd door twee interviewers; er is gewerkt met open vragen en de betrokkenen hebben veel ruimte gekregen om hun inbreng te geven. Er is een gesprekverslag van de interviews gemaakt (dat teruggekoppeld is naar de betrokkenen). De interviews zijn (anoniem) verwerkt in deze rapportage: ter illustratie zijn citaten uit de interviews opgenomen).


51

Rapportage. Inventarisatie Kwaliteitszorg NLQAVET

Recommend Documents