Voorstel voor structuur van theoretisch kader: 1. Output, outcomes en extern rendement A) Definities algemeen + onderlinge relatie B) Afbakening begrippen binnen IP 2. Output, outcomes en EKZ A) CIPO-kader: algemene schets, plaats output en outcomes B) macrodoelmatigheid +accreditatie: algemene schets, plaats output en outcomes C) linken A - B - C (zie tabel evy) D) output en outcomes in het kader van EKZ 3. Output, outcomes en IKZ (misschien nog interessante info in boeken van Jan???) A) IKZ: algemene schets B) geïnformeerde schoolontwikkeling C) output en outcomes in het kader van IKZ 4. Indicatoren A) Context B) Input C) Output Ik vraag me of het niet handiger is om 2D en 3C samen op te nemen onder 1 titeltje (4. output en outcomes in het kader van EKZ en IKZ). Dat komt dan net voor 5. indicatoren... Wat denken jullie???
Een omschrijving van extern rendement is cruciaal binnen dit IP. Dit is niet zo’n eenvoudige opdracht. Er worden een aantal begrippen gehanteerd die ogenschijnlijk naar hetzelfde concept wijzen: output, outcome en extern rendement. Daarom duiden we eerst het onderscheid tussen de verschillende begrippen alvorens ze in een verband te plaatsen. We passen de begrippen steeds toe binnen de context van een HBO5-opleiding aangezien dit de context van dit IP vormt.
1) Output, outcomes en extern rendement A. Definities output, intermediaire outcomes, outcomes, extern rendement en hun onderlinge relatie De term output bij het onderwijs wordt vooral gehanteerd als leerresultaten van leerlingen (Van Otterdijk, 2008; De Maeyer & Rymenans, 2004; Olthof, Emmerik & Satter, n.d.). Deze betekenis is gebaseerd op het CIPO-model van Scheerens (1990). Het CIPO-model wordt als analysekader gehanteerd binnen het leerplichtonderwijs --> ook bij het volwassenenonderwijs: de doorlichtingen van de CVO's werden tot nu toe ook door de onderwijsinspectie van het secundair gedaan. Bovendien wordt output opgenomen in schooleffectiviteitsonderzoeken (De Maeyer & Rymenans, 2004; Olthof, Emmerik & Satter, s.a. -->z.d./ n.d.). In het nieuwe referentiekader van de Vlaamse Onderwijsinspectie wordt de output echter omschreven als de verzameling van leerprestaties, schoolloopbaan, outcomes en tevredenheid. De term outcomes verwijst hier naar de "mate waarin leerlingen/cursisten doorstromen naar het vervolgonderwijs of naar de arbeidsmarkt" (CIPO-referentiekader van de onderwijsinspectie, n.d.). Output van onderwijs verwijst bijgevolg naar wat een school bij haar cursisten realiseert. --> ik heb de indruk dat er veel herhaald wordt...zie 2 A --> ik mail jullie hier dadelijk over Ik vind het hier niet storend, het is een korte samenvatting van wat nadien volgt bij CIPO in 2a
Outcomes zijn de gevolgen verbonden aan het volgen van een HBO5-opleiding. Het is wat het volgen van de HBO5-opleiding uiteindelijk oplevert. Hoewel ze de bestaansreden van HBO5 vormen (Hatry en Kopczynski, 1997), heeft de opleiding er op zichzelf minder controle over. Ze vinden vaak op langere termijn plaats. In het geval van HBO5 zijn de outcomes de mate van doorstroom naar de arbeidsmarkt of naar vervolgonderwijs (Decreet betreffende secundair na secundair en hoger beroepsonderwijs, 2009). Hatry en Kopczynski (1997) benoemen outcomes ook wel als end-outcomes. Binnen dit IP opteren we voor de term outcomes. Naast end-outcomes spreken Hatry en Kopczynski (1997) ook van intermediaire outcomes. Zij zijn geen eindpunt, maar vormen als het ware de tussenstappen naar de outcomes. Een voorbeeld hiervan is de kwaliteit van een HBO5-opleiding. De kwaliteit van de opleiding op zich biedt geen garantie op het bereiken van de outcomes. Maar speelt niettemin wel een rol in het realiseren van de uiteindelijke outcomes. De opleiding heeft vaak meer controle over intermediaire outcomes dan over end-outcomes. Ze vinden vaak op kortere termijn plaats. Figuur x vat de relaties tussen output, intermediaire outcomes en outcomes samen. Het onderscheid tussen intermediaire outcomes en output is niet altijd even duidelijk (Hatry en Kopczynski, 1997). Vandaar kiezen we binnen dit IP voor de term output.
Output -> Intermediaire outcomes -> Outcomes Figuur x Relatie tussen output, intermediaire outcomes en outcomes
Extern rendement bekijkt onderwijs door een economische bril (van der Werven, 2001). Het is de verhouding tussen de kosten of input en opbrengsten of outcomes van onderwijs voor het individu en de samenleving (Allen et al., 2005; Hatry & Kopzcynski, 1997; van der Werven, 2001). Extern rendement verwijst hiermee dus naar de doelmatigheid of (kosten)efficiëntie van onderwijs (van der Werven, 2001). Zoals figuur x duidelijk maakt kan extern rendement van onderwijs pas gemeten worden als er zicht is op de outcomes. Opbrengsten en kosten kunnen hierbij in de nauwe of bredere zin worden opgevat. Eng bekeken zijn de opbrengsten van onderwijs de materiële en/of immateriële opbrengsten die individuen en/of de samenleving krijgen dankzij het volgen van de opleiding. Voorbeelden hiervan zijn een hoger bruto uurloon en bijdrage aan economische groei. Opbrengsten van onderwijs verwijzen hiermee dus naar de outcomes van onderwijs. Ruimer bekeken kan met opbrengsten ook de bredere ontwikkeling van de cursist of de betere voorbereiding op latere participatie aan de maatschappij bedoeld worden (Roede, 2001). Onder kosten worden, eng bekeken, eerst en vooral de directe uitgaven verstaan. Een voorbeeld hiervan is het inschrijvingsgeld van de cursist. Ook de overheidssubsidie of financiering valt hieronder. Daarnaast spreekt men ook over opportuniteitskosten. Dit zijn de opbrengsten die een individu niet realiseert omdat hij deelneemt aan een opleiding en bijgevolg niet kan werken (van der Werven, 2001). Ruimer gedefinieerd zijn kosten ook de mate van tevredenheid van de cursist over de gevolgde opleiding (Roede, 2001).
Input -> Output -> Intermediaire outcomes -> Outcomes -> Extern rendement ---------------------------------------------------------------------------------------| Figuur x Relatie tussen extern rendement en de overige begrippen
B. Afbakening begrippen binnen dit IP Extern rendement is hoger gedefinieerd als de verhouding tussen kosten en opbrengsten van onderwijs. We vertalen deze definitie nu naar de specifieke context van HBO5. Binnen HBO5 verwijzen opbrengsten naar de mate van doorstroom naar arbeidsmarkt of vervolgonderwijs. De opbrengsten kunnen dus verschillen tussen diverse HBO5-opleidingen binnen hetzelfde CVO en tussen verschillende CVO's met dezelfde HBO5-opleiding. De kosten voor het volgen van een HBO5 zijn in principe voor iedereen gelijk. Het decreet volwassenenonderwijs (2007) bepaalt dat het inschrijvingsgeld €1 is per gevolgd lesuur. Dit maakt dat de kosten voor het volgen van een HBO5-opleiding gelijk zijn ongeacht het CVO waar de opleiding gevolgd wordt. Over mogelijk andere individuele kosten en de opportuniteitskosten zijn geen gegevens bekend (Ramaekers, 2007). Dit maakt dat de input voor het volgen van een HBO5-opleiding constant blijft. Teruggrijpend naar de oorspronkelijke definitie van extern rendement als een verhouding tussen kosten en opbrengsten (Allen et al., 2005; Hatry & Kopzcynski, 1997; van der Werven, 2001) betekent dit dat binnen HBO5 extern rendement samenvalt met outcomes. We
verkiezen om ons verder te baseren op het CIPO-referentiekader en zullen verder in dit werk dan ook de term 'outcomes' gebruiken in plaats van 'extern rendement'. Gebaseerd op het CIPO-model bedoelen we met output de resultaten die een CVO bij haar cursisten realiseert (Scheerens, 19900). Het kan daarbij gaan om tevredenheid van cursisten of de leerresultaten van cursisten. Outcomes zijn te plaatsen binnen de output van een HBO5opleiding (CIPO-referentiekader van de onderwijsinspectie, n.d.). We vertrekken vanuit het CIPO-model omdat de CVO's hiermee vertrouwd zijn. Tegelijkertijd is het ook linkbaar aan het accreditatiekader.
2. Output, outcomes en EKZ A) CIPO-kader: algemene schets + plaats output en outcomes Het CIPO-model (Scheerens, 1990) is een conceptueel kader dat reeds verschillende jaren gehanteerd wordt door de onderwijsinspectie om onderwijscentra door te lichten. Het CIPOmodel bestaat uit vier componenten: context, input, proces en output. De context omvat de omgevingskenmerken en de kenmerken van administratieve, materiële, bestuurlijke en juridische aard die een instelling karakteriseren. Terwijl input staat voor de kenmerken van het personeel en van de leerlingen/cursisten van de instelling. Het proces omvat initiatieven die een instelling neemt om output te realiseren, rekening houdend met haar context en input. De output ten slotte behelst de resultaten die de instelling met haar leerlingen / cursisten bereikt.
Figuur xx: Het CIPO-model
De sectie uit bovenstaand kader die cruciaal is binnen het kader van dit interdisciplinair project is het outputonderdeel. Output staat immers voor het samenspel van leerprestaties, schoolloopbaan, tevredenheid en outcomes. De leerprestaties zijn de resultaten die de instelling met haar leerlingen/cursisten voor het geheel van de vorming bereikt. Onder schoolloopbaan verstaat de onderwijsinspectie de mate waarin de leerlingen/cursisten het onderwijsprogramma doorlopen binnen de vooropgestelde duur. De mate waarin interne en externe actoren zich positief uitspreken over de instelling en de mate waarin interne actoren zich goed voelen in de instelling situeren zich onder de noemer tevredenheid. Outcomes verwijzen dan weer naar de mate waarin de leerlingen/cursisten doorstromen naar/in het vervolgonderwijs of naar de arbeidsmarkt. Het uitgangspunt van het CIPO-model is de output: Beantwoordt de output aan wat verwacht mag worden? Het proces biedt mogelijke verklaringen voor de output vanuit de instellingskenmerken en de schoolprocessen. De context en de input nuanceren op hun beurt de resultaten en bijhorende processen. Dit IP zoomt, in opdracht van het SNPB, in op het outcomes onderdeel van het CIPO-model. Deze groep omvat zowel gegevens die illustreren in welke mate leerlingen/cursisten doorstromen naar en succes hebben in het vervolgonderwijs, als gegevens die aantonen in welke mate zij doorstromen naar of opstromen binnen de arbeidsmarkt. B) Macrodoelmatigheidstoets en accreditatiekader: algemene schets + plaats output en outcomes HBO5-opleidingen worden extern gecontroleerd door verschillende organen: de Commissie Hoger Beroepsonderwijs en een visitatiecommissie. De Commissie Hoger Beroepsonderwijs
(art. 8, en art. 9, Decreet) geeft advies over de noden aan bepaalde opleidingen (dit snap ik niet zo goed), de studiepunten en benamingen van nieuwe opleidingen. Verder oordeelt de Commissie over de oprichting van een nieuwe opleiding hoger beroepsonderwijs onder vorm van een macrodoelmatigheidstoets. (Zie verder) Eens een opleiding hoger beroepsonderwijs gevormd is, zal het gecontroleerd worden door een accreditatie-orgaan dat de 'toets nieuwe HBO5-opleiding' uitvoert. Hiervoor stellen de Commissie voor Hoger Beroepsonderwijs en de decretale stuurgroep Volwassenenonderwijs een visitatiecommissie samen. Om een HBO5 te kunnen oprichten, moet het voorgestelde programma slagen voor een macrodoelmatigheidstoets. In deze toets bekijkt de Commissie Hoger beroepsonderwijs of de opleiding beantwoordt aan reële behoeften in de maatschappij. (Art. 20, Decreet) Verder wordt nagegaan of o.a. de verwachtingen rond in- en uitstroom van cursisten, de doelgroepen, de werkmiddelen en de expertise overeenkomen met het voorgestelde programma. Ook de samenwerking met het werkveld en hoger onderwijsinstituten met een gelijkaardige opleiding vormt een belangrijk criterium. Volgens art. 25 van het Decreet en art. 93 § 1 van het Structuurdecreet voert het accreditatieorgaan minstens om de acht jaar een visitatie uit. Tijdens deze visitatie wordt het beoordelingskader (hebben we dit al?Ik denk het niet, mag er misschien nog wel in) als uitgangspunt genomen. C) link tussen CIPO-kader, accreditatiekader en macrodoelmatigheidstoets Dit moeten we nog aanvullen ... Accreditatiekader HBO5
CIPO Proces: 1.1 Domeinspecifieke eisen onderwijskundig beleid Proces: 1.2 Niveau onderwijskundig beleid Proces: 2.1 Professionele gerichtheid onderwijskundig beleid Proces: 2.2 Relatie tussen beoogde onderwijskundig leerresultaten en programma beleid Proces: 2.3 Samenhang programma onderwijskundig beleid Input: 2.4 Instroom cursistenkenmerken Proces: 2.5 Studieomvang onderwijskundig beleid
Macrodoelmatigheidstoets
De mate waarin de opleiding gericht is op de beoogde doelgroep(en) De verwachte instroom van de opleiding
2.6 Uitstroom naar andere opleidingen
De verwachte uitstroom van de opleiding Output: outcomes De samenwerking met andere opleidingen Input: personeelskenmerken
3.1 Kwaliteit van personeel Proces: personeelsbeleid Input: personeelskenmerken
De beschikbare expertise in de instelling
3.2 Kwantiteit van personeel Proces: personeelsbeleid Context: inplanting 4.1 Materiële voorzieningen 4.2 Studiebegeleiding en informatievoorziening 5.1 Kwaliteitssysteem
De beschikbare infrastructuur Proces: logistiek beleid Proces: onderwijskundig beleid Proces: algemeen beleid De beschikbaarheid van plaatsen voor werkplekleren
Context??? 5.2 Betrekken van medewerkers, studenten, alumni en beroepenveld
Proces: onderwijskundig beleid
De beschikbare expertise in de instelling De samenwerking met andere opleidingen De samenwerking met de arbeidsmarkt De samenwerking met publieke verstrekkers van beroepsopleidingen voor volwassenen
6.1 Toetsbeleid
6.2 Afsluitende toetsing
7.1 Afstudeergarantie
Proces: onderwijskundig beleid Proces: onderwijskundig beleid Proces: logistiek beleid Proces: onderwijskundig beleid
De beschikbaarheid van middelen om het volledige opleidingstraject te kunnen aanbieden
Input
De beschikbaarheid van middelen om het volledige opleidingstraject te 7.2 Financiële voorzieningen Proces:logistiek beleid kunnen aanbieden D) Output en outcomes in het kader van EKZ Outcomes meten de eigenlijke opbrengsten van de gevolgde HBO5-opleiding. De nauwe verbinding tussen outcomes en de missie van HBO5 (Hatry & Kopzcynski, 1997) maakt het tot de kwaliteitsindicator bij uitstek binnen externe kwaliteitszorg . Getuige hiervan is ook de belangrijke plaats die de overheid aan outcomes toekent binnen de externe kwaliteitszorg van HBO5 (Decreet betreffende het secundair na secundair en het hoger beroepsonderwijs, 2009). De outcomes zijn dus belangrijke kwaliteitsindicatoren in het kader van externe verantwoording. Deze outcomes zijn belangrijk voor de commissie hoger beroepsonderwijs en de NVAO. Zij gebruiken deze resultaten mee in hun oordeel om de opleidingen te erkennen en accrediteren. Hiernaast zijn ook andere externen die zicht willen hebben op de outcome-resultaten. Zo zijn er kandidaat-cursisten (mogelijke klanten) die willen weten hoe groot hun kans is om hun arbeidssituatie te verbeteren door het volgen van de opleiding. Zou iets over knelpuntberoepen en VDAB hier ook kunnen passen als externe? Ik wil hier nog wel verder iets over opzoeken. Output is ... (nog verder aan te vullen) (In hoeverre vullen we hier output nog aan, gezien we ons focussen op outcomes? of staat die keuze nog niet vast?) Hoort hierbij ook het verband tussen interne en externe kwaliteitszorg (cfr. artikel Vanhoof en Van Petegem, cursus KZE)?
3. Output, outcomes en IKZ A) IKZ: algemene schets Kwaliteitszorg verwijst naar het continue proces van systematische zorg voor en beoordeling van onderwijskwaliteit met middelen als kwaliteitsbepaling, -beheersing, -borging, en verbetering binnen een kwaliteitszorgsysteem. Kwaliteitszorg is het geheel van activiteiten dat ondernomen wordt om de kwaliteit van het onderwijs (en de school) te onderzoeken, te borgen, te verbeteren en/of openbaar te maken. Kwaliteitszorg kent dus meerdere functies, die vaak gelijktijdig in het geding kunnen zijn. De belangrijkste functies zijn: - verantwoording afleggen (accountability) - communicatie over de kwaliteit met alle bij de school betrokken personen en groepen - schoolverbetering (improvement)
- het tijdig signaleren van zwakke plekken: early warning system Ignace Van Dingenen (2002-2003) omschrijft kwaliteitszorg vanuit het begrip onderwijskwaliteit. Hij omschrijft onderwijskwaliteit als "het geheel van eigenschappen en kenmerken van het onderwijs dat van belang is voor het voldoen aan de wensen of verwachtingen van de leerlingen, de cursisten, de studenten, de ouders, de overheid, het bedrijfsleven en de samenleving". Kwaliteitszorg verwijst naar het "continue proces van systematische zorg voor en beoordeling van kwaliteit (van onderwijs) met middelen als kwaliteitsbepaling, -beheersing, -borging (verankeren van goede praktijk, n.v.d.r.) en verbetering binnen een kwaliteitszorgsysteem". Kwaliteitszorg moet drie belangrijke functies met elkaar verzoenen: -een systeem ontwikkelen dat in staat is goede praktijken te verankeren, continuïteit te verzekeren en kwaliteit te borgen; -naast stabiliteit is ook dynamiek en verandering van groot belang: kwaliteitszorg moet aanleiding geven tot gerichte, structurele verbetering en innovatie; -kwaliteitszorg dient als basis voor de verantwoording van de overheidsmiddelen: in hoeverre slaagt de instelling er effectief in haar kwaliteit te borgen en permanent te verbeteren?
Jan Saveyn (2002-2003) situeert kwaliteitszorg en het referentiekader voor het onderzoek van de kwaliteit op twee niveaus van schoolfunctioneren. -Zorg voor het primaire proces omvat het verbeteren, vernieuwen of in stand houden van wat op klasniveau een directe steun is voor het realiseren van leer- en opvoedingsdoelen. Bijvoorbeeld: de keuze van werkvormen, de organisatie van het leerinhoudelijk aanbod, de zorg voor het pedagogisch klimaat. -Zorg voor het secundaire proces slaat op de voorwaarden die de school-als-organisatie creëert om het primaire onderwijsproces zo goed mogelijk te realiseren. Bijvoorbeeld: interne schoolleiding, communicatie tussen de verschillende geledingen van de school, personeelsbeleid en professionalisering van het personeel, samenwerking met externe onderwijsondersteuners, enz. Saveyn waarschuwt de scholen zich niet te beperken tot de techniciteit van de screening (doen we de dingen goed?). Het kwaliteitsconcept is immers gebaseerd op de onderwijsvisie, het pedagogisch project van de school (doen we de goede dingen?).
Er is sprake van interne kwaliteitszorg of kwaliteitsmanagement wanneer de activiteiten worden ondernomen door de school zelf. Wanneer de school dit systematisch aanpakt, heeft zij de doelen en activiteiten op het gebied van kwaliteitszorg vastgelegd in een kwaliteitsbeleidsplan. Hierin worden ook de onderscheiden rollen, die alle betrokkenen in het kwaliteitszorgproces spelen, omschreven. De meeste activiteiten die de school onderneemt, zullen het karakter hebben van zelfevaluatie, een proces van kritisch naar zichzelf (laten) kijken door de directe betrokkenen. De resultaten van zelfevaluatie kunnen op gezette tijden
worden vastgelegd in een zelfevaluatierapport. Zelfevaluatie kan aan kracht winnen wanneer de school aan personen van buiten de school vraagt feedback te geven op de onderwerpen waarover de zelfevaluatie handelt of over de zelfevaluatie zelf. Er zijn hiervoor diverse vormen denkbaar: - ad-hoc georganiseerde feedback door kritische vrienden - een door meerdere scholen onderling georganiseerde collegiale visitatie - een mengvorm van de beide voorgaande: een review of assessment - een geheel externe visitatie of audit, waarbij de school een externe commissie om feedback vraagt. Wanneer hierbij uitgaat van de methodiek van een normeringsinstituut, kan de audit leiden tot certificering, bijv. een ISO-certificering. Hoewel er in deze gevallen steeds sprake is van een externe component, spreken we toch van interne kwaliteitszorg omdat het initiatief voor deze vormen nog altijd bij de school zelf ligt. Rudi Schollaert (2002-2003) schetst een kader voor interne kwaliteitszorg in scholen aan de hand van vijf kwaliteitskenmerken. -een focus op het primair leerproces, door het creëren van een krachtige leeromgeving; -de kans voor leraren (en leerlingen) om het verschil te maken en om invloed te hebben op die dingen die hun functioneren bepalen, individueel én collectief; -verbondenheid: alle betrokkenen die samenwerken en elkaar als bondgenoten ondersteunen in hun streven naar een morele meerwaarde in het onderwijs; -reflectie: aansturen op systematische reflectie op de eigen onderwijspraktijk; -lerende organisatie: de school ontwikkelen tot een lerende organisatie, door de gangbare praktijk kritisch te toetsen aan de theorie. B) PDCA Een systeem van kwaliteitszorg kent een aantal vormkenmerken. Hoe meer een door de school toegepast systeem aan deze vormkenmerken voldoet, des te effectiever zal de kwaliteitszorg zijn. Vandaar dat deze kenmerken ook wel succesfactoren genoemd worden. Deze succesfactoren zijn: •
•
•
doelgericht: vaststellen wat het doel is van de kwaliteitszorg in het algemeen (bijv. verbeteren of verantwoorden), maar ook wat het doel is van iedere afzonderlijke activiteit. cyclisch: hiermee bedoelt men dat scholen steeds weer bepalen welke kwaliteit ze willen leveren, nagaan of dat ook het geval is en acties ondernemen om de bereikte kwaliteit te bewaken of te verbeteren. integraal: onder integraliteit verstaan we twee zaken; beide dragen ertoe bij dat de kwaliteitszorg allesomvattend is:
Alle beleidsdomeinen worden in samenhang beoordeeld Alle belanghebbenden worden betrokken bij het in kaart brengen van en beoordelen van de gerealiseerde kwaliteit. systematisch: er is sprake van systematische kwaliteitszorg als de school zijn kwaliteitszorg op een planmatige manier aanpakt. o o
•
Bij het vormkenmerk ‘cyclisch’ neemt de PDCA – cyclus een centrale plaats in de werkwijze van kwaliteitszorg. Dit snap ik niet. De kwaliteitscirkel, waarin de PDCA – cyclus is uitgedrukt, van Deming is een creatief hulpmiddel voor kwaliteitsmanagement en probleemoplossen ontwikkeld door William Edwards Deming. De cirkel beschrijft vier activiteiten die op alle verbeteringen in organisaties van toepassing zijn. De vier activiteiten zorgen voor een betere kwaliteit. Het cyclische karakter garandeert dat de kwaliteitsverbetering continu onder de aandacht is. De vier activiteiten zijn: • • • •
PLAN : Kijk naar de huidige werkzaamheden en stel een plan voor de verbetering van deze werkzaamheden op. Stel voor deze verbetering doelstellingen vast. DO : Voer de geplande verbetering uit in een gecontroleerde proefopstelling. CHECK : Meet het resultaat van de verbetering en vergelijk deze met de oorspronkelijke situatie en toets deze aan de vastgestelde doelstellingen. ACT : Bijsturen a.d.h.v. de gevonden resultaten bij CHECK.
Kern van deze visie is dat elke medewerker aan een (productie-) proces op deze manier in staat is om zijn eigen werkwijze te beoordelen en te verbeteren. De handelingen van de medewerker vormen namelijk een eigen deelproces van het hoger gelegen proces. Management dient de analyse te doen over de hoger gelegen processen, de directie voor de primaire bedrijfsprocessen. B) Geïnformeerde schoolontwikkeling De PDCA-cirkel draagt bij aan het systematisch verbeteren en ontwikkelen van de school (Horsman, 2004). Horsman (2004) noemt deze systematische schoolontwikkeling essentieel om te kunnen spreken van IKZ. Belangrijk daarbij is dat deze schoolontwikkeling geïnformeerd plaatsvindt (Vanhoof, Mahieu & Van Petegem, 2009). Om aan schoolontwikkeling te doen is het immers noodzakelijk dat scholen een zicht krijgen op het eigen presteren. Informatieverzameling maakt doeltreffende controle op het behalen van de eigen doelen mogelijk. Binnen de PDCA-cyclus situeert de informatieverzameling zich dus in de controlefase. Op basis van de verzamelde gegevens kan de school haar eigen beleid doelbewust verder plannen. Essentieel is dat deze gegevensverzameling op een systematische en doordachte manier gebeurt (Vanhoof et al., 2009). Hiertoe moet een school met een aantal aandachtspunten rekening houden. Een eerste belangrijk element is de keuze van het te meten thema. Eenzijdig focussen op bijvoorbeeld leerlingenprestaties is een te enge benadering. Wanneer het over outputindicatoren gaat, zijn er naast deze cognitieve outputmaten nog een aantal andere relevante aspecten: motivatie van leerlingen, zelfvertrouwen, attitudes, ... (Roede, 2001).
Daarnaast heeft een school uiteraard ook informatie nodig over context-, input- en procesvariabelen. Scholen moeten uit de veelheid aan informatie bepalen welke thema's voor hen belangrijk zijn (Vanhoof et al., 2009). Een handig hulpmiddel is hierbij het CIPO-MRMM-ordeningskader (figuur x). Dit model plaatst de benodigde informatie over context, input, proces of output binnen de volgende niveaus: macro- (Vlaamse of internationaal niveau), regio- (lokaal onderwijsniveau), meso(schoolniveau) en microniveau (klasniveau). De informatie die verwijst naar de kern van onderwijs zijn donker gekleurd. Informatie over de lichtergekleurde delen is noodzakelijk om de donkergekleurde delen te ontwikkelen (Vanhoof et al., 2009).
Figuur x Het CIPO-MRMM-ordeningskader (Vanhoof et al., 2009)
Een tweede aandachtspunt bij het doordacht en systematisch aanpakken van de gegevensverzameling zijn de doelen en missie van de school. Geïnformeerde schoolontwikkeling is geen doel op zich, maar een middel om tot schoolontwikkeling te komen. De al dus ontwikkelde kennis moet toepasbaar zijn binnen de school. Dit omschrijft Weggeman (2000, in Vanhoof et al., 2009) als "The proof of the pudding is in the eating". Toegepast op schoolontwikkeling wordt hiermee bedoeld dat praten over schoolontwikkeling niet hetzelfde is als het daadwerkelijk doen. De verzamelde kennis moet dus leiden tot actie in de school (Vanhoof et al., 2009). Ten derde moet een school voor de beoordeling van verzamelde informatie ook steeds rekening houden met verschillende referentiekaders waarbinnen dit mogelijk is. Er zijn hierbij 3 mogelijkheden: de eigen prestaties vergelijken met anderen (normgericht), vergelijken met de eigen verwachtingen (criteriumgericht) of vergelijken met de eigen vorige prestaties (zelfof schoolgericht). In een ideale situatie interpreteert een school de eigen prestaties a.d.h.v. de drie referentiekaders (Vanhoof et al., 2009). Dit is in praktijk niet altijd haalbaar. Niettemin is het belangrijk om steeds goed te weten met welk referentiepunt men vergelijkingen gaat maken (Vanhoof et al., 2009). Een vierde aandachtspunt is geïnformeerde schoolontwikkeling binnen het beleid van de school plaatsen. Om dit effectief te doen zijn er een aantal principes waaraan een school moet trachten te voldoen. Hiermee wordt verwezen naar de acht dragers van een beleidseffectieve school (Vanhoof & Van Petegem, 2006). In het kader van dit IP is vooral het principe van gezamelijke doelgerichtheid van belang. Scholen moeten niet alleen weten waarom ze bepaalde informatie verzamelen. Tegelijkertijd moet ook duidelijk zijn wat er met de resultaten van de verzamelde informatie gaat gebeuren (Vanhoof et al., 2009). Ook het responsief vermogen van de school speelt een rol. Responsiviteit van scholen slaat op de mate waarin scholen in staat zijn om adequaat om te gaan met impulsen uit hun omgeving (Vanhoof & Van Petegem, 2006). De doorstroom naar de arbeidsmarkt en vervolgonderwijs vindt in de externe omgeving van de school plaats. Daarom is het belangrijk dat CVO's effectief op de impulsen van deze externe partijen reageren. Tenslotte is ook de kwaliteit van de verzamelde informatie belangrijk. Deze moet meten wat het zegt te meten. Hierbinnen zijn twee aspecten te onderscheiden. de inhouds- en de
begripsvaliditeit. De inhoudsvaliditeit verwijst naar de mate waarin de indicatoren voor een bepaald thema dat thema voldoende dekken. De begripsvaliditeit verwijst naar de mate waarin een indiciator ook meet wat hij veronderstelt te meten. De gegevens moeten daarnaast ook betrouwbaar zijn en zo efficiënt mogelijk gemeten worden (Vanhoof et al., 2009). Verzamelde informatie moet dus aan de volgende voorwaarden voldoen: voldoende breed zijn, relevant zijn voor de school, binnen eenduidelijk referentiekader te plaatsen zijn, gekoppeld zijn aan het schoolbeleid en kwaliteitsvol zijn. C) Output en outcomes in het kader van IKZ Outcomes zijn niet altijd de meest geschikte indicatoren in het kader van interne kwaliteitszorg. Ten eerste zijn outcomes pas op langere termijn meetbaar (Hatry & Kopzcynski, 1997). De informatie die het meten van outcomes oplevert, is bijgevolg minder relevant voor de HBO5-instelling (Hatry & Kopzcynski, 1997). Daarnaast liggen de outcomes van een HBO5-opleiding niet onder directe controle van de opleiding zelf (Hatry & Kopzcynski, 1997; Ramaekers, 2007). Andere factoren, zoals bijvoorbeeld de situatie op de arbeidsmarkt (Ramaekers, 2007; van der Werven, 2001), beïnvloeden de outcomes van een HBO5-opleiding. Niettemin hebben de outcomes toch een signaalfunctie hebben. Een slechte score op bijvoorbeeld doorstroom naar arbeidsmarkt kan scholen ertoe aanzetten om gerelateerde outputindicatoren nader te bekijken (Ramaekers, 2007). Bepaalde aspecten van de output, zoals bijvoorbeeld de tevredenheid van cursisten (Kaders HBO, 2010) vinden een plaats binnen de interne kwaliteitszorg van HBO5 (Kaders HBO, 2009). In het kader van interne kwaliteitszorg biedt output de nodige voordelen t.o.v. outcomes. Output is eerst en vooral vaak sneller meetbaar dan de outcomes. Dit levert tijdige informatie op die de HBO5-opleiding kan gebruiken om knelpunten aan te pakken (Hatry & Kopzcynski, 1997). Tegelijkertijd hebben HBO5-opleidingen vaak ook meer vat op de output (Hatry & Kopzcynski, 1997). Dit maakt dat de HBO5-opleiding ook zelf stappen kan ondernemen om eventuele werkpunten aan te pakken. Beide aspecten bieden dus bepaalde voordelen binnen respectievelijk EKZ en/of IKZ. Daarom kiezen we er binnen dit IP voor om naast de outcomes van HBO5-opleidingen ook een aantal andere outputindicatoren op te nemen.
4. Indicatoren: een stand van zakenen outcomes Literatuur A) Algemeen Hier kan misschien uitleg komen over dat schemaatje in je boek, Laurence (concept, dimensies, subdimensies, indicatoren). Ik denk dat dat gaat helpen om structuur in de tekst te krijgen. Een prestatieindicator geeft informatie over een bepaald aspect van de huidige prestatie van een school. Een indicator geeft een beeld van de prestatie van een school, zonder daarbij de hele prestatie van een school in beeld te brengen. Een indicator is m.a.w. een proxy voor de kwaliteit van een school i.p.v. een directe meting van die kwaliteit (Hulpia, 2004). Aansluitend bij het belang van prestatieindicatoren voor schoolontwikkeling (zie punt ...)
stellen Olthof, Emmerik en Satter (n.d.) dat een indicatorenstelsel de gebruiker moet aangeven of er actie moet ondernomen worden. Als een stelsel wordt opgestart, zijn een aantal aspecten van belang: de doelstellingen, de kwaliteit en de organisatiestructuur- en cultuur van de school. Een onderwijsindicatorenstelsel werkt voornamelijk in een open schoolcultuur, waarin leerkrachten hun professionele kwaliteit kunnen verbeteren. Het is binnen dit IP dus belangrijk om een indicatorenstelsel te ontwikkelen dat rekening houdt met de specifieke context van HBO5 (is meteen ook verantwoording voor focusgroepen).
B) dimensie 1: doorstroom naar de arbeidsmarkt Nederland monitort systematisch de doorstroom van schoolverlaters van alle onderwijsniveaus die anderhalf jaar (Ramaekers, 2007) afgestudeerd zijn. De resultaten van de monitor geven op macroniveau inzicht in het transitieproces van school naar werk. Tegelijkertijd helpen de resultaten om de kwaliteitszorg van scholen vorm te geven. Om maximale vergelijkbaarheid te garanderen tussen de onderwijsniveaus bevat de monitor voor de verschillende onderwijsniveaus dezelfde kernvragenlijst. De onderzoeken worden ook op dezelfde manier uitgevoerd (van der Werven, 2001). De in Nederland gehanteerde indicatoren meten drie basisfuncties van onderwijs in het kader van doorstroom naar de arbeidsmarkt en het extern rendement van opleidingen (van der Werven, 2001). Binnen de dimensie 'doorstroom naar de arbeidsmarkt' maakt men onderscheid tussen vier voor dit IP relevante subdimensies. De eerste drie subdimensies verwijzen naar de mate waarin opleidingen cursisten voldoende voorbereiden op deelname aan de arbeidsmarkt. Om dit te bereiken moeten ze hen uitrusten met de benodigde competenties (kwalificatiefunctie). Volgens Ramaekers (2007) is dit een absolute voorwaarde om ook de twee andere functies te kunnen meten. Naast de kwalificatiefunctie moeten opleiding ook beoordelen of cursisten de noodzakelijke competenties bezitten (selectiefunctie) en hen adequaat toeleiden naar de arbeidsmarkt (allocatiefunctie). Bij allocatie speelt beroepskeuzevoorlichting speelt een belangrijke rol. Bij de doorstroom naar de arbeidsmarkt dient steeds rekening gehouden te worden met de situatie op de arbeidsmarkt (Ramaekers, 2007, van der Werven, 2001). Het Nederlandse model onderscheidt hierbij per functie een aantal indicatoren (Allen, 2006; van der Werven, 2001): •
•
•
kwalificatie (antwoorden op een 5-puntschaal, gemiddelde score = eindbeoordeling kwalificatie) o opleiding voldoende basis om te starten op arbeidsmarkt o opleiding voldoende basis om competenties verder te ontwikkelen o opleiding voldoende breed o opleiding voldoende diepgang selectie (gemiddelde score = eindbeoordeling selectie) (schaal perceptiemeting studenten hieromtrent in Ramaekers, 2007) o cijfertoekenning voldoende streng (o.b.v. vergelijking van gemiddelde eindexamencijfer SO versus gemiddeld eindexamencijfer HO) o opleiding voldoende zwaar (5-puntschaal) o oordeel van wijze van toetsen en beoordelen (10-puntschaal) o opleiding opnieuw kiezen (4 keuzemogelijkheden) allocatie (gemiddelde score = eindbeoordeling selectie) o tevreden over beroepsvoorlichting (10-puntschaal)
o o o o o
functieniveau past bij opleidingsniveau (5 keuzemogelijkheden, procentueel aantal keuze 1/2) functierichting sluit aan bij opleiding(, gemeten a.d.h.v. vereiste eigen of verwante opleidingsrichting (Ramaekers, 2007, blz. 26)) voldoende/goede aansluiting opleiding-werk (4 keuzemogelijkheden) voldoende benutting van capaciteiten (5-puntschaal) tevreden met huidige functie (5-puntschaal)
De vierde subdimensie is het extern rendement van opleidingen. Hiermee wordt de verhouding tussen kosten en opbrengsten van deelname aan de opleiding bedoeld (van der Werven, 2001). Bij de meting van het extern rendement moet niet alleen steeds rekening gehouden worden met beïnvloedende factoren zoals de economische situatie (Ramaekers, 2007). Daarnaast worden ook enkel de opbrengsten op korte termijn in kaart gebracht (Ramaekers, 2007). Over de totale opbrengsten over een ganse levensloop van deelname aan een opleiding bestaat geen data. Extern rendement wordt in Nederland dus gemeten als opbrengsten op korte termijn (Ramaekers, 2007). Dit gebeurt a.d.h.v drie indicatoren. De eerste indicator peilt naar de arbeidsmarktparticipatie en kansen op werk van schoolverlaters (Ramaekers, 2007). In de eerste plaats peilt men hier naar het percentage werklozen, berekend in vergelijking met percentage schoolverlaters die zich aanbieden op de arbeidsmarkt. De intredewerkloosheid is eveneens opgenomen in de meting. Ook de mate van werkzekerheid valt onder deze indicator (Allen, 2006; Ramaekers, 2007). De tweede indicator 'beloning' vergelijkt het bruto uurloon met het te verwachten inkomen op basis van opleidingsniveau. Hierbij wordt rekening gehouden met het aantal te presteren arbeidsuren. Ook het bruto maandloon van de schoolverlaters wordt in kaart gebracht (Ramaekers, 2007). De laatste indicator 'carrièremogelijkheden' meet hoe schoolverlaters hun kansen op promotie inschatten (Allen, 2006). De subdimensies worden op volgende manier omgezet in indicatoren (Allen, 2006; Ramaekers, 2007): •
extern rendement o werkloosheid (al dan niet betaald werk, op zoek naar werk, gemiddelde arbeidsuren in hoofdfunctie en nevenfunctiesd, tijd werkloos voor eerste baan, werkzekerheid) o bruto uurloon (volgens contracturen in hoofdfunctie, gemiddelde arbeidsuren in hoofdfunctie en nevenfuncties) o voldoende carrièremogelijkheden
C) Indicatoren m.b.t. doorstroom naar het vervolgonderwijs De Nederlandse monitor brengt ook de professionalisering van schoolverlaters na hun opleiding in kaart (Ramaekers, 2007). Binnen de dimensie professionalisering' onderscheidt men in Nederland twee subdimensies: doorstroom naar vervolgonderwijs en deelname aan scholing. De subdimensie 'doorstroom naar vervolgonderwijs' meet de volgende indcatoren: deelname aan vervolgodnerwijs en niveau van deze vervolgopleiding. Onder deelname aan scholing verstaat men deelname aan een cursus en/of bedrijfsopleiding om de eigen kennis en vaardigheden verder te ontwikkelen (Ramaekers, 2007).
Figuur x Indicatoren outcomes
5. Hoe worden outcomes extern rendement nu reeds gemeten? Output Hieronder staat nu een zeer beperkte omschrijving van output en outcome + items uit onderzoek Nederland. In de VO-monitor VO (2009) voor Havo en/of Vwo (Nederland) onderscheidt men 6 aspecten, waarvoor meerdere indicatoren zijn ontwikkeld. De schuingedrukte tekst is een mogelijke aanvulling omdat het bij ons over HBO5 gaat. Hier ook de gegevens van de interviews met UA, Plantijn, Plantijn, KdG en KHK onder zetten. Wat zijn de belanghebbenden van extern rendementsmeting? Zoals het EFQM-kader kader duidelijk zichtbaar maakt, zijn er heel wat belanghebbenden betrokken bij een opleiding. Enerzijds zijn er de interne belanghebbenden: • •
Beleid: directie, rectie, coördinatoren, verantwoordelijken kwaliteitszorg Medewerkers: docenten, secretariaatsmedewerkers, bibliotheekpersoneel, studiebegeleiders...
Anderzijds zijn er een heel aantal externe belanghebbenden • • •
•
Cursisten Werkveld, inclusief afgestudeerden Partners: andere onderwijsinstellingen (binnen(binnen en buitenland), andere partners in de omgeving van de school (bv. andere gebruikers van de schoolgebouwen, cultuursector...) Overheid
De belangrijkste belanghebbende is de klant bij uitstek van een opleiding: de cursist. Hiernaast zijn natuurlijk de andere belanghebbenden belangrijk. De cursist kan heel tevreden zijn over een opleiding; maar als het werkveld niet tevreden is, kan men zich ernstig vragen stellen over de kwaliteit van de opleiding. Het is dan ook ook nodig om rekening te houden met de verschillende belanghebbenden en hen ook actief te betrekken bij het kwaliteitsbeleid van de opleiding. Ook het accreditatiekader vraagt dit expliciet ( namelijk facet 5.2: Betrekken van medewerkers, studenten, alumni en e beroepenveld) (NVAO, 2010). Dit IP concentreert zich vooral op de alumni en deels ook op de cursist (vanuit een perceptiemeting over de opleiding) en het werkveld (alumni die ondertussen deel uitmaken van dit werkveld).
Opmerking (vond niet direct een andere plaats om dit te zetten): voor ontwikkelen vragenlijst evenwicht tussen gesloten (kwantitatieve) vragen en meer open (kwalitatieve) vragen in de gaten houden. Bij heel wat bestaande vragenlijsten zitten heel wat open vragen. Eventueel ook in testfase iets meer open vragen stellen, zodat er "voor echt" een gesloten (meerkeuze)vraag van kan worden gemaakt... dit stukje hoort eerder bij keuze voor bepaald instrument, denk ik Volgens het Structuurdecreet (2003) moeten de inrichters van een opleiding interne kwaliteitszorg uitvoeren. Zij moeten bewijzen voorleggen aan de visitatiecommissie die als extern orgaan de kwaliteit ervan nagaat. Art. 58. [§ 1. De accreditatie van een opleiding is afhankelijk van de aanwezigheid van voldoende generieke kwaliteitswaarborgen om de in § 2 bedoelde doelstellingen te bereiken. De generieke kwaliteitswaarborgen betreffen: 1° de onderwijsinhoud, dit omvat in ieder geval de aard en het niveau van het onderwijs, voldoende samenhang in het opleidingsprogramma, de studielast en een duidelijke relatie tussen de doelstellingen en de inhoud van het opleidingsprogramma; 2° het onderwijsproces, dit omvat in ieder geval een voldoende afstemming tussen de vormgeving van het onderwijs en de inhoud, voldoende studiebegeleiding en inzichtelijke beoordeling en toetsing van het onderwijs; 3° de uitkomst van het onderwijs, dit omvat in ieder geval voldoende maatschappelijke relevantie van de bereikte eindkwalificaties van afgestudeerden van de opleiding en voldoende rendement van de opleiding; 4° de materiële voorzieningen, de kwaliteit van het personeel, de organisatie en de interne kwaliteitszorg; 5° de methoden die bij de zelfbeoordeling worden gehanteerd; deze hebben in ieder geval betrekking op demogelijkheid de opleiding te vergelijken met andere opleidingen en op een internationaal beoordelingskader. Specifiek voor Centra voor Volwassenenonderwijs bestaat een kwaliteitszorgsysteem uit zeven aspecten (Decreet Volwassenenonderwijs, nog opzoeken): . organisatie van het onderwijsaanbod 2. leertrajectbegeleiding op niveau van individuele cursist 3. uitvoering van andere onderwijsopdrachten en -bevoegdheden 4. organisatie en beheer van de instelling zodat de doelstellingen behaald kunnen worden 5. behandeling van cursisten en personeelsleden met respect voor hun rechten en plichten 6. uitvoering van administratieve en organisatorische opdrachten en bevoegdheden 7. permanente vorming van het personeel
Uit 4° van dit artikel blijkt dat instituten interne kwaliteitszorg moeten uitvoeren. Tijdens de visitaties moeten de onderwijsinstituten hun kwaliteitszorgresultaten voorleggen aan de visitatiecommissie.
