Kwaliteitspercepties van de toezichthouder versus kwaliteitspercepties in het veld

Congres Toezicht en Wetenschap 2011

Thema sessie 4

Kwaliteitspercepties van de toezichthouder versus kwaliteitspercepties in het veld. Een vignetstudie in en rond het mbo onderwijs Drs. Margriet van der Sluis (Universiteit Maastricht & Inspectie van het Onderwijs)

Onderwerp en vraagstelling Een van de voorwaarden voor effectief toezicht is de herkenning en erkenning vanuit het veld voor het beleid van de overheid en de daaruit voortvloeiende normen (Ministerie van Justitie, 2006). Ook voor andere onderdelen van het toezicht is het voor de toezichthouder belangrijk om te weten op welke punten ideeën gedeeld worden en op welke minder. In deze studie gaan we na in hoeverre ideeën over onderwijskwaliteit van de toezichthouder verschillen van die in het onderwijsveld zelf. We doen dit in het beroepsonderwijs omdat juist daar het stellen van eenduidige normen voor kwaliteit niet eenvoudig is; er worden ongeveer 1200 opleidingen aangeboden die elk opleiden voor een ander beroep. De onderzoeksvraag die we willen beantwoorden is: Hoe maken inspecteurs afwegingen tussen verschillende aspecten van kwaliteit van beroepsonderwijs en in hoeverre verschillen deze afwegingen van die van studenten, ouders, docenten en werkgevers? Theoretisch kader Voor de toezichthouder is het belangrijk om te weten waar men in het veld waarde aan hecht en op welke punten dit wel of niet overeenkomt met het eigen waarderingskader. Dit belang komt op meerdere onderdelen van het toezichtproces terug. Allereerst op het gebied van effectiviteit van regelgeving. De overheid wil veranderingen in de samenleving teweegbrengen en bestaande kwaliteit handhaven en stelt hiertoe regels en normen. De mate van naleving van deze regels en normen is echter afhankelijk van de mate waarin ze herkend en erkend worden door de doelgroep. Bij een (ervaren) redelijkheid van het door de overheid voorgestane beleid is de doelgroep eerder bereid zich in te zetten voor verbeteringen (Ministerie van Justitie, 2006). De toezichthouder doet er bij handhaving dus goed aan de regelgeving zorgvuldig op te stellen en de opinie van de doelgroep in acht te nemen. Voorts is er een belangrijke ontwikkeling gaande naar wat Braithwaite het ‘responsieve toezicht’ noemt; het toezicht waarin toezichthouders hun interventies afstemmen op de capaciteit van een onderneming of branche om zichzelf te reguleren. Daarbij is het de kunst om verschillende reguleringsstijlen toe te passen: in sommige gevallen is het nodig om als toezichthouder hard op te treden, in andere gevallen is het effectiever om de onder toezicht gestelde organisatie zelf (delen van) problemen te laten oplossen (Van Erp, 2008;, Braithwaite, 2007; Aires, 1992, ). Bij het afstemmen is het wel essentieel om te weten of dat jij wat jij als toezichthouder voor ogen hebt als doel, ook gedeeld wordt in het veld. Janssens (2005) wijst bijvoorbeeld op de problematische verhouding tussen zelfevaluaties van scholen en het externe toezicht op scholen, vanwege verschillen in het doel, de inhoud en de werkwijze van interne respectievelijk externe evaluatie en verantwoording. Responsief toezicht kan alleen maar effectief zijn als het veld in het interne toezicht naar dezelfde zaken kijkt als de toezichthouder in het externe toezicht. De toezichthouder kan dus meer succes kan boeken als ze op de hoogte is van hoe er in het maatschappelijk veld gedacht wordt en op welke punten ze het eens dan wel oneens zijn.

Vide & TU Delft | 21 en 22 juni 2011

www.ToezichtenWetenschap.nl

1


Thema sessie 4

In deze studie zijn de percepties van zowel de toezichthouder (inspecteurs) als het maatschappelijk veld (studenten, ouders, docenten, werkgevers) van een aantal mbo opleidingen in kaart gebracht. Dit is gedaan met de vignetmethode, omdat deze methode uitgaat van het relatieve belang van verschillende aspecten van een product. Je kunt op deze manier niet alleen zien wat mensen belangrijk vinden maar ook welke afwegingen ze maken als ze voor een keuze staan. In de volgende alinea’s wordt beschreven hoe deze methode is toegepast en welke resultaten het heeft opgeleverd. Methode De kwaliteit van het beroepsonderwijs is voor de studie vertaald in negen kwaliteitsaspecten van een opleiding. Deze kwaliteitsaspecten zijn opgehangen aan de verschillende doelen die het mbo wettelijk na moet streven. Het mbo dient studenten niet alleen toe te rusten met een praktische en theoretische voorbereiding voor het beroep maar moet ook bijdragen aan de basisvaardigheden en het maatschappelijk functioneren van studenten. In een theoretische voorstudie zijn verschillende kwaliteitsaspecten geselecteerd die bij het toewerken naar deze verschillende doelen volgens de theorie een rol lijken te spelen. Dit zijn zowel aspecten van het proces (hoe is het onderwijs in gericht?) als van het product (waar leidt het onderwijs toe?), en beide zijn daarom opgenomen in de studie1. Zoals eerder genoemd is voor het meten van het belang van deze kwaliteitsaspecten voor de respondenten gebruik gemaakt van een vignetopdracht. Bij de vignetmethode, of conjoint analysis (Biesma, 2006; Jeffries, 2005; de Wolf, 2000, Green, 1990) waardeert de respondent in plaats van afzonderlijke aspecten het gehele product, en geeft de onderzoeker zo de kans het relatieve belang van de aspecten te achterhalen. De methode wordt daardoor realistischer genoemd dan de meer traditionele vragenlijst; in het echte leven staan aspecten immers ook niet los van elkaar en maken we ook gebruik van afwegingen. De respondenten moesten (hypothetische) opleidingen ranken, op basis van de steeds wisselende waarden per kwaliteitsaspect. In tabel 1 zijn de 9 kwaliteitsaspecten te zien, met de waarden die konden voorkomen. De meeste kwaliteitsaspecten konden variëren tussen twee waarden. Het aantal gediplomeerden, het aantal lesuren en het aantal uren begeleiding bij de beroepspraktijkvorming (stage) hadden drie mogelijke waarden. Tabel 1. De 9 gebruikte kwaliteitsaspecten met bijbehorende mogelijke waarden Kwaliteitsaspecten Waarde 1 Tussenwaarde Product 1 Oordeel werkgevers over 6.5 beroepsvaardigheden van studenten 2 Aantal gediplomeerde studenten 7 op de 10 8 op de 10 3 Gemiddeld eindcijfer studenten taal 6.5 Proces 4 Aandacht voor burgerschap Wel 5 Aantal lesuren 15 20 6 Uitdaging Uitdagend 7 Structuur Structuur 8 Begeleidingsuren stage vanuit school 1 uur p. maand 5 uur p. maand 9 Oordeel studenten over docenten 6.5 -

1

Waarde 2 8.0 9 op de 10 8.0 Niet 25 Makkelijk Vrijheid 10 uur p. maand 8.0

Voor een volledige verantwoording van de keuze van deze aspecten zie Van der Sluis, 2011



2


Thema sessie 4

De vignetopdracht was een digitale opdracht. In onderstaande figuur is een voorbeeld te zien van wat de respondenten uiteindelijk op hun computerscherm te zien kregen. Iedere opleiding bestaat uit een score op de 9 kwaliteitsaspecten. De scores werden toegewezen door de computer op basis van een toewijzingsschema, waarin bijvoorbeeld was vastgelegd dat een waarde niet 4 keer hetzelfde kon zijn per vignetopdracht. Figuur 1. Schermafbeelding van de vignetopdracht

De vignetstudie is afgenomen bij studenten, docenten en aan de opleiding gelieerde werkgevers van drie mbo-opleidingen in de beroep opleidende leerweg (BOL) van het mbo: • Sociaal Pedagogisch Werk, niveau 4 • Middenkaderfunctionaris Bouw, niveau 4 • Administrateur, niveau 4. Vervolgens zijn de mbo-inspecteurs van de Inspectie van het Onderwijs benaderd. In totaal hebben bijna 600 respondenten deelgenomen aan het onderzoek, als volgt verdeeld over de groepen: 334 studenten; 66 ouders; 63 docenten; 77 werkgevers en 36 inspecteurs. Bij het selecteren van de studenten is rekening gehouden met achtergrondkenmerken. Docenten en werkgevers zijn via de studenten benaderd, en dus geen representatieve groep. Van de inspecteurs heeft 86% meegewerkt met het onderzoek. Resultaten In tabel 1 zijn de resultaten van de vignetstudie bij de inspecteurs te zien, met in de linkerkolom de 9 kwaliteitsaspecten en in de rechterkolom de gewichten (of coëfficiënten). De gewichten geven weer hoe belangrijk dat kwaliteitsaspect was bij het ranken van de verschillende hypothetische opleidingen. Een hoog gewicht betekent dat de inspecteurs vaak kozen voor een opleiding waarin dit kwaliteitaspect een hoge waarde kreeg (bijvoorbeeld een hoog rapportcijfer bij het oordeel van werkgevers over de beroepsvaardigheden van studenten). Een laag gewicht betekent dat de inspecteurs weinig rekening hebben gehouden met dit aspect. De inspecteurs blijken drie aspecten Vide & TU Delft | 21 en 22 juni 2011


3


Thema sessie 4

relatief zeer belangrijk te vinden, waarvan twee het product van het onderwijs beschrijven: het oordeel van de werkgevers over de beroepsvaardigheden van studenten, uitdaging en het diplomaresultaat van de opleiding. Het oordeel van de student over de docent en de aandacht voor burgerschap zijn ook belangrijk voor de inspecteurs. Minder belangrijk vinden ze het aantal uren begeleiding bij de stage. Tabel 1. De 9 kwaliteitsaspecten met hun gewicht voor inspecteurs Kwaliteitsaspect Product Oordeel werkgevers over beroepsvaardigheden van studenten Aantal gediplomeerde studenten Gemiddeld eindcijfer studenten taal Proces Aandacht voor burgerschap Aantal lesuren Uitdaging Structuur Begeleidingsuren stage vanuit school Oordeel studenten over docenten

Gewicht 1,12 0,96 0,39 0,47 0,36 1,02 0,40 0,09 0,52

De volgende stap is te meten in welke mate de kwaliteitsperceptie van de inspecteurs zoals gemeten in deze studie overeenkomen met de percepties van de respondenten in het veld. In tabel 2 zijn de resultaten van de studenten, ouders, docenten en werkgevers naast die van de inspecteurs weergegeven. De drie belangrijkste kwaliteitsaspecten zijn per groep gearceerd. Tabel 2. Het gewicht van 9 kwaliteitsaspecten van het mbo voor inspecteurs, studenten, ouders, docenten en werkgevers. De top-3 van belangrijkste aspecten is voor iedere groep gearceerd. Kwaliteitsaspect Inspecteurs Werkgevers Docenten Ouders Studenten Product Oordeel werkgevers over 1,12 0,80 0,66 0,58 0,32 beroepsvaardigheden van studenten Aantal gediplomeerde studenten 0,96 0,22 0,16 0,37 0,50 Gemiddeld eindcijfer studenten taal 0,39 0,32 0,23 0,36 0,25 Proces Aandacht voor burgerschap 0,47 0,51 0,41 0,60 0,19 Aantal lesuren 0,36 0,52 0,54 0,36 0,17 Uitdaging 1,02 0,80 0,61 0,24 0,24 Structuur 0,40 0,40 0,81 0,60 0,14 Begeleidingsuren stage vanuit school 0,09 0,46 0,21 0,29 0,23 Oordeel studenten over docenten 0,52 0,03 -0,01 0,08 0,25

De top-3 belangrijkste aspecten ziet er voor elke groep anders uit. De aan de opleidingen gelieerde werkgevers vinden net als de inspecteurs hun eigen (fictieve) oordeel over de beroepsvaardigheden van de studenten belangrijk. Ook vinden zij net als de inspecteurs uitdaging belangrijk. Minder belangrijk vinden zij echter het aantal gediplomeerde studenten. Docenten vinden met name structuur belangrijk. Het aantal gediplomeerden vinden zij niet belangrijk, hierin wijken zij net als de werkgevers af van de inspecteurs. Ook het (fictieve) oordeel van de student op het functioneren van Vide & TU Delft | 21 en 22 juni 2011


4


Thema sessie 4

de docenten speelt, in tegenstelling tot bij de inspecteurs, nauwelijks een rol bij hun idee van kwaliteit. Bij de ouders komen drie aspecten naar voren als belangrijk: het oordeel van werkgevers, aandacht voor burgerschap en structuur. De groep studenten heeft één duidelijke winnaar, het diplomaresultaat van de opleiding. Dit is voor hen het allerbelangrijkste aspect. Studenten laten over het algemeen lagere coëfficiënten zien dan de andere groepen, en inspecteurs juist hogere. Waarschijnlijk zijn studenten onderling meer verdeeld in wat ze belangrijk vinden en zijn ze individueel ook minder waardevast (dit is onderwerp van een volgende studie). Inspecteurs hebben een hoge mate van overeenstemming met elkaar. Opvallend is dat het oordeel van werkgevers over de beroepsvaardigheden bij alle groepen in de top-3 zit. In figuur 2 zien we de resultaten van de inspecteurs en de andere groepen nog een keer in beeld. De resultaten zijn nu in een staafdiagram weergegeven, zodat per aspect de verschillen en overeenkomsten duidelijk te zien zijn. Figuur 1. Het belang dat inspecteurs, werkgevers, docenten, ouders en studenten hechten aan 9 aspecten voor de kwaliteit van het mbo onderwijs.

Oordeel werkgevers

Diploma resultaat

Eindcijfer taal

Aandacht voor burgerschap

Inspecteurs Werkgevers Docenten

Aantal lesuren

Ouders Studenten Uitdaging

Structuur

Begeleiding bij stage

Oordeel student over docent 0

0,2

0,4

0,6

0,8

1

1,2

Als het gaat om verschillen of juist overeenkomsten tussen de inspecteurs en de verschillende groepen in het veld valt een aantal dingen op. Zoals al te zien was in tabel 1 zijn de twee output



5


Thema sessie 4

maten ‘oordeel werkgevers’ en ‘diplomaresultaat’ relatief zeer belangrijk voor de inspecteurs. De eerste, het oordeel van werkgevers, wordt ook in het veld in hoge mate herkend als een belangrijke indicator. De tweede, het diplomaresultaat, ligt wel in lijn met de studenten (voor studenten het allerbelangrijkste) maar ouders, docenten en werkgevers vinden dit een stuk minder belangrijk. Ook op een ander punt ligt de inspectie meer op één lijn met de studenten dan met de andere groepen: het oordeel van de student over de docent. Ouders, docenten en werkgevers zien dit niet als een belangrijke indicator van onderwijskwaliteit. Op twee punten scoren inspecteurs gemiddeld lager dan het veld: burgerschap en structuur. Voor docenten is structuur de allerbelangrijkste indicator van onderwijskwaliteit. Ouders vinden dit ook erg belangrijk, en daarnaast vinden zij burgerschap erg belangrijk. Twee aspecten waar zowel bij de inspecteurs als bij de overige groepen niet hoog op is gescoord maar die ook niet wegvallen zijn eindcijfer taal en het aantal lesuren. Discussie De studie brengt in beeld dat spelers in het onderwijsveld gemeenschappelijke waarden hebben maar ook verschillende afwegingen maken als het gaat om onderwijskwaliteit. Dit leidt tot enkele relevante aandachtspunten voor toezichthouders die hieronder aan bod komen. Inzicht in deze percepties op kwaliteit kan de toezichthouder gebruiken om eigen werk te evalueren (worden de prioriteiten van de inspectie herkend en gedeeld?). → Maak (verschillen in) kwaliteitspercepLes van de betrokkenen zichtbaar Er wordt vaak gesproken over verschillen in perspectief tussen de toezichthouder en de onder toezicht gestelde (zie bijvoorbeeld Janssens, 2005). Hoe deze verschillen er concreet uit kunnen zien wordt echter niet vaak duidelijk, en daarin worden veel aannames gedaan. Deze studie maakt afwegingen van verschillende betrokkenen zichtbaar, en daarmee wordt ook duidelijk dat deze niet altijd zijn wat we verwachten. Een voorbeeld hiervan is het belang van de aandacht voor burgerschap in het mbo, wat aanzienlijk een hoger belang kreeg in het veld dan verwacht. Een ander punt is het oordeel van de student over de docent wat door inspecteurs wel als belangrijk gevonden wordt maar niet door het veld. →Besteed in het toezicht aandacht aan aspecten waarvoor brede grond is bij alle betrokkenen Er zijn indicatoren die in hoge mate herkend worden als kwaliteitsindicator. In deze studie is het meest in het oog springende indicator het oordeel van werkgevers. Dit aspect scoorde voor alle groepen een gewicht in de top 3. Op dit moment is dit echter nog geen indicator waar de Inspectie in de praktijk van het toezicht mee werkt. Het ligt voor de hand om te verkennen wat de mogelijkheden daarvoor zijn. → Denk goed na over aspecten die je als toezichthouder belangrijk vindt maar waar bij het veld minder prioriteit ligt Het diplomaresultaat van mbo opleidingen blijkt voor de inspecteurs een van de belangrijkste indicatoren voor kwaliteit te zijn, maar in het veld wordt dit niet door iedereen zo gezien. Met name bij de docenten krijgt dit geen prioriteit. Zorg er in dergelijke gevallen voor dat deze aspecten goed uitgedacht zijn en dat inspecteurs ze goed kunnen uitleggen bij de uitvoering van toezicht. Wat is de redenering achter het gebruik van de indicator?



6


Thema sessie 4

→ Verlies aspecten met een hoog belang in het veld niet uit het oog Sommige aspecten worden in het veld heel belangrijk gevonden worden maar krijgen bij de toezichthouder minder hoge prioriteit. Voorbeelden hiervan zijn de aspecten structuur en begeleiding bij stage die bij de inspecteurs een minder hoog belang kregen. Dit hoeft niet verkeerd te zijn, maar kunnen tegelijkertijd niet uit het oog worden verloren, want dit zijn aspecten waar voor de betrokkenen wel prioriteit ligt. Dit soort aspecten zouden wellicht wel input kunnen zijn voor themaonderzoeken, of bij uitgebreider onderzoek aan bod kunnen komen. → Verwar meetbaarheid niet met prioriteit In het onderzoek zijn zowel product als procesaspecten meegenomen. Een groot verschil tussen deze twee is dat het product vaak beter in cijfers om te zetten is en dus beter te meten. Wat echter ook blijkt uit de studie is dat productaspecten niet altijd de hoogste prioriteit krijgen als het gaat om kwaliteit. Meetbare gegevens kunnen nuttige en interessante informatie bieden maar dit hoeven daarmee niet meteen de belangrijkste gegevens zijn. Pas dus op met deze ook gelijk een hoge prioriteit te geven. In het onderwijs zijn studieresultaten een belangrijke indicator. Dit blijkt ook uit de studie: voor de studenten de meest belangrijke indicator in de studie en ook door inspecteurs als belangrijk aangemerkt. Het is echter ten eerste niet de enige belangrijke indicator (oordeel van werkgevers blijkt minstens zo belangrijk voor de respondenten te zijn) en niet voor alle groepen een kwaliteitsindicator van belang (het scoort laag bij docenten). Een dergelijke relatief eenvoudig meetbare indicator kan andere ook belangrijke indicatoren in de schaduw zetten.

Ayres, I., Braithwaite, J. (1992) Responsive regulation: transcending the deregulation debate. Oxford: Oxford University Press. Biesma, R., Pavlova, M., van Merode, G., Groot, W. (2006). Using conjoint analysis to estimate employers preferences for key competencies of master level. Economics of Education Review (26), 375 – 386. Braithwaite, J., Coglinaese, G. Can regulation and governance make a difference? (2007). Regulation and Governance, (1), 1, 1-7. Green, P., Srinivasan, V. (1990). Conjoint analysis in marketing: New Developments with Implications for Research and Practice. The journal of Marketing 54, 3-20. Janssens, F.J.G. (2005). Toezicht in discussie. Over Onderwijstoezicht en Educational Governance. Rede uitgesproken aan de faculteit Gedragswetenschappen van de Universiteit Twente op donderdag 29 september 2011. Jeffries, C. & Maeder, D.W. (2005) Using vignettes to build and assess teacher understanding of instructional strategies. The professional educator 27 (1&2), 17-28. Leeuw, F., Willemsen, F. (2006). Toezicht en inspectie; trends, kosten en baten. NJB, nr. 37, p. 21082116. Sluis, M van der (2011). What matters to VET quality. Gepresenteerd op AERA conferentie, New Orleans. Sparrow, M. (2000). The regulatory craft, controlling risk; solving problems, and managing compliance. Cambridge (MA), Cambridge University Press. de Wolf, I. (2000). Opleidingsspecialisatie en arbeidsmarktsucces van sociale wetenschappen. Doctoral thesis, Utrecht University. Vide & TU Delft | 21 en 22 juni 2011


7

Kwaliteitspercepties van de toezichthouder versus kwaliteitspercepties in het veld

Recommend Documents