110509 ORD2011 #359
Effectieve Kwaliteitszorg vereist een Kwaliteitscultuur Een kwalitatief onderzoek naar opvattingen, percepties en waarden van stafdocenten. Paper gepresenteerd tijdens ORD2011 Jan Kleijnen Diana Dolmans Jos Willems Hans van Hout1
Abstract
Deze studie onderzoekt overeenkomsten en verschillen tussen drie opleidingen met een effectieve en drie met een minder effectieve kwaliteitszorg. Welke opvattingen en percepties over kwaliteit, kwaliteitszorg en „organisational values‟ zijn er gangbaar en wat is de samenhang daartussen? Per opleiding werden drie semi-gestructureerde interviews afgenomen. Bij alle opleidingen ziet men kwaliteit vooral als het continu verbeteren en vernieuwen van het onderwijs. Ook heeft men bij alle opleidingen een grote voorkeur voor „human relations values‟. De verschillen betreffen de praktijk. Bij de effectieve opleidingen is er een systematische kwaliteitszorg die nauw aansluit bij het dagelijkse werk en waarbij de PDCA-cylus volledig wordt doorlopen. Bij deze opleidingen worden de wenselijke „organisational values‟ waar gemaakt. Aanbevolen wordt te werken aan een opleidingscultuur waarin sprake is van flexibiliteit, open communicatie en nauwe betrokkenheid van medewerkers bij de dagelijkse zorg voor het leveren van kwaliteit. Keywords: kwaliteitszorg, effectiviteit van kwaliteitszorg, opvattingen over kwaliteit, flexible organisational values
11
Notes on contributors:
Drs. Jan Kleijnen was auditor bij Hogeschool Zuyd te Heerlen. Dr. Diana Dolmans is Associate Professor bij het Department of Educational Development and Research van de Faculty of Health, Medicine and Life Sciences (FHML), Maastricht University. Dr. Jos Willems was lid van het College van Bestuur van Hogeschool Zuyd te Heerlen . Prof. Dr. Hans van Hout is emeritus hoogleraar bij het Department of Educational Sciences van de Universiteit van Amsterdam.
1
Inleiding Volgens sommige auteurs heeft interne kwaliteitszorg belangrijke positieve effecten, zoals het vergroten van de verantwoordelijkheid van alle betrokkenen, het versterken van teamwork en van de professionele competenties van docenten en het verbeteren van de onderwijs- en leerprocessen (Brennan and Shah 2000; Westerheijden et al. 2007; Stensaker 2006). Andere auteurs leggen echter de nadruk op de negatieve effecten die voortkomen uit een onevenredige aandacht voor „external control‟ en „accountability‟: met name een overdaad aan bureaucratie en aantasting van de professionele autonomie van docenten (Watty 2002; Milliken and Colohan 2004; Cartwright 2007). Het oordeel over de effectiviteit van kwaliteitszorg is niet alleen afhankelijk van de wijze waarop kwaliteitszorg wordt uitgevoerd maar is ook gekoppeld aan de opvattingen die men heeft over de kwaliteit van onderwijs (Gibson 1986; Houston 2008; Lanarès 2008). Daarnaast is dit oordeel gekoppeld aan de cultuur van een organisatie en vooral aan de kern daarvan, de organisatiewaarden (Harvey and Green 1993; Cameron and Quinn 1999; Hofstede 2001; Kezar and Eckel 2002). Vaak wordt er daarom gesproken over een kwaliteitscultuur (Yorke 2000; Lomas 2004; Vettori et al. 2006; EUA 2006 en 2010; Fischer-Bluhm 2007; Lanarès 2008; Berings et al. 2011; Dolmans et al. 2011). Het begrip kwaliteitscultuur wordt in de praktijk echter vaak slecht begrepen: “.. it opens up for processes more dominated by belief, faith and ideology than processes more characterised by knowledge, analyses and empirical studies of the elements that are important for a better description and understanding of such a culture” (Harvey and Stensaker 2008, p. 427). Lanarès (2008) definieert de kwaliteitscultuur als een subcultuur van de organisatiecultuur. Hij sluit aan bij de definitie van de EUA (2006, p. 10): “Quality culture refers to an organizational culture that intends to enhance quality permanently and is characterized by two distinct elements: On the one hand, a cultural/psychological element of shared values, beliefs, expectations and commitment towards quality and on the other hand, a structural/managerial element with defined processes that enhance quality and aim at coordinating individual efforts.” Deze kwaliteitscultuur “can include several different values, and a different set of values will lead to different quality cultures.” (Lanarès 2008, p. 11). De vraag is welke kwaliteitscultuur de grootste bijdrage levert aan de ontwikkeling van de kwaliteit. Dit artikel probeert op een kwalitatief-empirische manier inzicht te krijgen in de vraag in welke mate kwaliteitsopvattingen, kwaliteitszorg en organisatiecultuur van opleidingen met een effectieve kwaliteitszorg overeenkomen of verschillen van die van opleidingen waar de kwaliteitszorg minder effectief is. Voor dit kwalitatief onderzoek bij docenten in het hoger onderwijs wordt gebruik gemaakt van het research framework in Figuur 1. Dit framework schenkt op de eerste plaats aandacht aan de opvattingen (conceptions) van docenten die volgens enkele auteurs veel invloed hebben op de kwaliteitszorg: opvattingen over waarden die binnen de organisatie wenselijk zijn (preferred values) en opvattingen over de vraag wat kwaliteit van onderwijs (conceptions of quality) betekent (Newton 2000; Cruickshank 2003). Deze opvattingen en vooral de opvattingen over wenselijke waarden zijn 2
volgens Hitlin and Piliavin (2004) leidinggevende principes waarop mensen zich in hun dagelijkse leven kunnen oriënteren en waarmee zij situaties en gedrag beoordelen maar die geen directe invloed uitoefenen op hun gedrag. Vaak is er immers een kloof tussen opvattingen en waarden waar mensen achter staan (espoused theory) en de opvattingen en waarden die zichtbaar zijn in hun werkelijke gedrag (theory in practice; Argyris 1990; Brunsson 1989). Daarom zijn naast de opvattingen van de docenten ook de percepties van de werkelijkheid in het framework opgenomen: welke waarden worden volgens de docenten in praktijk gebracht (current values), in hoeverre is er binnen hun opleiding sprake van interne kwaliteitszorg (performed quality management) en welke perceptie hebben zij van de effectiviteit daarvan (effectiveness of quality management)? De kloof tussen „preferred‟ en „current values‟ wordt gedeeltelijk veroorzaakt doordat de verschillende organisatiewaarden met elkaar op gespannen voet staan: het zijn competing values (Cameron and Quinn 1999; Middlehurst 1999). De literatuur geeft aan dat ontstaan en ontwikkeling van een kwaliteitscultuur beïnvloed wordt door structurele en andere kenmerken van de organisatie (Lewis and Smith 1994; Yorke 2000; Harvey 2006; Reichert 2008). Opvattingen en percepties worden daarom bestudeerd binnen de context van de opleiding.
Conceptions
Preferred organisational values
Conceptions of quality
Department as context Effectiveness of quality management Current organisational values
Performed Quality Management
Practice Figure 1 Research framework
3
In een eerder onderzoek uitgevoerd in 2008 hebben de auteurs een kwantitatief survey uitgevoerd bij 266 docenten van 18 opleidingen in het HBO ((Kleijnen et al. 2009, 2011a and 2011 b). Dit onderzoek leidde tot de volgende bevindingen:
Bij alle onderzochte opleidingen zagen de docenten kwaliteit allereerst als „enhancement and improvement‟ van de primaire processen: het stimuleren van de capaciteiten en mogelijkheden van studenten en het verbeteren van het onderwijs, en veel minder als „compliance and accountability‟, het voldoen aan externe standaarden en het extern afleggen van verantwoording. Wat dit betreft was er weinig verschil tussen de opleidingen.
Ook hadden de docenten van alle opleidingen een voorkeur voor flexibele organisational values, zoals Human relations values van samenwerking, communicatie en persoonlijke ontwikkeling en Open system values van externe oriëntatie en innovatie (Cameron and Quinn 1999, zie Appendix 1). Ook hier was er weinig verschil tussen de opleidingen.
Er waren grote en significante verschillen tussen de opleidingen wat betreft de perceptie van de docenten van deze current values in de onderwijspraktijk. Bij een aantal opleidingen worden de flexibele organisational values veel meer in praktijk gebracht dan bij andere.
Daarnaast waren er ook significante verschillen tussen de opleidingen wat betreft de uitvoering van kwaliteitszorg. Bij sommige opleidingen werd deze systematisch uitgevoerd bij andere veel minder.
Over het algemeen zagen de docenten meer verbetereffecten van interne kwaliteitszorg (perceived improvement), zoals meer stimulansen voor het professionele werk en de ontwikkeling van de opleiding, dan effecten van control (perceived control), zoals controle op het doen en laten van de medewerkers en imitatiegedrag. Ook wat betreft de perceptie van de verbetereffecten waren er substantiële en significante verschillen tussen de opleidingen.
Hoewel deze resultaten interessant zijn, biedt dit kwantitatieve onderzoek slechts een beperkt inzicht in de samenhang van de verschillende variabelen en het waarom daarvan. Dit is een inherent gevolg van de gehanteerde surveymethode. Het doel van dit kwalitatieve onderzoek is versterking, verdieping en verklaring van de resultaten van het kwantitatieve onderzoek om op deze manier meer inzicht te verkrijgen in de verschillen tussen opleidingen met een effectieve en een minder effectieve kwaliteitszorg en in de samenhang tussen de variabelen in het research framework (Figuur1).
Onderzoeksvragen Er zijn drie onderzoeksvragen. De eerste is: wat zijn de overeenkomsten en verschillen tussen opleidingen met een effectieve en een minder effectieve kwaliteitszorg? Daarbij is de aandacht gericht op de opvattingen en percepties van docenten ten aanzien van kwaliteit, kwaliteitszorg en „organisational values‟. De tweede onderzoeksvraag is gericht op de samenhang tussen deze opvattingen en percepties en het begrijpen van de verschillen tussen opleidingen met een effectieve en 4
een minder effectieve kwaliteitszorg. Ten slotte wordt er gekeken naar de overeenkomsten en verschillen met de resultaten van het eerdere kwantitatieve onderzoek en naar de vraag of de kwalitatieve gegevens van dit onderzoek de resultaten van het kwantitatieve onderzoek kunnen verduidelijken en aanvullen.
Methode Participants In de maanden juni tot september 2010 zijn er bij zes HBO-opleidingen in Nederland telkens drie mondelinge interviews afgenomen: één met de opleidingsmanager of directeur en twee met stafdocenten (senior teaching staff). De steekproef van deze zes opleidingen was gebaseerd op de methode van „typical cases‟ met „maximum variation‟, met “as wide a range of perspectives as possible to capture the broadest set of information and experiences” (Kuper et al. 2008, p. 688). Drie opleidingen hadden volgens het eerder uitgevoerde kwantitatieve onderzoek bij 18 opleidingen (N=266) een effectieve en drie een minder effectieve interne kwaliteitszorg (Kleijnen et al. 2011a). Dit werd gemeten met hun score op een vijfpunts Likert schaal „Perceived Improvement‟ (PI). De drie effectieve opleidingen zijn: 06 (health care), 05 (health care) en 09 (education). De gemiddelde scores van deze opleidingen op „Perceived Improvement‟ zijn respectievelijk: M = 4,25 (SD = 0.56, N = 22), M = 4,06 (SD = 0,55 N=11) en M = 3,98 (SD = 0,62, N = 16). De drie minder effectieve opleidingen zijn: 08 (health care), 15 (engineering), en 13 (social welfare). De gemiddelden van deze opleidingen op „Perceived Improvement‟zijn respectievelijk: M = 3,36 (SD = 0,90, N = 17), M = 3,03 (SD = 0,88, N = 13) en M = 2,93 (SD = 1,12, N= 30).
Design and instrument Dit kwalitatieve onderzoek biedt de mogelijkheid van triangulatie: versterking en aanvulling van de resultaten van het kwantitatieve onderzoek (Flick 1992; Yin 2003). Het illustreert en verheldert de kwantitatieve resultaten met voorbeelden en maakt de verbanden meer begrijpelijk. De interviews werden uitgevoerd met behulp van acht semi-gestructureerde vragen waarop de respondenten vrijelijk konden antwoorden. Door de gedeeltelijke structurering werd het gesprek gefocust op de onderwerpen die voor het onderzoek van belang zijn. De vrije beantwoording gaf de respondent de ruimte zelf invulling te geven aan deze onderwerpen, hetgeen een bijdrage levert aan de authenticiteit en validiteit van de antwoorden (Maso en Smaling 1998). De vragen waren gericht op de volgende onderwerpen: 1) de opvattingen van de respondent over kwaliteit van onderwijs, 2) zijn perceptie van de interne kwaliteitszorg, 3) zijn perceptie van de effectiviteit daarvan, 4) de organisational values die de respondent wenselijk acht, 5) zijn perceptie van die waarden in de praktijk van alledag en 6) de factoren in de context van de opleiding die volgens de staf invloed hebben op de kwaliteitscultuur. Tenslotte waren er twee afsluitende vragen over de visie van de overige docenten op de
5
kwaliteitscultuur binnen de opleiding en over eventuele recente ontwikkelingen die van invloed kunnen zijn geweest op die kwaliteitscultuur.
Verwerking en analyse De achttien gesprekken werden digitaal opgenomen en er werden uitgebreide schriftelijke samenvattingen van gemaakt. Deze samenvattingen werden aan de respondenten toegezonden en zeventien van hen gingen ermee akkoord, waarbij een aantal van hen enkele opmerkingen plaatste en voorstellen tot wijziging deed. De achttiende respondent gaf aan door tijdgebrek niet te kunnen reageren. De verslagen werden per opleiding geanalyseerd met behulp van de thema‟s in het theoretisch model (Figuur 1) en categorieën uit de literatuur en uit het eerdere kwantitatieve onderzoek (zie ook: Beukema 2003; Spencer et al. 2003). Hoewel theorie in kwalitatief onderzoek doorgaans ontstaat door inductie vanuit subjectieve ervaringen in verschillende contexten, wordt kwalitatief onderzoek hier toegepast om een deductief opgesteld en kwantitatief onderzocht theoretisch framework te toetsen en bij te stellen of te verfijnen (Lingard et al. 2008). Dit resulteerde in een onderzoeksschema van thema‟s en categorieën (Appendix 1). De beschrijvende analyse vond plaats door intensieve bestudering van de verslagen (Maso en Smaling 1998) en de antwoorden op de vragen werden per categorie genoteerd. Waar nodig werden categorieën toegevoegd of verfijnd. De invulling van het onderzoeksschema van drie van de zes opleidingen werd door andere onderzoekers dan de eerste auteur beoordeeld en gevalideerd. Vervolgens werden de „typical case‟ resultaten van opleiding 06, met de hoogste score op „perceived improvement‟, en opleiding 13, met de laagste score, met elkaar vergeleken, werden de overeenkomsten en verschillen per thema in tabellen beschreven en werd gekeken of de bevindingen ook op de andere opleidingen van toepassing waren. Eventuele afwijkingen werden geconfronteerd met de resultaten van de twee extreme opleidingen en er werd geprobeerd deze te begrijpen en te interpreteren in plaats van ze zonder meer als gegeven (granted) te beschouwen (Malterud 2001, p. 483). Er werd gezocht naar verbanden tussen de verschillende variabelen en gekeken naar de vraag of het theoretisch model passend is voor de gevonden kwalitatieve gegevens (Pope and Mays 2009). Tenslotte werden de resultaten van het eerdere kwantitatieve onderzoek en dit onderzoek met elkaar vergeleken.
Theoretisch standpunt van de onderzoekers / Reflective stance of the researchers Bij het analyseren van de opvattingen en percepties van de respondenten kan men uitgaan van uiteenlopende wetenschappelijke perspectieven. De auteurs van dit artikel zoeken sociologische verklaringen voor individueel gedrag in feitelijke en symbolische interacties tussen individuen en in hun lidmaatschap van groepen en organisaties. Zij zijn werkzaam (geweest) op het gebied van uitvoering en/of onderzoek naar didactiek en kwaliteitszorg binnen het HBO. Bij het afnemen van de interviews is steeds melding gemaakt van hun achtergronden.
6
Resultaten De beschrijving van de resultaten volgt het theoretisch model van Figuur 1. Zij werkt van achter naar voren. De beschrijving begint bij de perceptie van de effectiviteit van kwaliteitszorg, de „te verklaren‟ variabele en gaat dan terug naar de mogelijk verklarende variabelen: opvattingen over kwaliteit, kwaliteitszorg en „organisational values‟..
Effectiveness of quality management Bij de effectieve opleidingen gaat kwaliteitszorg gepaard met diepgaande analyse van de resultaten (Tabel 1). Zij leidt tot verbeteringen en innovaties van curriculum, stage, werkvormen en toetsing, tot betere leerprocessen, en tot een actievere invloed van studenten en werkveld op het onderwijs. “Kwaliteitszorg draagt absoluut bij aan de kwaliteit van onderwijs. Omdat ik zie dat zij verandering tot stand brengt, en dat er vaak nieuwe input is en dat innovatie in de ontwikkeling van het beroep wordt meegenomen en terecht komt in het onderwijs. Dat kan alleen als je alert blijft en het werkveld erbij betrekt.”(06-1: opleiding 06, respondent 1). Kwaliteitszorg leidt tot tevreden studenten die snel en adequaat antwoord krijgen op hun vragen: “Dat is deel van kwaliteitszorg. Zij zien dat er geluisterd wordt, dat hun stem telt. Dat leidt tot een sfeerverbetering die het onderwijs direct ten goede komt”(06-3). Kwaliteitszorg levert ook een bijdrage aan het beter voldoen aan externe eisen en verwachtingen en leidt tot een hoog eindniveau van afgestudeerden, zo vinden de respondenten..
Tabel 1. Effectiviteit en effecten van kwaliteitszorg: verschillen tussen opleidingen Opleidingen met meest effectieve kwaliteitszorg
Opleidingen met minst effectieve kwaliteitszorg
Diepgaande analyse, niet alleen afgaan op signalen uit evaluaties
Diepgaande analyse ontbreekt, wel inzicht in tekortkomingen en in vereiste randvoorwaarden
Innovatie van curriculum, werkvormen, toetsing en begeleiding
Slechts beperkte mate van verbeteringen in curriculum, werkvormen of toetsing
Verbetering van leerprocessen en van eindniveau van afgestudeerden
Kwaliteitszorg leidt nauwelijks tot verbeteren leerprocessen
Actieve invloed van studenten en werkveld
Weinig invloed van studenten en werkveld
Goede communicatie met studenten, snelle feedback
Onvoldoende communicatie en feedback naar studenten
De opleiding voldoet aan externe eisen
Het voldoen aan externe eisen wordt niet als effect genoemd
Bij de minst effectieve opleiding stellen de respondenten vraagtekens bij de effectiviteit. “Als je het hebt over specifieke kwaliteitszorg, dan heb je het over evaluaties en revisies. Hoe worden die revisies gerealiseerd? .. Het is niet zo dat kwaliteitszorg daar een specifieke bijdrage aan levert. Dat zet mij aan het denken” (13-2). Bij een andere weinig effectieve opleiding zegt een respondent: “Nou, dat kan absoluut beter. Het systeem zit erin. Wij hebben een cyclus: PDCA. Dat zit erin, het plan, do, check, ... Maar de communicatie is een ander verhaal. Als wij dingen verbeteren, dan communiceren wij dat
7
niet of onvoldoende terug naar de studenten en naar de docenten. Dan ga je dingen aanpassen. Maar is het ook een echte verbetering?” (08-3). Het inzicht in de eigen tekortkomingen, zoals gebrek aan communicatie, is dus wel aanwezig. Toch ziet men ook bij de minder effectieve opleidingen enkele positieve effecten. Een respondent van opleiding 15 zegt over de kwaliteitszorg rond toetsing: “Maar ik zie wel dat door de controle grote fouten eruit worden gehaald: vakinhoudelijk, grammaticaal of wat betreft de puntentelling. Het kunnen hele simpele dingen zijn. Maar het kan ook zijn dat een vakcollega je vraagt: is dit nu wel waar wij deze module voor hebben opgezet? Dan gaat het erom dat je een soort vragen stelt die anders zijn dan in de bedoeling ligt van de module” (15-2).
Opvattingen over kwaliteit De respondenten van zowel de effectieve als de minder effectieve opleidingen denken bij het begrip kwaliteit vooral aan het primaire proces van onderwijs en leren. Zij denken aan de doelstellingen van de opleiding, de inhoud, de werkvormen, aan een gepaste mate van zelfsturing door studenten en aan professionele docenten en een uitdagende leeromgeving.
Tabel 2. Opvattingen over kwaliteit van onderwijs: overeenkomsten en verschillen Opleidingen met meest effectieve kwaliteitszorg
Opleidingen met minst effectieve kwaliteitszorg
Primair proces Onderwijs is gericht op actuele vraag van het werkveld, op competenties en skills Onderwijs is gericht op de persoonlijk-professionele ontwikkeling van de student Het onderwijs sluit aan bij de vraag van de student Samenhangend en studeerbaar programma Studentgerichte werkvormen en een goede organisatie Professionele docenten. Uitdagende leeromgeving en faciliteiten Verbetering, vernieuwing en (externe) standaarden De opleiding is gericht op continue verbetering en vernieuwing Standaarden zijn indicatief, richtinggevend (bijvoorbeeld standaarden van accreditatie) De eigen invulling van de standaarden is doorslaggevend Evenwicht tussen stabiliteit en verandering Consensus Consensus over visie en concrete invulling. Verschil van inzicht leidt tot discussie, leerprocessen en streven naar consensus
Verschil in visie binnen de teams leidt niet/in onvoldoende mate tot discussie en leerprocessen
Ook de manier waarop men bij de effectieve en minder effectieve opleidingen aankijkt tegen verbetering en vernieuwing vertoont veel overeenkomsten. Bij alle opleidingen vindt men allereerst dat de opleiding gericht moet zijn op continu verbeteren en vernieuwen. Externe standaarden en eisen spelen daarbij een rol en geven de richting aan maar compliance met standaarden alleen is onvoldoende. De standaarden moeten door de opleiding zelf worden ingevuld. Deze houding vindt men bij alle opleidingen maar wordt bij de meer effectieve sterker benadrukt. Toch wijst men er ook overal op dat veranderingen de tijd moeten krijgen om te rijpen en dat continu verbeteren niet hetzelfde is als continu veranderen. “Elke vernieuwing kost weer even tijd, zodat de mensen daar weer
8
soepel mee kunnen omgaan en flexibel oplossingen kunnen vinden voor de beperkingen ervan. … Het probleem zit altijd bij de switch naar een nieuw systeem. .. Pas geleidelijk ontdek je wat de mogelijkheden zijn en hoe je met de beperkingen kunt omgaan. Dan wordt het systeem weer vol en complex”(6.3). Daarnaast zijn er echter ook verschillen tussen effectieve en minder effectieve opleidingen. Het belangrijkste verschil is de interne consensus. Bij alle opleidingen bestaan er wel verschillen in visie: over de identiteit en de rol van de docent als vakdocent of als opleidingsdocent, over de juiste mix van begeleiding en zelfsturing of over het gewenste eindniveau en de zelfkritiek en zelfreflectie die er bij afstudeeropdrachten mag worden verwacht. Bij de effectieve opleidingen hebben deze verschillen een stimulerende werking: “De verschillen die er zijn leiden telkens tot een hoop praten maar dat is normaal. En ze leiden tot nieuwe ontwikkelingen. De discussie is er niet om gelijk te krijgen maar om er beter van te worden. Die instelling is belangrijk” (6.3). Bij de minder effectieve opleiding echter blijven de verschillen impliciet: “Ieder heeft een beeld van wat voor hem of haar kwaliteit is. Maar of die beelden erg met elkaar overeen komen? Dat vind ik lastig te zeggen. Ik denk van wel maar dat wij dat niet van elkaar weten omdat wij daar weinig inhoudelijk over praten. Dan blijft het vaak in abstracties hangen waardoor het niet concreet wordt en wij niet goed weten of wij over hetzelfde praten” (13.3). Er is bij deze opleidingen veel minder sprake van een vruchtbare discussie.
Interne kwaliteitszorg Bij bijna alle opleidingen worden diverse kwaliteitsinstrumenten regelmatig toegepast. Zij werken meestal met beleidsplannen of jaarplannen en bij alle opleidingen zijn er soms discussiebijeenkomsten over visie en beleid. Er zijn procedures en criteria voor modules en andere programmaonderdelen en er bestaat enige kwaliteitszorg rond de toetsing. Men voert evaluaties uit bij studenten, docenten en werkveld; en er zijn functionerings- of beoordelingsgesprekken voor een goed personeelsbeleid. Vaak is er een functionaris met kwaliteitszorg als aandachtsgebied. Bij de meeste opleidingen zijn de docenten bovendien min of meer bekend met het bestaan van kwaliteitszorg en de instrumenten daarvan. Desalniettemin zijn er grote verschillen tussen de effectieve en mindere effectieve opleidingen (Tabel 3). Bij de effectieve opleidingen zijn de beleidsplannen, de procedures en criteria en de overige instrumenten gebaseerd op duidelijke kwaliteitsdoelen voor het onderwijs, zoals gerichtheid op eindcompetenties, de keuze voor een breed of een smal beroepsprofiel of voor meer begeleiding aan het begin en meer zelfsturing aan het einde van de studie. Bij de minder effectieve opleidingen wordt een gezamenlijke visie op kwaliteitsdoelen juist gemist. Bij de effectieve opleidingen leiden evaluaties tot systematische reflectie en analyses op het geheel van evaluaties, tot uitvoerbare plannen en verbetervoorstellen en tot communicatie en feedback. De docenten zijn er niet alleen bekend met de kwaliteitszorg en de verbetervoornemens maar er is ook sprake van commitment en actieve 9
participatie van de docenten en de kwaliteitszorg wordt spontaan uitgevoerd: “Je kunt er niet onderuit maar het wordt je ook niet opgedrongen. Het hoort gewoon bij je baan, net als dat je op tijd in de klas komt, de tafels hebt gerangschikt, het bord schoon, de toetsen op tijd nagekeken” (05-2). Kwaliteitszorg staat er dicht bij het gewone werk van alledag. “Het is een logisch verhaal. Zonder evaluatie is het onderwijs niet rond. … Iedereen werkt aan discussie-arena‟s, aan refereerbijeenkomsten. Ieder is bezig met ontwerpen, uitvoeren, evaluaties en bijstellen naar aanleiding van de evaluaties” 05-2). De hoofdfuncties van de opleiding (onderwijs, begeleiding, toetsing, onderzoek en contractactiviteiten) krijgen een plek in de inrichting van de organisatie en de communicatie wordt zo efficiënt mogelijk georganiseerd. Commissies werken met korte, ter zake doende rapportages en „linking pins‟ zorgen voor een soepele overdracht van informatie. Meningsverschillen leiden tot discussies die gericht zijn op het bereiken van consensus en vaak ook tot intervisie en scholing. Het onderling overleg wordt serieus genomen en leidt tot concrete acties en beleid. Tabel 3. Interne kwaliteitszorg: overeenkomsten en verschillen bij effectieve en niet effectieve opleiding Opleidingen met meest effectieve kwaliteitszorg
Opleidingen met minst effectieve kwaliteitszorg
De opleidingen werken met diverse kwaliteitsinstrumenten: Er bestaan beleidsplannen en/of jaarplannen en jaarverslagen Er worden discussiebijeenkomsten, refereersessies, en bijeenkomsten m.b.t. visie en beleid georganiseerd Er zijn procedures en criteria voor onderwijsprogramma, modules en toetsing Regelmatige toepassing van studentevaluaties, docentevaluaties, werkveldevaluaties Kwaliteitsinstrumenten m.b.t. personeel: functioneringsgesprekken, beoordelingsgesprekken e.d. Er is vaak een kwaliteitsfunctionaris of docent met de portefeuille kwaliteit De docenten zijn min of meer bekend met kwaliteitszorg Duidelijke, gemeenschappelijke kwaliteitsdoelen, visie op de opleiding
Onduidelijke visie op kwaliteitsdoelen, onduidelijke visie op de opleiding
Reflectie op (geheel van) evaluaties (bij studenten, werkveld, docenten e.a.)
Onvoldoende reflectie op (geheel van) evaluaties
Evaluaties leiden tot verbeterplannen Uitvoerbare jaar- of beleidsplannen
Evaluaties leiden nauwelijks tot verbeterplannen Weinig operationele jaar- of beleidsplannen
Doorvoeren van verbeteringen/vernieuwingen wordt gemonitord PDCA-cyclus gesloten
Gebrekkige monitoring
Commitment en actieve participatie van de meeste medewerkers
Beperkt commitment, weinig actieve participatie. Steun afhankelijk van druk van management en externe eisen
Kwaliteitszorg systematisch onderdeel van gewone werk/werkzaamheden van alle medewerkers. Beperkt bureaucratisch papierwerk
Kwaliteitszorg geen onderdeel van werk/werkzaamheden van alle medewerkers maar bestaat vooral op papier. Kwaliteitszorg is vooral van kwaliteitszorgmedewerkers
Duidelijke verantwoordelijkheden, verantwoordelijkheid voor elkaar. Duidelijk wie monitort
Afschuiven van verantwoordelijkheden. Onduidelijk wie monitort
Effectieve formele en informele communicatie Overleg gericht op het bereiken van consensus
Gebrekkige formele en informele communicatie
PDCA niet gesloten
10
Bij de opleiding met de minst effectieve kwaliteitszorg zijn de kwaliteitsdoelen niet duidelijk. “De cultuur is hier dat de faculteit met enkele termen zoals „proactief zijn‟, „insprirerend werken‟, „enthousiasmeren‟ en een „stukje energie‟ enkele algemeenheden neerzet waar ik niets mee kan. Ik wil weten: wat betekent dat dan? Dat wordt niet concreet gemaakt.” (13-2). De systematiek bestaat vooral op papier en de steun van docenten is vaak afhankelijk van de druk van het management. Kwaliteitszorg bestaat er eerder naast dan in het gewone werk. “Wij hebben ook kwaliteitscriteria geformuleerd waaraan de inhoud van modules moet voldoen, qua literatuur, qua niveau. Mooi op papier. Veel tijd in gestoken. Maar in een la verdwenen.” (13-3). Er is weinig samenhang tussen de evaluaties en de PDCA-cyclus wordt niet bewaakt. “Er wordt weinig vastgelegd: wat komt van de studenten, welke input van de docenten? Wat betekent dit concreet? Waar gaan wij verandering in aanbrengen? Waar misschien nog niet? Die verschillende meningen moeten bij elkaar worden gevoegd…. Eigenlijk is de hele PDCA-cyclus onduidelijk. De bijstelling blijft vaak lang liggen, vaak tot tien weken voor de start van de nieuwe module. Dan is men vergeten wat de studenten daarover hebben gezegd of zij kunnen dit niet vinden. ”(13-3). Bij deze opleiding wijst men er ook op dat werk en verantwoordelijkheid voor kwaliteitszorg worden afgeschoven op de portefeuillehouders kwaliteitszorg. ”In het verleden werkten wij met staffunctionarissen, portefeuillehouders kwaliteitszorg. Maar dat heeft door allerlei omstandigheden weinig opgeleverd. Wat wij probeerden te doen werd weinig ingebed in een grotere structuur. … Er werd veel werk op hen afgeschoven, ook in de uitvoering. Zij werden weinig gezien als mensen die ondersteuning konden bieden. Er was weinig aandacht voor, ook van de kant van de directie” (13-3). De kwaliteitszorg was er te ingewikkeld van opzet. Er werd teveel gepland en te weinig systematisch uitgevoerd.
Preferred organisational values In deze paragraaf komen de waarden die de respondenten wenselijk vinden aan de orde. In de volgende de waarden die, in hun perceptie, in praktijk worden gebracht. Uit de resultaten blijkt dat de respondenten van alle opleidingen, ook van de meest en de minst effectieve een grote voorkeur hebben voor de flexibele „human relations values‟. Zij leggen de nadruk op samenwerken, je samen verantwoordelijk voelen, elkaar inspireren, betrokkenheid bij elkaar en de opleiding, en rekening houden met degene die met jouw werk verder moet. “Dat collega‟s elkaar inspireren. Dat zij met elkaar in gesprek zijn over: wat willen wij met het onderwijs? Hoe kunnen wij dat vormgeven? Hoe tevreden zijn wij daarover? Dat collega‟s elkaar serieus nemen, …. Dat zij echt naar elkaar luisteren. Dat geldt ook naar studenten. Als 5 van de 60 studenten deelnemen aan de evaluatie moet je niet zeggen dat zij niet representatief zijn maar moet je serieus met hun opmerkingen omgaan”(13-3). Het gaat niet alleen om communicatie maar ook om samenwerking in de praktijk: “Intercollegiale toetsing en intervisie. Goede samenwerkingsmomenten van docenten, want een eilandencultuur is dodelijk voor een kwaliteitscultuur” (13-1). Daarvoor is een veilig klimaat nodig: “Wat heel belangrijk is, dat hoor ik van het werkveld en van anderen, is het klimaat dat er heerst. De veiligheid waarin studenten 11
kunnen studeren. De manier waarop wij elkaar helpen, elkaar proberen te enthousiasmeren en te motiveren. Veiligheid is dat mensen ook fouten mogen maken …” (06-1). De voorkeur voor „open systeem values‟ is minder dominant en wordt vooral bij de effectieve opleidingen uitgesproken. Het gaat dan om dynamiek, de bereidheid stappen te zetten, bevlogenheid en willen excelleren. Dynamiek heeft dan de voorkeur boven continuïteit: “Het constante zit in de verandering. Stabiliteit moet zitten in voortdurende aanpassing aan de omgeving”(09-2). Externe gerichtheid, het naar binnen halen van de buitenwereld en de opleiding extern vertegenwoordigen, vindt men bij alle opleidingen belangrijk maar bij de minst effectieve opleiding is men daar nog niet aan toe. “De openheid naar beroep en werkveld noem ik niet expliciet omdat de opleiding zelf nog in een organisatieverandering zit. Als je je nu naar binnen en naar buiten richt, heb je van allebei net niets. Als de basisstructuur er is, dan kan ook de groei naar het werkveld er zijn.” (13-2). Tenslotte worden ook op control gerichte organisational values („rational goal values‟ zoals doelgerichtheid en resultaatverantwoordelijkheid en „internal process values‟, zoals stabiliteit en continuïteit, zie Appendix 1) bij de meeste opleidingen genoemd. De voorkeur ervoor is echter zelden dominant.
Current organisational values De opleidingen met de meest en de minst effectieve kwaliteitszorg verschillen substantieel van elkaar wat betreft de perceptie van de „current organisational values‟ (Tabel 4). Bij de effectieve opleiding worden de gewenste organisatiewaarden en vooral de „human relations‟ waarden vaak daadwerkelijk in praktijk gebracht. De docenten werken er samen, voelen zich gezamenlijk verantwoordelijk, inspireren elkaar en voelen zich bij elkaar en de opleiding betrokken. “De elementen van openheid, veiligheid, discussie, externe gerichtheid en onderzoek, korte lijnen, sterke betrokkenheid en zelf aan iets kunnen werken, het van onderop werken e.d. zijn onderdeel van onze cultuur”(06-1). “Wij zeggen elkaar via korte lijnen wat wij ervan vinden, ook als er fouten worden gemaakt. En dat botst ook wel eens en is ook wel eens emotioneel. Dat moet kunnen. Je moet elkaar diep in de ogen kunnen kijken”(06-1). Dat wil niet zeggen dat deze waarden voor honderd procent worden gerealiseerd: “Openheid in de zin van elkaar wijzen op fouten, dat ligt moeilijker” (05-1). Bij de minder effectieve opleidingen is er een duidelijke kloof tussen de human relations waarden die wenselijk worden geacht en de waarden die in praktijk worden waargemaakt. Bij de opleiding met de minst effectieve kwaliteitszorg is deze kloof heel groot. Er zijn twee subculturen: “Er zijn groepen docenten voor bepaalde modules. Je selecteert zelf welke docenten je aardig vindt en welke niet en welke in jouw module passen en vice versa. Zo organiseer je het resultaat van je eigen 360º feedback”(13-2). “Er zijn wel informele contacten tussen de docenten. Niet dat zij elkaar in de koffiekamer ontmoeten. Wel in de wandelgangen. Er wordt dan over elkaar gesproken en niet zozeer met elkaar. Dat is niet goed. Er is geen gewoonte elkaar rechtstreeks aan te spreken wat betreft kritiek. Ook het elkaar loven gebeurt weinig” (13-3).
12
Tabel 4. Current organisational values: overeenkomsten en verschillen Opleidingen met meest effectieve kwaliteitszorg Human relations values (veekvuldig genoemd) Samenwerken, je samen verantwoordelijk voelen, elkaar inspireren, betrokkenheid bij elkaar en de opleiding Goede intercollegiale sfeer, gezamenlijkheid, werkplezier, een goede sfeer met studenten Open staan open voor kritiek, kwetsbaar opstellen, elkaar aanspreken, opbouwende kritiek, elkaar loven, vertrouwen en integriteit Korte communicatielijnen, geringe afstand, informele contacten Verschil van mening leidt tot discussie en leren, open staan voor goede voorbeelden, lerende organisatie zijn Docenten ondersteunen studenten, oog voor, binding met jonge mensen, bereidheid met studenten te praten Zelfreflectie Weinig hiërarchische omgangsvormen, waarden en cultuur ontstaan van onderop
Opleidingen met minst effectieve kwaliteitszorg
Weinig samenwerking, weinig betrokkenheid bij elkaar Matige intercollegiale sfeer Weinig communicatieve openheid, gevoel van onveiligheid Subgroepen, Men spreekt elkaar niet rechtstreeks aan op het functioneren. Men praat vaak over elkaar in plaats van met elkaar Onvoldoende kritische zelfreflectie Besluiten worden van bovenaf opgelegd of zo ervaren
Open system values (minder vaak genoemd)
Dynamiek Bereidheid stappen te maken, steeds te verbeteren Bevlogenheid, willen excelleren, zich willen onderscheiden, plezier om te leren, leren schuurt Externe gerichtheid Bereid en in staat de opleiding extern te vertegenwoordigen, de visie naar buiten toe uit te dragen evenwicht tussen stabiliteit en verandering
Weinig bereidheid stappen te maken Verbetervoorstellen worden argwanend bekeken Dominante interne oriëntatie
Rational goal values (zelden genoemd)
Afspraken maken en nakomen, doelgerichtheid, resultaatverantwoordelijkheid Keuzen maken, niet teveel en te hoge ambities
Terugkomen op bestaande afspraken. Afspraken staan vooral op papier. Afschuiven van verantwoordelijkheden Verbeterplannen worden als onhaalbaar gezien
Internal process values (zelden genoemd) Sterke organisatie, duidelijke taken, bevoegdheden, verantwoordelijkheden, transparantie van besluitvorming
Zwakke organisatie. Minder effectieve besluitvorming.
Ook belangrijke waarden van het Open Systeem model worden bij de effectieve opleidingen in praktijk gebracht. Volgens de respondenten zijn de medewerkers bevlogen, zij willen zich onderscheiden en excelleren en hebben er plezier in te leren. Zij zijn bereid actief bij te dragen aan verbetering en vernieuwing. “Wij zoeken die verandering ook op. …. Er zijn veel kansen en de ontwikkeling gaat mij nooit snel genoeg” (05-3). “De processen van stabiliteit en ontwikkeling zijn er maar zij ontwikkelen zich op de werkvloer. Zij worden niet van boven opgelegd. Wij ontwikkelen die processen samen als een on-going proces en dragen het verder. .. Het voelt alsof het vooral een stuk van onszelf is. En dat is belangrijk”(06-1). Effectieve opleidingen zijn duidelijk extern gericht. Docenten zijn er bereid en in staat de opleiding extern te vertegenwoordigen, haar visie uit te dragen en door middel van praktijkonderzoek de ontwikkelingen in de praktijk te volgen en te vertalen naar
13
het onderwijs. “Dat is voor mij iets natuurlijks. Wij vragen voortdurend feedback aan de buitenwacht: andere opleidingen binnen de hogeschool, andere gelijksoortige opleidingen in het land, het werkveld” (09-2). Bij de minder effectieve opleidingen is de externe oriëntatie gering: “De blik naar buiten en „het strategische‟ was ook veel minder, zo bleek. De blik naar binnen, of de zaken goed gaan, dat is de eerste natuur” (08-3). “Er zijn mensen die echt fantastisch als team optreden maar naar buiten toe geen actie ondernemen, zich niet interesseren voor hoe het werkveld over hen denkt“ (08-1). „Rational goal‟ en „internal process values‟ zijn minder dominant en worden vooral bij klachten genoemd. Dit gebeurt vooral bij de minder effectieve opleidingen. Zo zegt één respondent: “dat het personeel vaak terug wil komen op gemaakte afspraken. Dat is eigen aan de onderwijscultuur” (13-2). Een andere respondent: “Ja, wij maken afspraken. Maar het elkaar eraan houden en het monitoren van de afspraken … Dat staat gestructureerd op papier maar wij doen dat niet.”(08-2). Bij een aantal opleidingen, maar vooral bij de minder effectieve, klaagt men erover dat bij de beleidsvorming te weinig keuzen worden gemaakt en dat ambities worden gekoesterd die niet realistisch zijn.
Nuancering en context In de tabellen 1 t/m 4 werden telkens de opleidingen met de meest en de minst effectieve kwaliteitszorg tegenover elkaar gezet. Dit leidde tot een duidelijke typologie. Bij twee van de zes onderzochte opleidingen zijn de resultaten op het eerste gezicht minder consistent. Bij opleiding 09 (education) vinden de respondenten van dit kwalitatieve onderzoek, anders dan de docenten in het eerdere kwantitatieve onderzoek, dat de kwaliteitszorg niet goed wordt uitgevoerd en slechts matig effectief is. en dat er onvoldoende betrokkenheid is van de docenten. Kwaliteitszorg staat er teveel naast het werk in plaats van dat het daar spontaan onderdeel van uitmaakt. De PDCA-cyclus is er niet gesloten en er wordt onvoldoende gereflecteerd en gecommuniceerd. Ook is er volgens deze respondenten in de praktijk weinig ruimte voor op flexibiliteit gerichte waarden („human relations‟ en „open system‟ values) en te veel aandacht voor beheersing: “Te weinig gerichtheid op het schurende, te weinig gerichtheid op leren, op vernieuwen, te weinig elkaar aanspreken op het niet behalen van het resultaat. …. Er is veel bijval voor vernieuwing maar men gaat moeilijk tot doelgerichte vernieuwing zelf over. …” (09-1). Als mogelijke factoren noemen zij de kritische maatschappelijke discussie over het beroep van leraar en de lerarenopleiding, de demografische krimp en het teruglopend aantal inschrijvingen en opeenvolgende fusies en curriculumherzieningen. De effectiviteit van de kwaliteitszorg van opleiding 15 (engineering) daarentegen is volgens de respondenten juist sterker dan volgens de docenten uit het eerdere kwantitatieve onderzoek. De respondenten zien kwaliteit van onderwijs als het versterken van de structuur van het programma, het vergroten van de discipline van de student, als consequent en voorspelbaar zijn en als duurzaamheid van verbeteringen voor de lange termijn. Hoewel de docenten zich volgens hen verantwoordelijk voelen voor de kwaliteit van het onderwijs, zien zij georganiseerde kwaliteitszorg en een goed verloop 14
van processen als een verantwoordelijkheid van de directie. Procedures en externe audits spelen een belangrijke rol. “Hoeveel mensen met die procedures werken? Allemaal, want wij controleren het” (15-1). De audits leiden tot systematische verbeteringen en communicatie daarover: “Ja, dat (systematische kwaliteitszorg) hebben wij zeker. Maar dat is ook omdat wij dat extern hebben gewaarborgd” (15-2). Volgens de respondenten hebben de docenten weinig moeite met duidelijke opdrachten van het management en zij voeren die loyaal uit. Deze houding noemen zij kenmerkend en zelfs noodzakelijk voor de beroepssituatie waar deze opleiding op voorbereidt. Tegelijk vinden zij dat in deze opleiding veel „human relations‟ en „open system values‟ in praktijk worden gebracht: samenwerken, een goede intercollegiale sfeer, korte communicatielijnen en veel informele contacten bij de duidelijke gezagsverhoudingen, een sterke binding van de docenten met de studenten en met elkaar, een duidelijke bereidheid tot verbetering, indien dat nodig is, en bevlogenheid en streven te excelleren. Toch is er ook twijfel bij het management: “Je kunt alles gaan documenteren, alles beheersbaar maken, want dat is in wezen wat wij willen: het moet beheersbaar zijn en je moet je kunnen verantwoorden. Aan de andere kant kun je zeggen: laat het maar aan de docent over. Die is deskundig en zorgt ervoor dat de student deskundig van school komt – om het andere uiterste te schetsen. Daar vind ik wel eens dat wij te ver doorschieten naar de beheerskant..(15-1).
Conclusies Geconcludeerd kan worden dat kwaliteitszorg volgens de respondenten van de „effectieve opleidingen‟ positieve effecten heeft: verbetering van curriculum, werkvormen en toetsing, betere leerprocessen, meer invloed van studenten en werkveld op het onderwijs, goede communicatie met studenten, voldoen aan externe eisen en een hoger eindniveau van afgestudeerden. Bij minder effectieve opleidingen leidt kwaliteitszorg wel tot enig inzicht in tekortkomingen maar zijn de effecten duidelijk geringer. Dit verschil in effectiviteit blijkt slechts ten dele samen te hangen met de opvattingen die men bij de verschillende opleidingen heeft over kwaliteit van onderwijs en met de waarden waar men een voorkeur voor heeft. De opvattingen en waarden van de verschillende opleidingen lijken sterk op elkaar. Bij bijna alle opleidingen denkt men bij kwaliteit aan het primair proces van onderwijs en leren en aan het continu verbeteren daarvan en minder aan het voldoen aan standaarden. Standaarden worden als richtinggevend gezien maar men moet er zelf inhoud aan geven, zo zeggen de respondenten. Bij alle opleidingen hecht men bovendien belang aan een goed evenwicht tussen stabiliteit en verandering. Er zijn ook enkele verschillen: het belangrijkste verschil is dat er binnen de effectieve opleidingen meer consensus bestaat over de visie van de opleiding en de invulling daarvan en dat verschillen van inzicht leiden tot constructieve discussies. Het verschil in effectiviteit hangt ook slechts gedeeltelijk samen met de organisatiewaarden die men wenselijk vindt. Bij alle opleidingen heeft men een duidelijke voorkeur voor de op flexibiliteit gerichte organisatiewaarden van het „human relations model‟ (HR): samenwerking en betrokkenheid, een goede intercollegiale sfeer, open staan voor kritiek, vertrouwen in elkaar, korte 15
communicatielijnen en binding met elkaar en de studenten. Effectieve opleidingen hebben daarnaast, zij het in mindere mate, voorkeur voor de waarden van het „open system model‟(OS): externe gerichtheid, dynamiek, bereidheid te verbeteren, bevlogenheid en willen excelleren. Geconcludeerd kan worden dat er tussen de onderzochte opleidingen overeenstemming bestaat ten aanzien van opvattingen. De respondenten zien kwaliteit over het algemeen als het continu verbeteren van het primaire proces en zij hebben een duidelijke voorkeur voor op flexibiliteit gerichte organisational values, vooral voor de „human relations values‟.. Toch zijn er duidelijke verschillen tussen de twee groepen opleidingen. Deze betreffen de uitvoering van kwaliteitszorg en het realiseren van de waarden waar men een voorkeur voor heeft. Bij de effectieve opleidingen wordt de kwaliteitszorg systematisch uitgevoerd. De kwaliteitszorg wordt er gekenmerkt door duidelijke kwaliteitsdoelen, commitment van docenten, voldoende reflectie op het geheel van de evaluaties, effectieve formele en informele communicatie, discussie over meningsverschillen, het nemen van verbetermaatregelen en monitoring daarvan en een afgeronde PDCA-cyclus. Kwaliteitszorg is er onderdeel van het dagelijkse werk van de medewerkers. De effectieve opleidingen brengen de organisatiewaarden die zij wenselijk vinden veel meer in praktijk dan de minder effectieve opleidingen. De docenten werken er meer samen, er is een goede intercollegiale sfeer en een goede sfeer met de studenten, men staat er meer open voor kritiek en voelt zich daar minder door bedreigd. Er is meer dynamiek en docenten hebben een blik naar buiten en zijn bereid tot verandering. Ook hun doel- en resultaatgerichtheid is groter en men houdt zich aan afspraken. Wat betreft de samenhang tussen deze aspecten kan het volgende geconcludeerd worden. De opvattingen over kwaliteit en over wenselijke waarden zijn nagenoeg gelijk voor alle opleidingen. Zij leiden ertoe dat kwaliteitszorg in het hoger onderwijs vooral gezien wordt als „quality learning‟ en veel minder als „quality control‟ (Sitkin et al. 1994). Het verschil tussen effectieve en minder effectieve opleidingen hangt er echter vooral mee samen dat de kwaliteitszorg bij effectieve opleidingen systematisch wordt uitgevoerd en de wenselijke organisatiewaarden daadwerkelijk in praktijk worden gebracht. Dit geldt ook voor de opleidingen 09 en 15 waar staf (kwalitatief onderzoek) en docenten (eerder kwantitatief onderzoek) de effectiviteit verschillend beoordelen. De bijstelling van het research framework in Figuur 2 brengt deze samenhang nader in beeld.
16
Conceptions
Department as context
Preferred human relations and open system values
Quality as enhancement and improvement
Effective departments
Effectiveness of quality management Performed systematic Quality Management
Current human relations and open system values
Perceptions of practice Contextual influences for all departments Observed relationships between departments
Figure 2 Empirical framework
De bevindingen van dit kwalitatieve onderzoek ondersteunen en concretiseren de resultaten van het eerdere kwantitatieve onderzoek in grote lijnen (Tabel 5). Overeenkomsten zijn dat de meeste opleidingen kwaliteit vooral zien als „enhancement and Improvement‟ van het primair proces, meer dan als „compliance and accountability‟, en dat alle opleidingen een voorkeur hebben voor de op flexibiliteit gerichte „human relations values‟. Verder ondersteunen de resultaten van beide onderzoeken elkaar wat betreft het feit dat opleidingen onderling sterk van elkaar verschillen wat betreft de uitvoering van interne kwaliteitszorg, de perceptie van de positieve effecten daarvan op het primaire proces en het in praktijk brengen van de „organisational values‟. Het belangrijkste verschil is dat in dit kwalitatieve onderzoek, waarbij de respondent zelf aangaf welke onderwerpen belangrijk waren, vooral de effectieve opleidingen een voorkeur uitspraken voor de op flexibiliteit gerichte „open system values‟. Een volgende belangrijke verschil is dat er bij twee opleidingen verschil werd gevonden tussen de resultaten van beide onderzoeken. Bij opleiding 09 zijn de respondenten van het kwalitatieve onderzoek (senior staff) veel kritischer over de systematische toepassing en effectiviteit van de kwaliteitszorg dan de docenten in het eerdere kwantitatieve onderzoek. Ook vinden zij dat de
17
„flexible organisational values‟ slechts matig in praktijk worden gebracht. Bij opleiding 15 is de staf in dit kwalitatieve onderzoek juist veel positiever over de uitgevoerde kwaliteitszorg en de effectiviteit daarvan dan de docenten in het eerdere onderzoek. Zij hebben een kwaliteitsopvatting waarin standaarden en voldoen aan protocollen een grote rol spelen. Volgens de staf wordt kwaliteitszorg in deze opleiding gezien als iets van de directie en wordt kwaliteitszorg vooral door het management en extern geborgd. Tegelijk is de staf tevreden over de mate waarin de HR-values in praktijk worden gebracht: docenten werken samen en er heerst een goede intercollegiale sfeer. Men werkt bovendien doelgericht, voelt zich verantwoordelijk voor de resultaten en houdt zich aan gemaakte afspraken.
Tabel 5. Vergelijking van de resultaten van het eerdere kwantitatieve onderzoek en het kwalitatieve onderzoek Kwantitatief onderzoek Perceived improvement Significante verschillen tussen opleidingen wat betreft „perceived improvement‟ als effect van kwaliteitszorg. Opvattingen over kwaliteit Alle opleidingen: nadruk op „enhancement and Improvement‟ boven „compliance and accountability‟
Interne kwaliteitszorg Substantiële verschillen tussen opleidingen wat betreft het in praktijk brengen van interne kwaliteitszorg
Preferred organisational values Alle opleidingen: voorkeur voor flexible organisational values (HR and OS) boven control oriented organisational values (RG and IP) Current organisational values Substantiële verschillen tussen opleidingen wat betreft het voldoende in praktijk brengen van flexible organisational values
Kwalitatief onderzoek Bij de drie opleidingen met systematische kwaliteitszorg heeft deze verbetereffecten 5 opleidingen: nadruk op „enhancement and Improvement‟ Opleiding 15: dominantie van kwaliteit als ‟compliance‟: structuur, discipline, consequent zijn, duurzaamheid zijn belangrijk Opleidingen met een effectieve kwaliteitszorg: kwaliteitszorg systematisch uitgevoerd; onderdeel van het gewone werk Opleiding 15: kwaliteitszorg systematisch uitgevoerd; sterke controle door management m.b.v. externe audits. Alle opleidingen: voorkeur voor HR-values Effectieve opleidingen: voorkeur voor OS-values
Opleidingen met een effectieve kwaliteitszorg: De flexible organisational values (HR en OS) worden in praktijk gebracht. Weinig klachten over het in praktijk brengen van de op control gerichte „rational goal values‟ en „internal process values‟
Discussie en aanbevelingen In de literatuur wijzen sommige auteurs vooral op de positieve effecten van kwaliteitszorg (Brennan and Shah 2000; Westerheijden et al. 2007; Stensaker 2006). Andere auteurs wijzen vooral op de negatieve effecten ervan die voortkomen uit de onevenredige aandacht voor „external control‟ en „accountability‟ (Watty 2002; Milliken and Colohan 2004; Cartwright 2007). Dit kwalitatieve
18
onderzoek ondersteunt de stellingname van de eerstgenoemde groep. Juist in de opleidingen waar kwaliteitszorg systematisch wordt uitgevoerd en onderdeel is van het dagelijkse werk, zien de respondenten de positieve effecten van kwaliteitszorg. Bij de andere opleidingen worden deze positieve effecten niet gezien. Daar worden wel activiteiten van kwaliteitszorg uitgevoerd maar die zijn niet effectief doordat zij niet systematisch worden uitgevoerd en geen onderdeel zijn van het dagelijkse werk. Op de tweede plaats blijkt dat de opvattingen over kwaliteit direct gekoppeld zijn aan opvattingen over het doel van onderwijs (Gibson 1986; Houston 2008; Lanarès 2008) en gericht zijn op het continu verbeteren en vernieuwen van het primair proces en dat externe standaarden daarbij slechts een indicatieve functie hebben. Het onderzoek laat ook zien dat de organisatiecultuur en de organisatiewaarden invloed hebben op het systematisch uitvoeren en de effectiviteit van de kwaliteitszorg (Harvey and Green 1993; Cameron and Quinn 1999; Hofstede 2001; Kezar and Eckel 2002), althans wanneer deze organisatiewaarden in praktijk worden gebracht. Onderdeel van die organisatiecultuur is een sterke dominantie van op flexibiliteit gerichte „human relations values‟ maar ook de realisatie van „open system values‟ speelt daarbij een grote rol. Een kwaliteitscultuur waarin deze waarden dominant in praktijk worden gebracht, is een goede voedingsbodem voor kwaliteit. Een dergelijke kwaliteitscultuur heeft in hoge mate het karakter van een lerende organisatie (Sitkin et al. 1994; Lanarès 2008; Brundrett and Rhodes 2011). Tenslotte laat het onderzoek zien dat er bij de minder effectieve opleidingen een kloof bestaat tussen de „espoused theory‟ en de „theory in practice‟ (Argyris 1990; Brunsson 1989). Volgens Harvey (2006) en Mundet Hiern et al. (2006) zijn docenten vaak niet in een positie om de structurele condities voor kwaliteit in hun opleiding te veranderen. Bij de minder effectieve opleidingen spelen structurele kenmerken en ontwikkelingen binnen de opleiding mogelijk een rol. Te denken valt aan recente fusies, reorganisaties of herzieningen van het curriculum, een onverwachte groei of afname van de instroom, een management dat te weinig keuzen maakt of onvoldoende materiële of immateriële mogelijkheden voor selectie of scholing van het personeel of voor huisvesting en faciliteiten. Dit onderzoek leidt tot de volgende aanbevelingen voor de praktijk: Allereerst is het van belang dat het beleid aansluit bij de ideeën van de docenten (Newton 2000; Cruickshank 2003) en de waarden die zij wenselijk vinden (Cameron and Quinn 1999; Harvey and Stensaker 2008; Lanarés 2008). Ideeën over onderwijs en kwaliteit moeten niet worden opgelegd maar de discussie daarover moet juist worden aangewakkerd. Vervolgens blijkt het de moeite waard energie te steken in kwaliteitszorg en in een op flexibiliteit gerichte organisatiecultuur. De kwaliteitszorg binnen opleidingen moet niet al te ingewikkeld zijn, niet teveel papierwerk met zich meebrengen en zij moet eenvoudig kunnen worden ingepast in het gangbare werk. Veel belangrijker dan het hanteren van ingewikkelde methoden van kwaliteitszorg is systematische toepassing. Opleidingen met een achterstand op het gebied van kwaliteitszorg kunnen beter starten met eenvoudige methoden van evaluatie en verbetering en het monitoren van die verbeteringen dan dat zij ingewikkelde methodieken invoeren. Daarnaast is het van groot belang dat zij werken aan een cultuur van collegialiteit en open 19
communicatie, externe oriëntatie en bereidheid tot verandering. Discussie en intercollegiale beoordeling zijn belangrijk, waarbij men zich open stelt voor kritiek en kritiek niet in de eerste plaats ziet als uiting van geldingsdrang en als bedreiging maar als een manier om elkaars werk te versterken. De directie kan, zo zegt een aantal respondenten, een inspirerend voorbeeld geven door zich ook zelf kwetsbaar op te stellen. Tegelijk is er ambitie en visie nodig waarbij men niet alles tegelijk aanpakt maar realistische keuzen maakt op basis van deze visie en de beschikbare menskracht en middelen. Deze cultuur vraagt om stabiel leiderschap, evenwichtig beleid en een duidelijke organisatie. Zowel dit kwalitatieve als het eerdere kwantitatieve onderzoek waren gericht op de opvattingen en percepties van docenten of staf. Dit is zowel een voordeel als een beperking van het onderzoek. Het voordeel is dat er daardoor duidelijk inzicht is verkregen in de organisatiecultuur en de impact daarvan. De beperking is dat de opvattingen en percepties geen directe weergave zijn van de werkelijkheid. Echter, door de mogelijke manipuleerbaarheid van meer objectieve proces- en performance-indicatoren is het de vraag of dergelijke indicatoren een beter beeld opleveren van kwaliteit en kwaliteitszorg dan de perceptie van direct betrokkenen. Dit neemt niet weg dat het wenselijk is de bevindingen en conclusies van dit onderzoek te koppelen aan bevindingen op basis van meer objectieve indicatoren en vooral aan de bevindingen van andere betrokkenen en externe deskundigen. Daarnaast is het wenselijk de resultaten van dit onderzoek te koppelen aan onderzoek naar onderwijskundig leiderschap, beleid, structurele kenmerken en ontwikkelingen van opleidingen en te onderzoeken in hoeverre die factoren samenhangen met het daadwerkelijk in praktijk brengen van de gewenste organisatiewaarden en van systematische kwaliteitszorg.
20
Appendix 1 Onderzoeksschema Thema
Categorie en verduidelijking
Opvatting over kwaliteit
1 Doel. What is the mission, the purpose of the department? (Gibson 1986; Houston 2008). Kennisproductie, students‟ learning of dienstverlening aan de samenleving: b.v. bedrijven of beroepsgroep? Wie definieert de kwaliteit? Vanuit welk perspectief wordt het begrip kwaliteit bezien? Vanuit een transcendental view, een user view, een manufacturing of professional view, een value-based view of een product view? (Garvin 1988) Proces 2a What are the right things to do to achieve the purpose? Fitness for purpose Onderwijs assessments, onderzoek, publieke adviezen etc. 2b What are the right ways of doing them? (Houston 2008). Activities, processes, procedures and methods
3 Input en randvoorwaarden Professional skills Onderwijsomgeving 4 Verbetercyclus. How can we do better (towards achieving our purpose)? Houston 2008. Conformance to standards and guidelines Enhancement and improvement (Harvey and Newton 2007.) Perceptie van kwaliteitszorg (Garvin 1988; Brundrett and Rhodes 2011)
1 Quality inspection: approval, monitoring of students studentevaluaties, docentevaluaties, werkveldevaluaties etc. 2 Quality engineering and design: werkwijzen en procedures om een programma, een module, een toets of assessment etc. te maken. Policy and procedures for quality assurance 3 Quality assurance: inputvoorwaarden, competenties van docenten, onderwijsomgeving etc. 4 Total Quality Management (TQM): Volledige verbetercyclus, analyse en verbetering, communicatie over verbetertrajecten, monitoren daarvan. Public information
Perceptie van effecten van kwaliteitszorg
1 Negatieve effecten: standaardisatie en bureaucratie, ondermijnen van professionaliteit, belemmeren van innovatie, window-dressing (Watty 2002; Milliken and Colohan 2004; Cartwright 2007) 2 Positieve effecten: Nadruk op verantwoordelijkheid, externe oriëntatoie en internationalisering, empowering students, transparantie (Brennan and Shah 2000; Westerheijdenet al. 2007; Stensaker 2006).
Organisational values 1 Human relations values: betrokkenheid, samenwerking, openheid, persoonlijke ontwikkeling (Cameron and Quinn 1999) 2 Open system values: Flexibiliteit, bereidheid tot verandering, groei, externe gerichtheid 3 Rational goal values: Planning, effectiviteit, besluitvorming, afspraken nakomen 4 Internal process values: stabiliteit, continuïteit, conformance to standards, information systems Opleidingskenmerken Leiderschap, management, beleid, organisatie, personeel, beroepsdomein, maatschappelijke omgeving
21
References Argyris, C. (1990). Overcoming organizational defenses. Facilitating organizational Learning. Boston, London, etc.: Allyn and Bacon. Berings, D., Beerten, Z, Hulpiau, V. & Verhesschen, P. (2011). Quality culture in higher education: from theory to practice. In EUA, Building Bridges: Making sense of quality assurance in European, national and institutional contexts. A selection of papers from the 5th European Quality Assurance Forum, 18-20 November 2010 (pp. 38-49). Brussels: EUA. Beukema, H. (2003). De structuur van het onderzoeksverslag. In F. Wester (red.), Rapporteren over kwalitatief onderzoek (pp. 19-34). Utrecht: Uitgeverij Lemma BV. Brennan, J. & Shah, T. (2000). Quality assessment and institutional change: experiences from 14 countries‟. Higher Education, 40, 331-349. Brunsson, N. (1989). The organization of hypocrisy. Talk, decisions and actions in organizations. Chichester, New York (etc.): John Wiley & Sons. Brundrett, M. & Rhodes, C. (2011). Leadership for quality and accountability in education. London and New York: Routledge. Cameron, K. S. & Quinn, R. E. (1999). Diagnosing and changing organizational culture. Based on the competing values framework. Reading, MA [etc.]: Addison-Wesley. Cartwright, M.J. (2007). The rhetoric and reality of „quality‟ in higher education. An investigation into staff perceptions of quality in post-1992 universities. Quality Assurance in Education, 15(3), 287-301. Cruickshank, M. (2003). Total quality management in the higher education sector: A literature review from an international and Australian perspective. TQM & Business Excellence, 14(10), 1159– 1167. Dolmans, D.H.J.M., Stalmeijer, R.E., Van Berkel, H.J.M. & Wolfhagen, H.A.P. (2011). Quality assurance of teaching and learning: Enhancing the quality culture. In T. Dornan, K. Mann, A. Scherpbier, & J. Spencer (Eds), Medical education. Theory and practice (pp. 257-264). Edinburgh: Elsevier. EUA, European University Association. (2006). Quality culture in European universities: A bottom-up approach, Report on the three rounds of the quality culture project 2002–2006. Brussels: EUA. EUA, European University Association. (2010). Examining quality culture: Part I - Quality assurance processes in higher education institutions. Brussels: EUA. Fischer-Bluhm, K. (2007). Instruments for raising quality culture in a network of universities. In EUA, Embedding quality culture: A selection of papers from The 1st European Forum for Quality Assurance, 23-25 November 2006 (pp. 34-39). Brussels: EUA. Flick, U. (1992). Triangulation revisited: Strategy of validation or alternative? Journal of the Theory of Social Behaviour, 22(2), 175-197.
22
Garvin, D. A. (1988). Managing quality. The strategic and competitive edge. New York, London: The Free Press. Gibson, A. (1986). Inspecting education. In G. Moodie (Ed.), Standards and criteria in higher education (pp. 128-135). Milton Keynes: SRHE & Open University Press. Harvey, L. & Green, D. (1993). Defining quality. Assessment & Evaluation In Higher Education, 18 (1), 9–34. Harvey, L. (2006). Quality culture, quality assurance and impact. Overview of discussions. In EUA, Embedding quality culture in higher education. A selection of papers from the 1st European F orum for Quality Assurance (pp. 81-84). Brussels: EUA. Harvey, L. & Newton, J. (2007). Transforming quality evaluation: moving on. In D.F. Westerheijden, B. Stensaker & M.J. Rosa. (Eds.), Quality assurance in higher education. Trends in regulation, translation and transformation (pp. 225-245). Dordrecht, The Netherlands, Springer. Harvey, L. & Stensaker, B. (2008). Quality culture: Understandings, boundaries and linkages. European Journal of Education, 43(4), 427-442. Hitlin, S. & Piliavin, J.A. (2004). Values: Reviving a dormant concept. Annual Review of Sociology, 3, 359–393. Hofstede, G. (2001). Culture‟s consequences: Comparing values, behaviors, institutions and organizations across nations, 2nd edn. Thousand Oaks, Ca (etc.): Sage. Houston, D. (2008). Rethinking quality and improvement in higher education. Quality Assurance in Education, 16(1), 61-79. Kezar, A. & Eckel, P. (2002). The effect of institutional culture on change strategies in higher education. Higher Education, 73(4), 435-460. Kleijnen, J., Dolmans, D., Willems, J., Muijtjens, A. & Van Hout, J. (2009). Organisational values in higher education, perceptions and preferences of staff. Quality in Higher Education 15(3), 233249. Kleijnen, J., Dolmans, D., Willems. J. & Van Hout, J. (2011a). Does internal quality management contribute to more control or to improvement of higher education? A survey on faculty‟s perceptions. Quality Assurance in Education, 19(2), 141-155. Kleijnen, J., Dolmans, D., Willems. J. & Van Hout, J. (2011b). Compliance or enhancement? Teachers‟ conceptions of quality and organisational values in higher education. Nog niet gepubliceerd. Kuper, A., Lingard, L. & Levinson, W. (2008). Qualitative Research. Critically appraising qualitative research. BMJ 2008;337: a1035. Lanarès, J. (2008). Developing a quality culture. In E. Froment, J. Purser, & L. Wilson (Eds.), EUA Bologna handbook, C 2.101 (pp. 1-27). Berlin: Raabe Verlag. Lewis, R.G. & Smith, D.H. (1994). Total quality in higher education. Delray Beach, Florida: St. Lucie Press. 23
Lingard, L., Albert, M. & Levinson, W. (2008). Qualitative research. Grounded theory, mixed methods, and action research. BMJ 2008; 337: a567. Lomas, L. (2004). Embedding quality: The challenges for higher education. Quality assurance in education 12(4), 157-165. Malterud, K. (2001). Qualitative research: Standards, challenges, and guidelines. The Lancet, 2001, 358, (483-488). Maso, I. & Smaling, A. (1998). Kwalitatief onderzoek: Praktijk en theorie. Amsterdam: Boom. Middlehurst, R. (1999). Quality enhancement in principle and practice: A case study in leading change. Tertiary Education and Management, 5(1), 25-48. Milliken, J. & Colohan, G. (2004). Quality or control? Management in higher education. Journal on Higher Education Policy and Management, 26(3), 381-391. Mundet Hiern, J., Suñé Torrents, A., Sallán Leyes, J.M. & Fernández Alarcón, V. (2006). The impact of defensive barriers on organizational performance and learning. Management & Avenir 2(8), 2737. Newton, J. (2000). Feeding the beast or improving quality?: Academics‟ perceptions of quality assurance and quality monitoring. Quality in Higher Education 6,(2), 153–163. Pope, C. & Mays, N. (2009). Critical reflections on the rise of qualitative research. BMJ 2009; 339: b3425. Reichert, S. (2008). Looking back – looking forward: Quality assurance and the Bologna process. In EUA, Implementing and Using quality assurance: strategy and Practice. Brussels: EUA. Sitkin, S.B., Sutcliffe, K.M. & Schroeder, R.G. (1994). Distinguishing control from learning in Total Quality Management: A contingency perspective‟, Academy of Management review, 18(3), 537564. Spencer, L. Ritchie, J. & O‟Connor, W. (2003). Analysis: Practices, Principles and Processes. In J. Lewis & J. Ritchie (Eds), Qualitative Research Practice. A guide for social science students and researchers (pp. 199-218) . London: Sage Publications. Stensaker, B. (2006). Impact of quality processes, in EUA, Embedding quality culture in higher education. A selection of papers from the 1st European Forum for Quality Assurance, 23-25 November 2006 in München, Germany (pp. 59-62). Brussels, Belgium: EUA. Vettori, O., Lueger, M. & Knassmüller, M. (2006). Dealing with ambivalences - strategic options for nurturing a quality culture in teaching and learning”, in EUA, Embedding quality culture in higher education. A selection of papers from the 1st European Forum for Quality Assurance, 23- 25 November 2006 ( pp. 21-33). Brussels, Belgium: EUA Watty, K. (2002). Engaging grassroots academics in quality conversations and quality initiatives: opportunities lost?” Paper presented at Transforming Quality: Seventh quality in higher education international seminar, October 31 – November 1, in Melbourne, Australia. Available at:
24
http://www.qualityresearchinternational.com/tq/papers/wattyoutline.doc.doc (accessed 11 May 2011). Westerheijden, D.F., Hulpiau, V. & Waeytens, K. (2007). From design and implementation to impact of quality assurance: an overview of some studies into what impacts improvement, Tertiary Education and Management, 13(4), 295-316. Yin, R. K. (2003). Case study research. Design and method, Third Edition. London: Sage Publications. Yorke, M. (2000). Developing a quality culture in higher education. Tertiary Education and Management, 6, 19-36.
25
