De praktijk als kennisbasis

De praktijk als kennisbasis Monitoring ter ondersteuning van de innovatie van het beroepsonderwijs

CINOP, ’s-Hertogenbosch José van den Berg, Cees Doets en Anneke Westerhuis

Het Expertisecentrum Beroepsonderwijs i.o. (ECBO) is een samenwerking tussen het Max Goote Kenniscentrum voor beroepsonderwijs en volwasseneneducatie en CINOP Expertisecentrum. Gezamenlijk voeren zij het ECBO-onderzoeksprogramma 2008 uit. Het ECBO wordt programmatisch aangestuurd door een programmaraad.

Colofon Titel: Auteurs: Tekstverzorging: Ontwerp omslag: Vormgeving: Bestelnummer:

De praktijk als kennisbasis : Monitoring ter ondersteuning van de innovatie van het beroepsonderwijs José van den Berg, Cees Doets en Anneke Westerhuis Sjoukje van de Kolk Theo van Leeuwen BNO Evert van de Biezen A00476

Uitgave: CINOP, ’s-Hertogenbosch September 2008 © CINOP 2008 Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie of op welke andere wijze dan ook zonder voorafgaande schriftelijke toestemming van de uitgever.

Postbus 1585 5200 BP ’s-Hertogenbosch Tel: 073-6800800 Fax: 073-6123425 www.cinop.nl

EvdB-A00476_v1/080918

ISBN 978-90-5003-538-5

Voorwoord

In een niet zo ver verleden werden onderwijsvernieuwingen bedacht aan de tekentafel van academici en vervolgens (z)onder protest ingevoerd in scholen, onder leiding van een procesmanagement. Onderzoek dat moest aantonen dat de vernieuwingen ook daadwerkelijk werden ingevoerd en met welke effecten, had een lange doorlooptijd, waardoor resultaten vaak laat boven tafel kwamen. Dat maakte het lastig het proces tijdig te kunnen bijsturen. In het beroepsonderwijs ontwikkelt zich een andere traditie. De kaders van de vernieuwing worden vastgesteld door de overheid; de wijze waarop die worden ingevuld, wordt aan de scholen overgelaten. Deze werkwijze stelt andere eisen aan onderzoek en kennisontwikkeling over onderwijsvernieuwing. Ten eerste zal onderzoek ten dienste moeten staan van de dagelijkse praktijk van de scholen en regio’s waar met vallen en opstaan de vernieuwingen worden gerealiseerd. Maar om tot een landelijk beeld te komen moet onderzoek ook zichtbaar maken wat de scholen gezamenlijk opleveren aan resultaten. Op welke terreinen wordt vooruitgang geboekt? Welke informatie is nodig om de innovatiedynamiek te richten op de gewenste doelen? Om de ervaringskennis die hiermee wordt opgedaan niet verloren te laten gaan, staat de onderzoeker tenslotte voor de taak deze te verbinden met de ‘body of knowledge’ die beschikbaar is over en voor het beroepsonderwijs. Vanuit deze achtergrond heeft CINOP Expertisecentrum de afgelopen jaren gewerkt aan een nieuwe onderzoeksmethodiek die start bij de lokale innovatiepraktijken, maar tevens kennis oplevert over de resultaten van landelijk vernieuwingsprogramma’s. Bovendien vindt kennisuitbreiding voor het beroepsonderwijs als geheel plaats op basis van ‘practice based evidence’. De nieuwe methodiek wordt onder andere toegepast bij de innovatiearrangementen van Het Platform Beroepsonderwijs en het Platform Bèta Techniek, maar kan ook worden

gebruikt zonder een directe koppeling aan een landelijk programma. Een voorbeeld is de samenwerking met ROC Midden Nederland. In dit roc wordt een omvangrijk veranderingsproces begeleid door onderzoek, in de eerste plaats om dit proces te kunnen bijsturen en daarnaast om het lerend vermogen van de organisatie te versterken. De kennis die hiermee wordt opgedaan wordt tevens gebruikt om de algemene kennisbasis over dit soort veranderingsprocessen in het beroepsonderwijs systematisch te versterken. Het interessante van de methodiek is dat deze een bijdrage kan leveren aan het overbruggen van de kloof tussen onderzoek en praktijk. Hetgeen niet wegneemt dat er nog de nodige discussies te voeren zijn, onder meer over het geschikte instrumentarium, de rol van en interactie tussen onderzoeker en praktijk en de verhouding tussen specifieke en generieke kennis. De auteurs zullen daaraan de komende tijd ongetwijfeld hun bijdrage leveren. Drs. Henny Morshuis Directeur a.i. CINOP Expertisecentrum

Inhoudsopgave

Vooraf

1 Opvattingen over kennisontwikkeling

1

3

1.1 Verbinden van meerdere kennisontwikkelingsprocessen

3

1.2 Verbreding van het kennisbegrip

6

1.3 De onderzoeker als kennisontwikkelaar en ‘critical friend’

8

1.4 De praktijk als ‘co-designer’ en ‘reflective practicioner’

9

1.5 Kernelementen monitormethodiek

11

2 De context van de monitoring 2.1 De innovatieprocessen

13 14

2.1.1 De inhoud

14

2.1.2 De condities

15

2.1.3 De effecten

15

2.1.4 De relatie tussen de inhoud, condities en effecten

16

2.2 De actoren

19

2.2.1 Lokale actoren

19

2.2.2 Landelijke actoren

20

2.2.3 De onderzoeker

21

3 De organisatie van de monitoring

23

3.1 De functies van de monitor

23

3.2 De fasering van het monitorproces

24

3.2.1 Zien

25

3.2.2 Waarderen

26

3.2.3 Handelen

27

4 Design en opbrengsten van de monitoring

31

4.1 ‘Multilevel’ en ‘mixed method’ design

31

4.2 Opbrengsten van de monitor

33

4.2.1 Afhankelijke variabelen

34

4.2.2 Onafhankelijke variabelen

37

4.2.3 Conditionele variabelen

39

Tot slot

41

Referenties

43

Vooraf

CINOP Expertisecentrum heeft in de afgelopen jaren een onderzoeksmethodiek ontwikkeld voor de monitoring van het beroepsonderwijs, die gericht is op het verbinden van het praktisch handelen en het ontwikkelen van kennis1. De methodiek is ontwikkeld met en wordt onder meer toegepast in de monitoring van de innovatiearrangementen van het Platform Bèta Techniek (PBT) en Het Platform Beroepsonderwijs (HPBO)2. Aan de ontwikkeling van de methodiek ligt de aloude vraag ten grondslag hoe de relatie tussen onderzoek en praktijk, tussen kennisontwikkeling en kennistoepassing, verbeterd kan worden. Verbetering wordt naar onze mening het beste bereikt door: locatiegebonden kennisontwikkelingsprocessen en locatieoverstijgende kennisontwikkelingsprocessen te verbinden3 ; de in de dagelijkse praktijk handelende actoren als legitieme bron van kennis te zien; constructieve verbindingen te maken tussen onderzoek en praktijkontwikkeling; een productieve rolverdeling te creëren tussen onderzoekers en in de praktijk handelende actoren in het proces van kennisontwikkeling; optimaal gebruik te maken van diverse kwalitatieve en kwantitatieve onderzoekstechnieken.

• • • • •

De afgelopen jaren zijn over deze thematiek de nodige publicaties verschenen. Een recent voorbeeld is ‘De kloof tussen onderwijsonderzoek en onderwijspraktijk’ (Broekkamp en Van Hout-Wolters, 2006). De publicatie is een metastudie waarin een beschrijving wordt gegeven van de problemen, oorzaken en mogelijke oplossingen van genoemde kloof. In hun studie 1 Deze methodiek is in nauwe samenwerking met Jan Geurts, lector Pedagogiek van de Beroepsvorming (Haagse Hogeschool) en Elly de Bruijn, lector en bijzonder hoogleraar Beroepsonderwijs (Faculteit Educatie, Hogeschool Utrecht/Universiteit van Utrecht) ontwikkeld. 2 Inmiddels zijn ook toepassingen/ervaringen beschikbaar vanuit andere innovatieprogramma’s waarbij CINOP Expertisecentrum betrokken is: de innovatieprogramma’s van de Projectdirectie Leren en Werken (PLW), van het consortium MTSplus, en van de Stichting Consortium Beroepsonderwijs (SCBO). 3 In het volgende hoofdstuk wordt verder op deze kennisbegrippen ingegaan.

1

2

hanteren de auteurs een brede definitie van onderwijsonderzoek4, variërend van fundamenteel onderzoek tot actieonderzoek (“Wanneer practici zelf onderzoek uitvoeren en de resultaten gebruiken om een onderwijssituatie te optimaliseren”). De conclusie van de auteurs, die wij onderschrijven, is dat een veelheid aan kennisopvattingen (van positivistische tot sociaalconstructivistische) aan de verschillende oplossingsmodellen ten grondslag ligt. Elk van die opvattingen geeft een partieel antwoord op het dichten van de kloof: modellen zijn eerder complementair dan tegengesteld aan elkaar en kunnen als zodanig ook worden ingezet. In deze publicatie wordt de voor de monitoring van het beroepsonderwijs ontwikkelde onderzoeksmethodiek uitgewerkt en in het perspectief van de kennisontwikkeling geplaatst. In hoofdstuk 1 gaan we eerst in op de opvattingen over de ontwikkeling van kennis die aan de monitorbenadering ten grondslag liggen: het verbinden van kennisontwikkelingsprocessen en meerdere kennisbronnen en de betekenis hiervan voor de (onderzoeks)rollen van de praktijkactoren en onderzoekers. Hoofdstuk 2 beschrijft de actuele praktijk van de inrichting van innovatieprocessen in het beroepsonderwijs en de posities van actoren die bij deze innovaties zijn betrokken. In hoofdstuk 3 wordt de organisatie van de monitor en het kennisontwikkelingsproces in relatie tot het innovatieproces uitgewerkt. Dit hoofdstuk beschrijft ook functies en rollen van de onderzoeker en de praktijkactoren in de verschillende fasen van het monitorproces. In hoofdstuk 4 wordt het design van de monitor uitgewerkt en aangegeven welke kennis (geconcretiseerd in variabelen) door de monitoring wordt gegenereerd. In de slotbeschouwing staan we stil bij aspecten van de methodiek die om doorontwikkeling vragen.

4 “Structuren, processen en personen die deel uitmaken van systematische en gerichte vormen van kennisontwikkeling over onderwijs”, pagina 12.

Opvattingen over kennisontwikkeling

De monitormethodiek is geënt op opvattingen over kennisontwikkeling die de ontwikkeling van kennis met handelen verbinden: verbinding van locatiegebonden (of specifieke) kennisontwikkelingsprocessen aan locatieoverstijgende (of generieke en domeingerelateerde) kennisontwikkelingsprocessen; verbreding van het kennisbegrip met de erkenning dat kennis in vele contexten ontwikkeld kan worden.

1

• •

Het verbinden van kennisontwikkeling en handelen heeft vervolgens gevolgen voor de rollen van actoren in deze processen: de rol van de onderzoeker verbreedt naar die van ‘critical friend’ en ontwikkelaar van kennis op verschillende (kennis)niveaus. de praktijk krijgt een actieve rol bij de kennisontwikkeling als medeontwerper (‘co-designer’) en medekennisontwikkelaar (‘reflective practitioner’).

• •

1.1 Verbinden van meerdere kennisontwikkelingsprocessen Bij de ontwikkeling van de onderzoeksmethodiek wordt voortgebouwd op ideeën in het proefschrift van Doets (1982) en het commentaar op deze ideeën dat verwoord is in ‘Werken aan redeneringen die een tijdje kloppen…’ 5 . Doets stelt dat de onderzoeker die zich richt op het handelen in de praktijk en tegelijkertijd algemeen geldende kennis wil ontwikkelen, te maken 5 Uitgegeven door CINOP Expertisecentrum ter gelegenheid van het afscheid van Cees Doets als directeur van het CINOP Expertisecentrum (oktober 2007).

3

4

heeft met twee (zoek)processen. Ten eerste een zoekproces in één of meer specifieke praktijken, waarbij de kennisvragen van die praktijk het uitgangspunt vormen. En ten tweede een zoekproces dat zich richt op het ontwikkelen van generieke kennis, die algemeen geldig en bruikbaar is (dat wil zeggen in een breed scala van vergelijkbare praktijken, die al dan niet gelieerd zijn aan een landelijk innovatieprogramma). Een belangrijke bron voor deze laatste vorm van kennis is de ervaringskennis van de lokale actoren. Vervolgens kan de kennis worden verbonden met kennis die op een bepaald terrein beschikbaar is. Naast de in deze publicatie gepresenteerde methodiek wordt kennis ook op diverse andere manieren ontwikkeld. Bijvoorbeeld door middel van survey-onderzoek, experimenteel onderzoek of (klassiek) evaluatieonderzoek. Naar onze mening dienen de resultaten, onafhankelijk van de onderzoeksmethodiek, vanuit het perspectief van complementariteit beoordeeld te worden. Accumulatie van kennis (‘practice based evidence’ en ‘evidence based practice’) vindt plaats in de kaders van kennisdisciplines (bijvoorbeeld de onderwijskunde) en duiden wij hier verder aan als domeinkennis6. Generieke, aan een landelijk innovatieprogramma7 gerelateerde kennis, bevindt zich vanuit het kennisontwikkelingsperspectief dus tussen specifieke kennis en domeinkennis in. In het beroepsonderwijs zijn scholen zelf verantwoordelijkheid voor de organisatie van hun innovatieprocessen. Belangrijke innovatiethema’s zijn echter – nog steeds – geregisseerd vanuit landelijke meerjarenprogramma’s. Hoofdstuk 2 gaat hier verder op in. Het is belangrijk te constateren dat in de innovatiepraktijk het verbinden van lokale met landelijke programmagestuurde kennisontwikkeling8 nog steeds actueel is. De rolverdeling tussen landelijke en lokale actoren is wel aan het verschuiven9. Die verschuiving manifesteert zich vooral in het probleemhouderschap van innovaties en de daarmee verbonden kennisvragen. Was in het

6 In deze publicatie gebruiken wij het begrip ‘domeinkennis’. Deze domeinkennis bestaat uit de kennis die op een bepaald moment over een bepaald domein beschikbaar is: ‘the state of the art’. Dit zal diverse kennisproducten betreffen, variërend van op klassieke wijze getoetste theorieën tot via praktijkervaringen gevalideerde ‘good practices’. Een interessante discussie is of het begrip ‘theorie’ een bruikbaar concept is om al deze kennis in te synthetiseren. Omdat het handelingsperspectief voorop staat gaat het wellicht veel meer om de ontwikkeling van een uitgebreid databestand waaruit de praktijk, gerelateerd aan eigen context en doeleinden kennis kan ontlenen. Vergelijk ook de discussie die hierover recent is aangezwengeld door Chris Anderson (zie onder andere NRC-Handelsblad, 24 juli 2008, pagina 1 en 8). 7 Bijvoorbeeld Deltaplan Bèta Techniek, Innovatiearrangement Beroepskolom. 8 Met landelijke kennisontwikkeling wordt gerefereerd aan de ambitie om de in lokale situaties ontwikkelde kennis ook in andere situaties relevant te laten zijn. 9 Vgl. De Bruijn en Westerhuis, 2004.

verleden het programma (ofwel de landelijke overheid) de probleemhouder die de scholen tot innovaties aanzette, nu is het aan de scholen zelf om eigen innovatieambities te formuleren. Lokale praktijken zijn in de nieuwe verhoudingen niet langer object van landelijke innovatieprogramma’s, maar actor in de (kennis)ontwikkeling ten behoeve van de eigen praktijk10. De rol van het programma verschuift naar het bieden van een kader voor innovaties: het leveren van ‘zachte’ sturing in de focus van lokale innovatieagenda’s, het fungeren als aanjager voor het ontwikkelen van kennis op stelselniveau en het organiseren van de verbinding tussen onderzoek en praktijkontwikkeling. De generieke kennis, die we tussen de specifieke kennis en domeinkennis hebben geplaatst, wordt dus ontwikkeld in de context van het stelsel, veelal geconcretiseerd in landelijke innovatieprogramma’s. Deze context is het ordeningsprincipe voor het generaliseren van de kennis uit de aan het programma verbonden lokale praktijken. Uiteraard kan de verbinding tussen specifieke en generieke kennis ook gerealiseerd worden zonder dat er sprake is van een landelijke programma. De regie hiervan ligt dan sterker bij de onderzoeker in samenwerking met de betrokken lokale actoren. De ambitie van de monitoring is om specifieke, locatiegebonden kennis op te leveren en deze kennis te vertalen in generieke kennis die op landelijk, programmaniveau, bruikbaar is én om beide kennissoorten te verbinden met en te transformeren tot domeinkennis11. Op die manier draagt monitoring bij aan kennisaccumulatie en kenniscirculatie op verschillende niveaus. Kenmerkend is dat het steeds om handelingskennis gaat: de specifieke kennis, de generieke kennis en de domeinkennis zijn actorgebonden. Uiteraard kunnen per kennissoort en binnen de kennissoorten verschillende actoren worden onderscheiden. Zo kan specifieke kennis over de voortgang in het realiseren van een nieuwe onderwijspraktijk door lokale actoren (bijvoorbeeld het management) benut worden om het eigen innovatieproces (bij) te sturen. Met generieke kennis over het succesvol organiseren van innovaties kunnen overheid of programmamanagers landelijke innovatieprogramma’s (bij)sturen. En domeinkennis over succesvol gebleken didactieken kan door docententeams worden gebruikt om nieuwe vormen van begeleiding in hun eigen situatie toe te passen.

10 Vgl. Geurts, 2004. 11 Bijvoorbeeld via methoden van ‘plausible reasoning’ (zie bijvoorbeeld Rescher, 1976).

5

Er zijn dus drie kenniskaders, die in de monitormethodiek worden verbonden: het kader van lokale praktijkontwikkeling. In dit kader wordt kennis ten behoeve van een specifieke setting ontwikkeld door praktijkontwikkeling met een onderzoeksproces te verbinden; het kader van landelijke programmagestuurde, of stelselgestuurde innovatie. In dit kader wordt locatiegebonden kennis geaccumuleerd tot generieke kennis ten behoeve van aan dat programma of stelsel gerelateerde actoren, op zowel landelijk als lokaal niveau; het kader van de ontwikkeling van domeinkennis. In dit kader wordt de kennis uit bovengenoemde kaders verbonden met kennis die binnen een kennisdiscipline beschikbaar is en getransformeerd tot domeinkennis (‘the state of the art). Domeinkennis is discipline gerelateerde kennis (bijvoorbeeld de onderwijskunde) die het resultaat is van een palet aan onderzoeksmethodieken.

• • •

6

In de drie kenniskaders kan het gaan om verschillende kennisvraagstukken, bijvoorbeeld op het terrein van beleid of op het terrein van didactiek. Voor de kennisaccumulatie kunnen diverse kwalitatieve en kwantitatieve onderzoeksmethoden en -instrumenten worden gebruikt.

1.2 Verbreding van het kennisbegrip De aandacht voor kennisontwikkeling in relatie tot praktisch handelen heeft geleid tot verbreding van het kennisbegrip. Relatief bekend zijn inmiddels de termen ‘modus 1 kennis’ (cognitieve objectiverende kennis, resultante van academische kennisontwikkeling) en ‘modus 2 kennis’ (praktische en technische kennis, resultante van lokale, contextspecifieke kennisontwikkeling) van Gibbons (1994). Ook kan in dit verband gerefereerd worden aan de definitie van Weggeman: “Kennis is het vermogen dat iemand in staat stelt een bepaalde taak uit te voeren door gegevens (van externe bronnen) te verbinden, te laten reageren met eigen informatie, ervaringen en attituden”12 . Relevant is eveneens het onderscheid van Nonaka en Takeuchi (1995) tussen formele kennis en ervaringskennis en hun uitgangspunt dat deze kennistypen niet alleen naast elkaar kunnen 12 Weggeman, 1997, pagina 31

staan maar ook op elkaar betrokken kunnen worden en er dus niet alleen per kwadrant sprake is van kennisaccumulatie: Figuur 1 Typologie van kennisaccumulatie Nonaka en Takeuchi Kennisaccumulatie

Naar ervaringskennis

Naar formele kennis

Van ervaringskennis

Socialisatie

Externalisatie

Van formele kennis

Internalisatie

Combinatie

Kennisaccumulatie tussen de kwadranten komt alleen tot stand als deze in (onderzoeks)processen wordt georganiseerd1 3 : delen en expliciteren van ervaringskennis, bijvoorbeeld via kenniskringen of ‘communities of practice’ (socialiseren); relateren van ervaringskennis aan elders ontwikkelde kennis, bijvoorbeeld via confrontatie met de resultaten van literatuurstudies of ‘reviews’ over vergelijkbare kennisvraagstukken (externaliseren); vertalen van generieke (formele) kennis naar handelingskennis, bijvoorbeeld via actorgerichte conceptualisering en vormen van communicatie die aansluiten bij de taal en de kennisverwervingstrategieën die actoren in hun praktijksituatie gebruiken14 (internaliseren); verbinden van ervaringskennis aan formele kennis, bijvoorbeeld via het analyseren van de relaties tussen nieuwe praktijken en bereikte effecten, en het uitvoeren van aanvullend onderzoek (combineren).

• • • •

De kern is dat door de verbreding van het kennisbegrip kennis niet langer uitsluitend wordt gedefinieerd aan de hand van (methodische) vormvereisten. De ‘waarde’ van kennis wordt in belangrijke mate bepaald door de bruikbaarheid van de kennis voor actoren. In de woorden van De Wilde (2001): “De schaduw van het kapitaal is over de kenniswereld gaan vallen”.

13 Vgl. De Bruijn, 2008, pagina’s 24-25. 14 Vgl. Doets, 1982, pagina 142 en verder.

7

1.3 De onderzoeker als kennisontwikkelaar en ‘critical friend’ Verbreding van het kennisbegrip heeft gevolgen voor de rol van de onderzoeker. Een belangrijk aspect van deze rol is het verbinden van verschillende kennisontwikkelingsprocessen. In principe zijn deze processen iteratief en cyclisch. Locatiegebonden kennis wordt gesynthetiseerd tot generieke en domeinkennis, maar ook deze gegeneraliseerde kennis is actorgerelateerd en als zodanig beschikbaar voor lokale praktijken en voor actoren op programmaniveau. In schema: Figuur 2 De rol van de onderzoeker in het verbinden van meerdere kennisontwikkelingsprocessen Generieke kennis

8

Domeinkennis

* Lokale kennis

In het verbinden van kennisontwikkelingsprocessen is de eerste slag het genereren van kennis uit lokale praktijken tot kennis op stelselniveau15 (de linkerkant van de driehoek). Deze kennis komt tot stand door het vergelijken van praktijken en het synthetiseren van kennis uit de verschillende lokale bronnen. De tweede slag is het versterken van het kennisniveau (“the state of the art”) van een bepaalde discipline. Het gaat om het genereren van domeinkennis uit de lokale praktijken (de rechterkant van de driehoek) en het programmaniveau (de bovenkant van de driehoek). Beide kennisvormen

15 Het gaat hier om het beroepsonderwijs in al zijn verscheidenheid, waarvoor de term ‘stelsel’ wordt gebruikt.

worden getransformeerd tot domeinkennis. De dialoog met de gemeenschap van onderzoekers die op het terrein van een bepaalde discipline werkzaam zijn speelt hierbij een belangrijke rol1 6 . In het verbinden van deze kennisprocessen heeft de onderzoeker die de monitormethodiek toepast dus te maken met drie ‘kennisgemeenschappen’: de lokale actoren, de op stelselniveau opererende actoren en de gemeenschap van onderzoekers, die actief zijn binnen een bepaalde discipline (vgl. het ‘wetenschappelijke forum’)17. Een tweede aspect is dat de onderzoeker in lokale praktijken de rol heeft van ‘critical friend’, gericht op het verruimen van handelingsmogelijkheden. Kenmerkend voor innovaties in het beroepsonderwijs is dat betrokkenen het uiteindelijke resultaat moeten beoordelen, terwijl ze tegelijkertijd onderdeel zijn van het proces waarin dat resultaat moet worden behaald. Risico van het uitsluitend werken vanuit een eigenaarperspectief, is dat de kritische afstand ontbreekt om naar processen en resultaten te kijken. Vooral in complexe innovatieprocessen is het belangrijk ook op afstand te kijken om voor direct betrokkenen onzichtbaar blijvende patronen te benoemen. In deze processen is het de rol van de onderzoeker om feiten te verzamelen om het blikveld van direct betrokkenen te verruimen. Deze rol duiden we aan met het begrip ‘critical friend’18 . In deze rol richt zijn professionaliteit zich op het verkennen van de handelingsruimte van betrokkenen, het expliciteren van het proces om daarin patronen te benoemen en blinde vlekken zichtbaar te maken, het duiden van informatie over voortgang en resultaten en het destilleren van handelingsmogelijkheden.

1.4 De praktijk als ‘co-designer’ en ‘reflective practicioner’ De verbreding van het kennisbegrip brengt met zich mee dat de professionele onderzoeker niet de enige speler is in het proces van kennisontwikkeling. In het kader van programmagestuurde innovatie komt kennisontwikkeling tot stand in een wisselwerking tussen onderzoekers en

16 De instrumenten hiervoor moeten verder verfijnd worden. Bijvoorbeeld om de plausibiliteit van het kennisverwervingproces (zie bijvoorbeeld figuur 5) en de validiteit en relevantie van de resultaten, ook in relatie tot de resultaten uit andere methodieken te verbeteren. 17 In hoofdstuk 3.2.3 wordt hier nader op ingegaan. 18 Zie bijvoorbeeld Swaffield’s definitie van de kritische vriend als iemand die nieuwe focus biedt op iets dat vanzelfsprekend lijkt (Swaffield, 2002).

9

andere actoren. De verbinding van onderzoek en handelen is het sterkst in de verbinding van de onderzoeker met actoren in lokale praktijken en daaraan gerelateerd met actoren betrokken bij landelijke programma’s.

10

Voor beide groepen actoren betekent dit dat ze de rol vervullen van co-designer in het onderzoek, om de kennisopbrengsten te kunnen benutten voor (bij)sturing van landelijke of lokale ambities of de (her)inrichting van innovatieprogramma’s of -processen. Zij zijn niet alleen probleemhouder maar ook gebruiker van de kennisopbrengsten. De rol van landelijke actoren in het co-design kan variëren van het articuleren van de kennisvragen en beoogde kennisproducten tot en met het formuleren van een programma van eisen voor te hanteren onderzoekstechnieken en -instrumenten. Voor lokale actoren kan die rol variëren van het meeontwerpen van de inrichting van het monitorproces tot en met het expliciteren van eisen voor de te hanteren onderzoekstechnieken en -instrumenten1 9 . Voorwaarde voor constructieve vormen van co-designing is een professionele spelverdeling tussen landelijke en lokale actoren en onderzoekers waarin partijen elkaar aanvullen zonder elkaars rol over te nemen. In het proces van specifieke kennisontwikkeling hebben lokale actoren de rol van ‘reflective practicioner’2 0 . Het verbinden van praktijkontwikkeling met een onderzoeksproces is voorwaarde voor het genereren van kennisopbrengsten waarmee het lokale innovatieproces kan worden (bij)gestuurd. Daarbij gaat het zowel om het expliciteren van ervaringskennis (veelal intuïties: ‘tacit knowledge’) en het systematisch reflecteren op ervaringen, als om het verbinden van deze kennis met andere kennisbronnen (uit vergelijkbare praktijken en de lokale praktijken overstijgende kennis). In hun rol als ‘reflective practicioners’ kijken lokale actoren kritisch naar de voortgang van het innovatieproces, naar de effecten en naar de condities waaronder deze bereikt worden. Bij deze rol hoort ook de dialoog waarin lokale geledingen (bestuurders, managers en opleiders) de resultaten van deze reflectie vertalen naar het eigen handelen2 1 .

19 Deze rol is mede afhankelijk van de vraag of er sprake is van “landelijke programmering”, zoals bij de in de volgende hoofdstukken beschreven monitoring het geval was. 20 Vgl. Schön, 1983 en Korthagen, 1990. 21 Vgl. De Bruijn, 2008.

1.5 Kernelementen monitormethodiek In onderstaande Figuur 3 worden de kernelementen van de methodiek samengevat. De Figuur maakt zichtbaar dat kennisontwikkelingsprocessen zich verbinden op een gedeelde innovatieagenda van actoren op verschillende niveaus. Inhoudelijk kan het bijvoorbeeld gaan over de ambitie meer mensen in de techniek op te leiden, of meer doorstroom in de beroepskolom te bereiken. De onderzoeker staat voor de taak om meerdere kennisontwikkelingsprocessen met elkaar te verbinden, in interactie met verschillende ‘kennisgemeenschappen’, om zowel locatiegebonden kennis, als locatieoverstijgende kennis en domeinkennis te ontwikkelen. Figuur 3 Kernelementen monitormethodiek Gedeelde innovatieagenda Lokale praktijk

Stelsel

Domein/Discipline

Ervaringen accumuleren tot locatiegebonden kennis = Expliciteren/generaliseren

Lokale kennis accumuleren tot locatieoverstijgende (programmagerelateerde) kennis = Generaliseren/synthetiseren

Specifieke en generieke kennis accumuleren tot ‘state of the art’ kennis = Synthetiseren/integreren

Lokale actoren

Actoren stelsel

Actoren kennisdisciplines*

Specifieke kennis

Generieke kennis

Domeinkennis

* Te vergelijken met het klassieke ‘wetenschappelijk forum’, waarbij het onderscheid tussen ontwikkelaar en gebruiker relevant is. Gebruikers zijn uiteraard weer alle actoren die de domeinkennis kunnen/willen gebruiken. In de meeste gevallen zullen dat actoren op zowel lokaal als stelselniveau zijn.

11

12

De context van de monitoring

De innovatiepraktijk van het beroeponderwijs is complex. Dat komt onder andere doordat zich tegelijkertijd meerdere innovatieprocessen afspelen en doordat een veelheid van actoren, op verschillende niveaus en met verschillende posities, bij deze innovaties betrokken is. Innovaties worden niet topdown voor de bve-sector besloten, maar ze worden ook niet geheel aan de instellingen overgelaten. Thema’s, evenals de uitwerking ervan in praktijkvernieuwingen, krijgen vorm in discussies tussen lokale initiatiefnemers en landelijke programmamanagers en hun beoordelingscommissies. Deze context en de posities van de bij deze processen betrokken actoren is in sterke mate bepalend voor de concrete uitwerking van de monitoring. De kern van de kennisontwikkeling ligt in de lokale processen. In de volgende paragraaf worden drie perspectieven geïntroduceerd om naar deze processen te kijken; inhouden, condities en effecten. In het tweede deel van dit hoofdstuk staan we stil bij de posities van de actoren die betrokken zijn bij deze innovatieprocessen: lokale actoren, landelijke actoren en onderzoekers. Hierbij worden twee dimensies belicht: het type kennisvragen dat deze actoren bezighoudt en het soort kennisproducten waaraan zij behoefte hebben, uitgaande van het karakter van de lokale innovatieprocessen.

2 13

2.1 De innovatieprocessen Het verloop en de resultaten van deze processen kunnen vanuit drie perspectieven zichtbaar worden gemaakt.

14

2.1.1 De inhoud Inhoudelijk gaat het om de vernieuwing van de onderwijspraktijk (het primaire proces). Vernieuwing krijgt vorm in inhoudelijke, pedagogisch-didactische en organisatorische veranderingen. Onderwijsinnovaties raken echter ook externe organisatieprocessen door de samenwerking met regionale partners (in onderwijs en bedrijfsleven). De mogelijkheid om innovaties op stelselniveau te agenderen impliceert dat partijen op één agenda te verenigen zijn. Opereren op basis van consensus is overigens kenmerkend voor het Nederlandse onderwijsdebat. Beleidsonderzoekers wijzen erop dat in deze debatten het pragmatisme overheerst. Voor Keep en Brown (2004) is de kern van het innovatiebeleid in het Nederlandse beroepsonderwijs de “clear and explicit attempt to plan the reforms systematically and to design a new system as a whole”22. Tot dezelfde observatie kwam Leune (2001) al eerder met zijn conclusie dat pragmatische en zakelijke argumenten in het Nederlandse onderwijsdebat domineren. Over de inhoud van de innovatieagenda is een redelijke mate van consensus tussen instellingen, regio’s en actoren op stelselniveau. Terugkerende kernthema’s zijn: aansluiting in de beroepsonderwijskolom: doorlopende trajecten in vmbo – mbo – hbo, die de loopbaan van de deelnemers faciliteren; krachtige leeromgevingen: contextrijke, arbeidsnabije en attractieve leeromgevingen, die uitval verminderen, het interne rendement verhogen en de doorstroom naar opleidingen op een hoger niveau bevorderen; opleiden voor eigentijds vakmanschap: het onderwijs is gericht op het ontwikkelen van eigentijds vakmanschap, met bijbehorende aanpassingen in doelen, inhouden, begeleiding en beoordeling, organisatievormen en samenwerkingsprocessen; ketenaanpak: intensieve samenwerking met partners in omringend onderwijs en bedrijfsleven, ketenaanpak als pijler van de regionale kennisinfrastructuur;

• • • •

22 Keep en Brown, 2004, pagina 258.

• •

flexibele onderwijsorganisatie: vraaggerichte organisatie die inspeelt op regionale ontwikkelingen en anticipeert op nieuwe opleidingsvragen; transparante kwalificatiestructuur: een relatief eenvoudige kwalificatiestructuur geoperationaliseerd in competenties.

2.1.2 De condities Innovatieprocessen zijn succesvol onder bepaalde condities. Uit recent onderzoek komen vijf conditionele categorieën voor succesvol innoveren naar voren, die bepalend zijn voor de resultaten23 : 1 gedeeld eigenaarschap: de prioriteit die de innovatie heeft bij alle geledingen van de schoolorganisatie en bij de betrokken samenwerkingspartners uit onderwijs en bedrijfsleven; 2 krachtig innovatieconcept: de inspiratie die uitgaat van het innovatieconcept en de samenwerkingspartners uitdaagt om in- en extern beschikbare kennis te gebruiken om de innovatie tot stand te brengen; 3 ontwikkelingsgerichte aanpak: het leiderschap en de professionaliteit (in termen van procesen resultaatgerichtheid) die worden ingezet om de innovatie in praktijk te brengen; 4 transparante resultaten: als partnerorganisaties de wil en mogelijkheden inzetten om (tussentijdse) resultaten zichtbaar te maken als basis voor (bij)sturing; 5 expliciet leren: in- en externe reflectie organiseren om te leren van de vernieuwingen en de leerervaringen en successen te verankeren in het beleid van de partnerorganisaties. 2.1.3 De effecten Het derde perspectief richt zich op de effecten van innovatieprocessen. Uiteindelijk zullen vernieuwingen niet op de kwaliteit van het concept, maar op hun effecten worden beoordeeld. Effecten zijn niet los te zien van de inhouden en van de condities. Voor elk inhoudelijk doel zullen beoogde effecten geformuleerd moeten worden. Verder zullen er condities gecreëerd moeten worden om die inhoudelijke doelen, en daarmee de beoogde effecten te bereiken. Er zijn twee soorten effecten: kwantitatieve effecten: in-, door-, uitstroom, rendement (uitvalreductie);

•

23 Vgl. Van den Berg en Geurts, 2007.

15

•

16

kwalitatieve effecten: waardering van diverse lokale en landelijke actoren voor de voortgang en resultaten van vernieuwingen die in praktijk zijn gebracht.

2.1.4 De relatie tussen de inhoud, condities en effecten In het beroeponderwijs worden innovatieprocessen veelal georganiseerd in projecten. In het projectplan worden dan inhoud, condities en beoogde effecten geformuleerd, waarna het projectplan als sturings- en verantwoordingskader voor projectleider en -team functioneert. Inhoud en proces worden daarbij vaak losgekoppeld; er wordt vanuit gegaan dat de inhoud zich binnen een vooraf gegeven stramien ontwikkelt. Deze benadering ontkent de interactie tussen inhoud, condities en effecten. De realiteit is dat een inhoudelijk ontwerp verandert gedurende het innovatieproces. Zeker bij complexe problemen zal dat het geval zijn. In innovatieprocessen wordt voortdurend gependeld tussen het formuleren van het probleem en de keuze van de te ondernemen acties. Vooral als er meerdere actoren bij zijn betrokken die elk vanuit een eigen invalshoek naar inhoud, condities en effecten kijken. Figuur 4 illustreert de relaties tussen de drie perspectieven.

Figuur 4 Relaties tussen perspectieven in lokale innovatieprocessen

Probleemstelling

Inhoud Aansluiting in de beroepsonderwijskolom Krachtige leeromgevingen Opleiden voor eigentijds vakmanschap Flexibele onderwijsorganisatie Ketenaanpak van onderwijs en bedrijfsleven Transparante kwalificatiestructuur

Condities

Gedeeld eigenaarschap Krachtig innovatieconcept Ontwikkelingsgerichte aanpak Transparantie resultaten Expliciet leren

Effecten

Instroom Doorstroom Uitstroom Rendement Waardering

Wil er sprake zijn van een innovatieaanpak die (op termijn) ‘evidence based’ genoemd kan worden, dan is het onderzoeken van de relatie tussen inhoud en effecten (en de condities waaronder deze tot stand komen) noodzakelijk. Het is uitermate moeilijk om in niet-laboratoriumsituaties causale verbanden vast te stellen. Het zal veeleer gaan om het opbouwen van ‘practice based evidence’ op basis van plausibiliteit en kwalitatieve analyses van vergelijkbare cases. In het perspectief van kennisaccumulatie is het zinvol om ‘niveaus’ van bewezen verbanden te onderscheiden. Figuur 5 representeert

17

(cumulatief) de verschillende stadia waarin de ontwikkeling van een effectieve nieuwe praktijk kan verkeren. Hierbij kunnen nieuwe praktijken in termen van bewezen effecten: ‘intentioneel’, ‘potentieel’, ‘veelbelovend’, ‘doeltreffend’ of ‘werkzaam’ zijn. Figuur 5 Effectenladder24

Werkzaam

Doeltreffend Practice Based Evidence

18

Veelbelovend

Evidence Based Practice

Potentieel Intentioneel

24 Ontleend aan: Bronnenboek praktijkgestuurd effectonderzoek, NIZW/Praktikon/Ministerie van VWS, 2006.

Effecten

Omschrijving

5. Werkzaam

Als 2, 3 en 4, maar er is empirisch bewijs verzameld dat de bereikte effecten samenhangen met de nieuwe praktijken.

4. Doeltreffend

Als 2 en 3, maar nu zijn er gegevens over bereikte effecten verzameld op grond waarvan plausibel gemaakt kan worden dat deze samenhangen met de nieuwe praktijken.

3. Veelbelovend

Als 2 en 1, maar nu is er een theoretisch onderbouwde argumentatie dat de beoogde effecten samenhangen met de nieuwe praktijken.

2. Potentieel

Als 1, maar nu is er een geëxpliciteerde redenering die het aannemelijk maakt dat de beoogde effecten samenhangen met de nieuwe praktijken.

1. Intentioneel

Aangenomen wordt dat de beoogde effecten samenhangen met de nieuwe praktijken.

2.2 De actoren Bij innovatieprocessen zijn lokale actoren, landelijke actoren en onderzoekers betrokken. Deze actoren nemen verschillende posities in, en hebben daarvan afgeleid uiteenlopende kennisvragen. 2.2.1 Lokale actoren Scholen en bedrijven zijn als lokale aanbieders en afnemers van het beroepsonderwijs in de positie om te bepalen aan welke innovatieagenda zij zich verbinden. Zij stellen vast welke thema’s prioriteit krijgen, ontwerpen de innovatieprocessen en voeren de innovaties door op hun eigen manier en in hun eigen tempo. Lokale actoren vormen een heterogene groep, bestaande uit deelnemers, docenten, stafmedewerkers, management, bestuurders, stakeholders enzovoort. Afhankelijk van de rollen van deze actoren in het innovatieproces richten hun kennisvragen en kennisbehoeften zich. In het doorvoeren van innovaties is sprake van een voortdurend pendelen tussen het ontwerpen van nieuwe praktijken, het creëren van de noodzakelijke randvoorwaarden en het (bij)sturen op basis van tussentijdse resultaten. Kennisontwikkeling loopt parallel aan het innovatieproces en heeft als functie om de relaties tussen deze processen zichtbaar te maken. Omdat het om

19

dynamische processen gaat, is het proces van kennisontwikkeling erop gericht tot praktische handvatten te komen voor ‘just in time’ handelen van direct betrokkenen. De door onderzoek geïdentificeerde kennis over de dynamiek van deze lokale processen is niet per definitie handelingskennis. Het wordt handelingskennis als de lokale actoren in het ontwerp ruimte hebben ingebouwd om innovatieprocessen op basis van deze kennis bij te sturen. En ook als de kennisproducten rekening houden met de uiteenlopende kennisbehoeften van betrokkenen. Daaraan kan de onderzoeker bijdragen door kennisproducten voor de handelende praktijk ‘just in time’ toegankelijk te maken en af te stemmen op een heterogene groep betrokkenen.

20

2.2.2 Landelijke actoren Landelijke actoren hebben veelal de rol van facilitator en aanjager van innovatieprocessen. Zij faciliteren door het beschikbaar stellen van financiële middelen en het inzetten van denkkracht in het beoordelen van projectvoorstellen. Zij jagen aan door het uitwerken van programma’s of het adviseren over financieringmogelijkheden. Voorafgaand aan de feitelijke kennisontwikkeling hebben landelijke actoren een belangrijke rol in het bepalen van de vraagstelling, de relevante variabelen en het design. Deze worden mede bepaald door de innovatieagenda en de innovatiestrategie. Kennisontwikkeling houdt voor hen in dat zij de voortgang kunnen vaststellen, zowel wat betreft condities, inhoud als effecten en op de relaties daartussen om op basis daarvan het programma (bij) te kunnen sturen of te kunnen (her)inrichten. Ook moeten zij de resultaten van de kennisontwikkeling terugvertalen en verspreiden naar de lokale praktijken (binnen en buiten het landelijke innovatieprogramma). Omdat het om meerjarige en tot op zekere hoogte onderling vergelijkbare processen gaat, heeft het proces van kennisontwikkeling ten doel om tot ‘evidence based’ kennisproducten te komen. Kenmerkend voor de positie van landelijke actoren is dat zij zowel behoefte hebben aan kennisproducten voor lokale actoren (bijvoorbeeld ‘good practies’) als aan kennisproducten voor de landelijke actoren zelf (bijvoorbeeld bevindingen over de voortgang van lokale innovatieprocessen, als basis voor bijstelling van het landelijke innovatieprogramma). Ook in de programmastructuren van landelijke actoren moet ruimte zijn om op basis van kennis over de ontwikkelingen in de lokale praktijken de effectiviteit en efficiency van het landelijke programma te vergroten. Hoewel de kennisvragen en behoeften van landelijke actoren anders

zijn dan die van lokale actoren, geldt ook hier dat de onderzoeker bijdraagt aan het gebruik van de kennis, door de kennisproducten toegankelijk en ‘handelingsgerelateerd’ te maken. 2.2.3 De onderzoeker De positie van de onderzoeker in de lokale innovatieprocessen is te kenschetsen als ‘critical friend’ die balanceert tussen betrokkenheid en distantie25. De betrokkenheid van de onderzoeker blijkt uit de bijdrage die hij levert aan de verbetering van het praktisch handelen van de lokale actoren en in het (mee)organiseren van de processen om locatiegebonden handelingskennis te genereren. De onderzoeker doet dit onder andere door te stimuleren dat onderzoeksprocessen op een professionele en systematische wijze worden ontwikkeld en verankerd in lokale innovaties. Hij levert zijn onderzoeksbijdrage op basis van de professionele vaardigheden en knowhow waarover hij beschikt. De onderzoeker zal vanuit zijn achtergrond de werkwijzen en het begrippenapparaat benutten en indien nodig transformeren (bijvoorbeeld met behulp van analogieën) ten dienste van de kennisvragen en -behoeften van de lokale ‘kennisgemeenschap’. Deze positie vergt ook de nodige distantie van het lokale innovatieproces. De kwaliteit van de bijdrage van de onderzoeker hangt af van zijn bekwaamheid om op een valide en betrouwbare wijze locatiegebonden handelingskennis te verzamelen én deze te verbinden met en te accumuleren tot locatieoverstijgende generieke en domeinkennis. Deze tussen betrokkenheid en distantie balancerende rol van de onderzoeker wordt door Zoontjes (2008) helder aangegeven als hij wijst op de verandering in de rol van ‘de wetenschap’. In de woorden van Zoontjes: “Groot was het vertrouwen in de bijdrage die uit de wetenschap aan het innovatiebeleid kon worden geleverd”26. Onderwijsinnovaties werden in de wetenschap uitgedacht en door professionals van begeleidingsorganisaties in de onderwijspraktijk geïmplementeerd27. Met de erkenning van de praktijk als belangrijke mede-agendabepaler van onderwijsinnovaties, is de rol van de onderzoeker en van de onderzoeksgemeenschap meer een afgeleide van die innovaties geworden. Onderzoekers opereren zowel als professionele (mede)

25 In dit hoofdstuk wordt ingegaan op de rol van de onderzoeker in de lokale innovatieprocessen. Daarnaast heeft de onderzoeker te maken met de op landelijk- of stelselniveau opererende actoren, en de gemeenschap van onderzoekers die actief zijn binnen een bepaald kennisdomein (zie hoofdstuk 3.2.3). 26 Zoontjes, 2008, pagina 80. 27 Zie ook: De Bruijn en Westerhuis, 2004.

21

ontwikkelaar van kennis als als afnemer van kennis die in en door lokale innovatieprocessen wordt ontwikkeld. Dit laatste voor de ontwikkeling van generieke en domeinkennis.

22

De organisatie van de monitoring

In dit hoofdstuk wordt de organisatie van de monitoring beschreven. In die organisatie moet de verbinding tussen kennisontwikkelingsprocessen (hoofdstuk 1) en innovatieprocessen (hoofdstuk 2) concreet vorm krijgen. Het eerste deel van dit hoofdstuk beschrijft de functies van de monitoring in het perspectief van het handelen en in het perspectief van kennisontwikkeling. In het tweede deel worden de fasen van het monitorproces beschreven.

3.1 De functies van de monitor De kern van het monitorproces is het periodiek verzamelen van gegevens aan de hand van een (gestandaardiseerde) set van indicatoren, waarmee de voortgang en de resultaten van innovatieprocessen in termen van (interacties tussen) inhouden, condities en effecten in beeld worden gebracht. Met dit inzicht kunnen de actoren hun handelen sturen. Vanuit dat perspectief zijn de functies van monitoring: leren: inzicht krijgen in wat wel/niet werkt in specifieke onderwijspraktijken en wat het effect is van de condities waaronder innovatieprocessen zich afspelen; interveniëren: beargumenteerde verbeteringen aanbrengen in de onderwijspraktijk; verankeren: beargumenteerde verbeteringen aanbrengen voor de verankering van de opbrengsten van innovatieprocessen in de praktijk; vertalen: beargumenteerde bevindingen uit meerdere lokale praktijken vertalen naar het landelijke (stelsel)niveau en feedback geven om (betere) innovatiecondities te creëren.

• • • •

3 23

De uitdaging is deze vier functies te combineren en de monitor zodanig op te zetten dat kennis wordt gegenereerd die bruikbaar is voor de specifieke situatie, maar ook generieke bruikbaarheid (ook in de zin van domeinkennis) bezit 28 . De monitor is levert verschillende typen kennisproducten op zoals: conceptuele kennis: concepten, kaders waarin innovatieambities zijn uitgewerkt; inhoudsgerelateerde kennis: voorbeelden, modellen, instrumenten, handreikingen om nieuwe praktijken inhoud en vorm te geven; procesgerelateerde kennis: aanpakken, interventies, vuistregels om de innovatieambities in de praktijk te verankeren; stelselgerelateerde kennis: condities, maatregelen op stelselniveau die nodig zijn om de innovatieambities in de praktijk te realiseren; ‘evidence and practice based’ kennis: kennis over de effecten van de innovatie, waarbij de resultaten van de monitoring worden geconfronteerd met opbrengsten uit ander (bestaand of aanvullend) onderzoek.

• • • • • 24

Essentieel in de ontwikkeling van dit type kennisproducten is dat de methodiek voor het destilleren van kennis uit de lokale praktijken voldoet aan criteria van sociaalwetenschappelijk onderzoek. Daarbij wordt van een mix van complementaire technieken en kennisbronnen gebruik gemaakt 29 .

3.2 De fasering van het monitorproces De monitoring is in drie fasen georganiseerd: de fase van het ‘zien’, de fase van het ‘waarderen’ en de fase van het ‘handelen’. Deze fasen zijn nauw gelieerd in een iteratief proces.

28 Vgl. De Bruijn (2008) en Nonaka en Takeuchi, 1995. 29 Vgl. Broekkamp en Van Hout-Wolters, 2006.

3.2.1 Zien Bij ‘zien’ gaat het om de informatieverzameling over het innovatieproces met behulp van een valide, betrouwbaar instrumentarium30. Welke informatie precies wordt verzameld wordt bepaald door het referentiekader dat ten grondslag ligt aan de innovatie. Dit referentiekader is de ‘bril’ waarmee naar het innovatieproces wordt gekeken en het wordt als baken gebruikt door alle bij de innovatie betrokken actoren. Dat kader bevat een set van indicatoren, die verwijzen naar de verschijnselen waarmee de inhouden, condities en effecten van het innovatieproces in beeld worden gebracht. Het ontwikkelen van dit referentiekader gebeurt doorgaans in dialoog met de actoren die bij het monitorproces betrokken zijn. Het bepalen van het kader is veelal geen eenmalige activiteit, maar een cyclisch, dynamisch en iteratief proces31. Daarnaast wordt ook naar de relaties tussen indicatoren gekeken. Bijvoorbeeld naar de relatie tussen de voortgang van het innovatieproces en de effecten. Gezien de complexiteit van de innovaties in het beroepsonderwijs, waarbij experimenteren en implementeren vaak nauw zijn verweven kan slechts in beperkte mate gebruik worden gemaakt van de analysetechnieken van quasi-experimentele designs, waarbij de invloed van de onafhankelijke variabelen op de afhankelijke variabelen wordt gemeten. Veel meer zal gezocht moeten worden naar kwalitatieve analysetechnieken (onder meer gebaseerd op ‘plausible reasoning’32) in combinatie met kwantitatieve analysetechnieken (‘mixed methods’33). Het ‘zien’ levert de stand van zaken op een bepaald moment op: een plaatje van het innovatieproces, zowel van de inhouden en condities als van de effecten. De onderzoeker kan in deze fase een directe of een indirecte rol vervullen. In de directe rol levert de onderzoeker niet alleen het instrumentarium waarmee naar het innovatieproces wordt gekeken maar is hij ook eindverantwoordelijk voor de informatieverzameling. De onderzoeker kan echter ook een 30 Het gaat hier om instrumenten in brede zin: van formats voor ‘good practices’ tot en met enquêtes. 31 In hoofdstuk 2 is erop gewezen dat innovatieprocessen in het beroepsonderwijs vaak complex zijn. Het feit dat innovaties soms alleen op landelijk programmaniveau zijn ingekaderd in afzonderlijke plannen, draagt bij aan deze complexiteit. In de praktijk zijn demarcaties vaak minder scherp en kunnen innovaties in één procesgang zijn verbonden die op papier, en vanuit landelijke kaders, als afzonderlijke projecten beleefd worden. Waarover hebben we het als we het over ‘de innovatie’ of over ‘het innovatieproces’ hebben? Sturingsinformatie die alleen betrekking heeft op partiële werkelijkheden is weinig effectief. Alleen al om deze reden is het bepalen van het kader een proces waarbij lokale en landelijke actoren betrokken moeten zijn. 32 Zie bijvoorbeeld: Rescher, 1976. 33 Zie bijvoorbeeld: Tashakkori en Teddlie, 2003.

25

indirecte, ondersteunende rol vervullen. In dat geval ondersteunt de onderzoeker het expliciteren van ervaringskennis die in het innovatieproces ontstaat (de ‘tacit knowledge’). De onderzoeker reikt het instrumentarium aan om naar het innovatieproces te kijken en stimuleert het ontstaan van een ‘reflective practice’. De eindverantwoordelijkheid voor het verzamelen van informatie, ligt bij diegenen die de innovatie in de praktijk willen realiseren. In beide situaties is de rol van de onderzoeker die van ‘instrumentmaker’ en ‘critical friend’, waarbij hij op een professionele wijze de verzamelde informatie toetst op betrouwbaarheid en validiteit.

26

Een van de uitdagingen van de onderzoeker is om de eisen van methodische validiteit te relateren aan praktische relevantie34. Het ‘zien’ staat ten dienste van het handelen. Daarom zal bijvoorbeeld niet alleen naar facts maar ook naar meningen en context worden gekeken: de mogelijkheid tot handelen wordt niet alleen door de feiten bepaald maar ook door waarderingen en omgeving. Een soortgelijke uitdaging geldt voor de eisen van betrouwbaarheid, waarbij naast statistische criteria het eerder genoemde plausibiliteitbegrip (Reschner, 1976) een belangrijke rol speelt. Relevante toetsingscriteria zijn in dat verband: relevantie en transparantie van informatie in relatie tot indicatoren; consistentie en congruentie in beweringen, argumentaties; onderbouwing van en bewijsvoering bij de presentatie van resultaten.

• • •

3.2.2 Waarderen ‘Zien’ levert feiten en opinies op over de feitelijke stand van zaken in het innovatieproces op een bepaald moment. De informatie wordt gewaardeerd zodra deze wordt vergeleken met prestatiecriteria. Een waardering is een concluderende uitspraak over de stand van zaken op basis van deze criteria. Prestatiecriteria kunnen betrekking hebben op de inhoud van de innovatie, de condities en op de effecten. Waardering kan vanuit verschillende optieken plaatsvinden. De meest voorkomende zijn: een normatieve optiek, vergelijking van de (innovatie) werkelijkheid met de (politieke) wenselijkheid;

•

34 Het gaat hierbij onder meer om de hanteerbaarheid, draagwijdte en doelmatigheid van kennisproducten. Zie Doets (1982), pagina 142 en verder.

• • •

een efficiëntieoptiek, vergelijking van de (innovatie) werkelijkheid met (economische) rendementseisen; een groeioptiek, vergelijking van de (innovatie) werkelijkheid op verschillende momenten in de tijd; een referentieoptiek, vergelijking van de (innovatie) werkelijkheid in een bepaalde setting met andere settings (bijvoorbeeld door middel van bench marking).

Verder kan waardering door verschillende actoren (bijvoorbeeld initiatiefnemers, platforms, uitvoerende actoren) en op verschillende niveaus plaatsvinden (bijvoorbeeld lokaal, regionaal of op stelselniveau). Waardering kan vorm krijgen in een directe confrontatie tussen onderzoeker en handelende actoren, in het debat tussen alleen de direct betrokkenen of worden uitbesteed aan een auditcommissie. De onderzoeker draagt bij aan het waarderingsproces door op een professionele wijze behulpzaam te zijn in het bepalen van de afstand tussen feitelijkheid en wenselijkheid. De onderzoeker kan ook de vergelijkende meting uitvoeren en indien nodig aanvullende gegevens verzamelen. Daarbij kan zowel naar kwantitatieve als kwantitatieve ijkpunten worden gekeken. De hierboven genoemde optieken bepalen dan welke vergelijking relevant is. Bijvoorbeeld: de afstand tussen het aantal gediplomeerden en het aantal gestarte studenten (de efficiëntieoptiek); de (aard van de) feitelijke samenwerking tussen onderwijs en bedrijfsleven in vergelijking met de gewenste (de normatieve optiek); de toename van de instroom van studenten (de groeioptiek); het gevoel van veiligheid van leerlingen vergeleken met alle roc’s (de referentieoptiek).

• • • •

3.2.3 Handelen De derde fase is die van het handelen. Zien en waarderen leggen een beargumenteerde (gemeten) basis onder dit handelen, leveren feedback op de effectiviteit en zinvolheid van het handelen en duiden tevens of, en zo ja, in welke richting het handelen eventueel bijgesteld moet

27

28

worden. Daartoe moet de onderzoeker de gevolgen van het zien en waarderen expliciteren en deze vertalen naar de praktijk van de betrokken actoren, bij voorkeur door het aanbieden van een aan de context van de actoren gerelateerd handelingsrepertoire. Deze vertaling naar handelingsniveau geldt zowel voor het lokale als voor het stelsel- en domeinniveau. In het handelen kunnen verschillende niveaus (strategisch, tactisch, operationeel) en verschillende perspectieven (beleid, praktijk, wetenschap) worden onderscheiden. De gemeenschappelijke noemer is dat het in alle gevallen gaat om de verbetering van het handelen in de praktijk35 . In de monitormethodiek worden ‘zien’ en ‘waarderen’ in het perspectief van ‘handelen’ ingericht. Daardoor krijgt de klassieke rol van de onderzoeker (‘kijken’, ‘vergelijken’, ‘objectiveren’) er een dimensie bij: het duiden van en betekenis geven aan de lokaal ontwikkelde kennis in de vorm van een handelingsrepertoire, als bijdrage aan de ontwikkeling van zowel specifieke en generieke kennis als domeinkennis. Voor de onderzoeker betekent dit dat hij – zowel bij de ontwikkeling van kennis als in de vertaling daarvan – heeft te maken met verschillende kennisgemeenschappen. Bovendien dient hij over de competenties te beschikken om de bijbehorende rollen op een adequate en professionele wijze te vervullen. De onderzoeker beweegt zich tijdens het innovatieproces in de eerste plaats binnen de praktijkgemeenschap van lokale actoren. Deze actoren zijn primair probleemhouder van de innovaties, en als zodanig van cruciaal belang in de ontwikkeling en het gebruik van van de kennisopbrengsten. Van de onderzoeker vraagt dit dat hij de monitoring in een praktische context kan plaatsen, relaties weet te leggen en onderhouden met in de praktijk handelende actoren op verschillende niveaus, en het instrumentarium weet te leveren om aan te sluiten bij praktische zoekprocessen. Daarnaast heeft de onderzoeker te maken met de actoren die op landelijk niveau bij de innovatie zijn betrokken, de kennisgemeenschap op stelselniveau. Deze actoren zijn gedeeltelijk probleemhouder en vooral van belang bij de ontwikkeling van het design en van het referentie- en waarderingskader. Ook zijn zij een belangrijke gebruiker voor de

35 Praktijk wordt hier in de ruimste zin van het woord gebruikt. Het kan gaan om een breed scala van praktijken, variërend van de praktijk van het vormgeven van beleidsprocessen op stelselniveau tot het didactisch handelen van docenten(teams).

generieke kennis uit de verschillende lokale praktijken. Voor de onderzoeker betekent dit dat de specifieke kennis ‘vertaald’ moet worden naar het handelingsrepertoire van landelijke actoren. Tenslotte heeft de onderzoeker te maken met de kennisgemeenschap van onderzoekers binnen een bepaald kennisdomein (het ‘wetenschappelijke forum’). Dit is een minder tastbare – meer virtuele (ook internationale) – gemeenschap van actoren die zich in verschillende posities professioneel bezighouden met de accumulatie van kennis: onderzoekers, lectoren, hoogleraren enzovoort. Hun interesse voor innovatieprocessen en de daarin ontwikkelde kennis wordt gestuurd door het kennisdomein waarop zij zich richten en waarbinnen diverse vraagstukken (zowel theoretische als praktische) aan de orde zijn. Er zullen vele verbindingen met de onderzoeksgemeenschap zijn,bijvoorbeeld in de vorm van literatuuronderzoek, consultaties van onderzoekers door de opstellers van onderzoeksplannen, het afstemmen van onderzoeksplannen, het legitimeren van kennis enzovoort3 6 . De verbinding vanuit de praktijk ten behoeve van kennisaccumulatie zal georganiseerd moeten worden vanuit het lokale innovatieproces, in het bijzonder door de onderzoekers die aan deze lokale innovatieprocessen zijn verbonden. Figuur 6 laat zien welke positie de onderzoeker inneemt in de drie kennisgemeenschappen3 7 .

36 Het gaat om de tijd- en plaatsgebonden positie van de onderzoeker, gerelateerd aan de duur van het innovatieprogramma en de lokale praktijken die aan dit programma deelnemen. De verbindingen die de onderzoeker van daaruit aangaat zijn veelsoortig en dynamisch en niet zonder meer onder een noemer te vangen. Ze kunnen gestimuleerd worden door de verdere ontwikkeling van een kennisinfrastructuur voor het beroepsonderwijs. 37 Vgl. Doets, 1982, pagina 189 en verder.

29

Figuur 6 Positionering van de onderzoeker in verschillende kennisgemeenschappen

A. Praktijkgemeenschap

ONDERZOEKERS MONITORING BEROEPSONDERWIJS

ACTOREN OP STELSELNIVEAU

ONDERZOEKERS VERBONDEN AAN EEN BEPAALD KENNISDOMEIN

30

B. Kennisgemeenschap onderzoekers

LOKALE ACTOREN

Design en opbrengsten van de monitoring

Het concrete design wordt in interactie tussen de onderzoeker en de betrokken actoren ontwikkeld (zie ook hoofdstuk 2). Onderzoek doen voor en met de praktijk betekent dat er een brug wordt geslagen tussen twee werelden (denken en doen, theorie en praktijk). Dat heeft tot gevolg dat een iteratieve werkwijze moet worden gevolgd: het ontwikkelen van het design en de uitvoering van het onderzoek zijn niet gescheiden in twee opeenvolgende fasen. Tijdens het uitvoeren van het onderzoek staat het denken over het design niet stil. Onderzoekers zijn alert op de noodzaak om hun manier van werken in relatie tot de opbrengsten blijvend te valideren, mede vanuit het oogpunt van praktische relevantie. Dit neemt uiteraard niet weg dat basisprincipes voor sociaalwetenschappelijk onderzoek overeind blijven.

4.1 ‘Multilevel’ en ‘mixed method’ design De context van de monitoring met betrokkenheid van verschillende actoren, vereist een ‘multilevel’ onderzoeksdesign. In beginsel bevat dit design afspraken over de volgende thema’s: 1 Een door alle actoren gedragen inhoudelijk referentiekader dat de innovatieambities verwoordt in termen van te realiseren nieuwe praktijken, te creëren condities en beoogde effecten, met een drievoudige focus op praktijkontwikkeling (in de lokale context), stelselontwikkeling (landelijke context) en de ontwikkeling van domeinkennis, gerelateerd aan een bepaalde discipline (bijvoorbeeld de onderwijskunde).

4 31

32

2 De uitwerking van het referentiekader in een set van variabelen en bijbehorend instrumentarium aan de hand waarvan de voortgang en opbrengsten van de innovaties in beeld worden gebracht. 3 Het – periodiek – in kaart brengen van de voortgang op lokaal niveau en het duiden van de voortgang vanuit het perspectief van de lokale innovatieambities. Dit met als doel om bij te sturen in het lokale innovatieproces. 4 Het – periodiek – in kaart brengen van de voortgang op stelselniveau en het duiden van de voortgang vanuit het perspectief van stelselontwikkeling. Dit met als doel om bij te sturen in het programmagestuurde landelijke innovatieproces. 5 Het uitbouwen van domeinkennis door lokaal ontwikkelde praktijkkennis te relateren aan elders ontwikkelde kennis waardoor een ‘practice based evidence’ kennisproduct ontstaat, dat zowel een conceptuele als een instrumentele (in de zin van een handelingsrepertoire) invalshoek heeft. 6 Het verspreiden van de ontwikkelde kennis naar het veld van beroepsonderwijs, beleid en wetenschap. Met dit design wordt monitoring ook gepositioneerd in de bredere context van de kennisinfrastructuur van het beroepsonderwijs. Actoren in deze kennisinfrastructuur hebben verschillende, wisselende, rollen. Ze zijn soms drager, soms maker, soms gebruiker van kennis. Met het oog op het verbinden van verschillende soorten kennis en kennisbronnen is het belangrijk dat de uitvoerder van de monitor deze actoren vanuit verschillende rollen kan aanspreken38 . De onderzoeker zal over een breed scala aan kwalitatieve en kwantitatieve methoden en technieken dienen te beschikken. Die methoden en technieken moeten niet alleen gericht zijn op het meten van de variabelen (het zien), maar ook op de praktische toepassing (het waarderen en handelen). Dit vereist een ‘mixed method’ design waarin zowel deductieve als inductieve logica en technieken een plaats hebben39. Gelet op het ‘multilevel’ karakter van het design vraagt

38 Zie ook: De Bruijn en Westerhuis, 2004. 39 Zie bijvoorbeeld: Tashakkori en Teddlie, 2003, pagina’s 24-25.

explicitering en verantwoording van keuzen in het selecteren van methoden en technieken extra aandacht van de onderzoeker, in alle fasen van het onderzoek40.

4.2 Opbrengsten van de monitor De opbrengst van de monitor bestaat uit voortgangsgegevens over: het innovatieproces: de mate waarin condities voor effectief innoveren zijn gerealiseerd; de inhoud van de innovatie: de mate waarin de nieuwe praktijken (aanpakken, producten, processen) zijn gerealiseerd; de effecten van de innovatie: de mate waarin kwantitatieve en kwalitatieve effecten op het niveau van afnemers (deelnemers en bedrijven) en intern betrokkenen (opleiders en management) worden bereikt; de samenhang tussen nieuwe praktijken en beoogde effecten.

• • • •

Cruciaal is dat de onderzoeker informatie verzamelt die een bijdrage levert aan de verbetering van het handelen van betrokken actoren. Om die informatie te verzamelen zal de onderzoeker, in interactie met de betrokkenen moeten bepalen wat de essentiële variabelen zijn in het innovatieproces. Bovendien moet hij bepalen op welke wijze deze geoperationaliseerd kunnen worden en welke meetinstrumenten hiervoor beschikbaar zijn of ontwikkeld moeten worden. De onderzoeker heeft te maken met drie clusters van variabelen, die elk om een eigen instrumentarium vragen41 . Te weten: afhankelijke variabelen. De beoogde effecten van de innovatie, waarbij het zowel om kwalitatieve effecten (bijvoorbeeld waardering van deelnemers, bedrijven) als kwantitatieve effecten (bijvoorbeeld instroom, gediplomeerden) kan gaan.

•

40 In grote lijnen gaat het om de volgende fasen: probleemstelling en vraagformulering, planvorming en instrumentontwikkeling, dataverzameling, -verwerking en -analyse, rapportage van kennisopbrengsten. Zie Prangsma en Vlokhoven, 2008. 41 In deze publicatie worden vooral klassieke manieren van meten uitgewerkt (vragenlijsten, interviews, analyse gegevensbestanden). Vanzelfsprekend zijn ook andere vormen van meten mogelijk (observaties, focusgroepgesprekken, logboeken, reflectieverslagen enzovoort). Vgl. Ponte, 2006 en McNiff, Lomax en Whitehead, 2005. Toepassing van combinaties van kwalitatieve en kwantitatieve instrumenten, passend binnen de monitormethodiek, zijn in ontwikkeling (vgl. De Bruijn en Huisman, 2007; Prangsma en Vlokhoven, 2008).

33

• •

34

onafhankelijke variabelen. De variabelen die betrekking hebben op de wijze waarop de innovatie vorm en inhoud wordt gegeven in de primaire, secundaire en tertiaire processen en gerelateerd zijn aan de door de actoren beïnvloedbare processen. conditionele variabelen. De variabelen die te maken hebben met de condities waaronder de innovatie wordt gerealiseerd en ook beïnvloedbaar zijn door betrokken actoren. Deze variabelen zijn een onderdeel van de innovatiestrategie die op lokaal niveau wordt gevolgd4 2 .

Om lokale praktijken te kunnen vergelijken en lokale kennis te kunnen generaliseren, zijn met name variabelen van belang die specifieke praktijken overstijgen, dat wil zeggen niet uniek zijn voor een bepaalde praktijk. In dit hoofdstuk worden enkele variabelensets geïntroduceerd in onderstaande drie tabellen. Afhankelijk van de specifieke kennisvragen wordt een hele set of een gedeelte gebruikt. In de tabellen worden clusters en de daaronder vallende variabelen uitgewerkt. Tevens wordt de mogelijke bron van informatie, de globale operationalisering en de mogelijke wijze van meten aangeduid. De tabellen zijn gebaseerd op de monitoring van de innovatieve arrangementen van Het Platform Beroepsonderwijs en het Platform Bèta Techniek (PBT). 4.2.1 Afhankelijke variabelen Er wordt onderscheid gemaakt tussen kwantitatieve en kwalitatieve effecten. Kwantitatieve effecten zijn min of meer objectief waarneembaar, los van de mening van betrokkenen. Kwalitatieve effecten worden waargenomen door direct betrokkenen. Bij het vaststellen van kwalitatieve effecten wordt gebruik gemaakt van subjectieve maatstaven (waarderingsschalen, bijvoorbeeld over de aantrekkelijkheid van de opleiding). Bij het vaststellen van kwantitatieve effecten wordt gebruik gemaakt van objectieve maatstaven (bijvoorbeeld aantal deelnemers of percentage uitvallers). Voor een aantal van deze kwantitatieve effecten dienen door alle betrokkenen geaccepteerde definities afgesproken te worden (bijvoorbeeld ‘wat is uitval’, ‘wat is vakmanschap’).

42 NB. Er kan ook een set interveniërende variabelen worden onderscheiden, die geen object zijn van lokale innovaties, maar deze wel kunnen beïnvloeden; variabelen op macro- of stelselniveau (bijvoorbeeld structuur, regelgeving, financiering) of macro-economische ontwikkelingen (bijvoorbeeld groei/krimp arbeidsmarkt). Aan het meten van deze variabelen wordt in deze publicatie geen aandacht besteed, ze worden als interveniërende variabelen opgevat en de onderzoeker en de andere actoren moeten wel attent zijn op de mogelijke invloed van deze variabelen.

4.2.1.1 Kwantitatieve effecten

Bij de kwantitatieve effecten ligt het accent op het meten van de variabelen die min of meer objectief en cijfermatig zijn vast te stellen. In veel gevallen gaat het om administratieve gegevens. In feite gaat het om vier kernvariabelen: instroom (A), doorstroom (B), uitstroom (C) en rendement (D) (zie Tabel 1). Tabel 1 Afhankelijke variabelen: kwantitatieve effecten Gegegens over/van

Operationalisering

Meten via

A. instroom (in delen beroepsonderwijs)

deelnemer

aantal en kenmerken

administratie (en/of vragenlijst deelnemer)

B. doorstroom (binnen beroepskolom)

deelnemer

aantal en kenmerken

administratie (en/of vragenlijst deelnemer)

C1. ongekwalificeerde uitstroom

deelnemer

aantal en kenmerken

administratie (en/of vragenlijst deelnemer)

C2. gekwalificeerde uitstroom

deelnemer

aantal, kenmerk en aard kwalificatie

administratie (en/of vragenlijst deelnemer)

C3. uitstroom naar/ aansluiting op arbeidsmarkt

deelnemer

aantal, kenmerken, aard van positie op arbeidsmarkt

administratie (en/of vragenlijst deelnemer, dan wel via bedrijven)

C4. uitstroom naar / aansluiting op vervolgopleiding

deelnemer

aantal, kenmerken, aard en plaats vervolgopleiding

administratie (en/of vragenlijst deelnemer, dan wel via scholen)

C5. vakmanschap

deelnemer

arbeidsprestaties

bedrijfsleven/deelnemer (longitudinaal, vragenlijst)

D1. effectiviteit

scholen

opleidingsduur, rendement

administratie (ontwikkeling effectiviteit maat per deelnemer)

D2. efficiëntie

scholen

kostprijs opleidingen

administratie (ontwikkeling efficiëntie maat per leerling)

Variabele

35

4.2.1.2 Kwalitatieve effecten

Hier gaat het om de kwaliteit van de effecten, tot uitdrukking komend in de waardering door lokale en landelijke actoren. Er is onderscheid gemaakt naar afnemers (deelnemers/ouders, bedrijven en vervolgonderwijs) en aanbieders (docenten en management van opleidingen). De waardering van beide groepen is indicatief voor het effect van het innovatieproces. Tabel 2 Afhankelijke variabelen: kwalitatieve effecten Variabele

36

Gegegens over/van

Operationalisering

Meten via

waardering opleiding (inhoud, methodiek, organisatie en resultaat)

deelnemers/ ouders

via waarderingsschaal met aantal dimensies (bijvoorbeeld tevredenheid, bruikbaarheid, basis loopbaan enzovoort)

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

waardering opleiding (inhoud, invloed, samenwerking, resultaat)

bedrijfsleven (management, bedrijfsopleiders)

via waarderingsschaal met aantal dimensies (bijvoorbeeld inzetbaarheid afgestudeerden, benodigde inwerktijd enzovoort)

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

waardering opleiding (inhoud, invloed, samenwerking, resultaat)

toeleidend en vervolgonderwijs (management, docenten)

via waarderingsschaal met aantal dimensies (bijvoorbeeld aansluiting, afstemming, relevantie)

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

waardering opleiding (inhoud en methodiek, eigen rol/vak)

docenten, management

via waarderingsschaal met aantal dimensies (bijvoorbeeld relevantie, invloed, eigen deskundigheid enzovoort)

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

waardering organisatie (interne organisatie, relaties ketenpartners)

docenten, management

via waarderingsschaal met aantal dimensies (bijvoorbeeld arbeidssatisfactie, samenwerking enzovoort)

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

waardering stelsel (wettelijke kaders, regelgeving)

management onderwijs en bedrijfsleven

via waarderingsschaal met aantal dimensies (bijvoorbeeld experimenteerruimte, invloed enzovoort).

schriftelijke vragenlijst (dan wel mondelinge gesprekken)

4.2.2 Onafhankelijke variabelen Innovaties in het beroepsonderwijs zijn doorgaans afgeleid van een landelijke innovatieagenda die zich uitspreekt over opleidingsontwikkeling, organisatieontwikkeling en regionale inbedding. Deze krijgen op lokaal niveau vorm en inhoud en zijn te beschouwen als de onafhankelijke variabelen van het innovatieproces. Door het meten van de onafhankelijke variabelen kan in beginsel worden nagegaan in hoeverre zij bijdragen aan de effecten (de afhankelijke variabelen). Hoewel in beginsel een uitgebreide set van onafhankelijke variabelen kan worden gedefinieerd zal, omwille van de hanteerbaarheid, de monitoring zich bij voorkeur richten op die set van variabelen die breed wordt onderschreven en afgeleid kan worden uit de beleidsnotities en ambities van meerdere innovatieprogramma’s. In Tabel 3 wordt een overzicht gegeven van de voornaamste variabelen en de wijze waarop deze gemeten kunnen worden. Gezien de aard van deze variabelen zal de meting een sterk kwalitatief karakter hebben, met name in de vorm van de geformaliseerde beschrijvingen van ‘good practices’.

37

Tabel 3 Onafhankelijke variabelen Variabele *

Gegegens over/ van

Operationalisering

Meten via **

aansluiting in beroepskolom

opleidingen en onderwijspartners

mate van afstemming en continuïteit (methodisch, organisatorisch en inhoudelijk, EVC enzovoort)

analyse opleidingsprogramma’s (ontwikkeling aansluitingsmaat)

krachtige leeromgevingen

opleidingen en bedrijven

mate van contextrijkheid, attractiviteit, integratie leren/ werken, integratie leren vakinhoudelijke, algemene competenties enzovoort.

analyse opleidingsprogramma’s (ontwikkeling maat met x-aantal dimensies)

opleiden voor eigentijds vakmanschap

opleidingen en bedrijven

mate van competentiegerichtheid, loopbaan als uitgangspunt, betrokkenheid deelnemers, rol docent, competentiegerichte beoordeling (formatief/ summatief) enzovoort.

analyse opleidingen, bevraging deelnemers en afnemers (ontwikkeling maat voor eigentijds vakmanschap met x-aantal dimensies)

regionale ketenaanpak

opleidingen, onderwijspartners en bedrijven

mate van samenwerking (inclusief inhoud, aard en niveau enzovoort)

analyse samenwerking (ontwikkeling samenwerkingsmaat)

flexibele onderwijsorganisatie

opleidingen

mate van responsiviteit, vraaggerichtheid, aanpassingsvermogen enzovoort.

analyse organisatie, bevraging docenten, deelnemers en afnemers (ontwikkeling maat voor organisatieontwikkeling)

transparante kwalificatiestructuur

opleidingen en bedrijven

mate van competentiegerichtheid, robuustheid, eenvoud, toepasbaarheid, enzovoort.

analyse kwalificatiestructuur, bevraging afnemers

38

* Dit betreft veel voorkomende voorbeelden. Welke onafhankelijke variabelen in het geding zijn, wordt uiteraard bepaald door de specifieke innovaties waartoe afspraken zijn gemaakt of ‘contracten’ zijn afgesloten met landelijke programma’s van HPBO of het PBT. ** Naast analyses kan in alle gevallen ook via bevraging van betrokkenen worden gewerkt.

4.2.3 Conditionele variabelen De derde set variabelen die wordt gemeten zijn de variabelen die te maken hebben met de condities waaronder de innovatie in de praktijk plaatsvindt. In hoofdstuk 2 is al aangegeven dat het om een vijftal variabelen gaat die in Tabel 4 worden weergegeven. Tabel 4 Conditionele variabelen Variabele *

Gegegens over/van

Operationalisering

Meten via **

gedeeld eigenaarschap

management (van alle betrokken samenwerkingspartners)

eigenaarschap op bestuurlijk niveau, vertaling in activiteitenplannen, substantiële bijdragen alle geledingen enzovoort.

vragenlijsten, analyse documenten en gesprekken

krachtig innovatieconcept

management en uitvoerenden

professionele uitdagende visie op beroepsonderwijs, inzicht in succes/ faalfactoren, visie op verband tussen processen en effecten enzovoort.

vragenlijsten en gesprekken

39

ontwikkelingsgerichte aanpak

management en projectleiding

duidelijke leiding, realistische plannen, faciliterende condities en technologie, voldoende ondersteunende activiteiten enzovoort.

vragenlijsten, analyse documenten en gesprekken

transparantie resultaten

management en projectleiding

ambities vertaald in kwalitatief en kwantitatief meetbare resultaten, streefgetallen enzovoort.

vragenlijsten, analyse documenten en gesprekken

expliciet leren

management, projectleiding en uitvoerenden

feedbackloops, expliciteren van wat wel/niet werkt, creëren van condities om resultaten te verankeren enzovoort.

vragenlijsten, analyse documenten en gesprekken

* Genoemde condities gelden voor alle betrokken actoren. Meting zal daarom idealiter bij allen plaats moeten vinden. In de kolom wordt aangegeven via welke actoren ten minste informatie dient te worden verkregen. ** Bij voorkeur dient voor elke variabele een schaal, bestaande uit verschillende dimensies, te worden ontwikkeld.

40

Tot slot

In deze publicatie is in grote lijnen de methodiek beschreven die door CINOP Expertisecentrum wordt gebruikt ten behoeve van de monitoring van het beroepsonderwijs. De publicatie is gezien de achtergrond van de auteurs geschreven vanuit een onderzoeksoptiek en mede bedoeld om een bijdrage te leveren aan de discussie over de rol van onderzoek ten behoeve van praktijkontwikkeling. Hoewel het accent ligt op de ondersteuning van lokale innovaties, wordt de methodiek nadrukkelijk geplaatst in het perspectief van het opleveren van handelingskennis voor het beroepsonderwijs als geheel. Uitdaging voor de komende jaren is om het proces van kennisaccumulatie sterker vorm te geven, dat wil zeggen de slag maken van locatiegebonden kennis naar stelselgerelateerde kennis, en zorgen voor de transformatie naar domeinkennis. Een belangrijk aandachtspunt is de doorontwikkeling van binnen de monitormethodiek passende, valide meetinstrumenten en het combineren van kwalitatieve en kwantitatieve methoden en technieken. Met het (methodisch) verbinden van kennisontwikkelingsprocessen draagt de monitor bij aan de innovatie van het beroepsonderwijs en het handelen van de daarbij betrokken actoren op diverse niveaus.

41

42

Referenties

Berg, J. van den en Geurts, J. (2007). Leren van innoveren: vijf sleutels voor succes. ’s-Hertogenbosch: CINOP Expertisecentrum. Broekkamp, H. en Hout-Wolters, B. van (2006). De kloof tussen onderwijsonderzoek en onderwijspraktijk; een overzichtsstudie van problemen, oorzaken en oplossingen. Amsterdam: Vossiuspers UvA. Bruijn, E. de en Westerhuis, A. (2004). Onderwijsinnovatie en kennisontwikkeling. Zoeken naar nieuwe verbindingen. ’s-Hertogenbosch: CINOP Expertisecentrum. Bruijn, E. de en Huisman, T. (2007). Kenniskringen als evaluatiemethodiek. Evaluatie van de kenniskringen zoals gefunctioneerd in het kader de Evaluatie Innovatiearrangement Beroepskolom (tranche 1&2). ’s-Hertogenbosch: CINOP Expertisecentrum (interne publicatie). Bruijn, E. de (2008). Leren en opleiden in transitie; naar adaptief beroepsonderwijs. Openbare Les juni 2008. Utrecht: Hogeschool Utrecht, Lectoraat Beroepsonderwijs. Bruijn, H. de, Heuvelhof, E. ten en Veld, R. in ’t (2004). Procesmanagement over procesontwerp en besluitvorming. 2e herziene druk. Den Haag: SDU Academic Service. Doets, C. (1982). Praktijk & onderzoek. Wetenschap in wisselwerking met praktisch handelen. Amersfoort: De Horstink/SVE.

43

Geurts, J. (2004). Herontwerp beroepsonderwijs: een strijdtoneel. In: P. Breebaart, Geurts, J. en Meijers, F. (red). Beroepsonderwijs: van opleidingenfabriek naar loopbaancentrum. Den Haag: Haagse Hogeschool/TH Rijswijk. Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P., en Trow, M. (1994). The New Production of Knowledge. The Dynamics of Science and Research in Contemporary societies. London: SAGE Publications. Keep, E. en Brown, A. (2004). Paradoxes, Pitfalls and the Prospects for a Dynamic VET System. In: Nijhof, W. en Esch, W. van (eds.), Unraveling Policy, Power, Process and Performance. ’s-Hertogenbosch: CINOP Expertisecentrum. Korthagen, F.A.J. (1990). Enkele ontwikkelingen in het onderzoek naar leren reflecteren als

44

opleidingsprincipe; een evaluatie. In: Wubbels, Th., Bergen, Th.C.M en Korthagen, F.A.J. (red.), Velon-Jaarboek 1990, recent onderzoek over onderwijs en opleiding. Utrecht: WCC/VELON. Leune, J.G.M. (2001) Onderwijs in verandering: reflecties op een dynamische sector, Groningen: Wolters Noordhoff. McNiff, J., Lomax, P. en Whitehead, J. (2005). You and Your Action Reasearch Project. London/New York: RoutledgeFalmer Taylor & Francis Group. Nonaka,I. en Takeuchi, H. (1995). De kenniscreërende onderneming. Schiedam: Scriptum Management. NRC-Handelsblad (24 juli 2008). Een mooie theorie hoeft in de wetenschap niet meer. Ponte, P. (2006). Onderwijs van eigen makelij; procesboek actieonderzoek in scholen en opleidingen. Soest: uitgeverij Nelissen. Prangsma, M. en Vlokhoven, H. van (2008). Instrumenten voor (monitor)onderzoek: ontwikkeling, reflectie en evaluatie. ’s-Hertogenbosch: CINOP Expertisecentrum (interne publicatie).

Rescher, N.(1976). Plausible reasoning. Assen: Van Gorcum. Schön, D.A. (1983). The reflective practitioner. How professionals think in action. New York: Basic Books. Swaffield, S. (2002). Contextualising the Work of the Critical Friend; a paper presented within the symposium: ‘Leadership for Learning: the Cambridge Network’. Cambridge: University of Cambridge Faculty of Education. Tashakkori, A. en Teddlie, C. (2003). Handbook of Mixed Methods in Social and Behavioural Research. Thousand Oaks: Sage. Weggeman, M. (1997). Kennismanagement; inrichten en besturen van kennisintensieve organisaties. Utrecht: Scriptum. Wilde, R. de (2001). De kenniscultus. Over nieuwe vormen van vooruitgangsgeloof. Inaugurele Rede. Maastricht: Universiteit Maastricht. Zoontjens, P.J.J. (2008). Omstreden onderwijsvernieuwingen. Het onderwijsjuridisch onderzoek voor de Commissie Dijsselbloem. In: Nederlands Tijdschrift voor Onderwijsrecht en Onderwijsbeleid, jaargang 20, 2, 71-102.

45

46

CINOP-publicaties

1 De jeugd heeft de toekomst. Een verkennende studie naar de burgerschapsvorming in het middelbaar beroepsonderwijs Auteur: Mohammed Meziani / Bestelnummer: A00372 2 Hoe bekend zijn wij met laaggeletterdheid? Een landelijk onderzoek naar het bewustzijn bij volwassenen van laaggeletterdheid in onze samenleving Auteurs: Jan Neuvel en Arjan van der Meijden, m.m.v. Yvonne Sanders (TNS NIPO) / Bestelnummer: A00374 3 Balanceren tussen oud en nieuw. Taaldocenten over competentiegericht talen leren Auteurs: Anja van Kleef, Marianne Driessen en Maaike Jongerius / Bestelnummer: A00373 4 Het Metalen Scharnierpunt. Een doorlopend traject vmbo-mbo voor metaalmetalektro - tussenstand Auteur: Joke Huisman / Bestelnummer: A00391 5 Bedrijven over hun contacten met beroepsonderwijs in de regio. Uitkomsten van een onderzoek in drie regio’s Auteurs: Ben Hövels, Paul den Boer en Andrea Klaeijsen (Kenniscentrum Beroepsonderwijs Arbeidsmarkt [KBA]) / Bestelnummer: A00371 6 Voortgangsrapportage Aanvalsplan Laaggeletterdheid over het jaar 2006 Auteur: Willem Houtkoop (Max Goote Kenniscentrum) / Bestelnummer: A00395 7 Monitor deelname aan het lees- en schrijfonderwijs door laaggeletterden 2006 Auteurs: Jan Neuvel en Thomas Bersee, m.m.v. Roeland Audenaerde / Bestelnummer: A00396 8 Nulmeting Het Metalen Scharnierpunt : Onderzoeksverslag Nulmeting over aansluiting vmbo-mbo Auteur: Ellen Klatter (Stichting Consortium Beroepsonderwijs) / Bestelnummer: A00414 9 Sturing op regionale ambitie. Een verkenning van theorie en praktijk Auteur: Renée van Schoonhoven (Max Goote Kenniscentrum) / Bestelnummer: A00397 10 De overgang van vmbo naar mbo: van breukvlak naar draagvlak. Overzichtsstudie van Nederlands onderzoek Auteurs: Wil van Esch en Jan Neuvel / Bestelnummer: A00399

47

11 Op weg naar sportactieve mbo-instellingen. Een onderzoek naar voorbeelden van instellingsbreed sportbeleid Auteur: Paul Steehouder, m.m.v. Mohammed Meziani / Bestelnummer: A00400 12 EVC en groen onderwijs, een natuurlijk verbond Auteur: Marja van den Dungen, m.m.v. Barbara Marcelis / Bestelnummer: A00415 13 Monitor Impulsregeling beroepsonderwijs: eindmeting Auteurs: Wil van Esch, Jan Neuvel en Karel Visser / Bestelnummer: A00433 14 Stroomlijnen. Onderzoek naar de doorstroom van vmbo naar havo Auteurs: Wil van Esch en Jan Neuvel / Bestelnummer: A00436 15 Op weg naar ondernemend docentschap. Ervaringen uit ‘Samen op Scholen’ Auteurs: José Hermanussen, Christa Teurlings en Irma van der Neut / Bestelnummer: A00431 16 Leren in een bewegende omgeving. Derde meting van de monitor onder experimentele opleidingen 2007 Auteur: Arjan van der Meijden, m.m.v. Joke Huisman, Tonny Huisman en Ria Groenenberg / Bestelnummer: A00438 17 Monitor TechnoTalent : Een voorbeeld van praktijkgestuurd monitoren

48

Auteurs: Ria Groenenberg en José Hermanussen / Bestelnummer: A00451 18 Palet van de non-formele educatie in Nederland Auteurs: Cees Doets, Wil van Esch, Jan Houtepen, Karel Visser en Janneke de Sousa / Bestelnummer: A00461 19 Leven lang leren voor vitaliteit : Een voorstudie ten behoeve van ontwikkeling en onderzoek Auteurs: Loek Nieuwenhuis, Patricia Gielen en Derk-Jan Nijman / Bestelnummer: A00467 20 Een brede verkenning van een leven lang leren Auteurs: Cees Doets, Wil van Esch en Anneke Westerhuis / Bestelnummer: A00466 21 Kennisgemeenschappen : verkenning werkzame principes Auteurs: Louise van de Venne, Marja van den Dungen en Ria Groenenberg / Gratis te downloaden via www.cinop.nl 22 De praktijk als kennisbasis : Monitoring ter ondersteuning van de innovatie van het beroepsonderwijs Auteurs: José van den Berg, Cees Doets en Anneke Westerhuis / Bestelnummer: A00476

Voor inhoudelijke beschrijvingen, de meest recente lijst en meer informatie kunt u terecht op www.cinop.nl U kunt bestellen via telefoonnummer 073-6800800 of via e-mail: [email protected]