De pdsa levendig maken Rapport externe ondersteuning hpbo-project TEC2020

“De pdsa levendig maken” Rapport externe ondersteuning hpbo-project TEC2020 Mei 2014 Peter den Boer1 en Christa Teurlings2 Inhoud 1. Inleiding 2. Projectcontext en –organisatie 3. Ondersteuning proces 4. Onderzoek producten en proces 5. Reflectie, conclusie en discussie Bijlagen met onderzoeksresultaten in detail

1. Inleiding In deze rapportage doen we verslag van de ondersteuning en het onderzoek dat is uitgevoerd in het kader van het project TEC20203. Voor projectorganisatie- en procesinformatie verwijzen we naar het projectplan, naar de verslaglegging van het project in het kader van de tussentijdse audit en naar het eindverslag. We volstaan hier met een zeer korte samenvatting van de structuur van het project om de ondersteunings- en onderzoeksopdracht te kunnen verduidelijken.

2. Projectcontext en -organisatie Project TEC2020 is uitgevoerd door tien vmbo-scholen, drie ROC’s en bedrijven in hun regio’s, allen in de provincie Limburg. Dit project had tot doel activiteiten te ontwikkelen om de terugloop van leerlingen die in het vmbo voor techniek kiezen te remmen en zo mogelijk om te buigen in toename. De vmbo-scholen hebben samengewerkt in vijf clusters van elk twee vmbo-scholen en – afhankelijk van het thema waaraan het cluster werkte – één of meer ROC’s en bedrijven. Eén van deze clusters was ingericht om het ontwikkelproces te ondersteunen, te weten het cluster 1. Professionalisering docenten op duurzaam innoveren en pedagogisch en didactisch klimaat. De andere vier clusters werkten aan vier inhoudelijke thema’s, te weten: 2. Vernieuwing keuzeprocessen; toewerken naar een reëel beroepsbeeld; 3. Boeiend en uitdagend vmbo techniek-onderwijs: vernieuwing van (digitaal) lesmateriaal, inrichting didactisch en pedagogisch; 4. Optimalisering van de rol van bedrijven bij programmering en examinering; 5. Optimalisering van de rol van het mbo in de richting van een doorlopende leerlijn. Het Platform Beroepsonderwijs (hpbo) heeft dit project financieel ondersteund in de vorm van een doorbraak project ‘korte klap’. Daarbij lag voor hpbo het accent op het gebruik van de doorbraak- en de pdsa-methodiek en van de bestaande kennis uit de innovatie-literatuur.

1

Onderzoeksbureau Onderzoekend Leren te Rhenen TOiP: Teurlings OnderwijsOnderzoek in Praktijk te Breda 3 Project TEC2020 is tussen maart 2012 en mei 2014 in de provincie Limburg uitgevoerd. 2

1

Door de inhoudelijke clusters zijn binnen het project vijf producten ontwikkeld die elk door twee andere scholen (buiten het cluster) zijn uitgetest. Deze producten zijn: 1. Beroepenmarkt: vmbo-leerlingen in klas 2 bezoeken technische bedrijven in de regio om kennis en informatie te vergaren over werk in deze sector. Zij organiseren op basis daarvan een beroepenmarkt voor de leerlingen in klas 1. 2. Thematisch werken als middel om techniekonderwijs boeiender en uitdagender te maken voor leerlingen. Uitgewerkt zijn drie thema’s. Getest is het thema `wind’: leerlingen maken een windbuggy. 3. Game tekening lezen, ontwikkeld om dit voor leerlingen lastige onderdeel aantrekkelijker te maken. 4. Bedrijvenformat, bedoeld voor het leggen en onderhouden van contacten met bedrijven in de omgeving en (in tweede instantie) bedoeld om met hen het gesprek te hebben over de nieuwe examenstructuur in het vmbo. 5. Leerarrangementen: voor leerlingen vmbo klas 4, een oriëntatieprogramma op beroep en opleiding, vooral gericht op de keuze van technische opleiding in het mbo. Door het professionaliseringscluster zijn diverse instrumenten ontwikkeld om het proces pdsagericht in te vullen en te monitoren. We noemen hier met name het format projectplan, waarin de probleemstelling van elk cluster uiteengelegd wordt in een analyse van het ‘echte’ probleem, in factoren die daarop van invloed zijn en in concrete doelen om op die factoren resultaten te boeken waarop de school invloed heeft. Het project is globaal gezien in drie fasen uitgevoerd: 0. Voorfase van maart 2012 tot zomer 2012: In deze fase zijn alle betrokkenen geïnformeerd over de methodiek van het doorbraakproject en de pdsa-cyclus, zodat ze weten wat de bedoeling is en daar gericht mee aan de slag kunnen; 1. Fase 1 van september 2012 – zomer/najaar 2013: In deze fase is (bij drie van de vier inhoudelijke clusters) de eerste pdsa-cyclus doorlopen waarin materialen zijn ontwikkeld en uitgeprobeerd bij de scholen die participeerden in het ontwikkelcluster; 2. Fase 2 van zomer/najaar 2013 – maart 2014: In deze fase zijn de producten bijgesteld en afgemaakt. De producten zijn tevens getest door twee andere scholen. Op de scholen in het ontwikkelcluster is aandacht besteed aan de verankering in de eigen school; de ervaringen van de testscholen zijn besproken in een afsluitende bijeenkomst (zgn. ‘terugkoppelbijeenkomst’) met het ontwikkelcluster dat op basis van de feedback het product al dan niet heeft bijgesteld. De externe ondersteuning van het project heeft plaatsgevonden in fase 1 en gedeeltelijk ook in de overgang van fase 2 naar fase 3. Zie verder hoofdstuk 3. In het kader van het project heeft hpbo deze externe ondersteuning ingehuurd voor 1) de scholing van het professionaliseringscluster op het terrein van het gebruik van de doorbraakmethodiek, de daarbij behorende pdsa-cyclus en de beschikbare kennis uit de literatuur op het gebied van het innovatiemanagement en 2) de opzet en uitvoering van onderzoek ter ondersteuning van het TEC2020-project.

2

In deze rapportage wordt verslag gedaan van deze twee activiteiten. Daarbij zal het zwaarste accent liggen op activiteit 2 – het onderzoek ter ondersteuning van het TEC2020-project.

3. (Ondersteuning) ontwikkelingsproces In de ondersteuning van het ontwikkelingsproces is hier in de voorfase op drie manieren voorzien: 1. De ondersteuning van het cluster dat de professionalisering van de andere clusters tot taak had 2. Twee centrale bijeenkomsten met alle projectleden van alle clusters 3. Afzonderlijke gesprekken met alle clusters apart. De ondersteuning van het professionaliseringscluster leunde op de kennis over de doorbraakmethodiek4, van het gebruik van de pdsa-methode daarbinnen en –buiten (Den Boer, Harms, Hoeve, Nieuwenhuis, Smulders & Teurlings, 2011). Voor wat betreft de innovatieliteratuur is – in overleg met Marcel van der Klink, lector bij de hogeschool Zuyd – met name gefocust op: - Scherpe formulering van het feitelijke probleem waar het cluster mee aan het werk gaat; - Factoren die dat probleem veroorzaken – welke daarvan zijn beïnvloedbaar, welke niet; - Keuze van factoren waaraan gewerkt wordt – concretisering van de activiteit; - Bepaling van beoogde opbrengsten in termen van leerling- en/of docentgedrag. In de eerste centrale bijeenkomst heeft met name de pdsa-cyclus centraal gestaan. Gedurende deze bijeenkomst is feitelijk alleen kennis overgedragen en getracht die inzichtelijk te maken met praktijkvoorbeelden. Met het professionaliseringscluster is vervolgens in een tweetal sessies de beschikbare kennis over de doorbraakmethodiek, de pdsa-cyclus en de kennis uit de innovatieliteratuur besproken. Op basis daarvan is een plan-de-campagne gemaakt voor de ondersteuning die het cluster geleverd heeft aan de inhoudelijke clusters. In de tweede centrale bijeenkomst heeft het accent met name gelegen op het gebruik van de kennis uit de innovatieliteratuur, zoals boven beschreven. Op basis daarvan hebben alle clusters gebrainstormd over de te ondernemen activiteiten in het project, met het bestaande projectplan op de achterhand. Deze ‘nieuwe inzichten’ zijn vervolgens met elk van de clusters in aanwezigheid van de projectcoördinator verder doorgesproken. Het doel daarvan was met de clusters afspraken te maken over de concreet beoogde producten en daarmee beoogde opbrengsten, zodat naar het laatste ook onderzoek kon worden gepland. Op verzoek van de projectleiders is vervolgens door het professionaliseringscluster een pdsa-based format voor een projectplan opgesteld. Alle clusters zijn fase 1 gestart met het formuleren van een clusterprojectplan op basis van dit format. Zie verder de verslaglegging van het professionaliseringscluster. Vanaf de start van fase 1 (na de zomer 2012) zijn de clusters bij de uitvoering van hun taak door het professionaliseringscluster ondersteund om die taak aan de hand van de pdsa-cyclus uit te voeren. Aan de projectleiders is nadrukkelijk aangegeven dat de rol van de onderzoeker met ingang van dat moment ‘een rol op afstand’ zou zijn. In werkelijkheid is die overgang iets geleidelijker gegaan. De onderzoeker heeft ook na de zomer nog een rol gespeeld in de ondersteuning van de clusters. 4

Van Eck & Glaudé, 2011 ; stukken van Nieuwenhuis en Geurts; ervaringen uit doorbraakprojecten: Den Boer e.a., 2011; Nieuwenhuis e.a., 2011)

3

Tijdens de projectleidersoverleggen en tijdens overleggen met de projectcoördinator, de projectleider van het professionaliseringscluster en de procesbegeleider van hpbo hebben de onderzoekers een ondersteunende rol gespeeld in het proces door advies te geven en door actief te participeren in de overleggen.

4. Onderzoek 4.1 Doel en methode Doel en opzet Het doel van het onderzoek in dit project was tweeledig, waarbij de volgorde ook nadrukkelijk de prioriteit aangeeft: 1. Het verschaffen van feedback aan de clusters over (de voortgang en effecten van) het projectwerk; 2. Het verschaffen van inzicht aan hpbo over de voortgang en opbrengsten van het projectwerk. Daarbij was vooraf beoogd dat clusters met de clusterleden op basis van de uitgewerkte projectplannen onder leiding van de projectleider indicatoren zouden benoemen om elk van deze processen, producten en effecten in kaart te brengen. Het was de bedoeling deze indicatoren zodanig te benoemen dat de betrokkenen de gegevens zoveel mogelijk zelf konden verzamelen zonder dat dit hen bovenmatig belast. Helaas is de praktijk weerbarstiger gebleken dan vooraf werd verondersteld. In de loop van fase 1 bleek een aantal clusters moeite te hebben met het formuleren van hun activiteiten en vooral met het formuleren van beoogde opbrengsten. Ter wille van het onderzoek, hebben de onderzoekers er daarom voor gekozen zelf een vragenlijst te ontwerpen waarin in elk geval het leerlinggedrag werd gemeten dat door een enkel cluster als beoogde opbrengst was benoemd. Daarbij is gebruik gemaakt van bestaande vragenlijsten: sommige onderdelen werden verkregen van mw. prof dr. Walma van der Molen (universiteit Twente). Gemeten begrippen zijn: - Schoolbeleving; 7 vragen; Cronbach’s alfa: 0,81 voorbeeldvragen: ‘ik vind school meestal interessant’ en ‘ik verveel me tijdens school vaak’; - Ervaren praktijkgericht van het onderwijs; 4 vragen (Kuijpers); Cronbach’s alfa: 0,65 voorbeeldvraag: ‘mijn school besteedt aandacht aan werk dat je kunt doen na deze opleiding’; - Plezier in techniek; 7 vragen; (Walma van der Molen) Cronbach’s alfa: 0,84 voorbeeldvragen: ‘ik vind technisch werk interessant’, ‘ik vind het leuk om dingen te ontwerpen’. - Het beeld dat de leerlingen hebben van techniek (Walma van der Molen), onderverdeeld in vier schalen (op grond van eigen analyse van data uit de eerste meting): o Verbreed beeld; 3 vragen; Cronbach’s alfa 0,54: voorbeeldvragen: ‘in de techniek moet je kunnen ontwerpen’, ‘in de techniek heb je fantasie nodig’; o Arbeidsmarktgericht beeld; 3 vragen; Cronbach’s alfa: 0,69 voorbeeldvragen: ‘in de techniek zijn allerlei banen te vinden’, ‘in de techniek kun je veel verdienen’; o Traditioneel beeld; 4 vragen; Cronbach’s alfa 0,70: voorbeeldvragen: ‘in de techniek moet je kunnen repareren’, in de techniek moet je machines kunnen bedienen’;

4

o

Zeer traditioneel beeld; 2 vragen; Cronbach’s alfa: 0,51 vragen: ‘in de techniek krijg je snel vieze kleren’ en ‘in de techniek is het werk zwaar’;

In fasen 1 en 2 van het project is voor het product `beroepenmarkt’ gebruik gemaakt van dit instrument om effecten van de inzet van de ontwikkelde producten vast te stellen en is voor de producten 'leerarrangementen’ (oriëntatie op het mbo voor vierde jaars vmbo-leerlingen) en ‘windbuggy’ (integrale aanpak voor boeiend en uitdagend techniekonderwijs) gebruik gemaakt van sommige van de bovengenoemde schalen. Voor de producten ‘bedrijvenformat’ en ‘game tekening lezen’ zijn interviewvragen opgesteld. Gebruik en effecten van de pdsa-cyclus Op voorhand hebben we hpbo de volgende criteria voorgesteld om na te gaan in hoeverre in het project de pdsa-cyclus werd gebruikt en de beoogde effecten opleverde: 1. Alle betrokkenen in de scholen kennen de pdsa-cyclus, weten hoe die moet worden toegepast en wat de meerwaarde ervan is voor hun eigen werk; 2. De activiteiten in het kader van Limburg Techniek zijn uitgevoerd met gebruik making van de pdsa-cyclus; 3. Docenten zijn betrokken bij het verzamelen van informatie om de pdsa-cyclus te kunnen realiseren; 4. Docenten zijn betrokken bij de besluitvorming over de eventuele bijstelling van de projectactiviteiten op basis van de informatie over deze activiteiten. Voor de informatieverzameling over deze criteria is gebruik gemaakt van formats voor het bijhouden van logboeken door de ontwikkelclusters en de groepen scholen die een product hebben uitgetest in fase 2. Ook is gebruik gemaakt van de verslagen van de terugkoppelbijeenkomsten van de testscholen met de ontwikkelclusters. In de paragrafen 4.2 bespreken we de resultaten van het onderzoek naar de effecten van de ontwikkelde producten. In paragraaf 4.3 bespreken we de resultaten uit het onderzoek naar het proces: het werken met doorbraak, pdsa en de kennis uit de innovatieliteratuur. In hoofdstuk 5 reflecteren we op onze bevindingen, trekken daar conclusies uit over het project en bediscussiëren het succes van het werken met de doorbraakmethodiek, de pdsa-cyclus en de kennis uit de innovatieliteratuur.

4.2 Resultaten onderzoek producten De resultaten zijn per ontwikkeld product geordend.

4.2.1 Beroepenmarkt Het cluster heeft een format ontwikkeld voor het organiseren van een beroepenmarkt door tweede jaars vmbo-leerlingen. De informatie, die door deze leerlingen tijdens bedrijfsbezoek verzameld informatie is, wordt in een beroepenmarkt aan eerste klas leerlingen gepresenteerd. Het cluster heeft voor de meting van effecten zelf een korte vragenlijst ontwikkeld. Op basis daarvan is het product bijgesteld. Bij het uittesten van het product door twee andere scholen (en door één van de ontwikkelscholen zelf) is opnieuw gebruik gemaakt van de leerlingenvragenlijst die voor de 0-meting was ontwikkeld. We geven hier een korte samenvatting van de gegevens. Omdat bekend is dat onder andere de

5

schoolbeleving van leerlingen in de loop van hun schoolcarrière ongunstiger wordt, vergelijken we de uitkomsten van het onderzoek met de vergelijking van de eerste en tweede klassers in de 0-meting (bij wijze van een ‘controlegroep’, die dus niet hebben deelgenomen aan een beroepenmarkt). Tabel 1: Resultaten metingen beroepenmarkt in vergelijking met verschil 1 e en 2e klassers bij de 0-meting. Weergegeven is steeds of scores op de diverse onderdelen van de vragenlijst bij de desbetreffende leerlingengroep (van de ontwikkelschool, testschool 1, testschool 2 en bij de ‘controlegroep’) gelijk zijn gebleven, zijn gedaald of (licht) zijn gestegen. Onderdelen van de OntwikkelTestschool 1 Testschool 2 Klas 1-2 eerste meting vragenlijst: school (‘controlegroep’) Schoolbeleving Gedaald Gedaald Gedaald Gedaald Praktijkgerichtheid Gelijk Gedaald Licht gestegen Gelijk Plezier in techniek Gedaald Gedaald Gedaald Gedaald Verbreed beeld Gedaald Gedaald Gedaald Gedaald Arbeidsmarkt verwachtingen Gedaald Gedaald Gelijk Gedaald Traditioneel beeld Gelijk Gedaald Gedaald Gestegen Zeer traditioneel beeld Gedaald Gedaald Gedaald Gelijk

De gegevens in tabel 1 laten zien dat de leerlingen die de beroepenmarkt hebben meegemaakt minder traditioneel over techniek zijn gaan denken dan hun leeftijdgenoten een jaar eerder. De schoolbeleving, het plezier in techniek, het verbrede beeld van techniek en de arbeidsmarkt verwachtingen zijn afgenomen net als bij de leeftijdgenoten een jaar eerder. Dat valt tegen omdat we verwachtten dat die door de beroepenmarkt toe zouden nemen. Dat blijkt niet het geval. Dat komt niet door de leerlingen die (na de beroepenmarkt) geen techniek willen gaan doen. De leerlingen is ook gevraagd wat ze hebben geleerd van de beroepenmarkt. De gegevens staan in tabel 2. Tabel 2: Resultaten behorend bij de vraag wat leerlingen geleerd hebben van de beroepenmarkt? Weergegeven zijn gemiddelde scores (op een 7-puntsschaal) van leerlingen van de drie scholen die aan de test hebben meegedaan.

Wat hebben ze geleerd van de beroepenmarkt: Wat ze doen in een bedrijf5 Wat ik later wil gaan doen Ik ben meer gaan nadenken over wat ik later wil gaan doen

Ontwikkelschool 4,4 3,7 3,8

Testschool 1 4,0 3,6 3,7

Testschool 2 5,6 4,2 4,2

De vraag wat de leerlingen hebben geleerd van de beroepenmarkt wordt zeer wisselend beantwoord. Alle leerlingen hebben in enige mate geleerd wat voor werk mensen doen in een bedrijf. Veel minder hebben de leerlingen al besloten wat ze later willen worden en evenmin zijn ze daar meer over gaan nadenken. De beroepenmarkt zorgt dus vooral voor een beter beeld van wat er in een bedrijf gebeurt.

5

Scores op een 7-puntsschaal: 1 (helemaal niet mee eens) tot 7 (helemaal mee eens)

6

Conclusie: De beroepenmarkt doet wat hij moet doen: hij bezorgt leerlingen een beter beeld van wat mensen in een technisch bedrijf doen en hij zorgt voor minder traditionele beelden van techniek. Er liggen nog kansen om leerlingen meer aan te zetten om na te denken over wat ze later willen gaan doen, een breed beeld van techniek te ontwikkelen en plezier in techniek te ontwikkelen.

4.2.2 Thematisch werken – windbuggy Door het cluster zijn diverse vormen aangepakt om het techniekonderwijs boeiender en uitdagender te maken. Bij één van de scholen is de vragenlijst, die in de 0-meting is gebruikt, nogmaals afgenomen. Daarnaast zijn op beide scholen van het cluster leerlingen geïnterviewd. Voor de verslaglegging van zowel vragenlijstonderzoek als interviewstudie, verwijzen we naar de verslaglegging van het cluster in de eindrapportage aan hpbo. Eén van de gebruikte vormen is thematisch werken. Aan de hand van een thema (in de test- en de ontwikkelschool is in de tweede fase het thema ‘Wind’ gekozen) gaan leerlingen aan het werk met het bouwen van een wind-buggy. Bovendien wordt de docenten van de avo-vakken gestimuleerd om tijdens de vaklessen zo veel mogelijk aan te sluiten bij dit thema. Het thema wordt getest door één test-school. Eén van de ontwikkelscholen heeft het thema opnieuw uitgevoerd. Het gaat in beide gevallen om leerlingen in klas 1. De ambitie van de ontwikkelaars en de testschool was dat leerlingen door het thematisch werken: -

Een breder beeld krijgen van wat techniek is; Het techniekonderwijs (en dus school in het algemeen) leuker vinden, want en uitdagender en boeiender; De theoretische kennis die ze tijdens de vakken aangeboden krijgen, beter begrijpen omdat ze die tijdens het maken van de buggy toe moeten passen; Hun creativiteit leren gebruiken en ontwikkelen.

De eerste twee punten zijn gemeten met onderdelen uit de vragenlijst die ook in de 0-meting is gebruikt. De laatste twee moeten door middel van interviews met een aantal leerlingen worden achterhaald. Ten tijde van het schrijven van deze rapportage was alleen bij de ontwikkelschool het thema afgerond en gegevens uit de tweede meting (de nameting) beschikbaar. Deze gegevens staan in bijlage 1. De test-school zal de vragenlijst in een later stadium alsnog afnemen. De vragenlijsten zijn bij de 24 leerlingen van de ontwikkelschool afgenomen in klas 1 kort nadat de activiteit was begonnen en kort na afronding daarvan. De gegevens laten voor `schoolbeleving‘ (indicator voor boeiend en uitdagend techniekonderwijs) en voor `beelden van techniek’ hele kleine verschillen zien. Daaruit kan geconcludeerd worden dat er aanwijzingen zijn dat de leerlingen school leuker zijn gaan vinden en een iets breder beeld van techniek hebben gekregen.

4.2.3 Game tekening lezen Eén van de ontwikkelscholen heeft het voortouw genomen bij de ontwikkeling van een game over tekeninglezen. Het doel van deze game was dat leerlingen spelenderwijs de symbolen leren kennen en gebruiken, die bij technisch tekenen worden gebruikt. Leerlingen is daarnaar gevraagd in een klassengesprek. De gegevens uit dit gesprek wijzen erop dat leerlingen de game niet al te uitdagend

7

vinden, maar dat zij tegelijkertijd aangeven tekening lezen wel moeilijk te vinden. Er lijkt het nodige gewonnen te kunnen worden door de game anders te presenteren en mogelijk ook in een eerder stadium in de opleiding.

4.2.4 Format bedrijfsleven en examenprogramma Door het cluster is een gespreksformat ontwikkeld voor bedrijfsbezoek; dit format is in latere instantie tevens aangepast om het gesprek met bedrijven vorm te geven over de ophanden zijnde wijziging van het examenprogramma in de beroepsgerichte leerwegen naar een kern-, profiel- en keuzedeel. Om de bruikbaarheid en het gepercipieerde nut van het bedrijvenformat vast te stellen zijn door de onderzoekers acht vragen geformuleerd: vier voor de docent die het gesprek gevoerd heeft en vier voor de gesprekspartner uit het bedrijfsleven. Deze vragen zijn vervolgens door het betreffende cluster benut bij het uittesten van het bedrijvenformat. De resultaten zijn opgenomen in de eindrapportage van dit cluster aan hpbo. Door de twee testscholen zijn deze acht vragen in totaal door drie docenten en drie contactpersonen uit het bedrijfsleven beantwoord. De antwoorden staan in bijlage 2. De gegevens laten zien dat, op enkele vooral vormgevingssuggesties na, het formulier als bruikbaar en nuttig wordt ervaren. Sommige bedrijven geven aan veel van de contacten op basis van het format te verwachten, andere hopen vooral dat dit het geval zal zijn.

4.2.5 Leerarrangementen – programma Oriëntatie op Beroep en Opleiding Voor de hogere leerjaren heeft het cluster een verzameling programma’s ontwikkeld die uitgevoerd worden in samenwerking met een ROC waar de leerlingen mogelijk heen gaan voor hun vervolgopleiding. De programma’s zijn bedoeld voor vmbo-leerlingen in het laatste leerjaar, om hen te helpen een beeld te krijgen van de specifieke opleidingen in de richting waarin ze van plan zijn een opleiding te gaan volgen. Vooralsnog is er een programma voor bouw-timmeren. Twee scholen hebben de programma’s op verschillende manieren uitgeprobeerd. De leerlingen zijn na het programma in grote lijnen dezelfde vragen gesteld als de doorgestroomde leerlingen. Er zijn twee vragen toegevoegd: - Heb je door het programma een beter beeld gekregen waar je goed in bent? - Heb je door het programma een beter beeld gekregen van waar je enthousiast van wordt? De gegevens staan in bijlage 3. We vatten ze hier samen. De vragenlijstonderzoeken laten zien dat een deel van de leerlingen direct baat heeft bij het arrangement: ze komen tot een definitieve keuze of hun al bestaande keuze wordt nogmaals bevestigd. Sommige leerlingen worden door het programma aan het twijfelen gebracht over hun keuze. Dat interpreteren we als gunstig: beter nu dan in het eerste jaar van het mbo. Daarnaast zijn er leerlingen (ongeveer 35%) die voor en na het programma niet weten wat ze willen. Het programma lijkt daar ook niet veel aan geholpen te hebben. Dit percentage is wat hoger dan gehoopt. Voor deze leerlingen is waarschijnlijk een andere vorm van oriëntatie nodig. Toch doet het programma voor een belangrijk deel van de leerlingen wat het moet doen. Voor de groep waarbij dat niet het geval is, is meer nodig.

8

4.3 Resultaten onderzoek proces In deze paragraaf willen we meer te weten komen over het werken met de pdsa-cyclus, dat wil zeggen over de mate waarin er binnen TEC2020 gewerkt is volgens de pdsa-fasen, en over de mate waarin betrokkenen aangeven geleerd te hebben over het werken met de pdsa-fasen. Om dat te achterhalen zijn twee eenvoudige formats voor logboeken gemaakt en aan de scholen aangeboden: 1. Een logboek voor het ontwikkelcluster, waarin zij konden aangeven a. wat er binnen het cluster is gedaan; b. met welk resultaat of welke opbrengst; c. wat dat bijdroeg aan dit resultaat, wat daarvoor belangrijk was; d. of en wat er in deze periode gezamenlijk is geleerd. 2. Een logboek voor de testfase. Aan de hand van dit logboek konden de scholen hun activiteiten en testbevindingen weergeven. Deze formats zijn deels aangepast aan het specifieke product, soms door de begeleider en soms door de uittesters met ondersteuning van de begeleider. Deze ingevulde formats konden door de betrokken scholen worden gebruikt als input voor de terugkoppelbijeenkomsten. Van deze terugkoppelbijeenkomsten zijn ook verslagen gemaakt, aan de hand van een format dat door het professionaliseringscluster is ontwikkeld. In dit verslag diende onderbouwd te worden: 1. Welke leeropbrengsten de testfase heeft opgeleverd voor het ontwikkelcluster, 2. Of de gehanteerde methodiek voor de testschool effectief was voor het implementeren van een door een andere school resp. cluster van scholen ontwikkeld product, 3. Welke betekenis c.q. leeropbrengsten het onderzoek naar resultaten resp. effecten opgeleverd heeft voor de testscholen en het ontwikkelcluster. In deze paragraaf willen we ingaan op de vraag of en op welke wijze de clusters gewerkt hebben volgens de pdsa-cyclus. Daarnaast willen we ook antwoorden zoeken op de volgende vragen: a. In hoeverre en op welke wijze hebben de clusters gebruik gemaakt van de logboeken bij het doorlopen van de twee pdsa-cycli binnen het TEC2020 project? b. Geven clusters in het logboek aan wat zij geleerd hebben over pdsa? c. In hoeverre en op welke wijze hebben de ontwikkel- en testscholen gebruik gemaakt van logboeken en/of formats bij het doorlopen van de testfase binnen het TEC2020 project? d. Geven scholen in de instrumenten aan wat zij geleerd hebben over pdsa? De resultaten van deze analyse staan in bijlage 4. We vatten ze hier kort en puntsgewijs samen In de vorm van enkele conclusies. 

In veel gevallen hebben betrokkenen de formats en logboeken ingevuld. Het werken met pdsa-fasen wordt daarin wel enigszins zichtbaar. In de meeste logboeken zien we terug dat de clusters gewerkt hebben volgens de pdsa-cyclus: de meeste dus twee keer. De tweede keer betrof dit het uittesten van producten die door andere clusters waren ontworpen. Uit de beschrijvingen van de pdsa-fasen is echter vaak niet zo helder op te maken wie de pdsacyclus heeft doorlopen: de projectleider, de docentengroep, de onderzoeker? In een aantal gevallen geven cluster/scholen in het logboek/format aan wat zij geleerd hebben over pdsa. 9

Het werken met pdsa wordt door meerdere clusters/scholen aanvankelijk als hinderlijk ervaren: het werkt vertragend, het is onduidelijk en abstract, “we willen vooral actie”. Aanvankelijk was het werken met de pdsa voor betrokkenen niet duidelijk en was niet helder wat nou eigenlijk de bedoeling was. In een aantal logboeken/formats wordt duidelijk zichtbaar dat er op bepaalde momenten wèl inzichten in het pdsa-denken zijn geweest: dan werd betrokkenen duidelijk wat de meerwaarde of betekenis kan zijn. Bepaalde gebeurtenissen lijken daarbij van belang te zijn geweest dat men ‘beter door heeft waar het om draait’. Dit waren bijvoorbeeld: de pdsa-cyclus een keer doorlopen, logboeken en formats een keer invullen, format mee helpen ontwikkelen, wanneer “er synergie ontstaan is”, wanneer er ‘iets is gebeurd”. Op één logboek wordt zelfs gezegd: “de pdsa levendig maken”. Ook nodig zijn heldere doelen, onderlinge communicatie, draagvlak, kleine stappen, goede en strakke organisatie, planmatige aanpak. Het vermoeden bestaat als er ‘eigenaarschap’ is ontstaan (‘flow’, betrokkenheid, bevlogenheid, synergie), dat dan ook inhoudelijk leerresultaten worden weergegeven, en ook (ergens) worden beschreven. Een gedetailleerd format kan daarbij helpen, maar kan ook juist contraproductief werken. 









Plannen, controleren, reflecteren op het proces etc. gebeuren veelal niet zomaar: instrumenten (logboeken, formats) kunnen daarbij handig zijn. In het algemeen wordt een heldere structuur in die instrumenten wel gewaardeerd. Daarnaast dient steeds helder gecommuniceerd te worden wat de bedoeling is van deze instrumenten: niet alleen maar feitelijk rapporteren wat er is gedaan, maar tevens rapporteren wat achterliggende gedachten waren, wat men heeft geleerd etc.. Te ver uitgewerkte en kant-en-klaar producten lijken juist contraproductief te werken: dan wordt het alleen maar ingevuld, evt. door één persoon van achter de bureautafel. Daarmee bestaat het risico dat het zijn bedoeling mist. Anderzijds wordt gestructureerd werken aan de hand van heldere formats of vragen in het algemeen wel gewaardeerd. De ontwikkelde instrumenten (logboeken, formats) lijken een gezamenlijke reflectie te bevorderen als de onderliggende vragen in dialoog worden besproken. Het vermoeden bestaat dat ook het kritisch bevragen door een buitenstaander (b.v. een onderzoeker) daarbij kan helpen. Er zijn positieve ervaringen opgedaan met het gezamenlijk ontwikkelen van een format: daardoor bestaat de indruk dat betrokkenen beter gaan begrijpen waar het allemaal om draait. Reflecties dienen tevens verbonden te worden met (nieuwe) actiepunten.

10

5. Reflectie, conclusie en discussie 5.1 De producten Uit de onderzoeken naar de ontwikkelde producten komt na het gebruik van die producten een aantal positieve reacties of kleine verbeteringen naar voren. De afzonderlijke onderzoeken naar de effecten van de producten geven daarover genuanceerde antwoorden. De resultaten zijn door de bank genomen niet overweldigend, maar ook niet negatief. De overall conclusie is, dat de producten tot op zekere hoogte doen waar ze voor bedoeld waren en dat er uiteraard altijd verbetering mogelijk is. Belangrijk daarbij is de overweging dat vooral de metingen bij leerlingen door middel van de vragenlijsten niet alleen beïnvloed worden door het gebruik van het product, maar ook door allerlei omstandigheden waarvan we voor een deel ook helemaal geen weet hebben. Daardoor kan niet met zekerheid worden aangegeven in hoeverre de geconstateerde verbeteringen volledig toegeschreven kunnen worden aan het ontwikkelde product. We lichten dit per product nader toe. Beroepenmarkt De resultaten van het onderzoek zijn pas enigszins te interpreteren als ze afgezet worden tegen een vergelijking van eerste en tweede klassers tijdens de 0-meting (een soort ‘controlegroep’). Deze vergelijking laat zien dat de leerlingen geen grote verschuivingen te zien hebben gegeven over hun beelden van techniek, hun plezier in school, etc.. Daarvoor is een beroepenmarkt waarschijnlijk ook een te beperkt instrument: het is een eerste oriënterende activiteit in de wereld van de technische arbeid. Leerlingen hebben daarin vooral kunnen kijken wat er gebeurt en wat hen daarin aantrekkelijk lijkt. Het proces van opdoen van ervaring met arbeid en het verwerken van die ervaring vragen tijd, zorgvuldige reflectie (loopbaanreflectie) en herhaling (zie alle literatuur over LOB, loopbaanreflectiegesprekken, etc; bijvoorbeeld Kuijpers, 2012; Meijers, Kuijpers & Gundy, 2013; Winters, 2013; Mittendorff, 2010; Den Boer en Stukker, 2011). Van deze ene activiteit mag dus nu niet direct het heil worden verwacht. Maar het is wel een goede eerste aanzet, die bij een aantal leerlingen hun nieuwsgierigheid heeft gewekt. Belangrijke overweging is nog om met de leerlingen die de bedrijven hebben bezocht en de beroepenmarkt hebben georganiseerd goede loopbaangesprekken te voeren, om de kennis die ze nu hebben opgedaan over met name zichzelf (in hoeverre zij zich nu denken te willen verbinden aan de wereld van de techniek, of een onderdeel daaruit) expliciet te maken Thematisch werken – thema wind Ook hier zijn de onderzoeksresultaten niet overweldigend, maar zeker ook niet negatief. Op zich is het opmerkelijk dat de leerlingen na het thema Wind een positievere schoolbeleving hebben dan ervoor. De schoolbeleving wordt in de regel namelijk gedurende de schoolloopbaan systematisch lager. Daar lijkt met het thematisch werken tegenwicht tegen geboden te worden. Dat wijst erop dat leerlingen dit echt leuk vinden. Dat hun beeld van techniek door dit ene project nog niet dramatisch is veranderd, was ook vooraf niet te verwachten. Zoals bij de beroepenmarkt: daarvoor is meer nodig. Game tekening lezen Het onderzoek naar de game tekening lezen is verstoord door misverstanden. Dat is jammer. Aanvankelijk was de bedoeling in interviews met leerlingen individueel een beeld te krijgen wat ze

11

daarvan hebben geleerd. Tijdens de interviews werd het begrip ‘game tekening lezen’ door de leerlingen echter niet herkend. Het gesprek daarover heeft daardoor niet plaats gevonden en is (noodgedwongen) vervangen door een groepsgesprek. Dat pakte niet zo positief uit, maar dat is te verwachten met een groep leerlingen op deze leeftijd: het is niet ‘cool’ om iets leuk te vinden als niet iedereen het leuk vindt. Toch komen in het interview een aantal zaken naar voren die mogelijk de moeite van het overwegen waard zijn. Ze staan vermeld in de eindrapportage van het cluster aan hpbo. Bedrijvenformat – mede gericht op kennisuitwisseling over nieuwe exameninrichting vmbo Dit instrument wordt gekenmerkt door een beperkte maar heldere doelstelling. Die is gerealiseerd. Gebruikers, zowel docenten als contactpersonen uit de bedrijven, zijn tevreden en vinden het format goed bruikbaar en nuttig. Leerarrangementen Dit product heeft een hoge ambitie: leerlingen in het vierde jaar helpen een concrete keuze voor een opleidingsrichting te maken in het mbo. De resultaten passen daar goed bij: voor sommige leerlingen (ongeveer een derde) werkt het middel uitstekend: zij wisten al of weten nu zeker wat ze willen kiezen. Voor een groep (ongeveer een derde) werkt het middel ook, maar roept het tegelijkertijd complicaties op: deze leerlingen zijn in verwarring, twijfel of weten nu iets meer maar nog steeds niet precies wat ze willen. Daar is dus meer bij nodig. Als daar binnen school geen aandacht voor is, kan uit deze groep nog steeds een probleemgroep ontstaan, die uitvalt in het (technisch) mbo omdat ze niet goed weten waarvoor ze kiezen. Vervolgactiviteiten zijn dus nodig. En de laatste groep (ongeveer een derde) heeft er naar eigen zeggen helemaal niets aan gehad: ze wisten het van tevoren niet en achteraf evenmin. Ze hebben er bovendien niets van geleerd. Dat roept vragen op: heeft dit traject met deze leerlingen überhaupt zin? Moet er niet veel zwaarder geschut worden ingezet? Had een traject gericht op vervolgkeuzes (startend bij de beroepenwereld) niet al veel eerder ingezet moeten worden? Etc. Deze vragen kunnen niet beantwoord worden door middel van het product leerarrangementen. Om de leerarrangementen effectief te kunnen benutten moeten scholen zich deze vragen wel stellen en er een antwoord op vinden.

5.2 Het proces. Vooraf waren vier criteria benoemd voor het welslagen van het project. Het onderzoek zou daarover informatie moeten opleveren. Die vier criteria waren: 1. Alle betrokkenen in de scholen kennen de pdsa-cyclus, weten hoe die moet worden toegepast en weten wat de meerwaarde ervan is voor hun eigen werk; 2. De activiteiten in het kader van TEC2020 zijn uitgevoerd met gebruik making van de pdsacyclus; 3. Docenten zijn betrokken bij het verzamelen van informatie om de pdsa-cyclus te kunnen realiseren; 4. Docenten zijn betrokken bij de besluitvorming over de eventuele bijstelling van de projectactiviteiten op basis van de informatie over deze activiteiten. We trachten elk van deze vragen te beantwoorden.

12

Pdsa-cyclus kennen, toepassen en de meerwaarde ervan kennen Op grond van de gegevens kunnen we stellen dat zeker een deel van de projectleden nu weet wat de pdsa-cyclus inhoudt. In hoeverre die reproduceerbaar en vooral toepasbaar is voor alle projectleden is zeer de vraag. In hoeverre de ervaringen met de pdsa-cyclus ertoe leiden dat mensen dat willen is nog weer een hele andere vraag. Uit de logboeken en de gesprekken op de scholen is duidelijk dat de betekenis, het nut en het gebruik van de pdsa-cyclus bij sommigen binnen het project nadrukkelijk duidelijk zijn geworden. Voor sommigen was dat vooral een herkennings-beleving: ‘dit doen we feitelijk al, het heette nooit zo; nu zijn we ons ervan bewust en kunnen we dit ook verbeteren en uitbouwen’. Voor sommigen – vooral in de laatste periode van de testfase, tijdens de uitwisseling en terugkoppeling – is in de loop van het traject duidelijk geworden wat de betekenis en het belang van systematisch werken en terugkijken naar wat je gedaan hebt, op kan leveren. Het lijkt er sterk op dat vooral de testfase in het project hier een grote bijdrage aan heeft geleverd. Het uitproberen van een product van of door anderen en de (min of meer systematische) terugkoppeling van ervaringen door middel van een logboek leveren betrokkenen belangrijke inzichten op. Dat kan niet gezegd worden van de startfase van het project, zowel de voorfase als fase 1. Het vertellen over wat de pdsa-cyclus is en hoe die toegepast kan worden, heeft ons inziens weinig opgeleverd, anders dan een soort markering dat dit project op een andere manier uitgevoerd zou worden dan men gewend was. De fase waarin de projectplannen zijn geschreven conform het format van het professionaliseringscluster is – in elk geval op dat moment – ervaren als ingewikkeld, een papierwinkel en (onnodig) vertragend. In hoeverre daar aan het eind van het project anders over gedacht wordt, is ons niet bekend. Uitvoering project met gebruik making van de pdsa-cyclus Formeel is dat gebeurd, getuige de logboeken en ‘verhalen’ van de betrokken clusters en scholen. Deels is dat een bewust proces is geweest. De inrichting van de audit halverwege het project getuigt daarvan. Door de deelnemers is dat onderdeel van de audit ervaren als `iets op afstand’, iets dat hen minder aan ging. Maar anderen hebben daaruit ervaren dat en hoe een pdsa-cyclus werkt. Docenten zijn betrokken bij het verzamelen van informatie om de pdsa-cyclus te kunnen realiseren Het feit dat hier de onderzoeksresultaten staan en niet in de verslagen van de clusters zou tot de conclusie kunnen leiden dat deze doelstelling niet is gerealiseerd. Het lijkt er immers op dat de informatie is verzameld voor en door de onderzoekers, zonder daarbij de docenten te betrekken. Daarbij treft overigens de docenten geen blaam. Voor een belangrijk deel onder tijdsdruk is door de onderzoekers - een 0-meting georganiseerd zonder daarover vooraf met de betrokkenen te communiceren – de belangrijkste overweging daarvoor was de vrees dat als dat niet zou gebeuren het risico zou bestaan dat tegen het eind van de eerste cyclus er geen informatie zou zijn om dan beschikbaar komende informatie tegen af te zetten (gegevens over de startsituatie); - een set met evaluatiecriteria vastgesteld voor de studyfase in de cyclus. Slechts in één geval is dat in overleg met de testende scholen gedaan; in alle andere gevallen – opnieuw onder

13

tijdsdruk en uit de vrees anders te laat te zijn om nog relevante informatie te kunnen verzamelen – door de onderzoekers. Daar komt bij dat de resultaten van onderzoek voor docenten veelal lastig te interpreteren zijn. Dat is hier opnieuw gebleken. Binnen het project was niet voorzien dat de onderzoekers bij de terugkoppelbijeenkomsten aanwezig zouden zijn. Daardoor was het ook niet mogelijk dat de onderzoeker de uitkomsten zou uitleggen en de onderzoeksresultaten gezamenlijk met de clusterleden zou interpreteren (“wat betekenen de onderzoeksresultaten voor ons?”). De onderzoeker is echter evenmin ingeschakeld (eventueel op afstand, telefonisch of zelfs achteraf) om die uitleg te verschaffen. Daar staat nadrukkelijk tegenover dat het uittesten van elkaars producten, het bijhouden van de ervaringen daarmee in een logboek en het bespreken van die ervaringen tijdens de terugkoppelbijeenkomsten erop wijzen dat docenten wel degelijk relevante informatie hebben verzameld in het kader van de pdsa-cyclus. Daarbij spelen een aantal zaken mee. In de eerste plaats kunnen we constateren dat het verzamelen van informatie in bekende taal werkt: in termen van het product, in termen van het doorgemaakte proces, etc., kortom: herkenbaar in de gebruikte taal en in inhoud die bij betrokkenen bekend is. In de tweede plaats is de interventie om de scholen elkaars producten te laten uittesten ook geland. De psda-cyclus heeft daardoor voor veel betrokkenen betekenis gekregen. In de derde plaats valt op dat resultaten van het uittesten in de logboeken en de terugkoppelbijeenkomsten sterk het karakter hebben dat ‘het allemaal prima heeft gewerkt en doet wat het moet doen’. Enigszins gechargeerd: ‘We hebben ervan geleerd en iedereen vond het geweldig en we gaan zo door’. Dat lijkt erop dat de nuance in de kennis over de effecten van het product niet (goed) landt. Onderzoek lijkt dan voor de functie te hebben van ‘goedgekeurd’ en veel minder de functie om tot leren te komen: hoe kunnen we het instrument geschikter maken voor delen van de doelgroep? Of: voor welke doelgroep is het wel geschikt? Het lijkt er dus op dat de gangbare routine ‘plan-do-plan-do-plan-do’ nu vervangen is door de routine ‘plan-do-check-plan-docheck’, waarbij de check vooral bedoeld is om aan te geven dat ‘het nieuwe’ ‘het doet’. Dat er dan ook sprake is van (collectief) leren, is uiteraard de vraag. In dat proces is een ‘blik van buiten’ nodig, om kritisch naar ervaringen en opbrengsten te kijken, resultaten genuanceerd te beoordelen en op basis daarvan terug te kijken naar wat feitelijk de bedoeling was met de vernieuwing en daar conclusies over te trekken voor de toekomst. Daarbij is kennelijk ook nodig dat die ‘blik van buiten’ voldoende in staat is deze vragen te stellen. Docenten zijn betrokken bij de besluitvorming over de eventuele bijstelling van de projectactiviteiten op basis van de informatie over deze activiteiten Tijdens de terugkoppelbijeenkomsten zijn door de ontwikkelaars en de uittesters conclusies getrokken over de bruikbaarheid van het product in elk van de situaties, de noodzaak van eventuele bijstelling van het product, deels afhankelijk van de context en de bijstelling zelf. De gestelde doelstelling is dus gehaald.

14

5.3 Conclusies Uit de vorige paragrafen is de conclusie gewettigd dat alle genoemde doelstellingen in mindere of meerdere mate zijn gehaald. We willen daar echter wel een aantal kanttekeningen bij plaatsen. Dat willen we omdat we het idee hebben dat dit maar beperkt het geval is geweest. Dat heeft te maken met de interpretatie een aantal activiteiten die zijn uitgevoerd maar zeer beperkt hun werk hebben gedaan, namelijk de introductie van de te volgen werkwijze in de kick off bijeenkomsten, de keuze om een groep in het project (t.w. het professionaliseringscluster) verantwoordelijk te laten zijn voor de ondersteuning van de andere groepen (de andere vier clusters) met een werkwijze die voor iedereen min of meer nieuw was, de uitgevoerde onderzoeken en de verwerking van de resultaten daarvan. Van de eerste (de ‘scholing’) lijkt dat redelijk verklaarbaar: iemand uitleggen dat het vanaf nu allemaal anders gaat dan gewoonlijk en daarover vertellen, levert geen praktisch-bruikbare inzichten op, het markeert alleen een andere aanpak. Hoe die aanpak eruit ziet, kan degene die nog niet weet wat het is, alleen leren begrijpen door het mee te maken, door het een keer ‘aan den lijve te ondervinden’ en daarop te reflecteren. Een aantal managers onder de projectleden herhaalt deze kennis in een gesprek over de leereffecten op de eigen school: ‘docenten moeten dit eerst een keer of vijf meemaken voordat we het met ze gaan hebben over de pdsa-cyclus. Die term zegt ze nu helemaal niets.’ Daarbij komt nog dat de ondersteuning van het werken met de pdsa-cyclus belegd was bij een groep docenten en afdelingsdirecteuren voor wie deze manier van werken wellicht niet helemaal nieuw was, maar zeker niet iets waarmee zij veel ervaring hadden. Nadat deze groep door ons was ‘geïnformeerd’ – waarbij zoveel mogelijk gebruik is gemaakt van ervaringen met vernieuwing die in de groep zelf aanwezig was – en nadat de verantwoordelijkheid voor de begeleiding van de andere groepen in stappen is overgedragen van de ondersteuners naar deze groep, was de combinatie van ‘met iets nieuws werken, waar je zelf nog niet veel ervaring mee hebt’ en dat vervolgens ook nog aan anderen uitleggen en hen bij de daarbij optredende problemen ondersteunen, kennelijk een brug te ver. Daarnaast baart de beperkte werking van het onderzoek ons zorgen, vooral onze beleving dat onderzoek vooral de functie heeft gekregen om een activiteit of product van het keurmerk ‘goed’ of ‘niet goed’ te voorzien. Als ‘onderzoek’ vanuit die betekenis wordt ingezet, valt ernstig te betwijfelen of het benut zal worden om er in de toekomst van te leren. Dat lijkt er overigens wèl op te wijzen dat het gebruik van de cyclus van plan-do-plan-do (zoals dat binnen het onderwijs veelal gebruikelijk is), nu geëvolueerd is tot plan-do-check-plan-do-check. Dat zou erop wijzen dat er feitelijk nog geen volledige cyclus doorlopen is en er dus nog geen sprake is geweest van een (volledig) praktijkleerproces. De achterliggende gedachte achter het werken met de pdsa-cyclus is dat een gedragsverandering optreedt van taakorganisatie naar lerende organisatie, van check-gedrag naar lerend gedrag. Kennelijk is dat nog niet voldoende gelukt in dit project. Daar spelen ons inziens een aantal zaken bij mee.

15

In de eerste plaats gaat wellicht de vergelijking op met auto leren rijden. In die situatie is er iemand die weet hoe het moet en die waar nodig ondersteuning verleent en gedrag corrigeert (vergelijk het principe van scaffolding uit de cognitive apprenticeship). Typerend voor projecten zoals TEC2020 is, dat niet op voorhand een bepaalde route bekend is en dat eigenlijk niemand een helder beeld heeft van hoe de pdsa-stappen binnen de clusterthema’s bij de samenwerkingsverbanden uitgevoerd moeten worden. Om deze stappen op een goede wijze te kunnen doorlopen zijn inzichten vanuit verschillende invalshoeken noodzakelijk en is collectief werken en leren van betrokkenen (theoriedocenten, praktijkdocenten, instructeurs, ontwikkelaars, management, bedrijfsleven, onderzoek, experts van buiten, ervaringsdeskundigen) onontbeerlijk. Betrokkenen moeten op een constructieve wijze samenwerken en samen leren, om daarmee de gesignaleerde problemen op een systematische wijze te kunnen aanpakken. Er is dus per definitie niemand die precies weet hoe het moet, en die kan corrigeren als het fout gaat. Deze omslag van ‘check-gedrag’ naar ‘lerend gedrag’ grijpt diep in op bestaande routines, en vereist zowel gedragsverandering als een ander perspectief op leren, ontwikkelen en onderzoeken. In de tweede plaats hebben we binnen een ander project zelf de ervaring met onderzoek dat wel tot ‘leren’ (in de breedste zin van het woord: praktische kennis- en competentieontwikkeling) heeft geleid (Den Boer t/m Teurlings, 2011). In dat onderzoeksproject met docententeams zijn we begonnen met de vraag waar de concerns van de teamleden liggen: hun betrokkenheden en zorgen. Waarover hebben docenten zorgen, waarover bestaan twijfels, waarover denken docenten ‘hier klopt iets niet’? Daarna zijn we nagegaan welke vragen zij daarover zouden willen stellen. Deze vragen vormden vervolgens de basis voor het onderzoek. Daarmee is het onderzoek als het ware eigendom van de teamleden geworden. We hebben de indruk dat daardoor de verzamelde informatie ook ‘geland’ is: de concerns betroffen hùn concerns, de onderzoeksvragen waren hùn vragen, de onderzoeksgegevens waren hùn gegevens, de verkregen informatie geeft antwoord op vragen die hun eigen concerns betreffen. In die situatie hebben de onderzoekers de informatie gepresenteerd aan de teams en met het samen de gegevens geïnterpreteerd. Ook dat kostte soms moeite. Er bleek ook hier de eerste reactie van ‘afhouden’ en externaliseren: ‘dit klopt niet’, ‘het onderzoek deugt niet’, ‘ik weet welke leerlingen dat gezegd hebben’, ‘de omstandigheden waren erg ongunstig’, etc. De stap naar ‘maar dit kan niet, hier moeten we iets mee’ duurde even en vroeg ook de nodige vasthoudendheid van ons. In het kader van het TEC2020 project was een dergelijke aanpak (nog) slechts gedeeltelijk mogelijk: er lag al een projectplan waarvoor subsidie was verstrekt. Beginnen met het duiden van ‘het probleem’ en een analyse van de oorzaken, is in de voorfase gebeurd tijdens de tweede kick off bijeenkomst, maar wel steeds binnen de kaders van de opdracht van het cluster (het ontwikkelen van nieuwe vormen voor beroepsoriëntatie, etc). Tijdens die bijeenkomst werden ook pogingen ondernomen om buiten de projectdoelen te treden. Dat leverde spanning op, hetgeen erop duidt dat voor de projectleden de concerns van het project lang niet altijd dezelfde waren als hun eigen concerns. Nadeel hiervan is geweest dat bij een aantal projectleden de ‘positieve energie’ uit het proces weggelekt is, die nodig is om op een betrokken en natuurlijke wijze te kunnen leren. Zij zijn achteraf ook het meest kritisch over de opbrengsten van werken met de pdsa-cyclus. Dat leidt ons tot de conclusie dat als er gewerkt wordt met pdsa met het doel tot lerend gedrag te komen, onderzoek uitgevoerd moet worden dat raakt aan de concerns van de teams en dat antwoord geeft op vragen die ze zelf hebben geformuleerd. Dan – zo veronderstellen wij – krijgt de

16

pdsa-cyclus een betekenis voor betrokkenen: dan wordt de pdsa-cyclus levendig gemaakt, of krijgt het een bezieling. Wij hebben op diverse momenten in het project gezien dat er dan enthousiasme ontstaat, synergie tussen betrokkenen, symbiose, een ‘wij-gaan-dit-doen’-gevoel. Wij hebben daarbij de indruk gekregen dat – als dat eenmaal het geval is en als dat wordt ondersteund en gefaciliteerd – dat de pdsa-cyclus ‘als vanzelf’ verder vorm kan krijgen en ‘natuurlijk’ kan worden ondersteund. Dat was bij de opzet van de ondersteuning en het onderzoek in dit project ook expliciet de bedoeling. Dat roept dus de vraag op wat heeft ervoor gezorgd heeft dat dit niet gebeurd is. Zonder ons te willen vrij pleiten, willen we daar een aantal factoren voor noemen: - De taken die we in dit project op ons hebben genomen (en die we dus ook hebben geaccepteerd) waren soms moeilijk te verenigen, met name die van trainer/adviseur en onderzoeker. In het uitvoeren van deze rollen, hebben we ons als onderzoekers mogelijk meer dan nodig of wenselijk laten leiden door onze verplichtingen aan onze directe opdrachtgever, te weten het hpbo: er moeten uiteindelijk immers onderzoeksresultaten gerapporteerd worden. Tegelijkertijd vroeg de dynamiek van het project soms om interventies die het onderzoekswerk naar de achtergrond drongen, terwijl dat op dat moment niet wenselijk was; - Ondanks de tweede kick off bijeenkomst en het format projectplan van het professionaliseringscluster hadden de clusters het moeilijk met het preciseren van hun opdracht (wat is nu het echte probleem en waar heb je invloed op en wat ga je daar in 1,5 jaar tijd aan doen); Daardoor was het bespreken van wat onderzoek moest opleveren lastig of onmogelijk. Alternatief was geweest: geduldig wachten tot ze zover waren; Dat hebben we een tijd gedaan en dat riep verwarring op; - De suggestie is gedaan door Jos van der Waals om bij de clusters steeds onderzoek te betrekken. Dat was financieel niet haalbaar. Onderzoek is hier dus apart, buiten stuurgroep en clusters om, en centraal geregeld. Door onderzoek op die wijze binnen het project te laten functioneren, hebben bepaalde van de genoemde onderzoekers-/adviseursrollen een groter accent gekregen dan andere. Des te opmerkelijker is het dat in een aantal clusters en scholen wel met de pdsa-cyclus is gewerkt en dat die methodiek daar ook echt geland is. Zoals in de voorafgaande paragrafen van dit hoofdstuk al aangegeven, lijken daar – zonder dat we daar onderzoek naar hebben kunnen doen – een aantal factoren verantwoordelijk voor: - Op een aantal scholen en bij een aantal mensen binnen het project waren de voorwaarden al tamelijk gunstig: o Ze werkten al op een manier die pdsa-achtig is, werden zich daarvan bewust en konden daardoor uit hun ervaringen en de kennis die in het project werd aangedragen en ontwikkeld, hun manier van werken verder uitwerken o Mogelijk leverde het pdsa-model bij sommigen ook net die taal of benadering op die ervoor zorgde dat processen die niet naar tevredenheid liepen anders aangepakt konden worden - De testfase in het project heeft een groot verschil gemaakt; voor veel projectleden was dit het moment waarop de meerwaarde van het uitproberen en gezamenlijk leren van die ervaring duidelijk werd.

17

Tenslotte menen we te kunnen constateren dat het leren dat wel heeft plaatsgevonden, vooral te maken heeft met het ‘hoe’ en mogelijk met het ‘wat’ van de vernieuwing en de producten: hoe kunnen ze beter worden benut? Wat moet er bijgesteld worden omdat het niet goed werkt? De vraag naar het waarom heeft steeds boven het project gezweefd, maar is slechts zelden concreet geworden: leiden deze activiteiten nu tot opbrengsten die gewenst zijn (waarom dien we deze activiteiten eigenlijk)? De ervaring heeft ons inmiddels bovendien geleerd dat die vraag zelden of nooit door direct betrokkenen in een organisatie worden gesteld. Om dat tot stand te brengen heb je anderen nodig, mensen van buiten, die daar ‘taal’ aan kunnen geven.

5.4 Discussie Voor hpbo is uiteraard relevant nu de vraag te beantwoorden of de doorbraakmethodiek, het werken m et de pdsa-cyclus en met de kennis uit de innovatieliteratuur effectief is gebleken in de vorm zoals die in dit project is gebruikt. Daarbij is van belang te constateren dat voor hpbo de doelstelling centraal stond de scholen bij het oplossing van de teruglopende leerlingaantallen in het techniekonderwijs te helpen door hun lerend en probleemoplossend vermogen te vergroten. Deze doelstelling is van een andere aard dan de doelstelling van de deelnemende scholen; voor hen stond de vraag centraal hoe de terugloop van de instroom in techniekonderwijs te stoppen, dan wel hoe het techniekonderwijs voldoende bekendheid te bezorgen, aantrekkelijk te maken en te laten aansluiten bij vervolgonderwijs en arbeidsmarkt. Uit het voorafgaande menen we te mogen concluderen dat het werken met de psda-cyclus en het werken aan een probleem waar eerst van is nagegaan hoe het feitelijk in elkaar zit en hoe er invloed op uitgeoefend kan worden, tot op zekere hoogte geslaagd is. Is daarmee het lerend vermogen van de deelnemende scholen vergroot? Die vraag is lastig te beantwoorden. Onze indruk is dat voor sommige scholen dat zeker geldt: daar is in elk geval op management niveau nut en meerwaarde van systematisch werken (leren) gezien en daarvan is bewust geleerd. Op die scholen zal systematisch werken hoogstwaarschijnlijk ook ankeren omdat men zich bewust is geworden van het belang ervan. Op andere scholen zal dat wellicht ook het geval zijn geweest maar zijn wij daar niet van op de hoogte gekomen of is dat meer impliciet gebeurt. Uit ervaring is bekend dat de kans op borging van het geleerde in die situaties niet zo groot is. Hetzelfde kunnen we zeggen over de analyse van het probleem als start van een project: op sommige scholen is deze wijze van werken (als opbrengst uit de innovatieliteratuur) geland, op andere veel minder of niet. In hoeverre is er dan nu in de deelnemende scholen een doorbraak geforceerd? Aanvullend op het in de vorige alinea gestelde, menen we te kunnen zeggen dat het moeten samenwerken in de testfase als doorbraak gekwalificeerd kan worden. Scholen en docenten zijn dat niet gewend. Dat dit in dit project geforceerd is – overigens met instemming van alle projectleden – heeft iets echt nieuws tot stand gebracht. Deels kan dat teruggevoerd worden op oude routines: de ene docent(engroep) legt aan de andere uit hoe het product werkt, hoe het gebruikt moet worden, etc. Dat gaat gepaard met de nodige trots op eigen werk en met uitwisseling van allerlei praktische zaken die docenten zeer na zijn en waar ze graag over uitwisselen omdat hen dat direct helpt in de klas. Anderzijds heeft het feit dat de ervaringen met het product van een ander moesten leiden tot feedback aan de ontwikkelaar en de noodzaak voor de ontwikkelaar om daarnaar te luisteren en er iets mee te doen, ertoe geleid dat het uittesten van de producten ‘leerwaarde’ kreeg en niet alleen gebruikswaarde. Daarmee is niet het lerende vermogen van de scholen vergroot, maar het heeft wel een doorbraak in het denken van docenten teweeg gebracht die mogelijk ook op langere termijn effect zal hebben.

18

Van een doorbraak in de zin van het invoeren van een nieuwe routine of standaard voor het dagelijkse handelen van alle docenten is in de projecten geen sprake geweest, maar dat was vooraf ook niet het doel van het project. Ook op bestuurlijk niveau moeten we genuanceerd zijn over de realisatie van een doorbraak. Door het project is het thema ‘borging’ nadrukkelijk onderwerp van gesprek geweest in de stuurgroep. Anders dan in vele projecten zijn door de stuurgroep initiatieven ontwikkeld om ervoor te zorgen dat de impact van het project niet alleen tot de projectleden beperkt blijft, maar dat op veel bredere schaal notitie wordt genomen van wat er is ontwikkeld, zowel product- als procesmatig. In hoeverre daarvan beklijvende effecten uitgaan, is op dit moment moeilijk te zeggen. Anders dan in het veel geciteerde doorbraak-voorbeeld in de gezondheidszorg (bestrijding van doorliggen) is hier ook geen sprake van geprotocoleerd gedrag, maar van contextspecifiek handelen op strategisch niveau.

19

Aangehaalde literatuur Boer, P.R. den, P. M. Gielen, M. Oosterling, P. Willemse (2011) Wegen naar maatwerk. Laatste deelrapportage onderzoek HPBO doorbraakproject Excellent Leren Excellent Organiseren. IVA, Tilburg. Boer, P.R. den & E. Stukker (2011). Dieptenanalyse reflectiegesprekken – welk docentgedrag helpt? In: F. Meijers (red.) Wiens verhaal telt. Naar een narratieve en dialogische loopbaanbegeleiding. Antwerpen/Apeldoorn: Garant Boer, P. den, Hoeve, A., Harms, G., Nieuwenhuis, L., Smulders, H. & Teurlings, C. (2011). Onderzoek-inde-praktijk. Hoe onderzoek de kennisontwikkeling binnen onderwijsinstellingen kan versterken. Tilburg: IVA Beleidsonderzoek en advies. Eck, E. van & M. Glaudé (2011). De Doorbraakmethode in het onderwijs. Leren van jezelf, leren van elkaar, leren van anderen. Een reflectie. Amsterdam: Kohnstamm Instituut Kuijpers, M.A.C.T. (2012). Architectuur van leren voor de loopbaan: richting en ruimte. Heerlen: Open Universiteit. Meijers, F., M Kuijpers & C. Gundy (2013). The relationship between career competencies, career identity, motivation and quality of choice. International Journal for Educational and VocationalGuidance, 13, pp. 47-66. Mittendorff, K.M. (2010). Career conversations in senior secondary vocational education. Eindhoven: Eindhoven School of Education. Nieuwenhuis, L, D-J Nijman, M. Kat-de Jong, K. de Ries & M. van Vijfeijken (2011). De doorbraak in zicht. Tweede tussenrapportage Doorbraakproject Werkplekleren 2009-2011. Tilburg: IVA. Winters, A. (2012). Career Learning en Vocational Education: guiding conversations for career development. Leuven: Universiteit Leuven

20

Bijlage 1 – Onderzoek thematisch werken thema Wind 1. Criteria welslagen thematisch werken thema Wind In het overleg met de betrokken docenten van beide scholen zijn als belangrijkste criteria voor succes naar voren gekomen: 1. krijgen de leerlingen door het werken met een thema een verbreed beeld van techniek, gaan ze techniek zien op plekken waar ze dat eerst niet zagen? 2. beleven ze techniekonderwijs als prettig en uitdagend als gevolg van het werken met een thema? Hier worden de resultaten weergegeven (op dit moment) alleen nog voor de ontwikkelschool. 2. Meting Om het beeld van techniek in kaart te brengen zijn de 13 vragen hierover aan de leerlingen gesteld die in oktober 2012 ook zijn gebruikt. Deze 13 vragen staan voor vier beelden van techniek: - Verbreed beeld (in de techniek moet je kunnen ontwerpen, uitvinden, heb je fantasie nodig), - Traditioneel beeld (in de techniek moet je kunnen repareren, met machines kunnen werken, handig zijn, oplossingen kunnen bedenken), - Zeer traditioneel beeld (in de techniek krijg je snel vieze kleren, is het werk zwaar), - Arbeidsmarktgericht beeld (zijn allerlei banen te vinden, kun je veel verdienen, succesvol worden). Om de beleving van het (nieuwe) techniekonderwijs te meten maken is de vragenlijst voor schoolbeleving gebruikt die ook in oktober 2012 is gebruikt (7 vragen). Schoolbeleving moet dan wel nadrukkelijk gezien worden als een indicator voor prettig en uitdagend techniek onderwijs. 3. Resultaten In de onderstaande tabel staan de gemiddelden voor de genoemde vijf schalen in de eerste en de tweede meting en de mate waarin die gemiddelden significant van elkaar verschillen. Tabel 1: gemiddelden en standaarddeviaties eerste en tweede meting (N=24) Gemiddelde (SD) eerste meting Verbreed beeld 5,25 (0,98) Traditioneel beeld 5,30 (0,81) Zeer traditioneel beeld 4,85 (1,01) Arbeidsmarktgericht beeld 5,46 (0,60) Schoolbeleving 4,49 (0,62) * het verschil is significant op 10% niveau.

Gemiddelde (SD) tweede meting 5,39 (0,83) 5,32 (1,12) 4,81 (0,95) 5,35 (0,66) 4,73* (0,61)

Uit de tabel is af te lezen dat de verschillen tussen de eerste en de tweede meting erg klein zijn.

21

Schoolbeleving Op het punt van de schoolbeleving is er sprake van een enigszins duidelijke toename: de leerlingen staan positiever tegenover school nadat ze met het thema zijn bezig geweest dan voordat ze daaraan begonnen. Ze hebben het kennelijk leuk en motiverend gevonden. Dat is des te opmerkelijker omdat schoolbeleving meestal daalt in de loop van de schoolcarrière. Beeld techniek De verschillen zijn heel klein en mogen statistisch gezien niet als verschillen worden gezien. Toch valt op dat de scores voor verbreed beeld iets hoger zijn bij de tweede meting en voor de andere beeldengelijk zijn gebleven (traditioneel, zeer traditioneel) of lager zijn geworden (arbeidsmarktgericht). Dat wil zeggen dat – voor zover leerlingen hun beeld van techniek hebben veranderd – ze eerder breder naar techniek zijn gaan kijken dan traditioneler. 4. Conclusies Voor zover er conclusies te trekken zijn, steunen ze het beeld dat door thematisch werken leerlingen onderwijs leuker vinden en er misschien ook wel een beetje een breder beeld van techniek door ontwikkelen, in elk geval niet een meer traditioneel beeld.

22

Bijlage 2 – beoordeling bruikbaarheid en nut bedrijvenformat Vragen aan docenten 1.Is het format helder beschreven en duidelijk?   

Ja, het is goed te hanteren, maar soms te veel deelvragen per actiepunt. Voor mij wel, ik kan er goed mee werken, biedt houvast. Format is duidelijk beschreven. Het formulier geeft de docent houvast in het gesprek.

2. Leveren de antwoorden op de vragen uit het format je voldoende en goede info op? Indien nee, wat mis je nog?   

De vragen leveren bruikbare antwoorden op. Soms gaan de vragen wat ver, maar dat is niet zo erg, we praten er dan weer over. Nee, graag een paar praktische regels toevoegen. Naam van het bedrijf en de persoon waarmee gesproken is.

3. Kun je met de verkregen info verder uit de voeten?   

De informatie levert een mooie samenvatting van de besproken onderwerpen op. Samen met mijn collega’s kan ik naderhand terugkijken, dat is handig. Dat gaat prima.

4. Heb je suggesties voor het format?   

Nee, geen aanbevelingen. Veel papier, terwijl we de dingen eigenlijk al grotendeels doen vanuit onszelf. De plussen verwijderen en regels van het format maken.

Vragen aan bedrijven 1. Worden u de goede vragen gesteld? Zijn de vragen duidelijk? Wat mist u?   

De gestelde vragen zijn helder en leveren genoeg input en stof tot nadenken. Niet alle vragen zijn relevant voor bedrijven, maar ik begrijp het belang voor het onderwijs. Vooral vragen m.b.t. “werknemersmentaliteit” mis ik. Het is van belang, dat leerlingen een goede werkhouding krijgen door sociale vaardigheden. De vragen zijn duidelijk. Wat er nog mist is een kolom met de N.A.W. gegevens en de contactpersoon van het bedrijf. Als het over de inhoud gaat, dan lijken veel vaardigheden achterhaald wat de leerlingen moeten doen volgens het curriculum. Later in het gesprek blijkt dat het toch weer op de basisvaardigheden aankomt.

2. Heeft u het idee dat u voldoende invloed kunt uitoefenen op het programma?   

Er wordt een gezond overleg gevoerd, tot wederzijds genoegen. Over en weer informeren wij elkaar en dit levert adequate bijstellingen op, indien vereist. Het onderwijs is lang “blind” geweest voor bedrijfsbelangen, door deze initiatieven komen we nader tot mekaar. Dat is een goede ontwikkeling. Niet direct, vooral adviserend naar de school toe. Met de hoop dat er ook nieuwe technieken binnen de school komen.

23

3. Levert het inzicht op in het lesprogramma en in de achterliggende gedachten daarbij? Geeft het inzicht in de redenen van bepaalde keuzes?   

Ja, zie ook het antwoord op de vorige vraag. Door dialoog verkregen info verheldert overwegingen van keuzes. De overwegingen voor bepaalde keuzes in het programma komen vooral naar voren tijdens de werksessies, die we op regelmatige basis hebben met de docenten. Het format geeft wel vaak de aanzet tot de discussie die gevoerd moet worden. Het inzicht is er nu zeker. Na het bestuderen met de docent van het curriculum heerst er bij veel bedrijven dat er nog veel toegevoegd kan worden aan het curriculum. Vaak zijn de ideeën te hoog gegrepen voor de vmbo leerlingen met bijvoorbeeld om een bepaald project te gaan opstarten. Dat opstarten of bepaalde handelingen verrichten in een bedrijf wordt dus moeilijk als er niet voldoende kennis en vaardigheden zijn bij leerlingen. Dat maakt voor de bedrijven de achterliggende gedachten van bepaalde keuzen duidelijk.

4. Heeft u suggesties voor het format?   

Nee. Bruikbaar, maar niet direct van levensbelang. Als het format vaker gebruikt is bij een bedrijf dan kan het summierder beschreven worden. Toevoegen van een kolom met daarin een specifieke vervolgafspraak zou wenselijk zijn.

24

Bijlage 3. Resultaten Leerarrangement Resultaten Bij de twee scholen hebben 23 leerlingen deelgenomen aan het programma ‘Oriëntatie op Beroep en Opleiding’. Het programma heeft tot doel leerlingen in het laatste leerjaar van het vmbo in contact te brengen met het beroep en een ROC dat opleidingen in de beoogde richting verzorgt, opdat de leerling bij de overstap naar het mbo beter en in meer detail weet in welke richting hij of zij een opleiding in het mbo wil volgen. De leerlingen is daarom gevraagd of ze na het volgen van het programma een idee hebben welke opleiding ze willen gaan volgen en of ze dat idee voor het programma ook al hadden. De gegevens staan in tabel 1 Tabel 1: Aantal leerlingen dat na het programma aangeeft na afloop en voorafgaand te weten welke vervolgopleiding ze wilden gaan doen (had/ heb je een idee welke opleiding je wil(de) gaan doen op het mbo?) \ Na programma Ja, precies Ja, ongeveer Ik twijfel Nee, niet zo Nog geen Vooraf \ goed idee Ja, precies 4 2 Ja, ongeveer 3 3 Ik twijfel 1 1 1 Nee niet zo goed 1 1 2 Nog geen idee 1 3 Van de 6 leerlingen die vooraf al precies wisten wat ze wilden weten er na het programma 4 dat nog steeds zeker en 2 ongeveer. Vijf leerlingen zijn na het programma zeker van hun keuze, terwijl ze daarvoor minder zeker waren: 3 van hen wisten het van tevoren al wel ongeveer, 1 twijfelde en 1 wist het niet zo goed. Alle 5 weten ze het nu precies. Van de 8 leerlingen die vooraf twijfelden, het nog niet zo goed wisten of nog geen idee hadden, is er één een positie opgeschoven: van het niet zo goed weten naar twijfelen. Aan elk van deze leerlingen is gevraagd of zij door het programma iets geleerd hebben over de mbo opleiding waar ze op bezoek zijn geweest. Van de 23 leerlingen hebben er 6 redelijk wat geleerd over de mbo-opleiding, 7 een beetje, 5 niet zo veel en 5 (bijna)niets. Hen is ook gevraagd of het programma hen geholpen heeft bij de keuze van de vervolgopleiding Van de 23 leerlingen geven er 13 aan van niet: 7 omdat ze het van tevoren al wisten en 6 omdat ze nog steeds niet weten wat ze moeten kiezen. Drie leerlingen geven aan dat het programma hen weinig heeft geholpen een keuze te maken. Twee leerlingen geven aan dat ze door het programma aan het twijfelen zijn gebracht. Twee leerlingen hebben een definitieve keuze kunnen maken en drie leerlingen weten nu wat ze NIET willen kiezen. We hebben de leerlingen tenslotte gevraagd of door het programma hun beeld van techniek en dat van henzelf veranderd is. De gegevens staan in tabel 2. Over de gehele linie geven de leerlingen aan niet zo heel veel van het programma geleerd te hebben: de gemiddelden voor het ontdekken waar ze enthousiast van worden liggen onder de middenscore en dat geldt ook voor het beeld van techniek. De scholen scoren enigszins verschillend op het 25

preciezer worden van het beeld van techniek. Alleen op het punt van het leren waar ze goed in zijn, scoren de leerlingen gemiddeld net boven de middenscore. Tabel 2: Gemiddelde oordelen van leerlingen per testschool over verandering van beelden van techniek en van zichzelf Testschool 1 Testschool 2 (n=17) (n=6) Gemiddelde* Gemiddelde* (SD) (SD) Beeld van techniek veranderd 2,35 2 (0,93) (1,26) Beeld van techniek preciezer geworden 2,82 3,33 (1,13) (0,82) Beeld gekregen van waar ik goed in ben 3,18 3 (1,07) (0,89) Beeld gekregen van waar ik enthousiast van wordt 2,65 2,67 (1,00) (0,52) * Op een schaal van 1 – 5 De overall gegevens leveren een diffuus beeld: het lijkt allemaal niet zo heel veel te hebben uitgehaald bij de leerlingen. Het is dus zaak om wat preciezer naar de gegevens te kijken. Als we wat meer in detail naar de groep kijken met de vraag in het achterhoofd: wat hebben deze leerlingen nu t.a.v. hun keuze voor een opleiding na het vmbo geleerd van deze activiteit, lijkt de groep leerlingen wat hun ervaringen bij SWV betreft in drie groepen te verdelen zijn: 1. Een groep die al (ongeveer) wist wat ze wilde voordat ze aan de activiteit begon en dat achteraf nog (ongeveer) weet (n=8)) 2. Een groep waar tussen de situatie vooraf en achteraf iets veranderd is: ze zijn gaan twijfelen (ook al kruisen ze die optie vaak niet aan) of iets dergelijks (n=9) 3. Een groep die het niet wist, het nog steeds niet weet en niets aan de activiteit gehad heeft (zegt te hebben) (n=6) De eerste groep heeft niet zo heel veel aan de activiteit gehad: ze wisten al wat ze wilden en dat weten ze nu nog steeds. Opmerkelijk is dat ze geen beter beeld van de mbo-opleiding hebben gekregen. Verder zijn ze niet negatief over de leeropbrengsten in algemenere zin. De tweede groep is divers van samenstelling. Het belangrijkste is dat er door het programma iets bij hen veranderd is: enkelen weten het nu precies, anderen zijn aan het twijfelen gebracht en een leerling weet nu wat hij niet wil. Deze leerlingen geven ook aan iets van het programma geleerd te hebben, over zichzelf (waar ze goed in zijn of enthousiast van worden) en soms ook van de mboopleiding en van techniek. De derde groep wist het vooraf niet en achteraf nog niet. Ze hebben ook weinig van het programma geleerd. Conclusie Het programma lijkt succesvol voor groepen 1 en 2. Ook al zeggen leerlingen zelf soms niets aan het programma gehad te hebben: ze hebben er zekerheid door verkregen (ook al hadden ze die al; dan wordt die bevestigd) of ze zijn erdoor aan het twijfelen gebracht (weten nu o.a. zeker wat ze niet willen) en dat is op zich niet verkeerd. Het is echter wel de vraag of het programma alleen volstaat. 26

Met groep 3 is vermoedelijk iets heel anders nodig om het te begeleiden bij het maken van een keuze. Het programma heeft hen niet geholpen en ze zijn er ook weinig tot niets wijzer van geworden over mbo-opleidingen, techniek of zichzelf.

27

Bijlage 4 Analyse procesdocumenten De logboeken, formats en verslagen van de terugkoppelingsbijeenkomsten, die wij van de clusters hebben ontvangen, hebben we aan een nadere analyse onderworpen. Hierbij hebben we gekeken of en op welke wijze de formats zijn ingevuld, en welke leeropbrengsten over het proces van PDSAwerken erop zijn genoteerd. Beschrijving: In totaal hebben we bij de analyse gebruik gemaakt van de volgende instrumenten: Instrumenten: Logboek cluster 1.1 Logboek cluster 1.2

Ontvangen

Selectie van leerresultaten t.a.v. PDSA Logboeken Ontwikkelclusters

Ja, beschrijving met bevindingen, aangevuld n.a.v. reflectie van onderzoeker

Logboek cluster 1.3

Ingevuld format door een van de 2 scholen; deels ingevuld format door de andere school

Logboek cluster 2.1 (bedrijven & nieuw curriculum ; LOB voor de hogere leerjaren)

Format: ‘stappen, activiteiten, deelresultaten, resultaat, wie/wanneer, afgerond.’ Beschrijving in bijlagen van ‘wat doen we al’, wat kunnen we destilleren uit ondernomen acties?

Geven aan dat pdsa-denken aanvankelijk moeizaam is: “out of the box denken is een probleem”, “telkens weer teruggezet worden omdat we willen handelen”. “we zijn praktijkmensen en we willen handelen”. Geven aan verbeteringen te doen n.a.v. eigen ervaringen Geven aan dat belangrijk zijn: -heldere doelen -goede communicatieafspraken -kleine stappen -bedrijfsleven meenemen vanaf het begin -Docenten in vroegtijdig stadium betrekken -pdsa levendig maken -op pdsa fasen letten -bedrijfsleven ‘warm’ houden -communicatie tussen geledingen -structuren -goede afspraken -contacten -heldere doelen -draagvlak Logboek is eigenlijk een feitelijke beschrijving. Weinig conclusies over het proces.

In bijlagen staan wel leerbevindingen, o.a.: -persoonlijk contact met bedrijf is sleutel tot succes

Beschrijving van verloop PDSA-cycli

Logboek cluster 2.2

Ingevuld format

Logboek mbt uittesten vragenlijst Marcel vd Klink

ja

Integrale verslaglegging van 1e en 2e PDSA-cyclus. Geven aan: -project kleinschalig aanpakken -aandacht voor borging en good practices -belang van planmatige aanpak, borging en betrekken bedrijfsleven -risico’s leiden tot andere afwegingen/doelen -belang/noodzaak van intervisie en scholing -belang van gestructureerd docentenoverleg op sectorniveau -doorlopende leerlijn begint in vmbo in leerjaar 1 (ipv keuzeprocessen) -Het hebben van visie, plan van aanpak, structuur, betrokkenheid team, overlegsituatie binnen alle geledingen.

Logboeken Testscholen Cluster concludeert dat reflectiemomenten op leerzame activiteiten en leeropbrengsten structureel bij een innovatie hoort. Vragenlijst van vdKlink vindt men een prima instrument.

28

Logboek mbt uittesten Onderwijscafe

ja

Logboek mbt uittesten doorlopende leerlijn Logboek mbt beroepenmarkt Logboek relatie bedrijfsleven

ja

Logboek windbuggy Logboek leerarrangementen Logboek game tekening lezen Logboek bedrijvenformat

ja ja ja

Terugkoppelbijeenkomst 1.3 over Gametekening, uitgetest bij alle TEC2020scholen Terugkoppelbijeenkomst cluster 2.1 en testscholen

ja ja

Men geeft ook aan dat voor verduurzaming van belang is dat er gereflecteerd wordt op de bevindingen en dat deze worden verbonden aan adviezen en aanbevelingen Men vindt dit een goede informele manier om te brainstormen, kennis te maken en kennis te delen, met relatief weinig voorbereidingen. Bijeenkomsten waren echter niet zozeer gericht op de producten pdsacyclus nog niet voltooid. “opbrengst is zeer procesgericht, eigenaarschap ligt wel bij producten maar nog niet bij het delen hiervan en bij de PDSA cyclus”. Ervaren wordt dat onder meer afstemming, verbondenheid, regelmatige terugkoppeling belangrijk zijn. Geen bijzonderheden “Door goede afspraken te maken ontstaat symbiose. Teams en bedrijven versterken elkaar”. “Begrip over en weer” “er ontstaat synergie, waar alle partijen het nut van ervaren”. Geen bijzonderheden Geen bijzonderheden Fasen PDSA niet terug te vinden

ja

Goed persoonlijk contact is van cruciaal belang. Verslagen terugkoppelbijeenkomsten Ja, maar er wordt Geen bijzonderheden aangegeven wat er nog wordt aangeleverd. Ingevuld

Testscholen Logboek is goed middel om te bepalen waar je staat op dit gebied. Logboeken leveren voldoende informatie op om weloverwogen keuzes te kunnen maken. Testscholen Oriëntatie op beroep en opleiding: Een goed, persoonlijk contact met het mbo is van cruciaal belang voor het welslagen van deze test. Verder geen opmerkingen over meerwaarde logboeken etc.

Terugkoppelbijeenkomst cluster 2.2 en testschool

Ingevuld

Tijdens kickoff-bijeenkomst dient het product niet alleen te worden gepresenteerd, maar er dient tevens een dialoog te worden gevoerd tussen ontwikkelaars en testers/uitvoerders. De terugkombijeenkomst levert duidelijkheid op voor de productspecificatie en procesdocumentatie. Het werken met een logboek ‘dwingt’ tot structuur in het testproces. Is handige tool, geeft snel overzicht en dwingt tot scherpe formuleringen. “Er moet wel voor een eenduidig format worden gekozen”.

29