Onderzoeksrapport HPBO-project “Werk maken van professionalisering”
Maurice de Volder, Thijs Dam en Marlies de Groot December 2011
1
In het Koning Willem I College is qua professionalisering gekozen voor scholing van docenten en managers via thematische leergangen en stages, met duaal karakter. Uitgangspunt van deze manier van scholing is dat het vergroten van de kwaliteiten van docenten en managers de sleutelfactor vormt voor het succes van de leerlingen. Daarnaast borgt de scholing dat geschoolde medewerkers op de werkvloer hun opgedane kennis met collega’s delen. In de wetenschap dat kennisdeling niet altijd even vanzelfsprekend is, hebben de ontwikkelaars van de leergangen erin voorzien kennisdeling als een verplicht onderdeel van een leergang op te nemen. Een deelnemer aan een bedrijfstage bijvoorbeeld is verplicht zijn of haar bevindingen te delen met de teamleden door middel van een presentatie. Van een deelnemer aan de leergang TOL (Technologie ondersteund leren) wordt geëist dat hij zijn kennis en kunnen deelt met collega’s: tijdens het examengesprek kunnen hier kritische vragen over gesteld worden. Het Koning Willem I College heeft een doorlopende leerlijn voor de professionalisering van leraren opgezet in het kader van “leven lang leren”. Daarmee voldoet de school aan de wet BIO (Beroepen In het Onderwijs) en aan het Professioneel Statuut. Voor de medewerkers van het college zijn er verplichte en vrijwillige scholingsactiviteiten vastgelegd in formeel HRM beleid. Als extra stimulans voor het volgen van de leergangen en de bedrijfsstage op het Koning Willem I College is een koppeling gemaakt met het beloning- en promotiebeleid. Om na te gaan of deze manier van professionaliseren, gekoppeld aan vernieuwd HRM beleid ‘zoden aan de dijk zet’, is een grotendeels kwantitatief onderzoek opgezet. 1. De opzet van het onderzoek 1.1 Onderzoeksvragen Doel van het onderzoek was om de volgende vraag te beantwoorden: “Wat is het rendement van de professionalisering van onze docenten en managers?” Van deze globale onderzoeksvraag is een aantal deelvragen afgeleid die te maken hebben met de rendementniveaus van professionalisering via training die worden onderscheiden door Kirkpatrick: 1. Welk effect heeft professionalisering op de percepties door de trainees met betrekking tot de eigen competenties? 2. Welk effect heeft professionalisering op de scores van trainees voor relevante kennis- en vaardigheidstoetsen die zijn afgenomen na afloop van de training? 3. Welk effect heeft professionalisering op het gedrag van trainees in de dagelijkse praktijk (transfer van toetssituatie naar reële praktijksituatie)? 4. Welk effect heeft professionalisering op de organisatie: welke prestatie-indicatoren van de school zijn verbeterd door professionalisering? 1.2 De onderzoeksmethode Om een causaal effect aan te tonen is de experimentele methode nodig maar het ideaal van een dubbelblind experiment is in de gegeven omstandigheden onmogelijk te realiseren. Daarenboven is het ongewenst om personen in de controlegroep een placebo aan te bieden (nep-professionalisering). Daarom is ervoor gekozen om zoveel mogelijk het ideale experiment te benaderen door middel van een quasi-experimentele methode. Dit houdt in: zich niet beperken tot een voor- en nameting bij de geprofessionaliseerde personen, maar wel een vergelijking maken tussen een controlegroep en een experimentele groep na afloop van de interventies (de professionaliseringactiviteiten). de controlegroep zoveel mogelijk matchen aan de experimentele groep door de leden van de controlegroep te selecteren om zoveel mogelijk te gelijken op de experimentele groep qua leeftijd, geslacht, motivatie, opleiding, enz. de metingen van de afhankelijke variabelen enkelblind laten zijn waar mogelijk: de beoordelaars weten bij voorkeur niet tot welke conditie de beoordeelde docenten behoren (experimentele of controleconditie).
2
1.3 De onderzoeksgroep Er zijn ongeveer 650 docenten (instructeurs, tutoren, leraren en senior leraren) in dienst. Docenten melden zich vrijwillig aan voor een professionaliseringsactiviteit. Er zijn ongeveer 25 onderwijsdirecteuren die in principe allen het management development programma volgen. Een controlegroep van ongetrainde managers vormen is daardoor onmogelijk. De vraag of het onderwijskundig leiderschap bij het middenmanagement is verbeterd door professionalisering kan dus niet via een quasi-experiment beantwoord worden. We moeten volstaan met descriptief onderzoek van de groei en de resultaten vastgesteld bij de onderzochte groep. 1.4 De onderzoeksinterventies De docenten kunnen kiezen tussen een (groeiend) aantal leergangen met elk een looptijd van een tot anderhalf jaar die regelmatig opnieuw worden aangeboden. Daarnaast is er voor docenten een verplichte bedrijfsstage van enkele weken. De leergangen en de bedrijfsstage worden beschouwd als afzonderlijke professionaliseringsinterventies in het onderzoek. Het effect van elke afzonderlijke interventie is statistisch lastig vast te stellen vanwege het lage aantal deelnemers per interventie (maximaal 15 deelnemers per leergang). Dat is echter niet zo erg omdat het onderzoek zich richt op het effect van professionalisering in het algemeen en niet op een vergelijking van verschillende professionaliseringsinterventies. In het onderzoek zijn van de volgende zeven leergangen data verzameld en geanalyseerd: Competentie Gericht Onderwijs (CGO) Technologie Ondersteund Leren (TOL) Leids Didactisch Model (LDM) Lateraal Denken (LAD) Competentie Gericht Onderwijs: ontwikkeling (CGOo) Competentie Gericht Onderwijs: begeleiding (CGOb) Bedrijfstage (STA) De leergangen worden ontwikkeld en begeleid door interne trainers wat het mogelijk maakt om de leergangen flexibel te herzien op basis van de ervaringen van deelnemers en trainers. Dat aanpassen gebeurt soms ook grondig: zo is de leergang CGO vervangen door de leergangen CGOo en CGOb. Het leidend principe van de leergangen is actief leren op eigen werkplek: direct toepassen van de leerstof en terugkoppelen naar de trainer. Daarbij wordt te werk gegaan volgens de “Teacher inquiry and knowledge-building cycle” van Helen Timperley:
3
What knowledge and skills do our students need? What knowledge and skills do we as teachers need?
What has been the impact of our changed actions? Deepen professional knowledge and refine skills Engage students in new learning experiences
Bron: Helen Timperley: professor Helen Timperley is verbonden aan de Oakland Universitey. Nieuw Zeeland. “Reframing Teacher Professional Learning and Development: Best evidence synthesis iteration. Wellington, New Zealand: Ministery of Education.
http://www.ibe.unesco.org/fileadmin/user_upload/Publications/Educational_Practices/EdPractices_18.pdf
Het management development traject ondersteunt directeuren van de onderwijsafdelingen bij het uitvoeren van de vier resultaatgebieden van het functieprofiel directeur: Voorbereiden en uitvoeren van het collegebeleid. Leiding en sturing geven aan onderwijs- en dienstverleningsprocessen Aansturen en adviseren van het team bij de implementatie van het onderwijsbeleid Leiding en sturing geven aan de in de organisatie-eenheid werkende medewerkers Dit traject bestond uit product (inhoudelijke) bijeenkomsten (verzorgd door experts uit het land) en procesmatige bijeenkomsten (verzorgd door KPC-groep) en uit optioneel intervisie, mee voorbereiden van de inhoudelijke bijeenkomsten of individuele coaching. Directeuren van diensten en projectbureaus hebben een soortgelijk traject gedaan. De onderzoekers De onderzoekers van de Open Universiteit hebben de interventies noch ontwikkeld noch uitgevoerd, dus zij hebben geen last van een ‘verdedigingsreflex’. De betrokken onderzoekers van het Koning Willem I College hebben de data verzameld in het veld. 1.5 De onderzoeksvariabelen De gemeten variabelen bij professionalisering van docenten situeren zich op de vier rendementniveaus die worden onderscheiden door Kirkpatrick: a. De subjectieve perceptie door docenten van de eigen competenties Zoals de Stichting Beroepskwaliteit Leraren onderscheidt KWIC zeven docentcompetenties: pedagogisch competent; vakinhoudelijk en didactisch competent; organisatorisch competent;
4
interpersoonlijk competent; competent in samenwerking met collega’s; competent in samenwerking met de omgeving; en competent in reflectie en ontwikkeling. Om de subjectieve perceptie van de eigen competenties te meten, baseren we ons op de bij KWIC bestaande formulieren en standaarden (zie bijlage 1). Deze vragenlijst laten we invullen door docenten zodat de geprofessionaliseerde docenten kunnen worden vergeleken met een controlegroep van nog niet bijgeschoolde docenten. De aanmelders voor de leergangen worden in de controlegroep opgenomen: zij vullen de vragenlijst in vooraleer ze aan de leergang beginnen. De afname gebeurt steeds anoniem om zo eerlijk mogelijke antwoorden te verkrijgen. Aan de experimentele groep wordt ook nog gevraagd om per competentie aan te geven in welke mate de net gevolgde professionalisering heeft bijgedragen tot de gepercipieerde competentie (zie bijlage 2). We vragen ook om dit toe te lichten: hoe denkt men het geleerde toe te passen in de praktijk. Dit levert kwalitatieve informatie op. De afname gebeurt steeds anoniem om zo eerlijk mogelijke antwoorden te verkrijgen. b. De scores van docenten op toetsen van relevante kennis en vaardigheden De deelnemers vervullen opdrachten tijdens de leergang, zoals het doen van een onderzoek, het ontwerpen van een lessenserie, enz. en worden beoordeeld op de schriftelijke verslagen en reflecties in hun docentportfolio. Als voorbeeld is de portfoliotoetsing bij de leergang Leids Didactisch Model opgenomen in bijlage 3. De uitslag van het portfolio is voldoende of onvoldoende; er wordt geen cijfer toegekend. Het is onverantwoord om een dergelijk portfolio te laten opstellen door een controlegroep. Ook een voormeting aan het begin van de leergang is onuitvoerbaar en ongewenst: een portfolio maken vergt veel tijd en veel motivatie. Beide zijn onvoldoende voorhanden bij het begin van een leergang. Wat betreft toetsscores wordt dus niet vergeleken met een controlegroep, maar wordt het rendement uitgedrukt in het behaalde prestatieniveau van de deelnemers. c. Het reële praktijkgedrag van docenten De competenties van alle docenten worden regelmatig beoordeeld door de leidinggevende in samenspraak met de docent in kwestie en eventueel een medewerker van de dienst Human Resource Management (HRM) met behulp van een formulier (zie bijlage 4). Dit laat toe om de competenties van de experimentele groep te vergelijken met de controlegroep. De controlegroep kan nog uitgesplitst worden op basis van het professionaliseringsprofiel van docenten. Het betreffende evaluatieformulier bevat immers informatie over de reeds gevolgde bijscholing. Dat leerlingen jaarlijks hun individuele docenten beoordelen is geen collegebeleid. Over die gegevens beschikken we dus niet. Voor ons onderzoek ontwikkelden we een korte vragenlijst (zie bijlage 5) met vijf vragen die aan leerlingen voorgelegd worden, deze betreffen observeerbaar gedrag van de docent. De resultaten van de bijgeschoolde docenten op deze vragenlijst worden vergeleken met een controlegroep van docenten die de leergang niet hebben doorlopen. De leerlingen vullen de vragenlijst anoniem in om zo eerlijk mogelijke antwoorden te verkrijgen. Het maken van een gedegen Persoonlijk Ontwikkel Plan (POP) door de docent wordt als een belangrijke gedragsverandering beschouwd. Ten slotte werd aan onderwijsteams gevraagd wat het team heeft gemerkt van het nieuwe professionaliseringsbeleid, in het bijzonder van de leergangen en de bedrijfsstage. In een groepsdiscussie werd de volgende vraag beantwoord: “Wat heeft het volgen van een leergang of een bedrijfsstage door een teamlid bijgedragen aan het verbeteren van het onderwijs binnen het team?” d. Organisatie-effecten: presteren de leerlingen beter op school en in de praktijk
5
Op het vierde rendementsniveau van Kirkpatrick wordt naar de harde cijfers gekeken: halen getrainde verkopers hoger omzetcijfers dan ongetrainde verkopers waardoor het bedrijf dankzij de training meer winst maakt? In het onderwijs is trainingsrendement lastig in financiële termen uit te drukken. Daarom is gekozen voor beter presterende leerlingen als indicator van organisatierendement. We vragen aan de leerlingen zelf of ze veel geleerd hebben bij een bepaalde docent en ook of het geleerde beroepsrelevant is (zie bijlage 5). De resultaten van de bijgeschoolde docenten op deze twee vragen worden vergeleken met de controlegroep. De leerlingen vullen de vragenlijst anoniem in om zo eerlijk mogelijke antwoorden te verkrijgen. Om het rendement van het management development traject te evalueren is een aangepast instrumentarium ontwikkeld. Behalve kwantitatieve metingen zijn vooral kwalitatieve methoden gebruikt: groepsdiscussies met afvaardiging van het management, analyse van de uitwerking van de reflectieopdracht gemaakt door alle deelnemers aan het traject en de evaluatie van het traject. Dit onderzoeksdeel is uitgevoerd door alleen interne onderzoekers van het Koning Willem I College. De eindrapportage over dit traject is voor de volledigheid opgenomen als bijlage 6 bij voorliggend rapport. 2. Effecten van docentprofessionalisering op de percepties door docenten met betrekking tot de eigen competenties (Kirkpatrick niveau 1) 2.1 Zelfinschatting onderwijscompetenties Na afloop van vier afgeronde leergangen is een vragenlijst (zie bijlage 1) afgenomen waarbij 48 deelnemers hun onderwijscompetenties zelf inschatten door het beantwoorden van de vraag: “Hoe schat u uzelf in voor de volgende onderwijscompetenties (per item beantwoorden) ?”. De antwoordalternatieven zijn: 5 = duidelijk meer dan gemiddeld 4 = net iets meer dan gemiddeld 3 = gemiddeld 2 = net iets minder dan gemiddeld 1 = duidelijk minder dan gemiddeld Deze relatieve normering is streng: wanneer het algemeen competentieniveau stijgt moet iedereen meestijgen om toch maar gemiddeld te blijven. De individuele itemscores worden gemiddeld tot individuele competentiescores voor elk van de zeven deelcompetenties. Bijvoorbeeld: voor schaal IC met 4 items en itemscores 1, 2, 3 en 4 voor deelnemer A, wordt de IC-zelfscore van A als volgt berekend: 1+2+3+4=10/4=2.5 . De beoordeelde zeven deelcompetenties zijn: Pedagogisch competent (PC) Vakinhoudelijk en didactisch competent (VC) Organisatorisch competent (OC) Interpersoonlijk competent (IC) Competent in samenwerking met collega’s (SC) Competent in relatie tot de omgeving of contextcompetent (CC) Competent in reflectie en ontwikkeling (RC) Aan het begin van nieuwe trajecten van de leergangen (volgende cohorten met deelnemers) is dezelfde vragenlijst afgenomen waarbij 78 deelnemers hun competenties zelf inschatten nog voor ze aan de leergang begonnen zijn. Deze ‘ongetrainde’ deelnemers vormen een uitstekende controlegroep voor de reeds getrainde deelnemers omdat ze qua beginkenmerken erg gelijken op de vroeger gestarte deelnemers.
6
Tabel 1 toont de gemiddelden per groep (2 = leergang afgerond en 1 = controlegroep) per competentie. Aan zelfvertrouwen geen gebrek want getraind of niet: gemiddeld schat een docent schat zichzelf iets hoger in dan de gemiddelde collega met wie hij/zij zich vergelijkt. Voor alle competenties schat de getrainde groep zichzelf iets hoger in maar uit een statistische analyse (zie tabel 2) blijkt dat verschillen alleen statistisch significant zijn (op het 5% niveau of beter) voor de eerste drie onderwijscompetenties. De gemiddelde pedagogische competentiescore is 4 voor de getrainde groep tegenover 3,73 voor de ongetrainde groep. Dit verschil is significant op het 1% niveau (p=0.00). De gemiddelde vakinhoudelijke en didactische competentiescore is 3,89 voor de getrainde groep tegenover 3,69 voor de ongetrainde groep. Dit verschil is significant op het 5% niveau (p=0.03). De gemiddelde organisatorische competentiescore is 3,79 voor de getrainde groep tegenover 3,52 voor de ongetrainde groep. Dit verschil is significant op het 1% niveau (p=0.00).
7
Tabel 1: Gemiddelde zelfinschatting per onderwijscompetentie per groep (1 = controlegroep; 2 = leergang afgerond)
N PC
,59405
2,86
5,00
2
48
3,9985
,40503
3,14
5,00
126
3,8331
,54409
2,86
5,00
1
78
3,6877
,54729
2,50
4,75
2
48
3,8943
,44872
2,88
5,00
126
3,7664
,51997
2,50
5,00
1
78
3,5222
,48274
2,67
5,00
2
48
3,7924
,49198
3,00
5,00
126
3,6251
,50190
2,67
5,00
1
78
3,6421
,58820
2,25
5,00
2
48
3,8073
,62790
2,75
5,00
126
3,7050
,60651
2,25
5,00
1
78
3,8164
,53907
2,88
5,00
2
48
3,9601
,43818
3,00
4,88
126
3,8711
,50607
2,88
5,00
1
78
3,4415
,59820
1,67
4,83
2
48
3,5514
,52448
2,50
4,67
126
3,4833
,57161
1,67
4,83
1
76
3,6316
,61603
2,67
4,83
2
48
3,8132
,59604
2,33
5,00
124
3,7019
,61240
2,33
5,00
Total SC
Total CC
Total RC
Maximum
3,7314
Total IC
Minimum
78
Total OC
Std. Deviation
1
Total VC
Mean
Total
8
Tabel 2: Variantieanalyse van zelfinschatting per onderwijscompetentie met als factor leergang versus controle
2.2 Gepercipieerd nut van leergangen voor onderwijscompetenties Na afloop van vier afgeronde leergangen is een vragenlijst (zie bijlage 2) afgenomen waarbij 46 deelnemers het nut van de leergang beoordeelden voor hun onderwijscompetenties. De vraag die per item gesteld werd luidde: “In welke mate heeft deze leergang bijgedragen aan uw onderwijscompetenties zoals beschreven in dit item ?” De antwoordcategorieën zijn: 1 = niet nuttig 2 = klein beetje nuttig 3 = redelijk nuttig 4 = zeer nuttig 5 = niet van toepassing Individuele itemscores worden gemiddeld tot een individuele nutscore voor elke deelcompetentie. De beoordeelde zeven deelcompetenties zijn: Pedagogisch competent (PC) Vakinhoudelijk en didactisch competent (VC) Organisatorisch competent (OC) Interpersoonlijk competent (IC) Competent in samenwerking met collega’s (SC) Competent in relatie tot de omgeving of contextcompetent (CC)
9
Competent in reflectie en ontwikkeling (RC)
Ten slotte werden nog twee open vragen gesteld en schriftelijk beantwoord: Welke onderdelen van de leergang vindt u bijzonder waardevol en waarom? Beschrijf kort hoe u het geleerde denkt te zullen gebruiken in de dagelijkse praktijk. Uit tabel 3 blijkt dat deelnemers behoorlijk kritisch oordelen over de relevantie van de leergangen voor hun competenties. De hoogste nutscore (2,97) is weggelegd voor de competentie in reflectie en ontwikkeling gevolgd door de vakinhoudelijke en didactische competentie (2,56) en de pedagogische competentie (2,49). Voor de andere competenties worden de leergangen slechts een klein beetje nuttig gevonden (scores van 2,12 tot 2,24). Dit beeld wordt bevestigd door de antwoorden op de open vragen. Enkele voorbeelden van typische antwoorden zijn: “Intervisie meer leven inblazen bij ons op school. Stimuleren van meer stage lopen bij elkaar. Proberen meer ondersteunend en coachend bezig te zijn naar collega's, maar ook naar ouders en kinderen.” “Ik kan af en toe een stap terug doen en op een ander niveau lesgeven.” “De samenkomsten geven andere invalshoeken. De begeleiding dwingt je om het zelf te doen en kritisch te zijn op jezelf en je producten.” “Bij veel deelcompetenties die hier vermeld staan heeft de leergang niets bijgedragen. Dat wil niet zeggen dat hij mij niets heeft geleerd, integendeel. Ik heb veel nieuwe kennis verworven en van veel voorbeelden van anderen geleerd. Tijdens mijn lessen denk ik aan situaties en leermomenten van deze cursus terug.” “De inhoud van de leergang stimuleert me om anders naar lesinhouden, leerlingen, collega's, team en de ontwikkelingen daarin te kijken.” “Het geleerde gebruik ik om zelf producten te ontwikkelen en mijn collega's te begeleiden bij het ontwikkelen van producten.”
Tabel 3: Gepercipieerd nut per leergang per onderwijscompetentie
10
3. Effecten van docentprofessionalisering op de toetsprestaties van docenten die de leergang hebben afgerond (Kirkpatrick niveau 2) De docenten die deelnemen aan de leergangen, vervullen opdrachten tijdens de leergang en worden beoordeeld op de schriftelijke verslagen en reflecties in hun docentportfolio (zie een voorbeeld in bijlage 3). De uitslag is: voldoende of onvoldoende (geen cijfer). Uit een onderwijskundige analyse van de toetsen blijkt dat de inhoudelijke validiteit en de slaagnormen van de verschillende toetsen hoog zijn. De toetsmethoden zijn zeer authentiek en zeer gevarieerd. De eindbeoordeling van het portfolio gebeurt door externe examinatoren. Het prestatieniveau van getrainde docenten is dus zeker hoog te noemen. Een kanttekening daarbij is dat niet alle deelnemers de leergang volledig hebben gevolgd en dus geen eindbeoordeling hebben ontvangen. De oorzaken van deze uitval (tijdgebrek, vrijwillig ontslag, enz.) hebben te maken met de lengte en de zwaarte van de leergang. Hieronder staat van vier afgesloten leergangen aangegeven hoeveel docenten gestart zijn met de leergang en hoeveel docenten die leergang met succes hebben afgerond. Leergang CGO TOL LDM LAD
Gestart 10 9 20 20
Afgerond 6 8 12 18
Tijdens het schrijven van dit rapport waren zes leergangtrajecten ‘lopende’, in de meeste gevallen een tweede editie: hiervan zijn bovenstaande resultaten nog niet te geven. Dat geldt ook voor de ‘leergang’ bedrijfsstage, omdat deze niet groepsgewijs verzorgd wordt. Verder is nagegaan wat voor de deelnemers aan de leergangen het zwaarst weegt: de inhoud van de leergang of de mogelijkheid om te promoveren (koppeling met het beloning- en promotiebeleid). Uit een eenvoudige inventarisatie blijkt het volgende: van de 87 respondenten kozen 54 deelnemers voor een bepaalde leergang op basis van inhoudelijke overwegingen; 33 deelnemers wilden met het behalen van de leergang vooral ook voor promotie gaan. 4. Effecten van docentprofessionalisering op het gedrag van docenten in de dagelijkse praktijk (Kirkpatrick niveau 3) 4.1 Resultaten van de beoordelingsgesprekken De competenties van alle docenten worden met enige regelmaat beoordeeld door de leidinggevende in samenspraak met de docent in kwestie en eventueel een medewerker van HRM met behulp van een beoordelingsformulier (zie bijlage 4). Gevraagd wordt: “In welke mate laat de medewerker zien dat hij/zij voldoet aan de in het functieprofiel gestelde eisen?” De antwoordcategorieën zijn: 1 = onvoldoende 2 = verbeterpunt 3 = competent 4 = excellent 5 = niet van toepassing/geen ervaring mee De beoordeelde zeven deelcompetenties zijn: Pedagogisch competent (PC) Vakinhoudelijk en didactisch competent (VC) Organisatorisch competent (OC)
11
Interpersoonlijk competent (IC) Competent in samenwerking met collega’s (SC) Competent in relatie tot de omgeving of contextcompetent (CC) Competent in reflectie en ontwikkeling (RC)
Om in de experimentele conditie te worden opgenomen moet de docent een beoordelingsgesprek hebben gehad na afloop van de gevolgde leergang. Gezien de beoordelingsgesprekken niet zo frequent plaats vinden, beschikten we over slechts 14 docenten in deze experimentele conditie. Alle andere docenten worden opgenomen in de controleconditie. Tabel 4 toont de gemiddelden per groep (2= leergang afgerond versus 1= controlegroep) per competentie. De gemiddelde scores liggen tussen competent en excellent. De laagste score bij de ongetrainde docenten is 2,50 en bij de getrainde docenten is dat 3. Uit een statistische analyse (zie tabel 5) blijkt dat verschillen alleen statistisch significant zijn (op het 5% niveau of beter) voor drie onderwijscompetenties: pedagogisch, vakinhoudelijk/didactisch en in relatie tot de omgeving (contextcompetent). De gemiddelde pedagogische competentiescore is 3,42 voor de getrainde groep tegenover 3,19 voor de ongetrainde groep. Dit verschil is significant op het 1% niveau (p=0.01). De gemiddelde vakinhoudelijke en didactische competentiescore is 3,33 voor de getrainde groep tegenover 3,15 voor de ongetrainde groep. Dit verschil is significant op het 5% niveau (p=0.05). De gemiddelde contextcompetentiescore is 3,35 voor de getrainde groep tegenover 3,08 voor de ongetrainde groep. Dit verschil is significant op het 1% niveau (p=0.00).
12
Tabel 4: Managementoordelen per onderwijscompetentie per groep (1 = controlegroep; 2 = leergang afgerond)
N PC
VC
OC
IC
SC
CC
RC
Mean
Std. Deviation
Minimum
Maximum
1
80
3,1857
,30018
2,71
4,00
2
14
3,4184
,40971
3,00
4,00
Total
94
3,2204
,32702
2,71
4,00
1
80
3,1478
,32684
2,62
4,00
2
14
3,3304
,28423
3,00
4,00
Total
94
3,1750
,32604
2,62
4,00
1
80
3,1577
,26390
2,67
4,00
2
14
3,1429
,14407
3,00
3,50
Total
94
3,1555
,24917
2,67
4,00
1
80
3,2031
,35152
2,75
4,00
2
14
3,0714
,11720
3,00
3,25
Total
94
3,1835
,33031
2,75
4,00
1
80
3,2328
,30146
2,75
4,00
2
14
3,3036
,12704
3,00
3,50
Total
94
3,2434
,28301
2,75
4,00
1
80
3,0812
,31264
2,67
4,00
2
14
3,3452
,30984
3,00
3,83
Total
94
3,1206
,32462
2,67
4,00
1
80
3,0675
,31319
2,50
4,00
2
14
3,0238
,08909
3,00
3,33
Total
94
3,0610
,29099
2,50
4,00
13
Tabel 5: Variantieanalyse van managementoordelen per onderwijscompetentie met als factor leergang versus controle
In de informatie van HRM is ook te vinden of de docent aan de scholingsnorm van 2010 heeft voldaan of niet. Om aan de scholingsnorm te voldoen moet de docent een minimum aantal uren (bij)scholing gevolgd hebben. Deze scholing is vooral van vakinhoudelijke aard. We kunnen de door het management beoordeelde onderwijscompetenties dus vergelijken voor twee groepen docenten: zij die wel aan de scholingsnorm voldeden en zij die daar niet aan voldeden. Uit een statistische analyse (zie tabel 6) blijkt dat de verschillen niet statistisch significant zijn op minstens het 5% niveau.
14
Tabel 6: Variantieanalyse van managementoordelen per onderwijscompetentie van docenten die al dan niet aan de scholingsnorm hebben voldaan
4.2 Resultaten van de evaluaties door leerlingen De pedagogische en vakdidactische competentie werd geëvalueerd door leerlingen aan de hand van vijf vragen. Deze vragen zijn: De docent geeft goed les (vraag 1) De docent beoordeelt mijn opdrachten, werkstukken enz. correct (vraag 2) De docent gebruikt goed lesmateriaal (vraag 3) De docent geeft ruimte voor wat ik graag wil leren (vraag 4) De docent geeft goede feedback op mijn manier van leren/werken (vraag 5) De antwoordcategorieën zijn: 1= helemaal mee oneens 2= mee oneens 3= niet mee oneens, niet mee eens 4= mee eens 5= helemaal mee eens In de vragenlijst waren acht docenten betrokken die een leergang hebben afgerond en vijftien docenten die geen leergang hebben afgerond. De vragenlijst werd in tien klassen afgenomen. Elke leerling beantwoordde vijf vragen zowel met betrekking tot één ‘getrainde’ docent (afgeronde leergang) als met betrekking tot twee controledocenten.
15
Tabel 7: Leerlingevaluaties van docentfunctioneren per vraag per groep (1 = controle; 2 = leergang afgerond)
N Vraag 1
Vraag 2
Vraag 3
Vraag 4
Vraag 5
Mean
Std. Deviation
Minimum
Maximum
1
267
3,85
1,022
1
5
2
166
4,22
,697
1
5
Total
433
3,99
,928
1
5
1
264
3,89
1,037
1
5
2
164
4,18
,751
1
5
Total
428
4,00
,947
1
5
1
267
3,87
1,024
1
5
2
168
4,05
,716
2
5
Total
435
3,94
,921
1
5
1
268
3,79
1,017
1
5
2
168
4,05
,832
1
5
Total
436
3,89
,957
1
5
1
270
3,73
1,134
1
5
2
166
4,02
,856
1
5
Total
436
3,84
1,045
1
5
Uit tabel 7 blijkt dat op alle vijf vragen over pedagogische en vakdidactische competentie die aan leerlingen werden gesteld met betrekking tot het functioneren van hun docenten, de docenten die een leergang hebben afgerond hoger scoren dan de docenten die geen leergang hebben afgerond (= de controlegroep). Uit tabel 8 blijkt dat voor vier vragen de verschillen significant zijn op het 1% niveau en voor vraag 3 op het 5% niveau.
16
Tabel 8: Variantieanalyse van leerlingevaluaties van docentfunctioneren per vraag met als factor leergang versus controle ANOVA Sum of Squares Vraag 1
Vraag 2
Vraag 3
Vraag 4
Vraag 5
Between Groups
df
Mean Square
13,763
1
13,763
Within Groups
358,200
431
,831
Total
371,963
432
8,535
1
8,535
Within Groups
374,463
426
,879
Total
382,998
427
3,433
1
3,433
Within Groups
364,765
433
,842
Total
368,198
434
6,798
1
6,798
Within Groups
391,918
434
,903
Total
398,716
435
8,774
1
8,774
Within Groups
466,664
434
1,075
Total
475,438
435
Between Groups
Between Groups
Between Groups
Between Groups
F
Sig.
16,560 ,000
9,709 ,002
4,075 ,044
7,528 ,006
8,160 ,004
4.3 Persoonlijke ontwikkelingsplannen (POPs) van docenten Van 155 docenten beschikten we over informatie van personele zaken of zij wel of niet een persoonlijk ontwikkelingsplan (POP) in hun dossier hebben opgenomen. Van deze 155 docenten zijn er 16 die een leergang hebben afgerond en 139 die (nog) geen leergang hebben afgerond. Van de docenten die een leergang hebben afgerond heeft 56% een POP gemaakt, bij de docenten die geen leergang hebben afgerond, heeft maar 12% een POP gemaakt. Dit verschil is significant op het 1% niveau. Dit duidelijke verschil konis echter ook al aanwezig zijn bij de instroom in de leergangen zodat we niet zeker kunnen zijn van een causaal effect. 4.4 Team-effecten van de leergangen Aan onderwijsteams werd gevraagd wat het team gemerkt heeft van het nieuwe professionaliseringsbeleid, in het bijzonder van de leergangen en de bedrijfsstage. In een groepsdiscussie werd de volgende vraag beantwoord: “Wat heeft het volgen van een leergang of een bedrijfsstage door een teamlid bijgedragen aan het verbeteren van het onderwijs binnen het team?” Deze vragen zijn aan de teams van de afdelingen BAM (op 14 juni 2011) en IS (op 1 juli 2011) voorgelegd. Uit de discussie bleek: - er is wel wat verbeterd maar niet het hele opleidingsteam profiteert, alleen de sectie van de getrainde docent - je weet nu wie bepaalde kennis heeft waar je op terug kunt vallen als je ondersteuning nodig hebt
17
-
-
die vruchten moeten nog geplukt worden maar dat heeft tijd nodig en vooral ook ondersteunend beleid op het gebied van de praktische insteek, het beroepenveld en het delen van ervaring met het uitzetten van de integrale leerlijn de bedrijfsstages zijn nuttig voor het updaten van vakinhoudelijke kennis
Daarnaast werd bij 24 teamvoorzitters een schriftelijke enquête gehouden bestaande uit vier vragen. De resultaten zijn als volgt. Vraag 1. Heb je een goed beeld van de professionaliseringsvraag binnen je team? Zo ja, op basis waarvan vorm je dit beeld? Zo nee, wat ontbreekt er om dit beeld te vormen? Van de 24 respondenten antwoorden 21 bevestigend tegen 3 ontkennend. Als basis waarop het beeld wordt gevormd worden het vaakst genoemd in afnemende volgorde: 1. teamoverleg 2. gesprekken met individuele medewerkers 3. gesprekken met leidinggevenden 4. gesprekken met leerlingen Als wat ontbreekt om een beeld te vormen, worden genoemd een inventarisatie en een Team Ontwikkel Plan. Vraag 2. Op welke manieren gaan teamleden een professionaliseringstraject in? Geef hieronder met het cijfer 1 aan via welke optie de meeste mensen een traject gaan volgen, met een 2 de op een na grootste groep etc. Wanneer een optie niet van toepassing is op jouw team, schrijf dan geen enkel cijfer voor de betreffende optie. (NB: ‘geen antwoord’ krijgt cijfer zes om vergelijkbare gemiddelden te kunnen berekenen per optie.) Hoe lager het gemiddelde cijfer in onderstaande tabel hoe meer de optie van toepassing is. Een traject op basis van een individuele aanvraag is het duidelijk meest gangbaar, gevolgd door op basis van een scholingsplan en op de derde plaats een functioneringsgesprek. Op basis van een Team Ontwikkel Plan Op basis van een scholingsplan Op basis van een functioneringsgesprek Op basis van een beoordelingsgesprek Op basis van een individuele aanvraag Anders, n.l. ……
3.76 3.08 3.28 4.24 2.64 5.36
Vraag 3. Waaraan moet een professionaliseringstraject voldoen voordat je toestemming geeft dat traject te volgen? Veruit de belangrijkste voorwaarde is dat het traject in het belang is van de school of het team (passend in het TOP) . Op de tweede plaats komt het individueel belang (passend in het POP). Passen binnen regelgeving en budget wordt het minst genoemd. Vraag 4. Waaraan moet een professionaliseringstraject voldoen om een gunstig effect te sorteren voor het gehele team? Het meest frequent wordt als voorwaarde genoemd dat overdracht van kennis moet mogelijk zijn. Dat is een beetje een cirkelredenering. Als tweede belangrijke voorwaarde wordt gesteld dat het traject moet passen binnen het TOP. Eén respondent oppert dat alle docenten samen het zelfde traject moeten volgen.
18
5. Effecten van docentprofessionalisering op de organisatie (Kirkpatrick niveau 4) We hebben aan de leerlingen zelf gevraagd of ze veel geleerd hebben bij een bepaalde docent en ook of het geleerde beroepsrelevant is. De resultaten van de bijgeschoolde docenten op deze twee vragen worden vergeleken met de controlegroep. De leerlingen vullen de vragenlijst anoniem in om zo eerlijk mogelijke antwoorden te verkrijgen. De leerlingen beoordeelden hun eigen leerprestaties aan de hand van twee vragen: Ik leer veel bij de docent (vraag 6) Wat de docent mij leert, kan ik goed gebruiken als ik (straks) aan het werk ben (vraag 7) De antwoordcategorieën zijn: 1= helemaal mee oneens 2= mee oneens 3= niet mee oneens, niet mee eens 4= mee eens 5= helemaal mee eens In de vragenlijst waren acht docenten betrokken die een leergang hebben afgerond en vijftien docenten die geen leergang hebben afgerond. De vragenlijst werd in tien klassen afgenomen. Elke leerling beantwoordde twee vragen zowel met betrekking tot één ‘getrainde’ docent als met betrekking tot twee controledocenten.
Tabel 9: Leerlingevaluaties per leerprestatievraag per groep (1 = controle; 2 = leergang afgerond)
N Vraag 6
Vraag 7
Mean
Std. Deviation
Minimum
Maximum
1
268
3,78
1,149
1
5
2
164
4,15
,756
2
5
Total
432
3,92
1,033
1
5
1
269
3,83
1,082
1
5
2
167
4,20
,788
1
5
Total
436
3,97
,995
1
5
Uit tabel 9 blijkt voor twee vragen die aan leerlingen werden gesteld met betrekking tot hun eigen leerprestaties, dat de docenten die een leergang hebben afgerond tot hogere leerprestaties leiden dan de docenten die geen leergang hebben afgerond (= controlegroep). Deze controledocenten werden geselecteerd op basis van hun vergelijkbaarheid qua docentervaring en qua het belang van hun vak in de opleiding. Uit tabel 10 blijkt dat voor beide vragen de verschillen significant zijn op het 1% niveau.
19
Tabel 10: Variantieanalyse van leerlingevaluaties per leerprestatievraag met als factor leergang versus controle ANOVA Sum of Squares Vraag 6
Vraag 7
Between Groups
df
Mean Square
14,408
1
14,408
Within Groups
445,756
430
1,037
Total
460,164
431
14,173
1
14,173
Within Groups
416,550
434
,960
Total
430,722
435
Between Groups
F
Sig.
13,899 ,000
14,766 ,000
6. Conclusies Docenten die leergangen gevolgd hebben, schatten hun competenties hoger in dan docenten die zich hebben aangemeld voor een leergang (niveau 1 van Kirkpatrick). Dat dit effect statistisch significant is voor de competenties (pedagogische, vakdidactische en organisatorische) die het meest aan de orde zijn in de leergangen, draagt bij aan de geloofwaardigheid van de resultaten. Door de keuze van de controlegroep zijn storende factoren zoals hogere motivatie van de kandidaat-trainees goed onder controle gehouden. Gevraagd naar de relevantie van de leergangen voor hun onderwijscompetenties vinden docenten dat de leergangen vooral nuttig zijn voor de reflectieve, pedagogische en vakdidactische competenties. Dit kan verwacht worden gelet op de inhoud van de leergangen. Ondanks de grote relevantie voor de reflectieve competentie is die competentie niet significant verbeterd door de leergangen wanneer we naar de zelfinschattingen kijken. Maar wanneer we naar de toetsresultaten van getrainde docenten kijken (niveau 2 van Kirkpatrick) is het duidelijk dat het portfolio assessment een groot beroep doet op hun reflectieve, pedagogische, vakdidactische en organisatorische competenties. Wanneer docentfunctioneren (niveau 3 van Kirkpatrick) beoordeeld wordt door managers blijken de leergangen een effect te hebben op de pedagogische, vakdidactische en contextcompetenties. Dus weer een bevestiging dat de leergang effect heeft op de pedagogische en vakdidactische competenties. Waarom er sprake is van geen effect op de reflectieve maar wel op de contextcompetentie is moeilijk te verklaren. Dit kan te maken hebben met de beoordelingsprocedure: getrainde docenten reflecteren misschien meer en beter over de onderwijscontext en misschien valt dat aspect erg op bij managers. De controlegroep is ook anders samengesteld: ze bevat alle docenten die (nog) niet aan de leergangen hebben deelgenomen. In tegenstelling tot bij de leergangen stellen we bij managers vast dat zij geen verschil opmerken tussen docenten die al wel of niet andere vormen van scholing hebben gevolgd. Deze andere vormen van scholing zijn vooral vakinhoudelijk van aard maar hebben geen zichtbaar effect op het docentfunctioneren terwijl de nieuwe leergangen wel zo’n effect laten zien. Wanneer leerlingen de pedagogische en vakdidactische competentie van hun docenten evalueren (niveau 3 van Kirkpatrick) dan scoren de docenten die een leergang hebben afgerond hoger dan de docenten die geen leergang hebben afgerond (= controlegroep). Deze controledocenten werden geselecteerd op basis van hun vergelijkbaarheid qua docentervaring en qua het belang van hun vak in de opleiding. Wanneer leerlingen hun eigen leerprestaties evalueren (niveau 4 van Kirkpatrick) dan blijkt dat de docenten die een leergang hebben afgerond tot hogere leerprestaties leiden dan de docenten die geen
20
leergang hebben afgerond (= controlegroep). Deze controledocenten werden geselecteerd op basis van hun vergelijkbaarheid qua docentervaring en qua het belang van hun vak in de opleiding. De globale onderzoeksvraag naar het rendement van de professionalisering van docenten kan positief beantwoord worden en dat op alle vier de niveaus van Kirkpatrick. Vooral voor wat betreft de pedagogische en vakdidactische competenties zijn de leergangdeelnemers zelf, maar ook de assessoren, de onderwijsmanagers en de leerlingen van oordeel dat de professionalisering een gunstig effect heeft gehad. Het effect van individuele leergangen op het verbeteren van het onderwijs binnen opleidingsteams blijft volgens de leergangdeelnemers beperkt tot de kleinere kring rond de getrainde docent. Er is behoefte aan ondersteunend beleid om het delen van ervaring praktisch te realiseren. Volgens de teamvoorzitters moet een professionaliseringstraject passen binnen het teamontwikkelplan (TOP) om een gunstig effect te sorteren voor het gehele team.
21
Bijlage 1 : Vragenlijst inschatten persoonlijke onderwijscompetenties U wordt gevraagd om uw professionele onderwijscompetenties zo correct mogelijk in te schatten. Uw antwoorden zijn anoniem. De beantwoording vergt ongeveer vijf minuten tijd. Beantwoord elke stelling door uw huidige competentieniveau te vergelijken met uw collega’s als volgt: 5 = duidelijk meer dan gemiddeld 4 = net iets meer dan gemiddeld 3 = gemiddeld 2 = net iets minder dan gemiddeld 1 = duidelijk minder dan gemiddeld A. Pedagogisch competent o Ik zorg ervoor dat leerlingen zich op hun gemak voelen o Ik doe recht aan de verschillen tussen leerlingen en benut deze o Ik zorg ervoor dat leerlingen zich ondanks alle onderlinge verschillen gewaardeerd voelen o Ik zorg ervoor dat leerlingen op een fatsoenlijke/respectvolle manier met elkaar omgaan o Ik zorg ervoor dat leerlingen kunnen laten zien dat ze kwaliteiten hebben die van waarde zijn en er toe doen o Ik zorg ervoor dat leerlingen initiatieven kunnen nemen en naar vermogen zelfstandig kunnen werken o Ik ga uit van kenmerken van de lerende persoon
B. Vak- en didactisch competent o Ik signaleer leervragen/leerproblemen en reageer daar adequaat op o Ik signaleer onderwijsproblemen op vakinhoudelijk/vakdidactisch terrein en draag daarvoor oplossingen aan o Ik geef de plaats van vakdomeinkennis in de opleiding aan o Ik kan vakoverstijgend werken o Ik kan duidelijk maken welke functie het eigen vak in het uiteindelijke beroepenveld heeft o Ik kan mij inleven in verschillende culturen o Ik heb kennis van de nieuwste ontwikkelingen op leerpsychologisch en didactisch gebied o Ik weet welke ontwikkelingen in het eigen vakgebied plaatsvinden en vertaal deze naar de eigen lessituatie (bv: nieuwe technieken in de leerlijn opnemen)
C. Organisatorisch competent o Ik faciliteer mijn leerprocessen o Ik hanteer een vorm van tijd- en taakmanagement (prioriteiten stellen) o Ik tref adequate maatregelen in complexe en onverwachte situaties o Ik werk in teamverband binnen de organisatie o Ik zorg ervoor dat de lessen nooit uitvallen o Ik zorg ervoor dat iedere leerling een leerroute kan uitstippelen, die bij hem/haar past
D. Interpersoonlijk competent o Ik signaleer problemen bij leerlingen en reageer daar adequaat op o Ik win informatie in bij anderen indien nodig o Ik bespreek signalen die ik zie met collega’s o Ik kan omgaan met verschillende groepen en culturen E. Competent in samenwerking met collega’s o Ik handel volgens de strategische kadernotitie o Ik kan het team- en collegebelang boven het eigen belang laten prevaleren o Ik neem kritiek niet persoonlijk op, maar bespreek dit op een zakelijke/functionele manier met de ander o Ik sta open voor ideeën van anderen en denk daarin mee o Ik kan teamverantwoordelijkheid dragen t.b.v. het onderwijsleerproces o Ik kan de sterktes/zwaktes van het team benoemen o Ik help collega’s wanneer ik zie dat zij ergens niet uitkomen o Ik toon enthousiasme voor het werk
F. Competent in samenwerking met de omgeving o Ik blijf op de hoogte van ontwikkelingen binnen de eigen beroepsgroep en anticipeer op mogelijke veranderingen en opleidings- en kwalificatie-eisen
22
o Ik weet welke ontwikkelingen in het po, vmbo/vo, mbo en hbo plaatsvinden en wat de consequenties daarvan zijn o Ik ben op de hoogte van de nieuwste ontwikkelingen in het beroeps- en bedrijfsleven o Ik toon mij een waardig ambassadeur van het College o Ik ben op de hoogte van de organisatie en werkwijze van het College o Ik ben op de hoogte van de omgangsvorm, normen en waarden binnen het College
G. Competent in reflectie en ontwikkeling o Ik werk planmatig aan de ontwikkeling van mijn bekwaamheid op basis van een analyse van sterke/zwakke punten o Ik maak gebruik van feedback van leerlingen en collega’s o Ik maak gebruik van collegiale hulp in de vorm van intervisie o Ik reflecteer kritisch op eigen functioneren o Ik kan verbeterpunten in eigen werkwijze aangeven o Ik streef ernaar om continue het beste uit mezelf te halen
23
Bijlage 2: Vragenlijst gepercipieerd nut van de gevolgde leergang U heeft kort geleden een leergang gevolgd georganiseerd door het Koning Willem College. U wordt gevraagd om aan te geven in welke mate deze leergang heeft bijgedragen aan uw professionele onderwijscompetenties. De beantwoording vergt ongeveer tien minuten tijd. Uw antwoorden zijn anoniem. Geef voor elke stelling het nut aan van de gevolgde leergang als volgt: 4 = zeer nuttig 3 = redelijk nuttig 2 = klein beetje nuttig 1 = niet nuttig A. Pedagogisch competent o Ik zorg ervoor dat leerlingen zich op hun gemak voelen o Ik doe recht aan de verschillen tussen leerlingen en benut deze o Ik zorg ervoor dat leerlingen zich ondanks alle onderlinge verschillen gewaardeerd voelen o Ik zorg ervoor dat leerlingen op een fatsoenlijke/respectvolle manier met elkaar omgaan o Ik zorg ervoor dat leerlingen kunnen laten zien dat ze kwaliteiten hebben die van waarde zijn en er toe doen o Ik zorg ervoor dat leerlingen initiatieven kunnen nemen en naar vermogen zelfstandig kunnen werken o Ik ga uit van kenmerken van de lerende persoon
B. Vak- en didactisch competent o Ik signaleer leervragen/leerproblemen en reageer daar adequaat op o Ik signaleer onderwijsproblemen op vakinhoudelijk/vakdidactisch terrein en draag daarvoor oplossingen aan o Ik geef de plaats van vakdomeinkennis in de opleiding aan o Ik kan vakoverstijgend werken o Ik kan duidelijk maken welke functie het eigen vak in het uiteindelijke beroepenveld heeft o Ik kan mij inleven in verschillende culturen o Ik heb kennis van de nieuwste ontwikkelingen op leerpsychologisch en didactisch gebied o Ik weet welke ontwikkelingen in het eigen vakgebied plaatsvinden en vertaal deze naar de eigen lessituatie (bv: nieuwe technieken in de leerlijn opnemen)
C. Organisatorisch competent o Ik faciliteer mijn leerprocessen o Ik hanteer een vorm van tijd- en taakmanagement (prioriteiten stellen) o Ik tref adequate maatregelen in complexe en onverwachte situaties o Ik werk in teamverband binnen de organisatie o Ik zorg ervoor dat de lessen nooit uitvallen o Ik zorg ervoor dat iedere leerling een leerroute kan uitstippelen, die bij hem/haar past
D. Interpersoonlijk competent o Ik signaleer problemen bij leerlingen en reageer daar adequaat op o Ik win informatie in bij anderen indien nodig o Ik bespreek signalen die ik zie met collega’s o Ik kan omgaan met verschillende groepen en culturen E. Competent in samenwerking met collega’s o Ik handel volgens de strategische kadernotitie o Ik kan het team- en collegebelang boven het eigen belang laten prevaleren o Ik neem kritiek niet persoonlijk op, maar bespreek dit op een zakelijke/functionele manier met de ander o Ik sta open voor ideeën van anderen en denk daarin mee o Ik kan teamverantwoordelijkheid dragen t.b.v. het onderwijsleerproces o Ik kan de sterktes/zwaktes van het team benoemen o Ik help collega’s wanneer ik zie dat zij ergens niet uitkomen o Ik toon enthousiasme voor het werk
F. Competent in samenwerking met de omgeving
24
o Ik blijf op de hoogte van ontwikkelingen binnen de eigen beroepsgroep en anticipeer op mogelijke veranderingen en opleidings- en kwalificatie-eisen o Ik weet welke ontwikkelingen in het po, vmbo/vo, mbo en hbo plaatsvinden en wat de consequenties daarvan zijn o Ik ben op de hoogte van de nieuwste ontwikkelingen in het beroeps- en bedrijfsleven o Ik toon mij een waardig ambassadeur van het College o Ik ben op de hoogte van de organisatie en werkwijze van het College o Ik ben op de hoogte van de omgangsvorm, normen en waarden binnen het College
G. Competent in reflectie en ontwikkeling o Ik werk planmatig aan de ontwikkeling van mijn bekwaamheid op basis van een analyse van sterke/zwakke punten o Ik maak gebruik van feedback van leerlingen en collega’s o Ik maak gebruik van collegiale hulp in de vorm van intervisie o Ik reflecteer kritisch op eigen functioneren o Ik kan verbeterpunten in eigen werkwijze aangeven o Ik streef ernaar om continue het beste uit mezelf te halen
E. Praktijkrelevantie van de leergang Tenslotte verzoeken wij u om uw antwoorden over het nut van de leergang beknopt toe te lichten aan de hand van twee vragen. a. Welke onderdelen van de leergang vindt u bijzonder waardevol en waarom?
b. Beschrijf kort hoe u het geleerde denkt te zullen gebruiken in de dagelijkse praktijk.
25
Bijlage 3: Portfoliotoetsing bij de leergang Leids Didactisch Model (LDM) 2009-2011 Alle bewijzen worden in een bewijsmap geplaatst. Als afronding vindt een Criterium Gericht Interview plaats over de bewijzen. Het interview wordt uitgevoerd door externen.
Organisatorisch
Didactisch
Competentie
Interpersoonlijk
Kerntaak 1: het construeren, uitvoeren en evalueren van leeractiviteiten
Kernt aak
Prestatie-indicatoren J. Formuleren en rapporteren De kandidaat is in staat SMARTdoelstellingen te formuleren voor de eigen les(senserie). K. Vakdeskundigheid toepassen De kandidaat maakt in zijn lessen gebruik van de beweging van Kennis als Doel naar Kennis als Gereedschap. De kandidaat maakt een lessenserie rondom een specifiek thema in de conceptuele en/of de vaardigheidsleerlijn. L. Materialen en middelen inzetten De kandidaat is in staat om de juiste toets te kiezen bij de lesstof en om de lesstof een optimale voorbereiding te laten zijn op de toets. De kandidaat laat de leerlingen doelgericht leren.
De kandidaat verwerkt verschillende werkvormen in de les. De kandidaat verwerkt aspecten van meervoudige intelligenties en De Bono in zijn les(senserie). U. Omgaan met verandering en aanpassen De kandidaat evalueert de uitvoering van de les(senserie), verwerkt de evaluatiegegevens en past de lessenserie aan. L. Materialen en middelen inzetten De kandidaat past verschillende werkvormen toe in de les. Denk hierbij aan meervoudige intelligenties, digitale didactiek, De Bono, et cetera. S. Kwaliteit leveren De kandidaat hanteert een duidelijke didactische structuur in de les, zowel in de voorbereiding als in de uitvoering. M. Analyseren De kandidaat verantwoordt de aansturing van leerlingen op basis van de drie onderwijsregimes van prof. dr. Monique Boekaerts.
Toetsvorm
V
O
Lessenserie
Lessenserie
Lessenserie
Lessenserie
Lessenserie + observatie met verslag Lessenserie Lessenserie
Lessencyclus
Lessenserie
Observatie met verslag
Schriftelijke toets + lessenserie
26
In samenwerking met collega’s
Pedagogisch
Competentie
In samenwerking met omgeving
Kerntaak 2: het aangaan, onderhouden en afsluiten van leerrelaties
Kernta ak
K. Vakdeskundigheid toepassen De kandidaat gebruikt de kennis van motivatietheorieën in de begeleidingsgesprekken en de lessen. De kandidaat gebruikt de kennis van leer- en regulatietheorieën in de begeleidingsgesprekken en de lessen. De kandidaat gebruikt de kennis van attributietheorieën in de begeleidingsgesprekken en de lessen. M. Analyseren De kandidaat is in staat het Zesblokken Model van prof. dr. Monique Boekaerts te hanteren als analyse-instrument. De kandidaat is in staat het Zesblokken Model van prof. dr. Monique Boekaerts te hanteren als meetlat. Q. Plannen en organiseren De kandidaat maakt een plan van aanpak om één specifieke situatie uit de groepsdynamiek van de eigen groep te beïnvloeden. De kandidaat voert het gemaakte plan van aanpak uit. C. Begeleiden De kandidaat begeleidt en/of coacht minimaal één collega op adequate wijze naar aanleiding van twee lesbezoeken.
P. Leren De kandidaat initieert, dan wel neemt actief deel aan een afdelingsoverstijgende werkgroep of intervisiegroep.
Prestatie-indicatoren
Reflectie
Kerntaak 3: het doen van kwantitatief onderzoek
Competenties
Prestatie-indicatoren
P. Leren De kandidaat reflecteert op effecten en opbrengsten van de gemaakte lessenserie dan wel een ander aspect van het onderwijs, in de eigen groep(en). De kandidaat past de logische niveaus van Bateson toe op zichzelf.
Toetsvorm
V
O
V
O
Observatie met verslag + schriftelijke toets Observatie met verslag + schriftelijke toets Observatie met verslag + schriftelijke toets Plan van aanpak+ schriftelijke toets Plan van aanpak
Plan van aanpak
Plan van aanpak
Feedback van gecoachte collega
Reflectieverslag
Toetsvorm
Onderzoek
Reflectieverslag
27
Bijlage 4: Formulier beoordelingsgesprek
Formulier beoordelingsgesprek
(primair proces activiteiten met
leerlingen) Naam medewerker (stamnummer) Functie medewerker Organisatieonderdeel Naam directeur Naam personeelsfunctionaris Beoordelingsperiode Datum gesprek In welke mate laat de medewerker zien dat hij/zij voldoet aan de in het functieprofiel gestelde eisen: 1 = onvoldoende, 2 = verbeterpunt, 3 = competent, 4 = excellent, 5 = niet van toepassing/geen ervaring mee
Gespreksonderwerpen
Score
Kernactiviteiten Alle kernactiviteiten behorende bij het functieprofiel worden uitgevoerd
Ja / nee *
* Toelichting bij ‘nee’:
Competenties (extra informatie over bekwaamheidseisen/niveau per specifieke functie is te vinden in de carrièreladder)
Pedagogisch competent o Zorgt ervoor dat leerlingen zich op hun gemak voelen o Doet recht aan de verschillen tussen leerlingen en benut deze o Zorgt ervoor dat leerlingen zich ondanks alle onderlinge verschillen gewaardeerd voelen o Zorgt ervoor dat leerlingen op een fatsoenlijke/respectvolle manier met elkaar omgaan o Zorgt ervoor dat leerlingen kunnen laten zien dat ze kwaliteiten hebben die van waarde zijn en er toe doen o Zorgt ervoor dat leerlingen initiatieven kunnen nemen en naar vermogen zelfstandig kunnen werken o Gaat uit van leerderskenmerken
1 1
2 2
3 3
4 4
5 5
1
2
3
4
5
1
2
3
4
5
1
2
3
4
5
1 1
2 2
3 3
4 4
5 5
1
2
3
4
5
1 1 1
2 2 2
3 3 3
4 4 4
5 5 5
1 1
2 2
3 3
4 4
5 5
1
2
3
4
5
1
2
3
4
5
Toelichting:
Vak- en didactisch competent o Signaleert leervragen/leerproblemen en reageert daar adequaat op o Signaleert onderwijsproblemen op vakinhoudelijk/vakdidactisch terrein en draagt daarvoor oplossingen aan o Geeft de plaats van vakdomeinkennis in de opleiding aan o Kan vakoverstijgend werken o Kan duidelijk maken welke functie het eigen vak in het uiteindelijke beroepenveld heeft o Kan zich inleven in verschillende culturen o Heeft kennis van de nieuwste ontwikkelingen op leerpsychologisch en didactisch gebied
28
o Weet welke ontwikkelingen in het eigen vakgebied plaatsvinden en vertaalt deze naar de eigen lessituatie (bv: nieuwe technieken in de leerlijn opnemen) Toelichting:
Organisatorisch competent o Faciliteert zijn/haar leerprocessen o Hanteert een vorm van tijd- en taakmanagement (prioriteiten stellen) o Treft adequate maatregelen in complexe en onverwachte situaties o Werkt in teamverband binnen de organisatie o Zorgt ervoor dat de lessen nooit uitvallen o Zorgt ervoor dat iedere leerling een leerroute kan uitstippelen, die bij hem/haar past
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
4 4 4 4 4
5 5 5 5 5
1
2
3
4
5
1 1 1 1
2 2 2 2
3 3 3 3
4 4 4 4
5 5 5 5
1 1
2 2
3 3
4 4
5 5
1 1 1 1 1 1
2 2 2 2 2 2
3 3 3 3 3 3
4 4 4 4 4 4
5 5 5 5 5 5
1
2
3
4
5
1 1 1 1 1
2 2 2 2 2
3 3 3 3 3
4 4 4 4 4
5 5 5 5 5
1 1 1 1 1 1 1
2 2 2 2 2 2 2
3 3 3 3 3 3 3
4 4 4 4 4 4 4
5 5 5 5 5 5 5
Toelichting:
Interpersoonlijk competent o Signaleert problemen bij leerlingen en reageert daar adequaat op o Wint informatie in bij anderen indien nodig o Bespreekt signalen die hij/zij ziet met collega’s o Kan omgaan met verschillende groepen en culturen Toelichting:
Competent in samenwerking met collega’s o Handelt volgens de strategische kadernotitie o Kan het team- en collegebelang boven het eigen belang laten prevaleren o Neemt kritiek niet persoonlijk op, maar bespreekt dit op een zakelijke/functionele manier met de ander o Staat open voor ideeën van anderen en denkt daarin mee o Kan teamverantwoordelijkheid dragen t.b.v. het onderwijsleerproces o Kan de sterktes/zwaktes van het team benoemen o Helpt collega’s wanneer hij/zij ziet dat zij ergens niet uitkomen o Toont enthousiasme voor het werk Toelichting:
Competent in samenwerking met de omgeving o Blijft op de hoogte van ontwikkelingen binnen de eigen beroepsgroep en anticipeert op mogelijke veranderingen en opleidings- en kwalificatie-eisen o Weet welke ontwikkelingen in het po, vmbo/vo, mbo en hbo plaatsvinden en wat de consequenties daarvan zijn o Is op de hoogte van de nieuwste ontwikkelingen in het beroeps- en bedrijfsleven o Toont zich een waardig ambassadeur van het College o Is op de hoogte van de organisatie en werkwijze van het College o Is op de hoogte van de omgangsvorm, normen en waarden binnen het College Toelichting:
Competent in reflectie en ontwikkeling o Werkt planmatig aan de ontwikkeling van zijn/haar bekwaamheid op basis van een analyse van sterke/zwakke punten o Maakt gebruik van feedback van leerlingen en collega’s o Maakt gebruik van collegiale hulp in de vorm van intervisie o Reflecteert kritisch op eigen functioneren
29
o o o
Gaat correct om met feedback Kan verbeterpunten in eigen werkwijze aangeven Streeft ernaar om continue het beste uit zichzelf te halen
Toelichting:
Professionalisering Heeft voldaan aan de scholingsnorm (80 uur op jaarbasis bij fulltime betrekking)
Ja / nee*
* toelichting:
Opmerkingen:
Handtekening directeur:
Datum:
Handtekening personeelsfunctionaris:
Advies aan College van Bestuur:
Besluit College van Bestuur:
Het advies wordt overgenomen:
Datum:
O (JA)
O (NEE)
Handtekening College van Bestuur:
30
31
Bijlage 5: Vragenlijst voor leerlingen Wij willen graag weten wat je van jouw docenten mevrouw AAA, mevrouw BBB en mevrouw CCC vindt. Jouw antwoorden worden niet aan iemand anders doorgegeven. Ze zijn en blijven van de onderzoeker. Mevrouw AAA Kies steeds uit de volgende antwoorden: 1= helemaal mee oneens, 2= mee oneens, 3= niet mee oneens, niet mee eens, 4= mee eens, 5= helemaal mee eens Helemaal Mee Niet Mee Helemaal mee oneens mee eens mee eens oneens oneens, niet mee eens 1. Mevrouw AAA geeft goed les. 1 2 3 4 5 2. Mevrouw AAA beoordeelt mijn 1 2 3 4 5 opdrachten, werkstukken enz. correct. 3. Mevrouw AAA gebruikt goed 1 2 3 4 5 lesmateriaal. 4. Mevrouw AAA geeft ruimte voor wat ik 1 2 3 4 5 graag wil leren. 5. Mevrouw AAA geeft goede feedback op 1 2 3 4 5 mijn manier van leren/werken. 6. Ik leer veel bij mevrouw AAA. 1 2 3 4 5 7. Wat mevrouw AAA mij leert kan ik goed 1 2 3 4 5 gebruiken als ik (straks) aan het werk ben. Mevrouw BBB Idem Mevrouw CCC Idem
Noot: de vragen 1 tot en met 5 betreffen docentgedrag (Kirkpatrick niveau 3) en de vragen 6 en 7 betreffen leerprestaties van de leerling (Kirkpatrick niveau 4).
32
Bijlage 6: Evaluatieverslag management development traject (Hans Schaepkens) Na beëindiging van het mastertraject hebben de deelnemers een vragenlijst ter evaluatie van het gehele traject ingevuld. De respons op de evaluatievragen: van de 22 deelnemers hebben er 19 de vragenlijst bestaande uit 10 vragen ingevuld. De vragen luidden als volgt: 1. De beleidskeuze om voor afdelingsdirecteuren als groep professionaliseringsactiviteiten te organiseren vind ik: a. Noodzakelijk b. Wenselijk c. Niet noodzakelijk 2. Hoe zinvol was het volgen van het masterclasstraject voor u persoonlijk 3. Noem 3 aspecten welk effect deze professionaliseringsactiviteit heeft gehad ( of nog heeft0 op uw functioneren als afdelingsdirecteur binnen het Koning Willem I College! 4. Op welk resultaatgebied heeft de masterclass bijgedragen aan een verandering in de uitvoering van uw kerntaken? a. Niets -redelijk – aanzienlijk -veel 5. De opbrengst van de gastsprekers tijdens de themadagen is a. In de praktijk zeer goed bruikbare handreikingen b. Bruikbare handreikingen c. Allen theorie d. Niet van toepassing op mijn afdeling 6. De procesdagen waren voor mij: a. Zeer waardevol b. Waardevol c. Neutraal d. Tijdsverspilling 7. De intervisie was/is voor mij a. Zeer waardevol b. Waardevol c. Neutraal d. Tijdsverspilling 8. Welke suggesties heeft u voor het vervolg van dit masterclass traject? 9. Welke waardering geeft u aan de organisatie van dit traject? a. Zeer goed b. Goed c. Voldoende d. Slecht 10. Geef in eigen woorden een waardering voor het totale traject! 11. Geef eventuele andere opmerkingen! Tijdens de uitreiking van de certificaten aan de deelnemers op 22 januari 2010 is de respons gepresenteerd:: • Respons: 18 van de 22 •
Responstijd: De meeste vragenlijsten voor het weekend ingevuld.
•
Bevindingen divers: variërend van zeer waardevol tot zinloos.
•
Vrijwel iedereen vindt het noodzakelijk of wenselijk als groep te professionaliseren.
•
Zinvolheid als persoon: 50% zinvol en 50% minder tot niet zinvol.
33
Een aantal statements: • Meer en leuker contact collega’s •
Meer openheid
•
Betere zelfkennis
•
Ik weet meer dan ik dacht
•
Belang van eigen rol en handelen inzien
•
Prima om afstand te nemen van dagelijkse hectische werkzaamheden
•
Leren van collega’s o.a. via intervisie mbt mijn leiderschapsstijl
Statements n.a.v. eigen functioneren: • Gereedschap mbt personeelsbeleid • Meer inzicht in wat en hoe van eigen afdeling • Meer bewust geworden van de fasen van de beleving van vernieuwingen in mijn team. • Meer vaardigheden bij voeren van functioneringsgesprekken • Gezamenlijke belangenbehartiging als groep directeuren Bijdrage aan een verandering in de uitvoering van kerntaken • Voorbereiding en uitvoering geven aan collegebeleid
•
•
•
–
Niets 56 %
–
Redelijk 28 %
–
Aanzienlijk 17%
–
Veel 0%
Leiding en sturing geven aan onderwijs- en dienstverleningsprocessen: –
Niets 33 %
–
Redelijk 39%
–
Aanzienlijk 22%
–
Veel 6%
Aansturen en adviseren van een team bij implementatie van onderwijsbeleid: –
Niets 39%
–
Redelijk 50%
–
Aanzienlijk 11%
–
Veel 0%
Leiding en sturing geven aan medewerkers:
34
–
Niets 11%
–
Redelijk 56 %
–
Aanzienlijk 17%
–
Veel 17%
Themadagen met gastsprekers • Hoge score van waardering voor Dolf van de Berg •
Jaap Bron wordt hoog gewaardeerd
•
M.b.t. tot de sessies o.l.v. Kees Kraaijenveld en Henk Ritzen was enthousiasme wisselend
Procesdagen en organisatie • Er was meer waardering voor de intervisie dan voor de procesdagen •
De waardering voor de organisatie was –
Goed 65%
–
Onvoldoende 35%
Hoe wil men verder? • Meer maatwerk •
Doorgaan met de totale groep in overdenken van uit te voeren beleid
•
Goede gastsprekers met daaraan gekoppeld overleg met elkaar
•
Intervisie continueren
•
Verdieping van aangeboden thema’s
•
Meer aandacht voor alledaagse onderwerpen, bv. “omgaan met personeel”
•
Aandacht voor best practices
•
Combineren met directeuren diensten & projectbureaus en het CvB
Conclusies en aanbevelingen: Dit mastertraject heeft een schat aan ervaringen opgeleverd. Alleen al kijkend naar de meeste reacties van de deelnemers zijn diverse leerprocessen op gang gekomen. Het leren van elkaar in klein groepsverband wordt als heel waardevol beschouwd. Er vindt ook op grote schaal uitwisseling plaats van ervaringen van deelnemers via de intervisiegroepen en in gevormde tweetallen. Ook in groepsverband zijn een aantal thematische onderwerpen als erg waardevol gewaardeerd en worden bepaalde aspecten van het geleerde in de praktijk toegepast. Voor de organisatie als geheel is de opbrengst eigenlijk niet in woorden te vatten. Nu al is er sprake van een goede opbrengst doordat men samenwerking en afstemming zoekt en vindt. De mate waarin men elkaar heeft weten te vinden met betrekking tot allerlei vraagstukken is hartverwarmend. Er is veel in beweging gekomen en nu is het belangrijk deze beweging vast te houden, voort te zetten en te borgen voor de toekomst.
35
