De praktijkopleider als beoordelaar

De praktijkopleider als beoordelaar De bereidheid van betrokkenen tot inzet van de praktijkopleider als beoordelaar bij summatieve beoordeling in de beroepspraktijk

Masterthesis | Universiteit Utrecht Onderwijskundig Ontwerp en Advisering J.G.M. van 't Spijker | 0468975 Begeleider en eerste beoordelaar | Dr. M.F. van der Schaaf Tweede beoordelaar | Dr. J.J.H.M. Janssen Januari 2012

De praktijkopleider als beoordelaar

Inhoudsopgave INHOUDSOPGAVE .............................................................................................................................. 2 SAMENVATTING ................................................................................................................................. 3 INLEIDING........................................................................................................................................... 4 AANLEIDING ............................................................................................................................................. 4 CONTEXT ................................................................................................................................................. 5 Competentiegericht beroepsonderwijs ............................................................................................ 5 De praktijkopleider in competentiegericht beroepsonderwijs ......................................................... 5 Competentiegerichte assessments .................................................................................................. 6 Kwaliteit van competentiegerichte assessments ............................................................................. 7 VOORSPELLERS VAN GEDRAG: MODEL VOOR ONDERZOEK .................................................................................. 9 ONDERZOEKSVRAGEN .............................................................................................................................. 13 METHODE ......................................................................................................................................... 14 ONDERZOEKSOPZET EN -PROCEDURE ........................................................................................................... 14 INSTRUMENTEN ...................................................................................................................................... 14 Achtergrondkenmerken ................................................................................................................. 14 Mate van bereidheid ...................................................................................................................... 15 Stellingen die onderliggende factoren meten ................................................................................ 15 Exploratieve factoranalyse van initiële vragenlijst ........................................................................ 17 PARTICIPANTEN ...................................................................................................................................... 18 Praktijkopleiders ............................................................................................................................ 18 Docenten ........................................................................................................................................ 19 DATABEWERKING EN -ANALYSE .................................................................................................................. 19 Databewerking .............................................................................................................................. 19 Data-analyse .................................................................................................................................. 19 RESULTATEN ..................................................................................................................................... 21 FACTORANALYSE ..................................................................................................................................... 21 BEREIDHEID PRAKTIJKOPLEIDERS ................................................................................................................. 24 BEÏNVLOEDENDE FACTOREN ...................................................................................................................... 25 BEREIDHEID DOCENTEN/BPV-BEGELEIDERS ................................................................................................... 26 BEÏNVLOEDENDE FACTOREN ...................................................................................................................... 28 CONCLUSIE EN DISCUSSIE ................................................................................................................. 29 CONCLUSIE ............................................................................................................................................ 29 Bereidheid ...................................................................................................................................... 29 Beïnvloedende factoren ................................................................................................................. 30 DISCUSSIE .............................................................................................................................................. 32 Generaliseerbaarheid van de onderzoeksresultaten ..................................................................... 32 Kwaliteit van het meetinstrument ................................................................................................. 33 AANBEVELINGEN ..................................................................................................................................... 34 LITERATUUR ..................................................................................................................................... 35 BIJLAGE 1 | VRAGENLIJST PRAKTIJKOPLEIDERS ................................................................................ 39 BIJLAGE 2 | VRAGENLIJST DOCENTEN/BPV-BEGELEIDERS ................................................................. 49

2

|

J.G.M. van 't Spijker | 0468975


Samenvatting In het competentiegerichte middelbaar beroepsonderwijs is het wenselijk dat leerlingen zo authentiek mogelijk beoordeeld worden, bij voorkeur in de beroepspraktijk. Centrale vraag in dit onderzoek was of praktijkopleiders, betrokken bij de secretariële en ICT-opleidingen, bereid zijn de summatieve beoordeling in de beroepspraktijk uit te voeren, en of docenten/bpv-begeleiders bereid zijn hen deze beoordeling uit te laten voeren. Op basis van de Theory of Planned Behavior, gecombineerd met factoren uit onderzoek naar innovatiebereidheid en taakmotivatie, is een intentiemodel voorgesteld met daarin de factoren die de bereidheid voorspellen. De bereidheid van praktijkopleiders om te beoordelen was hoog. Beïnvloedende factoren zijn de houding ten opzichte van het beoordelen en de ervaren keuzemogelijkheid, eigen competentie en complexiteit van de taak. Ook de bereidheid van docenten/bpv-begeleiders was hoog, maar de steekproef was te klein om ook voor hen beïnvloedende factoren te identificeren.


|3


Inleiding Aanleiding In de afgelopen jaren is de beroepsgerichte kwalificatiestructuur (tot voor kort competentiegerichte kwalificatiestructuur genoemd) ingevoerd in het middelbaar beroepsonderwijs (mbo). In het competentiegerichte onderwijs ligt de nadruk op het verwerven van de bekwaamheden of competenties die je nodig hebt in het beroep (Mulder, 2003). De Nederlandse overheid vindt het wenselijk dat leerlingen die competentiegericht zijn opgeleid in de beroepspraktijk worden beoordeeld (Inspectie van het Onderwijs, 2009; 2011). Deze summatieve beoordeling kan (onder voorwaarden) door praktijkopleiders worden uitgevoerd. Het is echter de vraag of de betrokkenen, dat wil zeggen praktijkopleiders zelf en de vertegenwoordigers van de onderwijsinstellingen, beoordeling door de praktijkopleider zelf óók wenselijk vinden. Zonder medewerking van deze betrokkenen zal summatieve beoordeling in de beroepspraktijk niet (kunnen) worden uitgevoerd. Dit onderzoek draait om de vraag naar de bereidheid van deze betrokkenen. Aanleiding voor dit onderzoek is het logistieke vraagstuk bij ECABO, Kenniscentrum Beroepsonderwijs Bedrijfsleven voor de economisch/administratieve, ICT- en veiligheidsberoepen, rondom de praktische uitvoering van summatieve beoordelingen in de beroepspraktijk. De focus in dit onderzoek ligt bij de secretariële en ICT-opleidingen. Bij de veiligheidsopleidingen is er sprake van een centrale gesimuleerde examinering, waar de beroepspraktijk bij betrokken is. Bij de secretariële en ICT-opleidingen is er geen centrale examinering: examinering wordt door de onderwijsinstellingen zelf uitgevoerd, en onderwijsinstellingen moeten dus ook de beoordeling in de beroepspraktijk organiseren. Dit kan problemen opleveren in verband met de beschikbaarheid van beoordelaars. De meeste leerlingen binnen de secretariële en ICT-opleidingen ronden hun opleiding in mei/juni af. Dit betekent dat er in deze beperkte periode veel leerlingen moeten worden beoordeeld. Ter illustratie: in 2009 zijn er in de secretariële beroepen 4.070 leerlingen en in de ICTberoepen 5.340 leerlingen gediplomeerd (Van Mechelen & Verijdt, 2011). Gemiddeld is er per leerbedrijf één leerplaats beschikbaar. Als de beoordeling wordt uitgevoerd door een docent of externe beoordelaar betekent dit dat er binnen kort tijdsbestek zeer veel bedrijven moeten worden bezocht. Omdat het aantal docenten en externe beoordelaars beperkt is, zou dit in de betreffende periode een zeer grote (zo niet onmogelijke) belasting voor hen zijn. ECABO onderzoekt daarom de mogelijkheid om de praktijkopleider de summatieve beoordeling aan het eind van de opleiding te laten uitvoeren. Hierbij is de bereidheid van de betrokkenen (praktijkopleiders zelf en de vertegenwoordigers van onderwijsinstellingen) van groot belang. Deze bereidheid is niet vanzelfsprekend. De praktijkopleider heeft zijn rol bij het opleiden van leerlingen binnen het competentiegerichte onderwijs zien groeien (De Bruijn & Van Kleef, 2006). Van hem wordt nu verwacht dat hij naast zijn reguliere werkzaamheden én taken als praktijkopleider ook deze (voor leerlingen zeer belangrijke) beoordeling uitvoert. De onderwijsinstellingen moeten er op hun beurt op vertrouwen dat beoordeling door de praktijkopleider de kwaliteit van de examinering niet negatief beïnvloedt. De

4

|


De praktijkopleider als beoordelaar school is en blijft immers eindverantwoordelijke voor de kwaliteitsborging van de examinering (Inspectie van het Onderwijs, 2011). Of de kwaliteit van de examinering in het geding is bij een beoordeling in de beroepspraktijk door de praktijkopleider, maakt geen onderdeel uit van dit onderzoek. Om aan te geven in welke context onderhavig onderzoek geplaatst kan worden is het echter goed aandacht te besteden aan de wetenschappelijke discussies die sinds begin jaren negentig spelen rondom de kwaliteit van de nieuwe assessments in het competentiegerichte beroepsonderwijs. Ter inleiding wordt het competentiegerichte beroepsonderwijs en de veranderde rol van de praktijkopleider in dit onderwijs beschreven. Vervolgens wordt ingegaan op de vraag waardoor de bereidheid van betrokkenen beïnvloed wordt.

Context Competentiegericht beroepsonderwijs De meeste Nederlandse mbo-opleidingen zijn tegenwoordig competentiegericht: in 2010 volgde 86% van de mbo-leerlingen een competentiegerichte opleiding (Ministerie van Onderwijs, Cultuur en Wetenschap, n.d.). Men verwacht dat leerlingen in competentiegericht onderwijs beter worden voorbereid op de huidige complexe maatschappij, waarin veranderingen elkaar snel opvolgen en kennis snel veroudert (Mulder, 2003). Het competentiegerichte beroepsonderwijs richt zich op het voorbereiden van leerlingen op de problemen en dilemma’s die ze zullen tegenkomen in het beroep waarvoor ze opgeleid worden (Maes, 2004). De basiskennis en -vaardigheden die de leerlingen hiervoor nodig hebben worden gevat in het woord ‘competenties’. In Europa wordt een holistische benadering voor de term ‘competentie’ gebruikt, waarbij een competentie wordt gezien als een ontwikkelbaar vermogen om adequaat, gemotiveerd, proces- en resultaatgericht te kunnen handelen (Wesselink, Biemans, Mulder & Van den Elsen, 2007).

De praktijkopleider in competentiegericht beroepsonderwijs De ontwikkeling naar competentiegericht beroepsonderwijs is een zeer complexe en grootschalige onderwijsinnovatie: de visie op en doelen van onderwijs, inhoud van opleidingsprogramma’s en programmaonderdelen, organisatie én toetsing van het onderwijs moeten integraal worden aangepakt (Mulder, 2003). Opleidingseisen zijn veranderd, van uitgesplitst in gedetailleerde theoretische en praktische eindtermen naar geïntegreerde , algemener omschreven prestatieindicatoren. Curricula zijn opnieuw opgesteld, en ook de plek waar en wijze waarop wordt geïnstrueerd en begeleid is veranderd: waar in vroeger tijden veel theorielessen en praktijkinstructies op school werden gegeven, worden nu kennis en vaardigheden opgedaan door zelfstandig leren in de beroepspraktijk of in complexe praktijksimulaties op school (Wesselink, 2010). Zelfstandig leren wil niet zeggen dat de leerling zich alles zelf moet eigen maken: in zijn leerproces op school én in de beroepspraktijk wordt hij begeleid door een deskundige. De docent op school wordt meer een coach/expert, bij wie de leerling voor ondersteuning en specifieke vragen terecht kan (De Bruijn & Van Kleef, 2006). Aangezien de opleiding steeds meer verplaatst naar de beroepspraktijk, wordt van de praktijkopleider wordt verwacht dat hij een actieve rol inneemt als J.G.M. van 't Spijker | 0468975

|5

De praktijkopleider als beoordelaar coach die op de werkplek het leer- en ontwikkelingsproces van de leerling ondersteunt (De Bruijn & Van Kleef, 2006), het situationele leren begeleidt (Aarkrog, 2005; Onstenk, 2003; Swager, 2010) en transfer stimuleert (Onstenk, 2003). Hij moet sturing geven aan het leren dat in de beroepspraktijk plaatsvindt, om zo de leerling te helpen de relatie te leggen tussen kennis en vaardigheden die middels formeel leren op school en informeel leren in de beroepspraktijk worden opgedaan. Het is hierbij belangrijk dat de praktijkopleider weet wat er waar geleerd moet worden, zodat de impliciete, situationele en expliciete kennis die nodig zijn om in de beroepspraktijk te kunnen functioneren geïntegreerd worden (De Bruijn & Van Kleef, 2006; Guile & Young, 2003). Er wordt dus nogal wat van de praktijkopleider verwacht; zaken die hij meestal naast zijn reguliere werk moet uitvoeren. De praktijkopleider speelt vaak ook een rol bij het formatief beoordelen van leerlingen: een tussenbeoordeling tijdens de stage is een geijkt instrument om met de leerling te kunnen spreken over zijn ontwikkeling. Summatieve beoordeling, zeker waar het highstake beslissingen zoals slagen/zakken betreft, vergt nog een extra inzet van de praktijkopleider, in tijd en energie (bijvoorbeeld omdat de beoordeling minutieus moet worden vastgelegd).

Competentiegerichte assessments De omslag naar het competentiegerichte onderwijs heeft ook gevolgen voor de examinering: bij de verandering van onderwijsvormen moeten andere beoordelingsvormen minstens overwogen worden (Baartman, Bastiaens, Kirschner & Van der Vleuten, 2007). Deze stellingname past in de historische beweging die Birenbaum (1996) beschrijft als de paradigm shift van traditionele testcultuur naar assessmentcultuur. Waar een leerling voorheen kennis moest kunnen reproduceren, is in de huidige maatschappij en in het huidige onderwijs de constructie van kennis en verwerving van competenties belangrijk geworden. In de traditionele tests was het product het belangrijkst, in de moderne assessments gaat het om product én proces (Dochy, Segers & De Rijdt, 2002). Bij de huidige instructiemethodes, gericht op het verwerven van competenties, passen volgens Dochy (2001) beoordelingsvormen waarbij niet uitsluitend reproductie van kennis wordt gemeten, maar aandacht is voor de competentieontwikkeling van een lerende. Dit kan vorm krijgen in de zogenaamde authentieke assessments, waarin wordt getoetst of een leerling ‘in staat is om kennis te gebruiken bij het oplossen van nieuwe problemen of bij het vervolledigen van specifieke taken’ (Dochy et al., 2002). In onderhavig onderzoek wordt uitgegaan van de definitie van Gulikers (2004): een authentiek assessment is "een assessment dat vereist dat studenten dezelfde competenties *…+ gebruiken die ze moeten gebruiken in de criteriumsituatie in het beroepsleven". Cumming en Maxwell (1999) noemen dit een "adult performance in real world situations" (p. 184): een leerling leert voor de beroepspraktijk, dus het leerproces en het assessment moeten zoveel mogelijk die beroepspraktijk weergeven. Doordat leren en assessment van leren hiermee contextueel en betekenisvol zijn, wordt de transfer van het geleerde naar de (beroeps)praktijk gestimuleerd, en is het assessment passend, betekenisvol en de moeite waard (Newman & Archbald, 1992). In de examinering in het mbo krijgt het authentieke assessment een plaats binnen een mix van methoden, waarbij assessment op school (middels kennistoetsen, praktische opdrachten en

6

|


De praktijkopleider als beoordelaar criteriumgerichte interviews) wordt gecombineerd met de zogenaamde Proeven van Bekwaamheid, op school en/of in de beroepspraktijk (Excenter, 2008). De Proeve van Bekwaamheid is een voorbeeld van een authentiek competentiegericht assessment (Baartman, 2008; Dochy, 2001; Gulikers, Bastiaens & Kirschner, 2004), waarbij een leerling zijn competenties demonstreert in een realistische situatie (zoals de beroepspraktijk). In de Proeve van Bekwaamheid "wordt door middel van simulaties, arbeidsproeven en het observeren van werkzaamheden gekeken of studenten over de benodigde competenties beschikken." (Rijksoverheid, n.d.). De beoordelaar observeert het proces en beoordeelt het product met behulp van een observatielijst met standaarden waaraan moet worden voldaan. Maar ook de andere toetsen op school kunnen als (min of meer) authentiek assessment worden vormgegeven, bijvoorbeeld door kennistoetsen te ontwikkelen rondom een casus uit de beroepspraktijk, of door leerlingen een project te laten uitvoeren op basis van een probleem uit de beroepspraktijk. De essentie van de methodemix is dat op verschillende manieren en op verschillende momenten wordt beoordeeld of een leerling aan bepaalde standaarden voldoet. De verschillende aspecten van de competenties worden zo op verschillende manieren getoetst. Bijvoorbeeld: in een praktijkopdracht laat de leerling zien dat hij bepaalde werkzaamheden kan uitvoeren, terwijl daarnaast in een criteriumgericht interview wordt getoetst of de leerling deze werkzaamheden kan toelichten, waarmee onderliggende kennis expliciet wordt gemaakt.

Kwaliteit van competentiegerichte assessments Volgens Wiggins (1989) toont een authentieke test aan wat de prestatie is op essentiële onderdelen, ook als deze niet zo makkelijk te kwantificeren zijn. De authentieke assessment gaat dus voorbij aan reproductie van geïsoleerde kennisonderdelen; het doel is dat de leerling laat zien wat hij kan (Wiggins, 1989). Een goed examen is geen momentopname, maar toont de vooruitgang van de leerling tijdens het leerproces. Het examen wordt hiermee deel van het leerproces: niet testen of de leerling geleerd heeft (assessment of learning), maar testen om te leren (assessment for learning) (Black & Wiliam, 1998). Om de testen meer te laten bijdragen aan het leerproces was behoefte aan nieuwe vormen. Leerlingen leren immers altijd 'voor het examen': als ze weten dat ze een op reproductie gerichte test krijgen, zullen ze geen energie steken in het aanleren van competenties als geheel van kennis, houding en vaardigheden (Dierick, Dochy & Van de Watering, 2001; Wiggins, 1989). Formatieve en summatieve assessment komen met deze nieuwe vormen steeds meer door elkaar te lopen. Dit heeft gevolgen voor de kwaliteitseisen die gesteld worden aan de assessments. Eisen die worden gesteld aan summatieve assessments kunnen niet altijd worden gesteld aan formatieve assessments, omdat deze een ander doel hebben (Dierick & Dochy, 2001). In de traditionele testcultuur was een test 'goed' als aan de psychometrische kwaliteitseisen validiteit en betrouwbaarheid werd voldaan. Bij de nieuwe, authentieke assessments zijn deze eisen echter niet één op één over te nemen (Van de Watering & Dierick, 2002). De kwaliteitseisen moeten anders ingevuld dan wel aangevuld worden. Een traditionele test moet voldoende inhoudsvalide, begripsvalide en criteriumvalide zijn: de test dekt de leerdoelen voldoende en evenwichtig, meet wat het zou moet meten, en voorspelt of de prestatie daadwerkelijk kan worden geleverd. Daarnaast moet de test betrouwbaar zijn: twee beoordelaars moeten in principe op hetzelfde


|7

De praktijkopleider als beoordelaar resultaat komen, en ook als op twee momenten gemeten wordt moet men uitkomen op hetzelfde resultaat (Van de Watering & Dierick, 2002). Verschillende auteurs, waaronder Messick (1995), beargumenteren dat deze psychometrische criteria niet meer voldoen in de nieuwe assessmentcultuur, en moeten worden uitgebreid tot edumetrische criteria, waarbij psychometrische criteria ruimer worden opgevat en worden aangevuld met onderwijskundige waarden. Validiteit en betrouwbaarheid gelden wel, maar worden anders ingevuld. Messick (1995) stelt dat (authentieke) assessments moeten worden geëvalueerd op basis van constructvaliditeit; een overkoepelend begrip, waarin inhouds-, begrips- en criteriumvaliditeit verwerkt zijn. Constructvaliditeit bestaat uit verschillende aspecten: 1) het assessment moet relevant, representatief en van voldoende technische kwaliteit zijn, 2) er moet voldoende duidelijk zijn dat met de prestatie die wordt geleverd ook onderliggende kennis wordt aangetoond, 3) de beoordelingscriteria en de weging ervan passen bij de inhoud van het domein, 4) het assessment heeft generaliserend vermogen, 5) het assessment correleert wel met domeinverwante en niet met niet-domeinverwante taken , en 6) het assessment heeft positieve gevolgen (en weinig negatieve gevolgen) voor leren en instructie (Messick, 1995). "De essentie van deze ene validiteit is dat de geschiktheid, betekenisvolheid en bruikbaarheid van conclusies op basis van scores onscheidbaar zijn, en dat de kracht van de integratie voortkomt uit empirisch gefundeerde interpretatie van de score" (Messick, 1995, p. 747). Bij het toetsen van deze constructvaliditeit kan dus niet worden volstaan met beoordelen van de 'papieren' toets, maar ook het beoordelingsproces en de personen die daarbij betrokken zijn spelen een rol. Een assessment moet ook voldoen aan betrouwbaarheidseisen, maar ook deze worden anders ingevuld. De betrouwbaarheid van een assessment op meerdere momenten goed te evalueren is moeilijk, omdat er tussen de afnamemomenten wordt doorgeleerd (er is immers sprake van assessment for learning). Daarnaast is de betrouwbaarheid van het assessment zelf moeilijk te bepalen als in de beroepspraktijk, op basis van reële werksituaties, wordt beoordeeld (Dierick, Van de Watering & Muijtjens, 2002). Bij authentieke assessments bepaalt de overeenstemming tussen beoordelaars de betrouwbaarheid, niet over de score per item, maar over het proces en de strategie van beoordelen: welke bewijsvoering is voldoende en hoe beoordeel je deze (Heller, Sheingold & Myford, 1998)? Een goede beoordelaar is essentieel voor de betrouwbaarheid en validiteit van het authentieke assessment: complex gedrag wordt beoordeeld door een persoon, waarbij fouten kunnen ontstaan door gebrek aan objectiviteit en consistentie. Dit heeft gevolgen voor de betrouwbaarheid van de beoordeling (Birenbaum, 2007; Kane, Crooks & Cohen, 1999). De validiteit en betrouwbaarheid van een authentiek assessment zijn dus, naast de kwaliteit van het beoordelingsinstrument, afhankelijk van de personen die op basis van het instrument beoordelen. Zeker bij high-stake beslissingen (zoals slagen/zakken) moeten validiteit en betrouwbaarheid geborgd worden. Hoewel niet wetenschappelijk, is er wel consensus over de kwaliteiten die beoordelaars moeten bezitten om valide en betrouwbaar te beoordelen. Een analyse van bekende criteria voor en kerntaken van (praktijk)beoordelaars geeft de volgende eisen: is vakbekwaam en didactisch bekwaam, heeft kennis van de inhoud van de opleiding, is eerlijk, objectief en precies, kan mondeling en schriftelijk argumenteren en kan samenwerken (AEFP/EVTA, 8

|


De praktijkopleider als beoordelaar 2004; Ehren, 2009; Kamphuis, 2008; Kenniscentrum EVC, 2006; Kenniscentrum Handel, 2009; Laming, 2007; Lifelong Learning UK, 2010; Van Dinther, 2009). Als een onderwijsinstelling twijfelt of een beoordelaar aan deze eisen kan voldoen, zal ook getwijfeld worden aan de kwaliteit van het assessment. De mening van vertegenwoordigers van de onderwijsinstelling over de kwaliteit van de praktijkopleider als beoordelaar en de mate waarin dit invloed heeft op hun bereidheid om de praktijkopleider te laten beoordelen is onderdeel van dit onderzoek.

Voorspellers van gedrag: model voor onderzoek Een grootschalige verandering vergt veel van de mensen in de organisatie die de innovatie moeten implementeren – en daarbij hun eigen rol en taakinhoud aanzienlijk zien veranderen (De Bruijn & Van Kleef, 2006). Veranderingen gaan gepaard met gevoelens van verlies, onrust, boosheid, frustratie en teleurstelling (Hargreaves, 2004): men maakt zich zorgen over de verandering. Door voldoende communicatie over de verandering en nut en noodzaak ervan kan men zorgen wegnemen en draagvlak creëren, wat de kans op succes bij grootschalige veranderingsprocessen vergroot (Boonstra, 2000; Boonstra & Steensma, 1996; Van den Berg, Sleegers, Geijsel & Vandenberghe, 2000). Mensen zullen namelijk niet klakkeloos de taken uitvoeren die horen bij de nieuwe situatie. Mensen zijn geen willoze objecten, maar controleren hun eigen gedrag. Bandura (2001) noemt dit human agency: mensen besluiten doelbewust tot het uitvoeren van een taak (intentionality), bepalen vooraf aan welke standaarden ze hierbij willen voldoen (forethought), en vertonen zelfsturing tijdens en zelfreflectie na het uitvoeren van een taak. De intentie tot het uitvoeren van een taak wordt beïnvloed door de overtuigingen die iemand heeft. Self-efficacy overtuigingen, dat wil zeggen: de overtuigingen van iemand over zijn eigen bekwaamheden om een taak te volbrengen (Bandura, 1977), hebben invloed op de motivatie, en daarmee ook op de intentie om het gewenste gedrag te vertonen. De intentie tot het vertonen van gedrag is een goede voorspeller van werkelijk gedrag (Ajzen, 1991; Ajzen & Fishbein, 2005; Sheeran & Orbell, 1999). Ajzen (1991) en Fishbein (2000) hebben in dit kader de 'Theory of Planned Behavior' ontwikkeld, met een model dat de invloed van overtuigingen op intentie en gedrag weergeeft (het TPB-model). Dit model is opgenomen als figuur 1.


|9

De praktijkopleider als beoordelaar Figuur 1: De 'theories of reasoned action and planned behavior' als model (Ajzen & Fishbein, 2005)

De intentie tot het vertonen van gedrag, en daarmee het feitelijke gedrag, komt voort uit de overtuigingen (beliefs) die men heeft over dit gedrag. Deze overtuigingen over gedrag, normen en controle zijn persoonlijk, en hoeven niet waarheidsgetrouw te zijn, maar komen voort uit de achtergrondkenmerken van de persoon. Eenmaal ontwikkeld vormen deze overtuigingen de basis waarop de houding ten opzichte van het gedrag (attitude toward the behavior), de subjectieve norm (subjective norm, de mening van en over anderen) en de perceptie van controle op het gedrag (perceived behavioral control) worden gebaseerd (Ajzen & Fishbein, 2005). Deze drie aspecten wegen niet allemaal even zwaar (de subjectieve norm weegt bijvoorbeeld zwaarder bij jongeren die groepsdruk ervaren bij wel of niet beginnen met roken), en kunnen met elkaar correleren, omdat ze gebaseerd zijn op dezelfde informatie. Het effect van intentie op gedrag is groter als de werkelijke controle op het gedrag (actual behavioral control) zo hoog is als verwacht. De voorspellende waarde van de ervaren controle op het gedrag is dan ook groter. Het model kan gelezen worden als een cyclus: het gedrag vertonen kan nieuwe informatie geven, waardoor de overtuigingen beïnvloed worden, waardoor ook toekomstige intentie en gedrag beïnvloed worden. Bestaande overtuigingen kunnen de waarneming en interpretatie van deze nieuwe informatie echter vertekenen, waardoor mogelijk toch geen ander gedrag ontstaat (Ajzen & Fishbein, 2005). Veel onderzoek dat gebruik maakt van het TPB-model is gericht op (voorkomen van) risicogedrag bij jongeren (Gibbons, Gerrard, Blanton & Russel, 1998; Pomery, Gibbons, Reis-Bergan & Gerrard, 2009; Rivis, Sheeran & Armitage, 2006; Sheeran & Orbell, 1999), maar er zijn opvallende overeenkomsten met factoren uit onderzoek naar innovatiebereidheid en taakmotivatie. Uit deze onderzoeken blijkt dat of iemand bereid is om te veranderen, en of hij zijn nieuwe taak werkelijk zal uitvoeren (ervan uitgaande dat hij hierin een keuze heeft) afhankelijk is van zijn overtuigingen op

10

|


De praktijkopleider als beoordelaar diverse gebieden (Boonstra & Steensma, 1996, Gaith & Yaghi, 1997; Schultz et al., 2010). De volgende factoren worden genoemd: 1) de overtuiging over nut, noodzaak, kosten en effectiviteit van de innovatie, 2) de overtuiging of de voorwaarden tijd, ondersteuning van leidinggevenden en trainingsmogelijkheid voldoende aanwezig zijn, en 3) de overtuiging over eigen kunnen en complexiteit van de nieuwe of gewijzigde taak (Blumberg & Pringle, 1982; Gaith & Yaghi, 1997; Schultz et al., 2010; Stein & Wang, 1988; Thomas & Velthouse, 1990). Gezien de overeenkomsten tussen de factoren die innovatiebereidheid en taakmotivatie beïnvloeden en de factoren in het TPB-model is het aannemelijk dat het TPB-model ook standhoudt voor bereidheid tot uitvoeren van een nieuwe taak. Door de factoren uit de genoemde onderzoeken naar innovatiebereidheid en taakmotivatie als deelfactoren in te passen in het TPB-model ontstaat een nieuw theoretisch model, dat de intentie tot het uitvoeren van de nieuwe taak 'summatief beoordelen' weergeeft (hierna intentiemodel genoemd). Het voorgestelde model, zoals getoond in figuur 2, wordt gebruikt als basis om te onderzoeken welke factoren van invloed zijn op de bereidheid om summatief te beoordelen in de beroepspraktijk. Ten opzichte van het TPB-model zijn enkele wijzigingen aangebracht. De invloed van de subjectieve norm is beperkt, omdat er in deze context weinig sprake is van groepsdruk. De invloed van de ervaren controle is daarentegen groter, omdat er een duidelijk verband is tussen een taak, waarvoor je bekwaam moet zijn, en de controle die je erop denkt te hebben. In de grijze blokken zijn de deelfactoren opgenomen. Omdat houding ten opzichte van nut en effectiviteit overlappen, is er één blok van gemaakt. Datzelfde geldt voor de mening van/over anderen. De blokken in 'ervaren controle' zijn allen deelaspecten: de perceptie van 1) eigen competentie, 2) complexiteit van de taken die deel uitmaken van het beoordelen, 3) ondersteuning intern (werkgever) en extern (onderwijsinstelling) en 4) de keuzemogelijkheid om de taak wel of niet uit te voeren.


|11

De praktijkopleider als beoordelaar Figuur 2: Voorgesteld model 'intentie tot beoordelen'

12

|



Onderzoeksvragen In dit onderzoek staat de volgende vraag centraal: In hoeverre zijn bij secretariële en/of ICTopleidingen betrokken praktijkopleiders en vertegenwoordigers van onderwijsinstellingen bereid om de summatieve beoordeling in de beroepspraktijk uit te voeren respectievelijk door praktijkopleiders te laten uitvoeren, en welke factoren beïnvloeden deze bereidheid? Deze vraag wordt uitgewerkt in de volgende deelvragen: 1. In hoeverre zijn praktijkopleiders van secretariële en ICT-opleidingen bereid om hun eigen leerling summatief te beoordelen? 2. Welke factoren uit het intentiemodel beïnvloeden de bereidheid van praktijkopleiders om hun eigen leerling summatief te beoordelen? 3. In hoeverre zijn docenten/bpv-begeleiders van secretariële en ICT-opleidingen bereid de praktijkopleiders hun eigen leerling summatief te laten beoordelen? 4. Welke factoren uit het intentiemodel beïnvloeden de bereidheid van docenten/bpv-begeleiders om praktijkopleiders hun eigen leerling summatief te laten beoordelen? Bij de deelvragen 2 en 4 wordt onderzocht of achtergrondkenmerken invloed hebben op de bereidheid. Hierbij worden expliciet de volgende hypotheses getoetst: a. Betrokkenen bij ICT-opleidingen tonen meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij secretariële opleidingen. b. Betrokkenen die leerlingen in de Beroepsbegeleidende Leerweg (BBL) begeleiden tonen meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen die leerlingen in de Beroepsopleidende Leerweg (BOL) begeleiden. Deze hypotheses zijn gebaseerd op het volgende. Het onderzoek is uitgevoerd onder betrokkenen bij secretariële en ICT-opleidingen, mede vanwege de overeenkomsten en de verschillen tussen deze twee groepen. De sectoren komen overeen door de kantooromgeving waarin de stage veelal plaatsvindt, en het feit dat examinering niet centraal wordt georganiseerd. De sectoren verschillen wel in de opzet van de opleidingen. Ten eerste heeft men in de ICT-opleidingen, vergeleken met de secretariële opleidingen, meer en langer ervaring met het competentiegericht onderwijs. Betrokkenen bij ICT-opleidingen hebben dus ook meer ervaring met de veranderde rol van de praktijkopleider in het competentiegericht onderwijs, en zijn al gewend aan deze nieuwe situatie. Omdat de veranderde of nieuwe beoordelaarrol slechts een kleine nieuwe stap is wordt verwacht dat betrokkenen bij ICT-opleidingen deze makkelijker zullen accepteren. Ten tweede worden de ICTopleidingen meer in de Beroepsbegeleidende Leerweg (BBL) aangeboden, terwijl in secretariële opleidingen vooral in de Beroepsopleidende Leerweg (BOL) worden aangeboden. Verwacht wordt dat betrokkenen bij BBL-leerlingen de beoordelaarrol makkelijker zullen accepteren, omdat de rol van de praktijkopleider in de begeleiding van BBL-leerlingen veel groter is.


|13


Methode Onderzoeksopzet en -procedure Om de onderzoeksvragen te kunnen beantwoorden, is kwantitatief survey-onderzoek uitgevoerd onder praktijkopleiders en docenten/bpv-begeleiders van onderwijsinstellingen. Er zijn twee online vragenlijsten ontwikkeld: één voor praktijkopleiders (verder 'vragenlijst praktijkopleiders' genoemd), en één voor docenten/bpv-begeleiders van onderwijsinstellingen (vanaf hier: 'docentenvragenlijst'). De vragenlijsten komen zoveel mogelijk overeen, maar verschillen op punten vanwege het verschillende perspectief van de respondenten.

Instrumenten De vragenlijsten bestaan uit drie delen, namelijk 1) vragen naar achtergrondkenmerken, 2) vragen naar bereidheid en 3) stellingen om de beïnvloedende factoren op bereidheid te bepalen.

Achtergrondkenmerken Omdat achtergrondkenmerken van invloed kunnen zijn op de overtuigingen die ten grondslag liggen aan intentie tot gedrag (Ajzen & Fishbein,2005), zijn in de vragenlijsten diverse achtergrondkenmerken bevraagd, waaronder geslacht, opleidingsniveau en ervaring in beoordelen (zie tabel 1). Tabel 1: Achtergrondkenmerken in vragenlijst praktijkopleiders en docentenvragenlijst Achtergrondkenmerken praktijkopleiders geslacht leeftijd sector opleidingsniveau functie aantal jaar werkervaring in huidige functie gerelateerde beroepsopleiding gevolgd begeleidingservaring hoe recent begeleid BBL- of BOL-leerling begeleid leerling op niveau 2, 3 of 4 begeleid ervaring met formatief beoordelen ervaring met summatief beoordelen training over beoordelen gevolgd -

14

|

Achtergrondkenmerken docenten/bpvbegeleiders geslacht leeftijd sector opleidingsniveau functie aantal jaar werkervaring in huidige functie betrokken bij BBL- of BOL-leerlingen betrokken bij opleiding op niveau 2, 3 of 4 ervaring met formatief beoordelen ervaring met summatief beoordelen bekendheid met praktijkopleiders in de regio



Mate van bereidheid De vraag naar de bereidheid om summatief te (laten) beoordelen is gesteld aan de hand van een korte beschrijving van de drie meest voorkomende scenario's, waarin de praktijkopleider de beoordelaarrol kan innemen. Het betreft 1) beoordelen van een praktijkopdracht na een korte inwerkperiode (de school heeft al bepaald dat de eindbeoordeling kan plaatsvinden), 2) beoordelen van een praktijkopdracht na een langere stageperiode (door tussenbeoordelingen is bepaald dat de eindbeoordeling kan plaatsvinden) en 3) portfolio-assessment na afloop van de stage (in een criteriumgericht interview wordt het portfolio besproken). Per scenario is gevraagd naar de bereidheid in dit scenario te (laten) beoordelen (op een 5-punts Likertschaal: zeker niet bereid/niet bereid/ neutraal: noch bereid, noch niet bereid/bereid/zeker bereid). Deze uitsplitsing in drie scenario's diende om alle respondenten hetzelfde referentiekader te geven. Ook kon zo de bereidheid per scenario vergeleken worden. Per scenario is een open vraag gesteld naar de reden voor het wel of niet bereid zijn, om eventuele onverwachte beïnvloedende factoren te kunnen aanwijzen. Naast de bereidheid per scenario is ook gevraagd naar de intentie om de zes belangrijkste taken binnen het beoordelingsproces uit te voeren (tabel 2). Deze taken zijn gedestilleerd uit de in literatuur meest genoemde kerntaken van (praktijk)beoordelaars (AEFP/EVTA, 2004; Ehren, 2009; Kamphuis, 2008; Kenniscentrum EVC, 2006; Kenniscentrum Handel, 2009; Laming, 2007; Lifelong Learning UK, 2010). Tabel 2: Deeltaken in vragenlijst praktijkopleiders en docentenvragenlijst Deeltaak Tijd, plaats en opdracht regelen Praktijkobservatie Beroepsproducten beoordelen Gesprek over portfolio voeren Mondelinge feedback aan leerling Schriftelijke feedback aan onderwijsinstelling De respondent is gevraagd of hij de taak zou uitvoeren, als dit hem gevraagd werd. Er kon geantwoord worden op een 5-punts Likertschaal van 1 ('zal ik zeker niet uitvoeren') tot 5 ('zal ik zeker uitvoeren'). Aan docenten die één of meer taken niet zouden laten uitvoeren is gevraagd waarom ze hiertoe niet bereid waren.

Stellingen die onderliggende factoren meten De factoren in het intentiemodel zijn uitgewerkt in variabelen (zie tabel 3), die vervolgens zijn uitgewerkt in stellingen. Respondenten werd gevraagd op de stellingen te reageren op een 5-punts Likertschaal van 1 ('helemaal niet mee eens') tot 5 ('helemaal mee eens').


|15

De praktijkopleider als beoordelaar Tabel 3: Variabelen uit vragenlijsten per factor uit intentiemodel Factor uit intentiemodel 1a. houding t.o.v. nut 1b. houding t.o.v. effectiviteit 2.

mening van anderen

3a. competentie

3b. complexiteit taken

3c. ondersteuning 3d. keuzemogelijkheid

Variabele - nut van rol praktijkopleider in beoordeling - persoonlijk nut voor praktijkopleider - effectiviteit van beoordelen in de beroepspraktijk - effectiviteit voor de leerling - mening leidinggevende - mening collega's - vakkennis en -vaardigheden - didactische kennis - beoordelingsvaardigheden - beoordeling terugkoppelen - samenwerken met andere beoordelaar - organiseren - observeren - beroepsproducten beoordelen - criteriumgericht interview houden - beoordeling terugkoppelen - interne steun - externe steun - tijdsbesteding - druk, verantwoordelijkheid

In de initiële vragenlijst zijn 37 stellingen opgenomen. Hiervan zijn 15 stellingen ontleend aan stellingen uit de vragenlijst 'Teacher Attitudes about Social and Emotional Learning (TASEL)' (Schultz et al., 2010), aangepast aan de situatie. Voor de variabelen 'persoonlijk nut', 'mening leidinggevende/collega's' en 'druk, verantwoordelijkheid' waren vijf stellingen nodig als aanvulling, omdat deze specifieke aspecten niet aan de orde kwamen in de TASEL-vragenlijst. Voor de factoren 'competentie' en 'complexiteit' zijn 15 stellingen ontwikkeld op basis van analyse van bekende criteria voor en kerntaken van (praktijk)beoordelaars (AEFP/EVTA, 2004; Ehren, 2009; Kamphuis, 2008; Kenniscentrum EVC, 2006; Kenniscentrum Handel, 2009; Laming, 2007; Lifelong Learning UK, 2010; Van Dinther, 2009). In tabel 4 staan enkele voorbeelden van stellingen. Aan het eind van de vragenlijst is een open vraag gesteld naar randvoorwaarden voor uit het uitvoeren van de beoordeling , om eventuele onverwachte factoren te kunnen aanwijzen.

16

|


De praktijkopleider als beoordelaar Tabel 4: Voorbeelden van stellingen uit de vragenlijsten naar factor en variabele Factor uit intentiemodel 1b. houding t.o.v. effectiviteit

Variabele effectiviteit van beoordelen in de bpv

3a. eigen competentie

vakkennis en -vaardigheden

beoordelingsvaardigheden 3d. keuzemogelijkheid

druk, verantwoordelijkheid

Stelling in vragenlijst praktijkopleiders "Beoordelen van een leerling in de beroepspraktijk is een effectieve manier om het eindniveau van een leerling te bepalen." "Ik heb voldoende vakkennis en −vaardigheden om een leerling te kunnen beoordelen." "Ik kan een leerling objectief beoordelen." "Ik heb het gevoel dat de beslissing om te beoordelen mij wordt opgedrongen."

Exploratieve factoranalyse van initiële vragenlijst Een initiële vragenlijst voor praktijkopleiders is uitgezet onder een beperkte groep praktijkopleiders, om met exploratieve factoranalyse de kwaliteit van de vragenlijst te testen, en op basis van de resultaten de vragenlijst zo mogelijk aan te passen. Omdat de vragenlijst vrij lang was, was deze analyse er ook op gericht het aantal items zo mogelijk te verminderen. In verband met de grootte van de groep docenten/bpv-begeleiders (N=52) heeft bij deze groep geen exploratieve factoranalyse plaatsgevonden: dit zou leiden tot onvoldoende beschikbare respondenten bij de definitieve dataverzameling. Aangenomen is dat de resultaten ten behoeve van aanpassing van de vragenlijst geëxtrapoleerd konden worden naar de docentenvragenlijst. Een groep van 32 praktijkopleiders heeft de initiële vragenlijst volledig ingevuld. Principale Componenten Analyse (PCA) is uitgevoerd op de in voorgaande paragraaf genoemde stellingen. Aangezien de groep beperkt is, worden diverse assumpties voor factoranalyse geschonden. Deze factoranalyse is dan ook alleen toegepast om de items en de onderliggende factorstructuur te testen. Inspectie van de correlatiematrix van alle 37 variabelen gaf bij acht variabelen onvoldoende correlatie (<.30), en bij drie keer twee variabelen teveel correlatie (>.80) (Field, 2009). Deze variabelen zijn uitgesloten van factoranalyse. Verdere factoranalyse is uitgevoerd op de overblijvende 23 variabelen. De Kaiser-Meyer-Olkin waarde (KMO) was met .61 middelmatig (Field, 2009). Verwijderen van nogmaals drie variabelen met een individuele KMO-waarde lager dan .50 leidde tot een stijging van de totale KMO-waarde tot .65, nog steeds middelmatig volgens Field (2009). De significante Bartlett's test of sphericity (p<.001) gaf aan dat interitemcorrelatie hoog genoeg was om PCA uit te voeren. Directe Oblimin rotatie is uitgevoerd vanwege de verwachte correlatie tussen de factoren. Een eerste analyse gaf vier factoren met een eigenwaarde > 1, namelijk Keuzemogelijkheid, Complexiteit, Competentie en Mening van anderen. Deze oplossing verklaart 73% van de variantie. De invloed van de variabelen op de vier factoren was niet eenduidig, waarschijnlijk als gevolg van de beperkte steekproef. De factoren Keuzemogelijkheid, Complexiteit en Competentie hadden allen een hoge betrouwbaarheid (Cronbach's α = .89, .88 en .84); de component Mening van anderen scoorde lager, maar voldoende (Cronbach's α=.73) (Field, 2009). J.G.M. van 't Spijker | 0468975

|17

De praktijkopleider als beoordelaar Omdat de factoranalyse wel richting gaf, maar niet duidelijk maakte welke variabelen konden vervallen, is de vragenlijst slechts in beperkte mate aangepast. Eén stelling is vervallen ('Een praktijkopleider moet zijn leerling uitsluitend begeleiden, niet beoordelen'), twee stellingen zijn gecombineerd tot één stelling, en vier stellingen zijn aangescherpt. Daarnaast is de startvraag ('Ik ben een praktijkopleider/docent/anders') verduidelijkt. Met deze vraag eindigde de vragenlijst direct voor respondenten die niet zelf leerlingen begeleiden. Hiermee eindigde de vragenlijst echter ook voor sommige respondenten, die wel leerlingen begeleiden, maar zichzelf geen praktijkopleider noemen. Ten slotte is ook de verplichting om te antwoorden bij enkele vragen verwijderd, omdat bleek dat juist bij deze vragen vaak voortijdig werd gestopt met invullen. Wijzigingen in de vragenlijst voor praktijkopleiders zijn ook doorgevoerd in de definitieve docentenvragenlijst. De definitieve vragenlijsten zijn opgenomen als bijlage.

Participanten Praktijkopleiders De aangepaste vragenlijst voor praktijkopleiders is verspreid onder contactpersonen van in het register van Erkende Leerbedrijven van ECABO opgenomen leerbedrijven, waar in 2010 en/of 2011 een leerling of stagiair van een secretariële of ICT-opleiding begeleid werd, in totaal ruim 8000 bedrijven. Om de relatie tussen de bereidheid en intentie enerzijds en de factoren uit het intentiemodel anderzijds te onderzoeken was factoranalyse nodig. Voor een betrouwbare factoranalyse was een aantal van minimaal 150 respondenten per sector (Secretarieel en ICT) wenselijk (Guadagnoli en Velicer, 1988). Uitgaande van een lage respons in verband met de periode waarin het onderzoek werd uitgevoerd (juni-september) is een aselecte steekproef getrokken van n≈750 uit beide sectoren. Iets meer dan 1500 praktijkopleiders hebben een uitnodiging gehad; 374 praktijkopleiders zijn gestart met de vragenlijst, en 314 praktijkopleiders hebben deze volledig ingevuld. Van de respondenten was 59% betrokken bij de secretariële opleidingen, 41% was betrokken bij ICT-opleidingen. Zevenenveertig procent van de respondenten was vrouw, 53% man. De leeftijd van de respondenten varieerde van 19 tot 75 jaar, met een gemiddelde leeftijd van 43 jaar. Van de respondenten begeleidde 59% op het moment van afname een leerling, 40% begeleidde één tot twee jaar geleden een leerling, en minder dan 1% begeleidde langer dan twee jaar geleden een leerling. Het gemiddelde opleidings- en functieniveau waren hoger dan aanvankelijk verwacht: 46% van de respondenten heeft een hbo- of universitaire studie afgerond, en 55% van de respondenten heeft een leidinggevende of directiefunctie.

18

|



Docenten Opleidingsadviseurs van ECABO hebben contactpersonen van onderwijsinstellingen opgegeven, die benaderd konden worden. Er is dus geen sprake van een willekeurige steekproef. In totaal hebben 52 personen een uitnodiging gehad om de online vragenlijst in te vullen. Ook na herhaalde oproepen hebben slecht 17 respondenten de vragenlijst ingevuld (acht docenten, acht bpvbegeleiders en één 'overig'). De lage respons is waarschijnlijk het gevolg van de periode waarin het onderzoek werd uitgevoerd, namelijk juli tot en met september: het einde van het oude schooljaar, de vakantieperiode en het begin van het nieuwe schooljaar, waarin docenten over het algemeen erg druk zijn met de opstart van het nieuwe schooljaar. Acht respondenten waren betrokken bij secretariële opleidingen, negen bij ICT-opleidingen. Het betrof 13 mannelijke en vier vrouwelijke respondenten. De leeftijd van de respondenten varieerde van 35 tot 58 jaar, met een gemiddelde leeftijd van 49 jaar. Ook bij de docenten/bpv-begeleiders was het gemiddelde opleidingsniveau hoog: 56% heeft een hbo- of universitaire studie afgerond.

Databewerking en -analyse Databewerking De databestanden van de online vragenlijsten zijn ingelezen in SPSS. Verschillende bewerkingen zijn toegepast om analyses mogelijk te maken. In de vragenlijst was de formulering van verschillende vragen afhankelijk van eerdere antwoorden. Zo leidde de keuze voor de sector ICT tot de vraag 'Heeft u een ICT-gerelateerde beroepsopleiding gevolgd?' , terwijl de keuze voor de sector Secretarieel leidde tot de vraag 'Heeft u een secretariële beroepsopleiding gevolgd?'. Deze vragen zijn samengevoegd (in bovenstaand voorbeeld tot 'Heeft u een gerelateerde beroepsopleiding gevolgd?'). De scores van zes stellingen zijn omgedraaid om zo dezelfde richting te verkrijgen (namelijk 1 is laag, 5 is hoog). Twee vragen zijn omgezet van nominale in dichotome variabelen ('Heeft u een training gevolgd?' en 'Heeft u ervaring met beoordelen?'). De antwoorden op de open vragen naar functie en randvoorwaarden zijn geclusterd tot nominale variabelen. Zestig respondenten (praktijkopleiders) zijn halverwege de vragenlijst gestopt. Omdat er voldoende respons was, zijn alle antwoorden van deze respondenten niet opgenomen in de analyse.

Data-analyse Na dataverzameling is opnieuw factoranalyse uitgevoerd om de relatie tussen de bereidheid en intentie (de afhankelijke variabelen) enerzijds en de factoren uit het intentiemodel (de onafhankelijke variabelen) anderzijds te onderzoeken. Weer werd Principale Componenten Analyse (PCA) met directe Oblimin rotatie uitgevoerd. Alleen variabelen met factorladingen >.40 zijn opgenomen in de factorstructuur (Field, 2009). Elke factor is onderworpen aan een betrouwbaarheidsanalyse, waarbij is uitgegaan van een minimale Cronbach's α van .80 (Field, 2009). Met meervoudige regressieanalyse is vervolgens de invloed van de factoren op bereidheid en intentie getoetst. Hierbij zijn de factoren eerst 'backwards' en vervolgens middels 'forced entry'


|19

De praktijkopleider als beoordelaar ingevoerd. Het model is gecontroleerd door dezelfde analyse opnieuw uit te voeren met een sample van 80% random getrokken respondenten (Field, 2009). Om te bepalen of achtergrondkenmerken significant invloed hebben op bereidheid en intentie zijn correlatieanalyses uitgevoerd (zie tabel 5). Bij alle analyses is tweezijdig getoetst, uitgaande van een significantieniveau van .05. De assumpties zijn bij alle analyses getoetst; waar deze geschonden worden wordt dit in de resultaten gerapporteerd. Tabel 5: Uitgevoerde analyses achtergrondkenmerken Analyse Point-biserial correlation

Pearson's correlation

one-way ANOVA

20

|

Achtergrondkenmerken praktijkopleiders geslacht sector gerelateerde beroepsopleiding gevolgd ervaring met formatief/summatief beoordelen leerling op niveau 2, 3 of 4 begeleid training over beoordelen gevolgd (dichotoom) leeftijd aantal jaar werkervaring in huidige functie opleidingsniveau begeleidingservaring hoe recent begeleid bbl- of bol-leerling (of beide) begeleid functie training over beoordelen gevolgd (nominaal)

Achtergrondkenmerken docenten geslacht sector ervaring met formatief/summatief beoordelen betrokken bij opleiding op niveau 2, 3 of 4 bekendheid met praktijkopleiders in de regio leeftijd aantal jaar werkervaring in huidige functie opleidingsniveau betrokken bij bbl- of bolleerlingen (of beide) functie -



Resultaten Factoranalyse Principale Componenten Analyse (PCA) met directe Oblimin rotatie is uitgevoerd op de items uit de vragenlijst praktijkopleiders die de factoren uit het intentiemodel meten. Voorafgaand aan de analyse werden getoetst of de data voldeden aan de assumpties voor factoranalyse. Volgens Guadagnoli en Velicer (1988) is bij een beperkt aantal variabelen per component en lage componentladingen (rond .40) een steekproefgrootte van 300 respondenten wenselijk. Met een N van 314 wordt hieraan voldaan. Inspectie van de correlatiematrix van alle 35 variabelen gaf bij negen variabelen onvoldoende correlatie (<.30). Deze variabelen zijn uitgesloten van de factoranalyse. Verdere factoranalyse is uitgevoerd op de overblijvende 26 variabelen. De KaiserMeyer-Olkin waarde was met .91 uitstekend (Field, 2009). De individuele KMO-waarden liepen uiteen van .84 tot .96, ruim boven de minimale gewenste waarde van .50 (Field, 2009). De significante Bartlett's test of sphericity (p<.001) gaf aan dat interitemcorrelatie hoog genoeg was om PCA uit te voeren. Een eerste analyse gaf vijf factoren met een eigenwaarde > 1 (Kaiser's criterium). Op basis van het scree plot zouden vier factoren behouden blijven. Parallel Analyse, uitgaande van 26 variabelen en 314 respondenten, geeft aan dat de eigenwaarden van drie factoren uitkomen boven corresponderende waarden van willekeurig gegenereerde data. De oplossing met drie factoren verklaart 52,7% van de variantie; met vijf factoren wordt 62,0 % van de variantie verklaard. Gezien de grootte van de steekproef is de oplossing met vijf factoren te verantwoorden (Field, 2009). Tabel 6 toont de factorladingen na rotatie. De factorladingen suggereren de volgende factoren: factor 1 vertegenwoordigt de ervaren eigen competentie, factor 2 de ervaren complexiteit van de taak, factor 3 de ervaren keuzemogelijkheid, factor 4 de houding ten opzichte nut en effectiviteit van het beoordelen, en factor 5 de waarde die het beoordelen heeft voor de respondent persoonlijk. Deze factoren hadden allen een voldoende hoge betrouwbaarheid, Cronbach's α tussen .77 en .91. De eerste vier factoren sluiten aan bij het intentiemodel. Factor 5 was echter niet verwacht; de factor suggereert dat de praktijkopleider meer dan verwacht laat meewegen of het beoordelen hem persoonlijk wat oplevert (ervaring of een positieve beoordeling van de werkgever). Daarnaast lijkt het belang van de ervaren controle meer mee te wegen dan de overige twee factoren uit de oorspronkelijke TPB-model (Ajzen & Fishbein, 2005). Bij het uitvoeren van de PCA werd de assumptie 'normaalverdeelde data' geschonden, omdat men gemiddeld hoger dan 3 op de schaal van 1 tot 5 scoorde. Bij generalisatie van de gegevens naar andere populaties moet dus voorzichtigheid betracht worden.


|21


Ik kan een leerling eerlijk beoordelen. Ik heb voldoende vakkennis en -vaardigheden om een leerling te kunnen beoordelen. Ik kan een leerling objectief beoordelen. Ik kan mijn beoordeling onderbouwd uitleggen aan de leerling. Ik kan een leerling precies beoordelen. Ik heb voldoende didactische kennis en vaardigheden om een leerling te kunnen beoordelen. Ik heb voldoende kennis over de inhoud van de opleiding om een leerling te kunnen beoordelen. Ik kan schriftelijk onderbouwd rapporteren over mijn beoordeling aan de onderwijsinstelling. Vind ik moeilijk: Aan de leerling uitleggen wat het resultaat van de beoordeling is, en waarom hij dit resultaat kreeg. Vind ik moeilijk: Een gesprek met een leerling voeren over het beoordelingsportfolio, op basis van vooraf vastgestelde criteria. Vind ik moeilijk: De resultaten van de beoordeling schriftelijk terugkoppelen aan de school (met behulp van een standaardformulier). Vind ik moeilijk: Het handelen van een leerling in de beroepspraktijk observeren en beoordelen. Ik vind dat mijn taak als praktijkopleider te zwaar wordt, als ik ook moet beoordelen. (omgedraaid) Ik heb het gevoel dat de beslissing om te beoordelen mij wordt opgedrongen. (omgedraaid) Als mijn beoordeling een groot onderdeel is in de hele eindbeoordeling jaagt mij dat schrik aan. (omgedraaid)

Houding t.o.v.

Waarde

beoordelen

voor mijzelf

Competentie

Complexiteit

mogelijkheid

.84 .83

-.07 .10

-.09 .08

.17 -.02

.03 -.03

.81 .77 .77 .76

-.10 -.14 -.08 -.14

-.16 -.06 -.08 .10

.10 .18 .03 -.09

.06 -.01 .06 -.05

.55

.09

.25

-.28

.22

.51

-.25

.11

.10

.14

.05

-.86

.08

-.03

-.07

.13

-.77

-.01

-.02

.04

.01

-.74

.11

.09

.04

.14

-.58

.14

.06

.01

-.01

-.15

.76

.05

.04

-.09

-.06

.73

.08

.07

.28

-.12

.61

.06

-.12 (vervolgd)


Items

Keuze-

|

Geroteerde factorladingen

22

Tabel 6: Samenvatting van de Principale Componenten Analyse met directe Oblimin rotatie van de vragenlijst praktijkopleiders (N=314)

Geroteerde factorladingen


Items Ik heb geen tijd om een leerling te beoordelen. (omgedraaid) Elke leerling heeft er profijt van als hij in de praktijk door de praktijkopleider beoordeeld wordt. Beoordelen van een leerling in de beroepspraktijk is een effectieve manier om het eindniveau van een leerling te bepalen. Het is de moeite waard om als praktijkopleider tijd en energie te besteden aan de beoordeling van een leerling. Een praktijkopleider kan een waardevolle bijdrage leveren aan de eindbeoordeling van een leerling. Ik vind het vanzelfsprekend dat de praktijkopleider betrokken is bij de beoordeling van zijn eigen leerling. Het diploma van een leerling is meer waard als de praktijkopleider zeggenschap heeft gehad in het slagen/zakken van een leerling. Mijn leidinggevende heeft er waardering voor dat ik tijd en energie besteed aan mijn rol als praktijkopleider. Mijn leidinggevende staat er positief tegenover/zal er positief tegenover staan dat ik mijn leerling beoordeel De ervaring die ik opdoe bij het beoordelen van mijn leerling kan ik goed in andere situaties gebruiken. Ik vind het beoordelen van mijn leerling een verrijking van mijn taak als praktijkopleider. Eigenwaarde per factor % verklaarde variantie Cronbach's α

Keuze-

Houding t.o.v.

Waarde

beoordelen

voor mijzelf

Competentie

Complexiteit

mogelijkheid

-.06 .01

-.21 -.13

.51 -.11

-.04 .79

.25 .05

.04

-.03

.11

.72

-.04

-.04

-.17

-.04

.56

.30

.22

.18

.19

.48

.13

.15

.25

.35

.44

.05

.13

.14

.24

.44

.14

-.01

-.02

-.10

-.02

.85

-.02

-.01

.05

-.01

.79

.01

.03

.06

.06

.69

.17

.05

.07

.11

.60

9.40 36.14 .91

2.57 9.90 .83

1.74 6.70 .77

1.30 5.01 .80

1.11 4.30 .78


|23

Tabel 6 (vervolg)


Bereidheid praktijkopleiders De bereidheid van praktijkopleiders om summatief te beoordelen is groot. Binnen het scenario 'praktijkopdracht na een inwerkperiode' was 86% van de praktijkopleiders bereid tot zeker bereid de beoordeling uit te voeren; binnen het scenario 'praktijkopdracht na een leerperiode' was dit 83%, en binnen het scenario 'portfolio-assessment na afloop van de bpv-periode' was 73% van de praktijkopleiders bereid tot zeker bereid de beoordeling uit te voeren (zie ook tabel 11). De redenen die zijn aangegeven worden geclusterd weergegeven in tabel 7. Tabel 7: Redenen voor bereidheid praktijkopleiders: aantal keer genoemd per scenario na inwerkperiode

na leerperiode

portfolioassessment

60 56 48 25 26 10 6

50 61 32 19 37 7 4

53 52 28 8 20 3 6

8 2

8 1 1

12 7 -

Bereid: goede methode hoort erbij/is mijn taak goed voor de leerling ik ben competent in de praktijk toetsen is belangrijk vergelijkbaar met beoordelen werknemers overig Niet bereid: goede methode dit is de taak van de school overig

Ook bij de vragen naar de intentie om de zes belangrijkste deeltaken binnen het beoordelingsproces uit te voeren wordt positief geantwoord (zie tabel 8). De deeltaak 'tijd, plaats en opdracht regelen' scoort relatief het slechtst: 77% van de praktijkopleiders zal deze taak wel/zeker wel uitvoeren. Deze taak wordt ook relatief als het moeilijkst ervaren. De deeltaak 'mondelinge feedback aan leerling' scoort het best: 92% van de praktijkopleiders zal deze deeltaak wel/zeker wel uitvoeren. Tabel 8: Intentie praktijkopleiders tot het uitvoeren van een deeltaak (N=314) Deeltaak Tijd, plaats en opdracht regelen Praktijkobservatie Beroepsproducten beoordelen Gesprek over portfolio voeren Mondelinge feedback aan leerling Schriftelijke feedback aan onderwijsinstelling

M

SD

Min

Max

3.91 4.17 4.08 4.12 4.22 4.03

.780 .598 .654 .618 .592 .680

1 2 1 2 2 2

5 5 5 5 5 5

Aan het eind van de vragenlijst is gevraagd naar de randvoorwaarden om de beoordeling uit te voeren. Meest genoemd is dat de beoordelingsinstrumenten en het beoordelingsproces duidelijk zijn (n=129). Hierbinnen wordt 92 maal gesteld dat de beoordelingscriteria duidelijk 24

|


De praktijkopleider als beoordelaar moeten zijn. Men stelt de leerling zelf ook als randvoorwaarde: leerling moet zich inzetten tijdens stage en praktijkopdracht (n=53), voldoende voorbereid beginnen aan de stage (n=8) en alles afronden tijdens de stage (n=11). Ook goede begeleiding vanuit de onderwijsinstelling wordt vaak genoemd (n=62). Dit kan de begeleiding van de leerling zijn (28 keer genoemd), of afstemming tussen docent en praktijkopleider (32 keer genoemd). Een goede begeleiding van ECABO wordt zes maal genoemd. Zesentwintig respondenten noemen een goede balans tussen theorie en praktijk; in de weging van de beoordeling (n=14) of in de invulling van de examenopdracht, die moet passen bij de beroepspraktijk (n=12). Ook wordt een (grotere) kennis van de inhoud van de opleiding genoemd als randvoorwaarde (24 keer genoemd, waarbij negen respondenten een cursus als randvoorwaarde zien).

Beïnvloedende factoren Om te bepalen in hoeverre de gevonden factoren de bereidheid van praktijkopleiders tot beoordelen voorspellen is meervoudige regressieanalyse uitgevoerd, in eerste instantie met 'backwards entry'. De invloed van de factoren Keuzemogelijkheid, Houding ten opzichte van het beoordelen, Competentie, Complexiteit en Waarde voor mijzelf op de totaalscore voor bereidheid (alle scenario's) en intentie (alle taken) is onderzocht. De factor Waarde voor mijzelf bleek van onvoldoende invloed, en maakt geen onderdeel uit van het definitieve model. De invloed van de overige factoren is nogmaals bepaald middels 'forced entry', waardoor een zuiverder resultaat wordt bereikt (Field, 2009). Dit leverde een model op dat 28% van de variantie in bereidheid en 37% van de variantie in intentie voorspelt. Voor bereidheid was Keuzemogelijkheid de grootste voorspeller (tabel 9); voor intentie was dit Complexiteit van de taak (tabel 10). Tabel 9: Meervoudige analyse op bereidheid van praktijkopleiders voor alle scenario's (N=314) Constante Keuzemogelijkheid Houding t.o.v. beoordelen Competentie Complexiteit R2=.28

B 2.14 0.22 0.12 0.07 0.09

SD B 0.99 0.05 0.04 0.03 0.06

β

t

p

.27 .17 .14 .10

4.20 2.83 2.08 1.69

<.001 .005 .039 .092

Tabel 10: Meervoudige analyse op intentie van praktijkopleiders voor alle taken (N=314) Constante Keuzemogelijkheid Houding t.o.v. beoordelen Competentie Complexiteit R2=.37


B 4.60 0.20 0.22 0.14 0.47

SD B 1.56 0.08 0.07 0.05 0.09

β

t

p

.14 .18 .16 .30

2.39 3.23 2.68 5.45

.018 .001 .008 <.001

|25

De praktijkopleider als beoordelaar In deze context is het goed om kort in te gaan op de scores die de factoren vormen. Voor de vier stellingen die factor Keuzemogelijkheid vormen scoort men gemiddeld 3.93 op de schaal van 1 tot 5, voor de zes stellingen die Houding ten opzichte van beoordelen vormen scoort men gemiddeld 4.08, voor de acht stellingen van Competentie gemiddeld 3.99, en voor de vier stellingen die Complexiteit vormen gemiddeld 3.82. Dit zijn bovengemiddeld positieve scores: men ziet zichzelf bijvoorbeeld over het algemeen als competent, en vindt de deeltaken makkelijk. De correlatieanalyses van de achtergrondkenmerken met bereidheid en intentie laten zien dat de achtergrondkenmerken weinig tot geen significante invloed uitoefenen op bereidheid of intentie. Ervaring in het summatief beoordelen correleert enigszins met de bereidheid voor het beoordelen na een leerperiode (rpb =.21, p < .001). Ervaring in het formatief beoordelen correleert met de intentie om een beroepsproduct te beoordelen (rpb=.21, p<.001). De functie (geclusterd in vier categorieën: directeur/eigenaar, leidinggevende, medewerker en opleider) correleert matig met de intentie om mondelinge feedback te geven aan de leerling (F(2, 213)=7.99, p<.001) en de intentie om het portfolio-assessment uit te voeren (F(2,213)=5.06, p<.01). Met uitzondering van een kleine significante correlatie tussen sector en bereidheid het portfolio-assessment uit te voeren (rpb=-.113, p<.05) correleren de achtergrondkenmerken 'sector' en 'bbl/bol' niet significant met bereidheid en intentie. Beide hypothesen worden daarom verworpen voor de praktijkopleiders: praktijkopleiders bij ICT-opleidingen tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij secretariële opleidingen, en praktijkopleiders die BBL-leerlingen begeleiden tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij BOLleerlingen.

Bereidheid docenten/bpv-begeleiders Onder de docenten/bpv-begeleiders die de vragenlijst hebben ingevuld is over het geheel genomen ook sprake van grote bereidheid om praktijkopleiders summatief te laten beoordelen. In verband met het kleine aantal respondenten kan deze conclusie niet gegeneraliseerd worden. De bereidheid van docenten/bpv-begeleiders is binnen het scenario 'portfolio-assessment na afloop van de stage' opvallend lager dan die van praktijkopleiders (zie tabel 11): bijna de helft van de respondenten antwoordt 'neutraal'.

26

|


De praktijkopleider als beoordelaar Tabel 11: Bereidheid per scenario Praktijkopleiders Scenario praktijkopdracht na een inwerkperiode praktijkopdracht na een leerperiode portfolio-assessment

Docenten/bpv-begeleiders

N

M

SD

Min

Max

N

M

SD

Min

Max

314

3.91

.780

1

5

17

3.94

.827

2

5

314

4.17

.598

2

5

17

4.18

.809

2

5

314

4.08

.654

1

5

16

3.56

.814

2

5

Ook docenten/bpv-begeleiders antwoorden overwegend positief bij de vragen naar de intentie om de zes belangrijkste deeltaken binnen het beoordelingsproces uit te laten voeren (zie tabel 12), hoewel relatief vaker wordt gekozen voor de antwoordmogelijkheid 'neutraal'. De deeltaak 'gesprek over portfolio voeren' scoort relatief het slechtst: 50% van de docenten/bpvbegeleiders antwoordt neutraal, en 36% zal deze taak wel/zeker wel laten uitvoeren. Van alle deeltaken scoort deze deeltaak ook als het moeilijkst: ruim 40% van de docenten vindt deze taak moeilijk tot zeer moeilijk voor de praktijkopleiders. De deeltaak 'praktijkobservatie' scoort het best: 93% van de docenten/bpv-begeleiders zal deze deeltaak wel/zeker wel laten uitvoeren.

Tabel 12: intentie docenten/bpv-begeleiders tot het laten uitvoeren van een deeltaak (N=14) Deeltaak Tijd, plaats en opdracht regelen Praktijkobservatie Beroepsproducten beoordelen Gesprek over portfolio voeren Mondelinge feedback aan leerling Schriftelijke feedback aan onderwijsinstelling

M

SD

Min

Max

3.21 4.07 3.79 3.14 3.50 3.64

.802 .475 .579 .864 .650 .929

2 3 2 1 2 2

4 5 4 4 4 5

Aan docenten is gevraagd naar de redenen voor het wel of niet laten uitvoeren van de beoordeling binnen de scenario's en van de deeltaken. Redenen die door meer dan één respondent worden gegeven zijn: 'ik heb vertrouwen in de deskundigheid van de praktijkopleider' (drie keer genoemd), 'de praktijkopleider heeft toegevoegde waarde, omdat hij op basis van bedrijfsnormen beoordeelt' (drie keer genoemd) en 'we hebben goede ervaringen met beoordelen door de praktijkopleider' (twee keer genoemd). Docenten/bpv-begeleiders noemden als randvoorwaarde 'duidelijke beoordelingsinstrumenten en duidelijk beoordelingsproces' (zeven keer genoemd) en 'praktijkopleiders moeten aan kwaliteitscriteria voldoen' (drie keer genoemd).


|27


Beïnvloedende factoren Gezien het beperkte aantal respondenten op de docentenvragenlijst is het niet mogelijk definitieve uitspraken te doen over de factoren die van invloed zijn op de bereidheid van docenten. De meervoudige regressieanalyse geeft geen significante resultaten; daarbij worden vrijwel alle assumpties geschonden. Over de invloed van de factoren uit het intentiemodel op de bereidheid van docenten/bpv-begeleiders kan dus geen uitspraak worden gedaan. Met het voorbehoud van de beperkte steekproef: de achtergrondkenmerken lijken iets meer dan bij de praktijkopleiders van invloed te zijn op de bereidheid en intentie van docenten. Uit de correlatieanalyses blijkt significante correlatie tussen het begeleiden van leerlingen op niveau 2 en de bereidheid de praktijkopleider het portfolio-assessment te laten uitvoeren (rpb=.71, p<.05) en de intentie de praktijkopleider het gesprek over het portfolio te laten voeren (rpb=.67, p<,01). Het is mogelijk dat docenten deze examenvorm niet geschikt vinden voor de opleiding op niveau 2, en daarom negatiever oordelen. Dit is niet onderzocht. Ook is er een significante correlatie tussen de mate waarin men de praktijkopleiders in de regio kent en de bereidheid het portfolio-assessment te laten uitvoeren (F(3, 12)=5.07, p<.05). Ten slotte is er een significante correlatie tussen de intentie de praktijkopleider de praktijkobservatie te laten uitvoeren en het opleidingsniveau van de docent (F(1, 12)=8.77, p<.05). De achtergrondkenmerken 'sector' en 'bbl/bol' correleren niet significant met bereidheid en intentie. Beide hypothesen worden daarom ook verworpen voor de docenten/bpvbegeleiders: docenten/bpv-begeleiders bij ICT-opleidingen tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij secretariële opleidingen, en docenten/bpv-begeleiders die BBL-leerlingen begeleiden tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij BOL-leerlingen.

28

|



Conclusie en discussie Conclusie Doel van dit onderzoek was te bepalen in hoeverre praktijkopleiders bereid zijn om de summatieve beoordeling in de beroepspraktijk uit te voeren en vertegenwoordigers van onderwijsinstellingen om deze beoordeling door praktijkopleiders te laten uitvoeren. Ook is onderzocht of en zo ja welke factoren deze bereidheid beïnvloeden.

Bereidheid De bereidheid om in de beroepspraktijk summatief te (laten) beoordelen is hoog, onder praktijkopleiders en docenten/bpv-begeleiders. Er is gevraagd naar de bereidheid binnen drie scenario's: het beoordelen van een praktijkopdracht na een inwerkperiode, na een leerperiode, en het beoordelen middels het voeren van een criteriumgericht interview op basis van een portfolio. De bereidheid voor het (laten) beoordelen van een praktijkopdracht is hoog: in beide scenario's is zo'n 80% van de respondenten (praktijkopleiders én docenten/bpv-begeleiders) bereid tot zeer bereid deze beoordeling uit te voeren of uit te laten voeren. De bereidheid om het criteriumgerichte interview bij het portfolio-assessment uit te (laten) voeren is bij beide groepen lager dan bij de eerstgenoemde scenario's: 73% van de praktijkopleiders en slechts 50% van de docenten/bpv-begeleiders is hiertoe bereid tot zeer bereid. Opvallend hierbij is het verschil in intentie tot uitvoeren van deze taak en de beleving van de complexiteit van deze taak. De helft van de docenten/bpv-begeleiders antwoordde 'neutraal' op de vraag naar de intentie om praktijkopleiders de deeltaak ' gesprek over portfolio' te laten uitvoeren, en 43% vindt dit een moeilijke tot zeer moeilijke deeltaak voor de praktijkopleiders. De praktijkopleiders oordeelden hier zelf positiever over: 70% vindt het gesprek over het portfolio voeren een makkelijke tot zeer makkelijke taak, en 89% zegt deze taak te zullen uitvoeren. Dit verschil is mogelijk het gevolg van het verschil in referentiekader tussen praktijkopleiders en docenten/bpv-begeleiders, maar dat is niet onderzocht. De bereidheid van praktijkopleiders is hoger dan verwacht. Mogelijk zien de praktijkopleiders de summatieve beoordeling als een logisch onderdeel van hun rol als praktijkopleider binnen het competentiegerichte onderwijs, maar hier moet wel een voorbehoud worden gemaakt. De respondenten rapporteerden namelijk een relatief hoog opleidingsniveau en relatief hoge functies. Van de respondenten had 55% een hbo- of wetenschappelijke opleiding gevolgd, en ook had 55% van de respondenten een leidinggevende of directiefunctie (niet volledig dezelfde respondenten). Dit kan te maken hebben met de onderzochte sectoren. Veel stagiairs in secretariële opleidingen worden begeleid door een leidinggevende , die meestal geen secretariële achtergrond heeft, maar bijvoorbeeld een managementopleiding heeft gevolgd. ICT-bedrijven, of ICT-afdelingen in grote bedrijven, bestaan vaak uit een mix van medewerkers met een mbo- en hbo-achtergrond. Het is de vraag of opleidings- en functieniveau van praktijkopleiders in andere sectoren even hoog zijn. In meer


|29

De praktijkopleider als beoordelaar ambachtelijke beroepen (zoals schilders en kappers) zullen stagiairs vaker begeleid worden door iemand met dezelfde mbo-achtergrond, en ongeveer dezelfde functie. Hoewel opleidingsniveau en functie binnen de onderzochte populatie geen significante correlatie vertoonden met bereidheid en intentie, is het mogelijk dat dit buiten de onderzochte populatie wel het geval is. Opvallend veel praktijkopleiders reageren op de vraag waarom ze bereid zijn de summatieve beoordeling uit te voeren met de opmerking 'dit hoort erbij', en verschillende praktijkopleiders benoemden dat ze eigen werknemers ook beoordelen, en dus geen reden zien om de stagiairs niet ook te beoordelen, ook niet als dat een beoordeling voor een high-stake beslissing is. De actieve rol als coach die het leer- en ontwikkelingsproces van de leerling ondersteunt (De Bruijn & Van Kleef, 2006) is blijkbaar al volledig omarmd.

Beïnvloedende factoren Volgens de Theory of Planned Behavior (Ajzen en Fishbein, 2005) komt de intentie tot het vertonen van gedrag, en daarmee het feitelijke gedrag, voort uit de overtuigingen die men heeft over 1) het gedrag op zich, 2) de subjectieve norm (de mening van en over anderen) en 3) de perceptie van controle op het gedrag (Ajzen & Fishbein, 2005). Variabelen die voortkomen uit onderzoek naar innovatiebereidheid en taakmotivatie (Blumberg & Pringle, 1982; Gaith & Yaghi, 1997; Schultz et al., 2010; Stein & Wang, 1988; Thomas & Velthouse, 1990) zijn ondergebracht in het TPB-model, ten behoeve van een nieuw theoretisch model, dat de beïnvloedende factoren op de bereidheid om summatief te beoordelen weergeeft (figuur 2). De factor 'ervaren controle' is hiermee nader uitgewerkt in vier deelfactoren: perceptie van eigen competentie, complexiteit van de taken, ondersteuning en keuzemogelijkheid. Vanwege de beperkte respons van docenten/bpv-begeleiders kon factoranalyse, gevolgd door meervoudige regressieanalyse, uitsluitend uitgevoerd worden met data van de praktijkopleiders. Deze analyses leidden tot diverse resultaten. Verschillende factoren uit het intentiemodel, maar niet alle, blijken de bereidheid van praktijkopleiders te voorspellen. In het intentiemodel was verondersteld dat de invloed van de subjectieve norm beperkt was, en de invloed van de ervaren controle groter. Zoals verwacht heeft de subjectieve norm geen invloed op de bereidheid tot beoordelen in de beroepspraktijk. De factoren 'houding ten opzichte van het beoordelen' en 'ervaren controle' worden in dit onderzoek inderdaad onderscheiden. Wat hierbij opvalt is de grote invloed van de ervaren controle. Keuzemogelijkheid, onderdeel van de ervaren controle, was de grootste voorspeller voor de bereidheid om te beoordelen in verschillende scenario's; de Complexiteit van de taak was de grootste voorspeller voor de intentie om de verschillende deeltaken van het beoordelen uit te voeren. De perceptie dat je als praktijkopleider verplicht wordt tot een taak heeft vooral invloed op de bereidheid in het algemeen, terwijl bij de vraag of je als praktijkopleider deeltaken wilt uitvoeren meer gedetailleerd gekeken wordt naar de taak op zich. Hierbij blijkt de complexiteit van de taak meer invloed te hebben op de intentie dan de perceptie van de eigen competentie. Dit correspondeert met het feit dat men over het algemeen positiever oordeelt over de eigen competentie dan over de complexiteit van de taken.

30

|


De praktijkopleider als beoordelaar Alleen de deelfactor Ondersteuning, afkomstig uit onderzoek naar innovatiebereidheid (Schultz et al., 2010) en taakmotivatie (Blumberg & Pringle, 1982), komt niet terug in de onderzoeksresultaten. Verwacht was dat de ervaren ondersteuning vanuit de organisatie en vanuit onderwijsinstelling en ECABO van invloed zouden zijn op de bereidheid, maar dat bleek niet het geval. Dat de ondersteuning vanuit de organisatie geen rol van belang speelt kan ermee te maken hebben dat veel van de respondenten zelf een leidinggevende of directiefunctie hebben. De goedkeuring en ondersteuning van hun eigen leidinggevende en collega's, voor zover ze beiden hebben, is dan minder belangrijk voor de uitvoering van hun taak als praktijkopleider. Dat ook de ervaren ondersteuning van onderwijsinstelling en ECABO niet van invloed is kan eruit voortkomen dat men hier weinig verwachtingen van heeft. Op de vraag naar randvoorwaarden die beoordelen mogelijk maken werd namelijk vaak (met negatieve bewoordingen) genoemd dat goede begeleiding vanuit de onderwijsinstelling belangrijk is (n=62). Er werd bijvoorbeeld genoemd dat 'intensiever contact met de school noodzakelijk is', en dat 'de school meer moet helpen'. Ook bij de opmerkingen op het onderzoek werd meerdere keren genoemd dat men teleurgesteld is in de begeleiding vanuit school (en in mindere mate ECABO). Als je ervaring is dat je als praktijkopleider sowieso veel zelfstandig moet uitzoeken, zal de eventuele ondersteuning van externen weinig invloed hebben op je besluitvorming om deze extra taak uit te voeren. Betere begeleiding vanuit de onderwijsinstelling is wel een wens, maar men lijkt zich hierover weinig illusies te maken. De overige deelfactoren, afkomstig uit de onderzoeken naar innovatiebereidheid en taakmotivatie, zijn wel herkenbaar in de onderzoeksresultaten. Het betreft de overtuiging over nut, noodzaak, kosten en effectiviteit van de innovatie en de overtuiging over eigen kunnen en complexiteit van de taak ((Blumberg & Pringle, 1982; Gaith & Yaghi, 1997; Schultz et al., 2010; Stein & Wang, 1988; Thomas & Velthouse, 1990). De voorwaarde 'tijd', genoemd door Schultz et al. (2010), komt terug als onderdeel van de deelfactor Keuzemogelijkheid. Op basis van de onderzoeksresultaten kan het intentiemodel als volgt worden aangepast (figuur 3): Figuur 3: Na onderzoek aangepast theoretisch model 'intentie tot beoordelen'


|31

De praktijkopleider als beoordelaar Uit de factoranalyse kwam nog een factor 'Waarde voor mijzelf' naar voren, maar deze hield onvoldoende stand in de meervoudige regressieanalyse. Deze factor is dan ook niet opgenomen in het aangepaste intentiemodel. Naar verwachting beïnvloedt de 'werkelijke controle' het werkelijk uitvoeren van de taak. Dit is niet onderzocht, en zou dus geen onderdeel uit moeten maken van dit model, maar er zijn (nog) geen redenen om aan te nemen dat deze niet van invloed is. Er is daarom voor gekozen de werkelijke controle wel op te nemen in het model , maar dan in grijs aangegeven. Enkele achtergrondkenmerken hebben enige invloed op de overtuigingen; deze invloed is echter beperkt. Eerdere ervaring met beoordelen heeft enige invloed op de bereidheid van praktijkopleiders (een verklaarde variantie van 4%). Daarnaast is enige correlatie zichtbaar tussen de functie van de praktijkopleider en de intentie om mondelinge feedback te geven aan een leerling, of het criteriumgerichte interview uit te voeren. Aangezien praktijkopleiders met een leidinggevende- of directiefunctie in het dagelijks leven regelmatig feedback geven aan medewerkers geen opzienbarende conclusie. Overige achtergrondkenmerken hebben nauwelijks of geen significante invloed op de bereidheid. Dit geldt ook voor de kenmerken 'sector' en 'leerweg'. Betrokkenen bij ICT-opleidingen tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen bij secretariële opleidingen, en ook betrokkenen die leerlingen in de Beroepsbegeleidende Leerweg (BBL) begeleiden tonen niet meer bereidheid om de summatieve beoordeling te (laten) uitvoeren dan betrokkenen die leerlingen in de Beroepsopleidende Leerweg (BOL) begeleiden. Beide hypothesen worden daarom voor beide doelgroepen verworpen. In het onderzoek waren relatief veel praktijkopleiders die BBL- én BOL-leerlingen begeleiden (namelijk 38%). Het onderscheid tussen beide groepen was daardoor minder duidelijk dan verwacht. Mogelijk is het beeld hierdoor vertekend.

Discussie Generaliseerbaarheid van de onderzoeksresultaten De data van de praktijkopleiders waren onvoldoende normaalverdeeld. Over het algemeen werd erg positief geantwoord, waardoor er sprake is van een vertekening (skewness én kurtosis) bij veel van de items die onderdeel uitmaken van de factoren. Mogelijk is dit het gevolg van de sectoren die onderwerp waren van het onderzoek. De praktijkopleiders in beide sectoren (secretariële en ICT-opleidingen) waren hoger opgeleid en hadden vaker een leidinggevende functie dan verwacht. De onderzoeksresultaten kunnen dus niet zonder meer gegeneraliseerd worden naar andere populaties; bij extrapolatie moet voorzichtigheid betracht worden. Ook gelden de onderzoeksresultaten specifiek voor het middelbaar beroepsonderwijs; de scenario's en de wijze van beoordelen zijn niet representatief voor het hoger beroepsonderwijs. Wel is duidelijk dat overwegingen over het nut en de effectiviteit van een taak en de ervaren controle erop een rol spelen in de besluitvorming. Het gebrek aan significante verschillen tussen beide

32

|


De praktijkopleider als beoordelaar sectoren en tussen begeleiders van BBL- respectievelijk BOL-leerlingen indiceert dat de resultaten ook voor praktijkopleiders in andere beroepen kunnen gelden. De data van de docenten/praktijkopleiders zijn gebaseerd op een niet-willekeurige en beperkte steekproef. Slechts 17 van de 52 aangeschreven personen hebben de vragenlijst ingevuld. Het mag duidelijk zijn dat dit een onvoldoende betrouwbaar beeld van de hele populatie geeft. Het is daarmee ook onvoldoende duidelijk of het intentiemodel toepasbaar is bij de docenten/bpv-begeleiders, of dat bij hen (deels) andere overwegingen meespelen. Het is wenselijk om het onderzoek onder docenten/bpv-begeleiders nogmaals uit te voeren, met een grotere steekproef en in een voor docenten/bpv-begeleiders betere periode, bijvoorbeeld halverwege het schooljaar. Hierbij moet worden aangetekend dat onbekend is hoe groot de feitelijke populatie is van docenten en bpv-begeleiders, betrokken bij secretariële en ICTopleidingen. De benodigde steekproefgrootte is daarom moeilijk te bepalen. Het is de vraag of het gewenste aantal van 300 respondenten voor een betrouwbare factoranalyse (Guadagnoli en Velicer, 1988) überhaupt haalbaar is. Mogelijk is factoranalyse zonder specificatie naar sector wel haalbaar, omdat dan met minder respondenten volstaan kan worden.

Kwaliteit van het meetinstrument De vragenlijsten toonden een grote betrouwbaarheid, maar waren erg omvangrijk. Hierdoor hebben relatief veel respondenten de vragenlijst niet afgerond. Uit de tweede factoranalyse van de vragenlijst voor praktijkopleiders blijkt dat verschillende items, die in de eerste factoranalyse enigszins correleerden, en daarom niet zijn verwijderd uit de definitieve vragenlijst, uiteindelijk toch niet of nauwelijks correleerden. Mogelijk was dit niet of minder het geval geweest als de vragenlijst van tevoren was gevalideerd door vertegenwoordigers van de populatie. Dit is nu niet gebeurd. Doordat de eerste exploratieve factoranalyse die ter validatie werd uitgevoerd weinig concreet resultaat gaf, is de vragenlijst nauwelijks ingekort. Als de vragenlijsten nogmaals gebruikt worden kunnen de items die niet correleerden in de tweede factoranalyse vervallen. De vragenlijst was zoveel mogelijk toegeschreven naar de verschillende respondenten. Dit leidde ertoe dat vrij veel hercodering nodig was. Bij herziening van de vragenlijst is het goed de vragen minder van elkaar afhankelijk te maken, zodat minder hercodering nodig is. Om extra informatie te verzamelen is een open vraag gesteld naar de randvoorwaarden. Deze vraag gaf veel interessante informatie, maar had als nadeel dat er erg divers is geantwoord. Sommige respondenten gaven geen antwoord of noemden één kort punt, anderen antwoordden zeer uitgebreid. Mogelijk kunnen de in dit onderzoek genoemde randvoorwaarden in vervolgonderzoek omgezet worden in een gesloten vraag, waarmee duidelijk wordt hoe zwaar men deze randvoorwaarden laat meewegen in de besluitvorming.


|33


Aanbevelingen De bereidheid onder praktijkopleiders is groot. De praktijkopleider summatief laten beoordelen wat dat betreft dus een haalbare kaart, maar: in dit onderzoek is niet beoordeeld of de praktijkopleiders ook werkelijk competent zijn om te beoordelen (wat ze zelf wel zo ervaren). Voordat summatieve beoordeling door de praktijkopleider grootschalig wordt ingevoerd is objectieve beoordeling van de beoordelingsdeskundigheid van praktijkopleiders door middel van interviews en observaties verstandig. Een nader onderzoek naar de bekwaamheid van de praktijkopleiders als beoordelaar is wenselijk. Daarbij is in dit onderzoek niet getoetst of een intentie tot het uitvoeren van de taak ook werkelijk leidt tot uitvoering; ook hier is nader onderzoek aanbevelenswaardig. Het is wenselijk het onderzoek onder vertegenwoordigers van onderwijsinstellingen te herhalen. Vanwege de mogelijke vertekening van de resultaten door het hoge opleidings- en functieniveau van de praktijkopleiders in dit onderzoek is het goed de onderzoeksresultaten te testen in een cross-validation study, bij andere beroepsgroepen. De uitkomsten uit dit onderzoek met betrekking tot de beïnvloedende factoren kunnen gebruikt worden als basis voor training van en voorlichting aan praktijkopleiders. In voorlichting is het goed te benadrukken waarom men de praktijkopleider wil laten beoordelen, en hierbij voldoende aandacht te besteden aan het nut en de effectiviteit ervan. Door een heldere toelichting op de deeltaken kan de ervaren complexiteit nog verder afnemen. In trainingen moet aandacht besteed worden aan de eisen die aan een beoordelaar gesteld worden, zoals objectiviteit en didactische bekwaamheid. Ten slotte: laat de praktijkopleider zo mogelijk zelf kiezen of hij de beoordeling gaat uitvoeren. Waar nodig kan eventueel een externe beoordelaar worden ingezet. Het organiseren van de praktijkopdracht wordt door de praktijkopleiders als moeilijkste taak gezien. Mogelijk kan dit door de onderwijsinstelling gefaciliteerd worden, bijvoorbeeld door duidelijke regels te geven waar de praktijkopdracht aan moet voldoen. Duidelijkheid is ook in andere opzichten heel belangrijk. De praktijkopleiders geven aan dat ze behoefte hebben aan duidelijke beoordelingsinstrumenten en een duidelijk beoordelingsproces. Enkele praktijkopleiders, die met leerlingen van verschillende onderwijsinstellingen te maken hebben, pleiten voor landelijke beoordelingsinstrumenten, mogelijk het overwegen waard? Als laatste dit: tijdens het beoordelen is een goede communicatie tussen onderwijsinstelling en praktijkopleider essentieel. Hier profiteren alle betrokkenen van!

34

|



Literatuur Aarkrog, V. (2005). Learning in the workplace and the significance of school-based education: A study of learning in a Danish vocational education and training programme. International Journal of Lifelong Education, 24, 137-148. AEFP/EVTA Life Long Learning. (2004). Accreditation of prior learning. Reference guide for APL assessors and assessment process. Retrieved from http://www.ecabo.nl/documenten/english/LLL%20Accreditation_EN.pdf. Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes 50, 179-211. Ajzen, I., & Fishbein, M. (2005). The Influence of Attitudes on Behavior. In D. Albarracín, B.T. Johnson, & M. P. Zanna (Eds.) (2005). The handbook of attitudes (pp 173-221). Mahwah, NJ: Lawrence Erlbaum. Baartman, L. K. J. (2008). Assessing the assessment. Development and use of quality criteria for competence assessment programmes. Utrecht, Nederland: Universiteit Utrecht. Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007). Evaluating assessment quality in competence-based education: A qualitative comparison of two frameworks. Educational Research Review, 2, 114-129. Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change. Psychological Review, 84, 191-215. Bandura, A. (2001). Social cognitive theory: An agentic perspective. Annual Review of Psychology, 52, 1-26. Birenbaum, M. (1996). Assessment 2000: Toward a pluralistic approach to assessment. In M. Birenbaum, & F.J.R.C. Dochy (Eds.), Alternatives in assessment of achievement, learning processes and prior knowledge (pp 3-29). Boston, MA: Kluwer. Birenbaum, M. (2007). Evaluating the assessment: Sources of evidence for quality insurance. Studies in Educational Evaluation, 33, 29-49. Black, P., & Wiliam, D. (1998). Inside the Black Box: Raising Standards Through Classroom Assessment. Phi Delta Kappan 80, 139-144,146-148. Blumberg, M., & Pringle, C.D. (1982). The missing opportunity in organizational research: Some implications for a theory of work performance. The Academy of Management Review, 7, 560-569. Boonstra, J.J. (2000). Lopen over water. Over dynamiek van organiseren, vernieuwen en leren. Inaugurele rede. Amsterdam, Nederland: Vossiuspers. Boonstra, J.J., & Steensma, H.O. (1996). Succesvol veranderen van organisaties. In J.J. Boonstra, H.O. Steensma, & M.I. Demenint (Eds.), Ontwerpen en ontwikkelen van organisaties (pp. 275-309). Den Haag, Nederland: Elsevier Bedrijfsinformatie. Cumming, J.J., & Maxwell, G.S. (1999). Contextualising authentic assessment. Assessment in Education, 6, 177-194.


|35

De praktijkopleider als beoordelaar De Bruijn, E., & Van Kleef, A. (2006). Van idee naar interactie: Docenten en deelnemers geven vorm aan competentiegericht leren en opleiden. 's-Hertogenbosch, Nederland: CINOP. Dierick, S., & Dochy, F. (2001). New lines in edumetrics: New forms of assessment lead to new assessment criteria. Studies in Educational Evaluation, 27, 307-329. Dierick, S., Dochy, F., & Van de Watering, G. (2001). Assessment in het hoger onderwijs: Over de implicaties van nieuwe toetsvormen voor de edumetrie. Tijdschrift Voor Hoger Onderwijs, 19, 2-18. Dierick, S., Van de Watering, G., & Muijtjens, A. (2002). De actuele kwaliteit van assessment: Ontwikkelingen in de edumetrie. In F. Dochy, L. Heylen, & H. Van de Mosselaar (Eds.), Assessment in het onderwijs: Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs (pp. 91-122). Utrecht, Nederland: Lemma BV. Dochy, F. (2001). A new assessment era: Different needs, new challenges. Learning and Instruction, 10, 11-20. Dochy, F., Segers, M., & De Rijdt, C. (2002). Nieuwe ontwikkelingen in assessmentcultuur. In F. Dochy, L. Heylen, & H. Van de Mosselaar (Eds.), Assessment in het onderwijs: Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs (pp. 11-31). Utrecht, Nederland: Lemma BV. Ehren, P. L. M. (2009). Assessoren competentiegericht middelbaar beroepsonderwijs. Over taken en competenties, training en begeleiding, certificering en registratie van assessoren in het mbo. De Bilt, Nederland: MBO Raad. Excenter. (2008). Examinering in bedrijf: Een overzicht per sector. Zoetermeer, Nederland: Excenter. Field, A. (2009). Discovering statistics using SPSS. London, Engeland: SAGE publication Ltd. Fishbein, M. (2000). The role of theory in HIV prevention. AIDS Care, 12, 273–278. Gaith, G., & Yaghi, H. (1997). Relationships among experience, teacher efficacy, and attitudes toward the implementation of instructional innovation. Teacher and Teacher Education, 13, 451-458. Gibbons, F. X., Gerrard, M., Blanton, H., & Russell, D. W. (1998). Reasoned action and social reaction: Willingness and intention as independent predictors of health risk. Journal of Personality and Social Psychology, 74, 1164-1180. Guadagnoli, E., & Velicer, W.F. (1988). Relation of sample size to the stability of component patterns. Psychological Bulletin, 103, 265-275. Gulikers, J. T. M., Bastiaens, T. J., & Kirschner, P. A. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52, 67-86. Guile, D., & Young, M. (2003). Transfer and transition in vocational education: Some theoretical consideration. In T. Tuomi-Gröhn, & Y. Engeström (Eds.), Between school and work: New perspectives on transfer and boundary-crossing (pp. 63-72). Oxford: Elsevier Science. Hargreaves, A. (2004). Inclusive and exclusive educational change: Emotional responses of teachers and implications for leadership. School Leadership and Management, 24, 287-310.

36

|


De praktijkopleider als beoordelaar Heller, J.I., Sheingold, K., & Myford, C.M. (1998). Reasoning about evidence in portfolios: Cognitive foundations for valid and reliable assessment. Educational Assessment, 5, 5-40. Inspectie van het Onderwijs. (2009). Toezichtkader bve 2009. Utrecht, Nederland: Inspectie van het Onderwijs. Inspectie van het Onderwijs. (2011). Toezichtkader bve 2012. Utrecht, Nederland: Inspectie van het Onderwijs. Kamphuis, A. (2008). Kwaliteit van assessoren. De Bilt, Nederland: MBO Raad. Kane, M. T., Crooks, T. J., & Cohen, A. (1999). Validating measures of performance. Educational Measurement: Issues and Practice, 18 (2), 5-17. Kenniscentrum EVC. (2006). Competentieprofiel assessor in EVC-procedure. Utrecht, Nederland: Kenniscentrum EVC. Kenniscentrum Handel, afdeling Educatieve Diensten en Projecten. (2009). Competentieprofiel assessor detailhandel in een EVC-procedure. Den Haag, Nederland: Stichting Opleidingsfonds Hoofdbedrijfschap Detailhandel. Laming, C. (2007). Leren & waarderen. Een model voor competentieontwikkelend leren. Rosmalen, Nederland: Celbe Consultancy. Lifelong Learning UK. (2010). Assessing and assuring the quality of assessment. Retrieved from http://www.lluk.org/standards-and-qualifications/qualifications/assessor-and-qualityassurance-awards/. Maes, M. (2004). CEDEFOP Panorama series, no. 96: Vocational education and training in the Netherlands: short description. Luxembourg: Office for the Official Publications of the European Communities. Retrieved from http://www2.trainingvillage.gr/etv/publication/download/panorama/5142_en.pdf. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741-749. Ministerie van Onderwijs, Cultuur en Wetenschap. (n.d.). Aantal deelnemers per sector, bedrijfstak, opleiding, soort, en verblijfsjaar aan de instelling/opleiding [databestand]. Retrieved from http://cijfers.minocw.nl/EtalageBestand.aspx?Bestandsnaam=OPLVBJ2 &SectorCode=MBO&Bestand=Excel&Bronnen=on&Definities=off&Toelichting=on. Mulder, M. (2003). Ontwikkelingen in het competentiedenken en competentiegericht beroepsonderwijs. In M. Mulder, R. Wesselink, H. Biemans, L. Nieuwenhuis, & R. Poell (Eds.), Competentiegericht beroepsonderwijs. Gediplomeerd, maar ook bekwaam? (pp. 1517). Houten, Nederland: Wolters-Noordhoff. Newmann, F.M., & Archbald, D.A. (1992). The nature of authentic academic achievement. In H. Berlak, F.M. Newman, E. Adams, D.A. Archbald, T. Burgess, J. Raven, & T.A. Romberg (Eds.), Toward a new science of educational testing and assessment (pp. 71-83). Albany, NY: State University of New York Press. Onstenk, J. H. A. M. (2003). Leren en beroepsgerichte didactiek: Onderzoek naar het hart van het beroepsonderwijs. In M. Mulder, R. Wesselink, H. Biemans, L. Nieuwenhuis & R. Poell (Eds.), J.G.M. van 't Spijker | 0468975

|37

De praktijkopleider als beoordelaar Competentiegericht beroepsonderwijs. Gediplomeerd, maar ook bekwaam? (pp. 91-97). Houten: Wolters-Noordhoff. Pomery, E., Gibbons, F., Reis-Bergan, M., & Gerrard, M., (2009). From willingness to intention: Experience moderates the shift from reactive to reasoned behavior. Personality and Social Psychology Bulletin, 35, 894-908. Rivis, A., Sheeran, P., & Armitage, C. J. (2006). Augmenting the theory of planned behaviour with the prototype/willingness model: Predictive validity of actor versus abstainer prototypes for adolescents' health-protective and health-risk intentions. British Journal of Health Psychology, 11, 483-501. Rijksoverheid. (n.d.). MBO-examens en diploma. Retrieved from http://www.rijksoverheid.nl/ onderwerpen/beroepsonderwijs/mbo/mbo-examens-en-diploma. Schultz, D., Ambike, A., Stapleton, L.M., Domitrovich, C.E., Schaeffer, C.M., & Bartels, B. (2010). Development of a questionnaire assessing teacher perceived support for and attitudes about social and emotional learning. Early Education and Development, 21, 865-885. Sheeran,P., & Orbell, S. (1999). Implementation intentions and repeated behaviour: Augmenting the predictive validity of the theory of planned behaviour. European Journal of Social Psychology, 29, 349-369. Stein, M.K., & Wang, M.C. (1988). Teacher development and school improvement: The process of teacher change. Teacher and Teacher Education, 4,171-187. Swager, R. (2010). Werkplekleren: Tips voor de opleidingspraktijk. Amersfoort: ECABO. Thomas, K.W., & Velthouse, B.A. (1990). Cognitive elements of empowerment: An "interpretive" model of intrinsic task motivation. The Academy of Management Review, 4, 666-681. Van de Watering, G., & Dierick, S. (2002). Kwaliteit van assessments: De bruikbaarheid van klassieke toetsen binnen studentgericht en competentiegericht onderwijs. In F. Dochy, L. Heylen, & H. Van de Mosselaar (Eds.), Assessment in het onderwijs: Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs (pp. 61-89). Utrecht, Nederland: Lemma BV. Van den Berg, R., Sleegers, P., Geijsel, F., & Vandenberghe, R. (2000). Implementation of an innovation: Meeting the concerns of teachers. Studies in Educational Evaluation, 26, 331-350. Van Dinther, M. (2009). Assessor in het hbo: Een vak apart. Examens, 6 (1), 10-14. Van Mechelen, M., & Verijdt, H. (2011). Monitor arbeidsmarkt en beroepsonderwijs 2010-2015. Amersfoort: ECABO. Wesselink, R. (2010). Comprehensive competence-based vocational education: The development and use of a curriculum analysis and improvement model. Wageningen, Nederland: Wageningen UR. Wesselink, R., Biemans, H. J.A., Mulder, M., & Van den Elsen, E.R. (2007). Competence-based VET as seen by Dutch researchers. European Journal of Vocational Training, 40 (1), 38-13. Wiggins, G. (1989). A true test: Toward more authentic and equitable assessment. Phi Delta Kappan, 70, 703-713. 38

|



Bijlage 1 | vragenlijst praktijkopleiders


|39


40

|




|41


42

|




|43


44

|




|45


46

|




|47


48

|



Bijlage 2 | vragenlijst docenten/bpv-begeleiders


|49


50

|




|51


52

|




|53


54

|




|55


56

|




|57


58

|


De praktijkopleider als beoordelaar

Recommend Documents