Examensituatie Specialistisch Vakmanschap

Examensituatie Specialistisch Vakmanschap Een inventarisatie van de organisatie en de kwaliteit van examinering in kleinschalig specialistisch beroepsonderwijs

Tilburg, december 2015 Eva Voncken (Bureau Turf) Paula Willemse (IVA Onderwijs)

II

Examensituatie specialistisch vakmanschap

Uitgever: IVA Onderwijs Universiteit van Tilburg Postbus 90153 5000 LE Tilburg

© 2015 IVA Onderwijs Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar worden gemaakt door middel van druk, fotokopie, microfilm, of op welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van IVA Onderwijs. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning bij artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

IVA Onderwijs

III

Inhoudsopgave

1

Inleiding ..................................................................................... 1

1.1 1.2 1.3 1.4

Vooraf ........................................................................................................................................1 Kleinschalig specialistisch onderwijs in perspectief ........................................................................1 Opzet en uitvoering van de verkenning .........................................................................................2 Leeswijzer ..................................................................................................................................3

2

Opbrengsten uit de oriëntatiefase ................................................ 4

3

Resultaten webenquête ............................................................... 6

3.1 3.2 3.3 3.4 3.5 3.6 3.7

Respons ......................................................................................................................................6 Constructie examens ...................................................................................................................6 Vaststelling en externe validering examens...................................................................................8 Examineren ................................................................................................................................9 Diplomering ............................................................................................................................. 12 Kwaliteitsborging ..................................................................................................................... 13 Aangrijpingspunten voor kwaliteitsverbetering van examens ..................................................... 15

4

Van resultaten naar aanbevelingen ............................................. 18

4.1 4.2 4.3

Beeld van de resultaten per onderdeel van de procesarchitectuur ............................................... 18 Prioriteiten in de verbetering van de kwaliteit van examens ........................................................ 19 Verdiepingsslag met de klankbordgroep .................................................................................... 20

5

Conclusies en adviezen .............................................................. 23

Bijlage 2: Vragen webenquête ........................................................... 27


1

Inleiding

1.1

Vooraf

1

Vertrouwen in de kwaliteit van de examens in het mbo is een groot goed en belangrijk voor het civiel effect en de maatschappelijke waardering van het mbo. In de opeenvolgende Onderwijsverslagen constateert de Inspectie van het Onderwijs, dat die kwaliteit een en ander te wensen overlaat. Dat speelt bijvoorbeeld op het vlak van de ingekochte versus zelfgemaakte examenproducten, de examinering in de bpv en het functioneren van examencommissies. Tegen die achtergrond worden landelijk maatregelen genomen gericht op verbetering van de examenkwaliteit. Recente voorbeelden daarvan zijn een verkenning naar de mogelijkheden voor externe validering1 en de aanscherping van wettelijke eisen die aan de examencommissie worden gesteld2. Landelijk is het krachtenveld rondom examinering volop in beweging (herziening kwalificatiestructuur, positie KBB’s). Aan alle bedrijfstakgroepen (BTG’s) is verzocht het onderwerp ‘kwaliteitsverbetering van het examenaanbod’ in hun activiteitenplan voor 2015 op te nemen. Om te komen tot een examenagenda gericht op duurzame validering en borging van examens heeft de BTG Specialistisch Vakmanschap een verkenning laten uitvoeren naar het speelveld en de examensituatie bij de kleinschalige specialistische beroepsopleidingen. De BTG SV dekt 35 opleidingen bij 12 instellingen. Er is nog geen goed beeld voorhanden van de (verschillen en overeenkomsten in) organisatie en uitvoering van examinering bij kleinschalige specialistische opleidingen, het speelveld (de betrokken actoren) en de kwaliteit van de examinering. De BTG SV heeft IVA Onderwijs ism Bureau Turf verzocht ter onderbouwing van verder beleid deze verkenning uit te voeren en op basis daarvan een advies met concrete aanbevelingen te formuleren. Het doel van deze verkenning is dus het speelveld (betrokken actoren) en de examensituatie in beeld te brengen en zicht te krijgen op de kwaliteit van de examinering (van constructie tot en met afname), op de algemene en specifieke knelpunten en de kansen en perspectieven die betrokkenen zien om gezamenlijk op te trekken in het verbeteren van de kwaliteit van de examinering.

1.2

Kleinschalig specialistisch onderwijs in perspectief Kleinschalig specialistisch onderwijs is vaak atypisch. Het gaat om zeer kleinschalige opleidingen die landelijk maximaal 50 studenten tellen of kleinschalige opleidingen met landelijk maximaal 200 studenten. Relatief gaat het vaker om bbl-opleidingen (50% versus 20% in het gehele mbo), om volwassen deelnemers (meer dan 26%). Liefst 70% van de opleidingen is een technische opleiding. De opleidingen worden soms landelijk geconcentreerd op één plek (unieke opleidingen) dan wel aan meerdere instellingen uitgevoerd. De uitvoerbaarheid en organisatie van onderwijs aan kleine groepen studenten is een voortdurende zorg (Monitor SOS Vakmanschap editie 2012; 2013; 2014; Voncken, 2014). Vanwege de kleinschaligheid worden de kleine opleidingen vaak ook niet meegenomen in onderzoek. Recent heeft de Inspectie in een thema-onderzoek de kwaliteit van grote en kleine (minder dan 18 deelnemers, dus niet alleen specialistische opleidingen) mbo-techniekopleidingen vergeleken. De hoofdconclusie luidde dat de kwaliteit van kleine en grote opleidingen van vergelijkbaar niveau is. Het beeld voor wat betreft de organisatie, uitvoering en kwaliteit van examens komt echter ook in dat onderzoek nauwelijks aan bod3. Dat betekent dus, dat het zicht op de examenorganisatie en de examenkwaliteit beperkt is. Daarnaast is niet in beeld

1

2 3

Willemse, P (2015) Externe validering van individueel of in samenwerking ontwikkelde examenproducten in het mbo, Varianten en kaders, IVA Onderwijs:Tilburg. https://www.rijksoverheid.nl/actueel/nieuws/2015/10/30/aanscherping-eisen-examencommissies-in-het-mbo De Inspectie geeft in de rapportage aan dat lesmateriaal en examens veelal ingekocht worden of samen ontwikkeld, als bewuste keuze vanwege de uitvoerbaarheid en betaalbaarheid of vanwege het inhoudelijke specialisme.

2


welke mogelijkheden de scholen die kleinschalige opleidingen aanbieden zien om voor de toekomstige kwalificatiedossiers de kwaliteit van examens samen duurzaam te kunnen borgen en valideren.

1.3

Opzet en uitvoering van de verkenning De verkenning is uitgevoerd in een aantal stappen, te weten: 1. Afstemming met de Stuurgroep BTG SV; 2. Orientatiefase; 3. Uitvoering van de webenquête 4. Analyse en opstellen voorlopige rapportage en aanbevelingen 5. Validering en verrijking van de resultaten met de Stuurgroep en Klankbordgroep en 6. Opstellen definitieve eindrapportage inclusief advies en aanbevelingen. Ad 1. Afstemming van de Stuurgroep Tijdens een bijeenkomst met de Stuurgroep is het voorstel voor de verkenning voorgelegd en besproken. De Stuurgroep formuleerde de volgende aandachtspunten/criteria voor de aanbevelingen: bij voorkeur passend in de reguliere lijnen/instellingskader, in de pas lopen met de examenorganisatie in de scholen, bij voorkeur het accent op producten en niet op processen, eenvoudig te implementeren, uitvoerbaar, haalbaar en betaalbaar. Daarnaast schetste de Stuurgroep de richting voor toekomstig beleid aldus:      

Oplossingen/adviezen moeten een reëel gevoeld probleem adresseren, voldoen aan behoefte (nodig zijn) en een meerwaarde hebben voor instellingen Bekrachtig de professionalisering van docenten Samenwerken, kennisdelen en leren van elkaar moet behouden blijven en waar nodig intensiveren Rekening houden met/genoeg ruimte bieden voor regionale accenten Rekening houden met de relatieve positie van (examinering) kleine specialistische opleidingen: overeenkomsten en verschillen grote opleidingen in knelpunten en oplossingsrichtingen moeten helder zijn Niet teveel willen checken, stapelen van toezicht voorkomen

Ad 2. De oriëntatiefase In de oriëntatiefase zijn met 15 sleutelfiguren die samen een brede vertegenwoordiging van het speelveld vormen gesprekken gevoerd (zie bijlage 1). De oriëntatiefase had een tweeërlei doel: aan de ene kant zicht krijgen op de betrokken actoren en wat er speelt, aan de andere kant input opdoen voor de instrumentconstructie. De bevindingen uit de oriëntatiefase zijn in de vorm van een beknopte notitie gecommuniceerd met de BTG SV. In het volgende hoofdstuk wordt het inhoudelijk deel daarvan weergegeven. Ad 3. De uitvoering van de webenquête De webenquête bestaat uit vragen die betrekking hebben op de feitelijke organisatie en uitvoering van de examinering en uit vragen die betrekking hebben verbetermogelijkheden en oplossingsrichtingen. De examenorganisatie is onderverdeeld in constructie, vaststelling en afname, diplomering en kwaliteitsborging. Ter beperking van de bevragingslast zijn per onderdeel zoveel mogelijk situaties voorgecodeerd. Nadrukkelijk zijn per onderdeel kwaliteitsaspecten bevraagd. De vragen zijn geënt op het beoordelingskader van de Inspectie en producten die binnen de Proces Architectuur zijn ontwikkeld. De beoogde respondenten zijn op naam aangezocht. De webenquête is via email toegezonden aan een groep 59 respondenten, bestaande uit examencommissieleden, docenten en opleidingsmanagers en stafleden. Er zijn 12 scholen die gezamenlijk 37 verschillende opleidingen aanbieden, waarvan er 27 landelijk uniek zijn, dat wil zeggen dat ze op één locatie worden aangeboden. Na een gerichte rappelronde is de dataverzameling afgesloten met maar liefst 75% respons.


3

Ad 4. Analyse en opstellen voorlopige rapportage en aanbevelingen De resultaten van de webenquête zijn geanalyseerd. Er is een totaalbeeld opgesteld per onderdeel, met waar relevant uitsplitsingen naar functiegroep en naar type instelling (roc dan wel vakinstelling). Op basis daarvan zijn samenvattende conclusies geformuleerd met het oog op (gezamenlijke) verbetering van de examenkwaliteit. Deze zijn naast de bevindingen uit de oriëntatieronde gelegd. Ter voorbereiding van de validerings- en verrijkingsronde is een voorzet gemaakt met conclusies en aanbevelingen/oplossingsrichtingen. Ad 5. Validerings- en verrijkingsronde met de Stuurgroep en Klankbordgroep De voorlopige resultaten zijn voorgelegd aan de klankbordgroep voor verdere verdieping, nuancering en verbreding in de richting van aanbevelingen. Op 11 december zijn de resultaten voorgelegd aan de stuurgroep. Ad 6.Op stellen definitieve eindrapportage inclusief advies en aanbevelingen Op basis van de genoemde bijeenkomsten is het advies en de aanbevelingen verder geconcretiseerd en aangescherpt. De eindrapportage wordt verzonden aan betrokkenen en beschikbaar gesteld aan de overige BTG-en.

1.4

Leeswijzer In hoofdstuk 2 beschrijven we de opbrengsten uit de oriëntatiefase. Hoofdstuk 3 bevat de resultaten van de webenquête. Hoofdstuk 4 vat de resultaten samen en verbindt daar voorlopige conclusies en voorzetten voor aanbevelingen aan. In het slothoofdstuk 5 vertalen we de resultaten naar praktische aanbevelingen en een advies.

4

2


Opbrengsten uit de oriëntatiefase Dit hoofdstuk bevat een beknopte weergave van de bevindingen in de oriëntatieronde langs een aantal sleutelpersonen met goed zicht op de examinering in kleinschalige specialistische opleidingen. De gesprekken hebben tot een aantal inzichten geleid: a.

b.

c.

d.

e.

f.

g.

h.

De instellingen houden er verschillende examenvisies op na. Zo wordt er al dan niet geëxamineerd op het eindniveau van beginnend beroepsbeoefenaar. Er is al dan niet sprake van voorwaardelijke examinering. Er is verschil in de verhouding tussen kennis en vaardigheden, of kennis al dan niet geëxamineerd wordt. En er doen zich verschillen voor in of men bij voorkeur in de school examineert of in de praktijk. Er is in de gesprekken een tendens dat de examensituatie van grote en kleine opleidingen vergelijkbaar is. Groot en klein lopen tegen dezelfde dingen aan. Het gaat dan bijvoorbeeld om zaken als toetstechnische kwaliteit, examinering op de werkplek en assessoren uit de praktijk. Er zijn evenwel een aantal specifieke kenmerken van kleine/unieke specialistische opleidingen: de know-how zit bij een beperkte groep (kwetsbaar); inkoop is nagenoeg niet mogelijk; mogelijkheden voor samenwerking is beperkt (uniek, weinig partners) of door regionale accenten; dichtbij de branche, eigengemaakt (hoogwaardig) materiaal, kwaliteit en specialisme hoog in vaandel; snel kunnen inspelen op arbeidsmarktmarktontwikkelingen; relatief hogere kosten. Wat betekenen die kenmerken voor de examenpraktijk/kwaliteit? Verschillen (tussen groot en klein) hoeven niet onmiddellijk problematisch te zijn. Een voorbeeld: er wordt in het algemeen vanuit gegaan dat inkoop ‘beter’ is dan zelfgemaakte producten. Een voordeel van zelfgemaakte producten is dat ze het onderwijs versterken doordat er veel meer betrokkenheid en eigenaarschap is en het examen het onderwijs kan sturen. “Door zelfmaak kunnen unieke opleidingen ook excelleren!” De angst voor minder kwaliteit lijkt ongegrond: “Dat zou je onmiddellijk terugkrijgen van bbl-studenten en bedrijven”. Er lijken nogal wat creatieve oplossingen bij kleine opleidingen (bv tweede beoordelaar komt onverwachts langs, inhuren onderwijskundige ondersteuning, vmbo inschakelen voor beoordeling, professionele discussie organiseren bij de beoordeling; instructiefilmpjes voor beoordeling op de werkplek, methodemixen). Betrokkenheid branche lijkt in geval van kleine opleidingen een (groter) knelpunt: beperkt aantal bedrijven dat daadwerkelijk bereid is zich voor onderwijs in te zetten (‘je vist uit een kleine vijver’); kostbaar om beoordelaars te betrekken (gederfde inkomsten compenseren); expertise en instructie is nodig, lastig organiseerbaar doordat studenten uit het hele land komen; referentiekader van bedrijven wijkt soms af (niveau beginnend beroepsbeoefenaar vs ‘collega’) Samenwerking met een identieke opleiding is in geval van unieke opleidingen niet te realiseren. Maar ook in andere gevallen onderkent men voor- en nadelen aan samenwerking: Voordelen in efficiëntie en uitstraling, nadelen voor wat betreft concurrentie. Een voorbeeld: lesmateriaal breed ter beschikking stellen betekent dat een andere instelling de opleiding kan gaan aanbieden met het risico van ondoelmatige situaties. Hoever strekt de samenwerking zich uit (product/proces) en wie initieert dat? De indruk bestaat, dat er sprake is van een toename in kwaliteit in termen van standaardisering / beschrijving van processen de afgelopen jaren. Er zijn veel kwaliteits’checks’ (audit, kwaliteitsnetwerk, studentenenquêtes, gecertificeerde constructeurs, handboek). Het onderwerp externe validering leeft in gedachten, nog niet veel in daadwerkelijk handelen. Examencommissies en (sub) examencommissies zijn wisselend gepositioneerd in het geheel van de examenorganisatie van een onderwijsinstelling.

De bevindingen hebben een eerste licht geworpen op de feitelijke organisatie en uitvoering van examens bij de kleinschalige specialistische beroepsopleidingen. Bij de constructie van het instrument voor de webenquête is de


5

verzamelde informatie benut. Verder is op basis van de interviewronde de beslissing genomen om de dataverzameling bij tenminste drie groepen te laten plaatsvinden: (kern)docenten, leden van de examencommissie en opleidingsmanagers. In het volgende hoofdstuk worden de resultaten van de webenquête besproken.

6


3

Resultaten webenquête

3.1

Respons In totaal zijn 56 personen uitgenodigd om de vragenlijst in te vullen. Van 42 personen hebben we een ingevulde vragenlijst retour ontvangen. Dit is een respons van 75%, die voor een webenquête bijzonder hoog genoemd mag worden. Dat geeft een indicatie van de betrokkenheid van de invullers bij het onderwerp. Alle 12 scholen zijn vertegenwoordigd en daarbinnen alle (clusters van) opleidingen, met uitzondering van de opleiding voor pianotechniek. Zowel opleidingsmanagers (17%), examencommissieleden (27% ) en docenten (46%) hebben de vragenlijst ingevuld. Daarnaast hebben functionarissen zoals adviseurs, coördinatoren, examensecretarissen, onderwijskundigen en projectmanagers onderwijs en kwaliteit de vragenlijst ingevuld (10%). Dit betekent dat we, zoals vooraf beoogd, vanuit verschillende perspectieven informatie over de examensituatie van opleidingen binnen het Specialistisch Vakmanschap hebben.

3.2

Constructie examens Op de vraag “Hoe komen de examens tot stand?” geeft bijna de helft van de invullers (49%) aan de examens zelf te maken. In een vakinstelling gebeurt dat méér dan in een roc (resp. 63% en 42%). Wat meer dan de helft (54%) van de invullers geeft aan daarbij samen te werken met externe deskundigen. Slechts 12% (vijf personen) geeft aan examens in te kopen. Dat gebeurt meer aan een roc dan aan een vakinstelling. De overige vijf respondenten geven aan gezamenlijk met andere scholen te construeren of opleidingoverstijgend te ontwikkelen al dan niet met externe of interne onderwijskundige adviseurs. Het komt niet voor dat één docent de examens construeert: het construeren gebeurt in gelijke mate met meerdere docenten van de opleiding (33%) of in samenwerking met andere scholen (28%). Bij vakinstellingen is er een tendens naar samenwerking van docenten van de opleiding onderling, terwijl bij roc’s vaker samengewerkt wordt, ofwel met docenten van een andere school, ofwel met deskundigen uit de branche. Zeven (19%) respondenten geven aan samen te werken met deskundigen uit de branche. De overige zeven personen geven aan samen te werken met externe deskundigen. De vraag naar de mate van tevredenheid over verschillende kwaliteitsaspecten van het construeren van examens geeft het volgende beeld: Kwaliteitsaspecten constructie

ROC

Vakinstelling

Totaal

Tevreden

Ontevreden

Tevreden

Ontevreden

Tevreden

Ontevreden

inhoudelijke deskundigheid constructeurs

76%

10%

100%

0%

87%

5%

toetstech/onderwijsk desk. constructeurs

57%

14%

81%

6%

68%

11%

ondersteunende instrumenten

33%*

14%

69%

13%

49%

14%

beschikbare faciliteiten (tijd etc)

43%

24%

44%

38%

43%

30%

het constructieproces (samenwerking et cetera)

76%

10%

69%

13%

73%

11%

betrokkenheid van de branche bij constructie

67%

14%

69%**

6%

68%

11%


7

* Bijna 40% van de roc’s toont zich niet tevreden/niet ontevreden met de ondersteunende instrumenten (toetsmatrijzen, proces, checklijsten). ** Een kwart van de vakinstellingen is niet tevreden/niet ontevreden over de betrokkenheid van de branche bij de constructie

De tabel laat zien dat men het meest tevreden is over het de inhoudelijke deskundigheid van de constructeurs en het constructieproces. Het minst tevreden zijn de invullers over de beschikbare faciliteiten (ondersteuning, tijd, etc). Vooral de invullers verbonden aan een roc zijn ontevreden over de ondersteunende instrumenten (toetsmatrijzen, checklisten, procedures). Overall tonen de vakinstellingen zich op vrijwel alle genoemde aspecten meer tevreden dan de roc’s. Op de vraag naar de kwaliteit van examens geeft 61% aan tevreden te zijn; de vakinstellingen meer dan de roc’s (resp. 88% vs 62%). Daarbij doen zich wel verschillen voor tussen roc’s en vakinstellingen. Een kleine groep (10%) geeft aan zeer tevreden te zijn, daar staat tegenover dat 17% noch ontevreden, noch tevreden is. Slechts één invuller gebruikt de antwoordcategorie ontevreden. Niemand is zeer ontevreden. Daar waar respondenten aan kunnen geven waarom ze niet tevreden zijn, wijzen de antwoorden niet één richting uit. Verbeterpunten constructie Verbeterpunten op het gebied van constructie liggen volgens de invullers vooral bij het verruimen van de faciliteiten en het vergroten van de toetstechnische/onderwijskundige deskundigheid constructeurs (beide 30%), gevolgd door het vergroten van de betrokkenheid van de branche bij constructie (27%). Op een gedeelde derde plaats staan het vergroten van de inhoudelijke deskundigheid van constructeurs en het verbeteren van de examenproducten (beide 22%). Meer inkoop wordt door slechts 8% van de invullers genoemd. In combinatie met de genoteerde tevredenheid en ontevredenheid lijken de verbeterpunten, wellicht met uitzondering van de vraag naar meer faciliteiten, meer het karakter van ‘hoe zou het nog beter’ te dragen, dan dat ze verwijzen naar zeer urgente kwesties. Een op de drie invullers geeft aan dat ervaren knelpunten bij de constructie van examens te maken hebben met de kleinschaligheid van de opleidingen. Vooral opleidingsmanagers en leden van de examencommissie geven dit aan, docenten in mindere mate. Wellicht heeft dat te maken met dat de eerstgenoemde functiegroepen beter meerdere (grote en kleine) opleidingen kunnen vergelijken. Verder zeggen roc’s vaker dan vakinstellingen dat de ervaren knelpunten verband houden met kleinschaligheid van de opleiding (45% vs 13%). Nog eens een kwart van de invullers beantwoordt de vraag met ‘enigszins’. Dertig procent meent dat er geen verband is tussen knelpunten en de kleinschaligheid. Uit de antwoorden komt vooral het beeld naar voren dat de taak bij een beperkt aantal mensen berust, zowel in de school als bij de branches voor wie het lastig is om enkele personen beschikbaar stellen. Inhoudsdeskundigheid is zeer beperkt aanwezig vanwege kleine aantallen en deze vakspecialisten zijn niet onderwijskundig geschoold. De branche/het werkveld bestaat uit een groot aantal kleine bedrijfjes, waardoor het beschikbaar stellen van mensen niet eenvoudig is te realiseren. Apart is gevraagd naar de mening van de invullers over het aanbod van inkoop van examens. De antwoorden op deze open vraag laten een wisselend beeld zien. Algemeen geldt dat aanbod beperkt tot helemaal niet aanwezig is. De wenselijkheid van de mogelijkheid tot meer inkoop varieert van zeer wenselijk (want betere kwaliteit, meer keuzemogelijkheid, zeker voor keuzedelen relevant, procedure met Inspectie is makkelijker, minder druk bij docenten, meer kans op landelijke standaard) tot zeer ongewenst (proeven ontwikkelen we samen met de bedrijven, inkoop leidt tot meer consensus dus minder kwaliteit, met zoveel bedrijfjes is afstemming onmogelijk, het is niet nodig samenwerking school-bedrijf is voldoende, eigen karakter van onze vakschool moet zichtbaar blijven). Samenwerking tussen scholen zoals bijvoorbeeld bij MSMH, met een extern deskundige, wordt toegejuicht. Samenvattende conclusies op het gebied van constructie

8


  

Zeer geringe mate van inkoop; aanbod is beperkt tot niet mogelijk. Opvattingen van wenselijkheid tot inkoop lopen uiteen van zeer gewenst tot zeer ongewenst. Veel zelfgemaakte examen, maar nooit door slechts een docent: bij roc wordt vaker samengewerkt met branche of andere scholen; bij vakinstellingen door docenten van de opleiding onderling. Kwaliteit constructie is volgens invullers behoorlijk op orde, vakinstellingen zijn meer tevreden dan roc’s. Ontevredenheid is het grootst over beschikbare faciliteiten en ondersteunende instrumenten (roc’s). Verbeterpunten signaleert men bij het verruimen van beschikbare faciliteiten, toetstechnische en onderwijskundige deskundigheid van de constructeurs en het vergroten van de branchebetrokkenheid bij de constructie. Op het punt van faciliteiten na lijken de punten geen hoge urgentie te hebben Een op de drie invullers (vooral opleidingsmanagers en examencommissieleden uit roc’s) menen dat er een verband is tussen knelpunten en kleinschaligheid, met name vanwege de kleine omvang van bedrijven en het een beroep kunnen doen op een beperkt aantal mensen.

 



3.3

Vaststelling en externe validering examens De examens worden in 6 van de 10 gevallen vastgesteld door een vaststellingscommissie van de school (roc 50%, vakinstelling 75%)) of door de examencommissie (45%, roc 54%, vakinstelling 31%). In de andere gevallen (15%) gaat het om een stuurgroep bestaande uit onderwijs en werkveld, gecertificeerde vaststellers of door een extern bureau. Als verbeterpunten bij het vaststellen van de examens wordt vooral het vergroten van de betrokkenheid van de branche genoemd (33%; roc 23%; vakinstellingen 50%), gevolgd door het verbeteren van het vaststellingsproces (26%), het vergroten van de toetstechnische/ onderwijskundige deskundigheid van de vaststellers (24%; roc 35%, vakinstelling 6%) en het verbeteren van ondersteunende instrumenten (24%). In mindere mate geven respondenten aan verbetering te verwachten van samenwerking met anderen (15%), het vergroten van inhoudelijke deskundigheid van de vaststellers (12%), verruimen van faciliteiten (10%), verbeteren resultaat vaststelling (7%), het toekennen van een cijfer (2%) en de vernieuwing toetsmatrijs (2%). De vraag of eventuele knelpunten te maken hebben met de kleinschaligheid van de opleidingen of de branche wordt door de helft van de invullers negatief beantwoord, 17% stelt dat dit wel of enigszins zo is. Deze respondenten geven aan dat het unieke opleidingen betreft, het aantal deskundigen beperkt is en het moeilijk is om meer mensen uit de branche te betrekken bij de vaststelling. Op de vraag in hoeverre de invullers externe validering van zelfgemaakte examenproducten hard nodig vinden, antwoorden de invullers als volgt:


weet niet 5%

9

helemaal mee oneens 2%

helemaal mee eens 14%

eens 29%

mee oneens 21%

niet oneens/niet eens 29%

We kunnen stellen dat de meningen verdeeld zijn. Roc’s zijn vaker de mening toegedaan dat externe validering nodig is dan de vakinstellingen. De vraag of men zelf actief aan de slag is met externe validering van zelfgemaakt examenproducten beantwoordt 36% ontkennend, 31% stelt niet oneens/eens, de overige 29% beantwoordt de vraag bevestigend. Roc’s zijn er in dezelfde mate mee bezig dan vakinstellingen. Meer dan 60% geeft aan dat dit wel te realiseren zou zijn voor hun opleiding. Zo’n 12% van de invullers denkt van niet. Dit zijn iets vaker de vakinstellingen dan de roc’s. Samenvattende conclusies op het gebied van vaststelling  

 

3.4

Examens worden vastgesteld door een vaststellingscommissie of een examencommissie. Verbeterpunten liggen vooral bij het vergroten van de betrokkenheid van de branche bij vaststelling; het verbeteren van het vaststellingproces; vergroten van toetstechnische/onderwijskundige deskundigheid van de vaststellers en verbeteren van ondersteunende instrumenten. Voor de vakinstellingen steekt het eerste punt er met kop en schouders bovenuit; voor de roc’s is het wat meer gespreid. Docenten noemen veel minder verbeterpunten van opleidingsmanagers en examencommissieleden. Minder dan een op de 5 invullers ziet een verband tussen knelpunten en kleinschaligheid van de opleiding of branche. Er is geen eenduidige opvatting over de noodzaak van externe validering van zelfgemaakte examenproducten; roc’s vinden het vaker nodig dan vakinstellingen.

Examineren In de volgende tabel is weergegeven hoe het aantal afgenomen examens binnen de school zich verhoudt ten opzichte van het aantal examens die buiten de school (op de werkplek) afgenomen worden. Waar vinden examens plaats

ROC’s

Vakinstelling

Totaal

examens uitsluitend binnen de school

12%

25%

17%

meer examens binnen de school dan buiten de school

27%

38%

31%

meer examens buiten de school dan binnen de school

50%

6%

33%

in gelijke mate binnen de school en buiten de school

12%

19%

14%

weet niet

0%

13%

5%

10


De invullers geven aan dat minder dan 20% uitsluitend binnen de school examineert (17%). Het percentage dat meer buiten de school dan binnen de school examineert bedraagt 33%, het percentage meer binnen dan buiten bedraagt 31% en 14% geeft aan in gelijke mate binnen de school als daarbuiten te examineren. Opmerkelijk is het grote verschil tussen roc’s en vakinstellingen als het gaat om de afname van examens buiten de school. Beoordeling buiten de school/op de werkplek Bij het examineren op de werkplek komt het bijna niet voor dat alleen de docent degene is die beoordeelt (2%). In bijna de helft van het aantal examens beoordeelt de docent én de praktijkopleider (48%). De praktijkopleider beoordeelt het examen in 17% van de gevallen. Voor het overige worden assessoren aangewezen of treden externe examinatoren afkomstig uit de branche op als beoordelaar. Het kan per examen wisselen wie er beoordeelt. In meer dan de helft (51%) van het aantal praktijkexamens/proeven wordt consequent door twee beoordelaars geëxamineerd, in 15% van de gevallen is steekproefsgewijs een tweede beoordelaar aanwezig. Voor het overige laten de respondenten verschillende variaties zien: tussentijdse beoordeling door een persoon, eindbeoordeling door twee personen, afhankelijk van examens twee beoordelaars of steekproefsgewijs, praktijkbeoordeling en procesbeoordeling. Beoordeling binnen de school Wie is betrokken bij de afname en beoordeling van de praktijkexamens of proeven binnen de school ? zo luidde de volgende vraag. Bij het examineren aan de hand van een proeve of praktijkexamen binnen de school komt het vaker voor dat de docent alleen beoordeelt (21%). Dat gebeurt vooral op de roc’s, bij de vakinstellingen in veel mindere mate. In 17% van de gevallen gebeurt de beoordeling door docent en praktijkopleider gezamenlijk. Voor het overige wordt zoveel mogelijk het vier-ogenprincipe gehanteerd: twee docenten, docent en assessor uit bedrijfsleven, docent en externe deskundige, externe examinatoren, onafhankelijk visitatiecommissie etc. Bijna 10% van de invullers (vooral opleidingsmanegers, niet gedeeld door docenten) geeft aan dat er niet twee beoordelaars zijn. Een mix van examenvormen komt het meest voor (75%). Het gaat hierbij om een combinatie van proeven, examenprojecten en praktijkexamens. Bijna een kwart van de invullers geeft aan te examineren aan de hand van alleen een proeve of een praktijkexamen, bij vakinstellingen gebeurt dat meer (44%) dan bij roc’s (15%). Voor zover bij de respondenten bekend is bijna de helft van de beoordelaars van het leerbedrijf (deels) gecertificeerd. Negentien procent van de respondenten, vooral verbonden aan roc’s, geeft aan dat de beoordelaars van het leerbedrijf niet gecertificeerd zijn. Aan de respondenten zijn acht stellingen voorgelegd die betrekking hebben op de kwaliteit van de afname van praktijkexamens, met daaraan gekoppeld de vraag in hoeverre men het eens is met de stelling. In onderstaande tabel zijn deze stellingen opgenomen met daarachter het percentage respondenten dat aangeeft het eens of helemaal eens te zijn met de stelling:


Stellingen kwaliteit afname van examens

11

ROC’s

Vakinstelling

Totaal

Er wordt op inhoudelijke gronden besloten waar het examen plaats moet vinden

52%

81%

69%

Het leerbedrijf is goede voorbereid op de afname van het examen

50%

50%

50%

De verhouding examineren op de werkplek en examineren binnen school is goed in balans

62%

50%

57%

De beoordelaars van het leerbedrijf zijn inhoudsdeskundig

84%

69%

79%

De examenprocessen van afname en beoordeling zijn deugdelijk

73%

88%

79%

De bereidheid van de branche om te examineren is groot

46%

50%

48%

De beoordelaars van het leerbedrijf zijn ervaren

54%

63%

57%

De instrumenten voor beoordelaars en studenten zijn van voldoende kwaliteit

73%

94%

81%

De tabel laat zien dat men op de helft van de kwaliteitsindicatoren het beeld positief is, hier en daar met behoorlijke verschillen tussen roc’s en vakinstellingen. De stellingen waarop het beeld minder positief is hebben doorgaans te maken met het leerbedrijf, de voorbereiding, bereidheid en ervaring. Niet te zien in de tabel: twintig procent van de roc’s antwoordt bij deze aspecten ‘mee oneens’. Verbeterpunten afname van examens Verbeterpunten afname van examens

ROC’s

Vakinstelling

Totaal

de plaats van het examen: bij voorkeur meer op school

23%

0%

14%

de plaats van het examen: bij voorkeur meer op de werkplek

8%

19%

12%

vergroten inhoudelijke deskundigheid beoordelaars van school

8%

13%

10%

vergroten inhoudelijke deskundigheid beoordelaars van de werkplek

27%

25%

26%

vergroten toetstechnische/onderwijskundige deskundigheid beoordelaars

27%

25%

26%

verbetering ondersteunende instrumenten

4%

6%

5%

vergroten faciliteiten

8%

25%

14%

verbeteren afnameproces

12%

6%

10%

verbeteren examenproducten (inclusief beoordelingsvoorschriften en instructies voor beoordelaars en studenten)

27%

19%

24%

vergroten betrokkenheid branche bij de afname en beoordeling

11%

13%

12%

communicatie en samenwerking intern

0%

13%

5%

communicatie en samenwerking extern met mensen van andere opleidingen

4%

6%

5%

communicatie en samenwerking extern met mensen uit het werkveld

27%

19%

24%

Als belangrijke verbeterpunten van de afname van examens wordt het vergroten van de deskundigheid van beoordelaars op de werkplek genoemd, het vergroten van de toetstechnische /onderwijskundige deskundigheid van beoordelaars en op een gedeelde derde plaats het verbeteren van de communicatie en samenwerking extern en met het werkveld en het verbeteren van de examenproducten. Meer faciliteiten is vooral een verbeterpunt op de vakinstellingen, terwijl we zien dat vakinstellingen en roc’s een tegengestelde tendens vertonen als het gaat om de wens meer examens binnen of buiten de school. Vanuit de huidige situatie is die wens te begrijpen.

12


Docenten noemen vooral samenwerking en communicatie met het werkveld, betrokkenheid van de branche en toetstechnische en onderwijskundige deskundigheid van beoordelaars Meer dan de helft van de invullers (52%) geeft aan dat (eventuele) knelpunten niet te maken hebben met de kleinschaligheid van de branches of de opleidingen. Invullers die aangeven dat er wel een relatie is tussen ervaren knelpunten en de omvang van de branches of opleidingen (19%) noemen factoren zoals: er is slechts een kleine assessorenpool, er wordt veel gebruik gemaakt van gastdocenten, vanwege afstand is bezoek tijdens een proeve lastig te realiseren, bij een jonge opleiding moet examineren nog indalen bij het leerbedrijf en er is sprake van veel kleine ZZP-ers als leerbedrijf. Zo stelt een lid van de examencommissie: “Doordat kleinschalig onderwijs (BBL) vaak studenten trekt uit het hele land zal, als we authentiek willen examineren, er veel tijd vrijgemaakt moeten worden om al deze studenten tijdens het afnemen van de proeve te kunnen bezoeken. Dit vraagt heel veel tijd en inzet van minimaal twee beoordelaars. In de praktijk blijkt dat docenten (beoordelaars) hier te weinig tijd voor kunnen vrijmaken. Dit houdt in dat er twee externe beoordelaars ingezet moeten worden. Dit is te duur!! Daardoor wordt er toch weer een beroep gedaan op een docent. Sta je als enige docent voor de groep, dan is dit echt een spagaat-werking.” Er zijn geen verschillen tussen roc’s en vakinstellingen. Vooral opleidingsmanagers en examencommissieleden geven aan dat er ze knelpunten ervaren vanwege de kleinschaligheid. Samenvattende conclusies op het gebied van examineren  

    



3.5

Examens van de roc’s vinden meer buiten dan binnen de school plaats, van vakinstellingen meer binnen dan buiten de school. Bij beoordeling op de werkplek komt het niet voor dat de docent de enige beoordelaar is. In bijna de helft van de gevallen beoordelen zowel docent als praktijkopleider, er wordt gewerkt met assessoren of met examinatoren afkomstig uit de branche Beoordeling binnen de school gebeurt in een op 5 gevallen door een docent alleen (vooral bij de roc’s). Zoveel mogelijk wordt het 4-ogenprincipe gehanteerd. Men gebruikt in driekwart van de gevallen een examenmix, in een kwart van de gevallen (vooral vakinstellingen) gebeurt examineren alleen aan de hand van een proeve of praktijkexamen Bijna de helft van de beoordelaars van de leerbedrijven zijn (deels) gecertificeerd (voor zover bekend bij de invullers) een op de 5 heeft niet te maken met gecertificeerde beoordelaars. Men is doorgaans tevreden over de kwaliteit van de afname van het praktijkexamen; waar men minder positief is is dat terug te voeren op de voorbereiding, bereidheid en ervaring van de bedrijven/branche/werkveld. Verbeterpunten liggen bij het vergroten van de toetstechnische en onderwijskundige deskundigheid van de beoordelaars en de inhoudelijke deskundigheid van beoordelaars op de werkplek, gevolgd door verbetering van examenproducten (beoordelingsvoorschriften) en de communicatie met het werkveld (de laatste twee vooral bij roc’s). Docenten noemen vooral samenwerking en communicatie met het werkveld, betrokkenheid van de branche en toetstechnische en onderwijskundige deskundigheid van beoordelaars. Minder dan een op de 5 invullers (vooral leden van examencommissies)ziet een relatie tussen kleinschaligheid van de branche/opleiding en genoemde knelpunten: het kost kleine opleidingen meer tijd en geld om twee beoordelaars in te zetten en er is een beperkt beroep mogelijk op (een geringe pool) mensen.

Diplomering Het volgende onderdeel van de vragenlijst gaat over diplomering. Aan de invullers is een aantal stellingen voorgelegd. De eerste stelling luidde: “Er is een diplomadossier met een checklist voor de inhoud van het dossier”. Bij driekwart van de invullers is dat inderdaad het geval, bij 15% van de invullers niet. Tien procent blijft het antwoord schuldig. De volgende stellingen gaan over het vóórkomen van de situatie dat een leerling een diploma niet krijgt, terwijl dat wel zou moeten of omgekeerd. In onderstaand tabelletje zijn de resultaten opgenomen.


13

Komt voor

Komt niet voor

Weet niet

Geen oordeel

Het komt voor dat een kandidaat zijn diploma krijgt, terwijl hij/zij dat naar mijn idee niet had moeten krijgen

2%

83%

7%

7%

Het komt voor dat een kandidaat zijn diploma niet krijgt, terwijl hij/zij dat naar mijn idee wel had moeten krijgen

5%

88%

7%

0%

De tabel laat zien dat de geschetste situaties uitzonderingen zijn, die zich bij een of twee invullers hebben voorgedaan.

3.6

Kwaliteitsborging Heeft de opleiding goed zicht op de kwaliteit van de examinering? Volgens ruim vier van de vijf invullers is dat het geval. De vakinstellingen zijn hierover positiever gestemd dan de roc’s (resp. 94% vs 73%).Tien procent van de invullers twijfelt, vijf procent weet het niet en vijf procent geeft aan dat de opleiding geen goed zicht heeft op de kwaliteit van de examinering. De laatste groep bestaat uitsluitend uit stafmedewerkers aan roc’s en leden van examencommissies. Bij bijna de helft van de invullers is het gehele team aan zet als het gaat om de kwaliteitsborging. Voor de roc’s gaat het om 31%, bij de vakinstellingen om driekwart van hen. In een kwart van de gevallen heeft de examencommissie de belangrijkste rol bij de kwaliteitsborging, bij de roc’s meer dan bij de vakinstellingen. Bij 10% (uitsluitend roc’s) is het het management dat de grootste rol vervult. Drie invullers (uitsluitend roc’s) noemen de rol van de docent de belangrijkste. Nog vier invullers noemen een andere gremium, waarbij het meestal gaat om een combinatie van de genoemde actoren of een team met versterking van de onderwijskundige. Welke instrumenten gebruikt men bij de kwaliteitsborging? Instrumenten

%

studenttevredenheidsevaluaties

78%

zelfevaluaties

76%

interne auditrapportages

66%

verbeterplannen

56%

werkveldtevredenheidsevaluaties

51%

externe auditrapportages

29%

anders namelijk

5%

weet niet

5%

geen van deze

2%

Er nauwelijks verschillen tussen roc’s en vakinstellingen in het gebruik van deze instrumenten. De tabel laat zien, dat studenttevredenheidsevaluaties, zelfevaluaties en interne auditrapportages door tweederde tot driekwart van de invullers genoemd worden. Bij “anders” wordt samenwerking met een extern bureau aangehaald. Als het gaat om de kwaliteit van de processen zien we het volgende beeld (zie de volgende tabel). De beschikbaarheid van voldoende evaluatiegegevens is bij bijna de helft een knelpunt of punt van aandacht. Er lijkt

14


behoorlijk wat twijfel als het gaat om of er voldoende evaluatiegegevens beschikbaar zijn. Die twijfel bestaat vooral bij docenten en stafleden. Een op de vijf roc’s denkt niet over voldoende evaluatiegegevens te beschikken. Daarnaast zijn in minder dan de helft van de gevallen voldoende onafhankelijke deskundigen betrokken bij de borging, aldus de invullers.

Stellingen kwaliteit van de processen

Eens

Oneens

Niet eens / Niet oneens

Weet niet

Er zijn voldoende onafhankelijke deskundigen betrokken bij het borgen van de examenkwaliteit

42%

27%

27%

5%

De examencommissie ziet in voldoende mate toe op de naleving van processen en procedures

76%

5%

15%

5%

De administratieve processen zijn goed gearchiveerd

73%

2%

17%

7%

Onze opleiding werkt continue, cyclisch (PDCA) aan het verbeteren van de kwaliteit van examinering

76%

2%

17%

5%

Er zijn voldoende evaluatiegegevens beschikbaar

52%

12%

32%

5%

Over de hele linie zijn de vakinstellingen positiever ten aanzien van deze stellingen dan de roc’s. De belangrijkste verbeterpunten op het gebied van kwaliteitsborging zijn volgens de invullers: Verbeterpunten kwaliteitsborging

ROC’s

Vakinstelling

Totaal

professionalisering beoordelaars

46%

81%

59%

samenwerking met de branche

27%

63%

41%

waar mogelijk meer landelijke samenwerking bij de borging

35%

19%

29%

standaardisering van examenproducten

27%

13%

21%

bevorderen van inkoop van examens

19%

0%

12%

landelijk delen van kennis en aanpakken

15%

6%

12%

anders

8%

0%

5%

Het meest genoemde verbeterpunt is de professionalisering van de beoordelaars, op enige afstand gevolgd door de samenwerking met de branche. Op de derde plaats noemt men de behoefte aan meer landelijke samenwerking bij de borging. Roc’s maar zeker ook vakinstellingen hebben behoefte aan meer samenwerking met de branche. Meer dan tweederde van de invullers (68%) geeft aan dat knelpunten bij de borging geen verband houden met de kleinschaligheid van de opleiding of branche. Twaalf procent geeft aan dat dat wel het geval is –weer vooral de opleidingsmanagers en de examencommissieleden, vooral verbonden aan roc’s-, en nog eens 7% zegt dat het enigszins gerelateerd is aan de kleinschaligheid. Deze invullers dragen daarvoor uiteenlopende redenen aan: de opleiding is klein en er is weinig formatie voor dit soort zaken; er zijn te weinig examinatoren; de opleiding werkt met gastdocenten die minder ervaren zijn in beoordeling; het is lastig te organiseren om personen uit de branche te scholen. Samenvattende conclusies op het gebied van kwaliteitsborging










3.7

15

Vier van de vijf invullers heeft goed zicht op de kwaliteit van de examinering; vakinstellingen naar eigen zeggen meer dan roc’s. Docenten zijn hier het meest stellig in, een aantal stafmedewerkers en leden van examencommissies is niet deze mening toegedaan. Bij de helft van de invullers (vooral vakinstellingen) is het team de belangrijkste speler bij kwaliteitsborging. In een kwart van de gevallen is dat de examencommissie, in 10% (alleen roc’s) het management. Er wordt een scala aan instrumenten gebruikt van studenttevredenheidsrapportages, zelfevaluaties, interne en externe auditrapportages tot werkveldtevredenheidsmetingen. Toch is er behoorlijk wat twijfel als het gaat om de vraag of er voldoende evaluatiegegevens beschikbaar zijn. Die twijfel bestaat vooral bij docenten en stafleden. Een op de 5 Roc’s denkt niet over voldoende evaluatiegegevens te beschikken. Voor vakinstellingen staan twee verbeterpunten voorop: 1. Professionalisering van beoordelaars en 2. Samenwerking met de branches. Bij de roc’s staat hetzelfde verbeterpunt op nummer 1, maar op de tweede plaats staat waar mogelijk meer landelijke samenwerking bij borging. Minder dan een of de vijf invullers (weer vooral opleidingsmanagers en examencommissieleden) geeft aan dat knelpunten bij borging (deels) verband houden met kleinschaligheid van opleiding of branche.

Aangrijpingspunten voor kwaliteitsverbetering van examens Creatieve oplossingen Om te voldoen aan algemeen geldende kwaliteitsnormen moeten specialistische vakopleidingen soms creatieve oplossingen zoeken. Wie klein is, moet slim organiseren. Daarom luidde de volgende vraag: Op welke oplossing of aanpak op het gebied van de examinering (constructie, vaststelling, afname en kwaliteitsborging) bent u het meest trots? Liefst 35 invullers hebben deze vraag beantwoord. In de antwoorden steken een paar thema’s met kop en schouders boven de rest uit. Dat is bijvoorbeeld de afname. Zo is men trots dat de examens/proeves voornamelijk in de praktijk plaatsvinden en bijvoorbeeld mede beoordeeld worden door een beoordelaar van de school; men is trots op de examenmix, de insteek dat de examencommissie steekproeven neem bij de afname of dat er met simulatie gewerkt wordt. Een ander thema is de constructie en het gegeven dat er goede examenproducten liggen, voor soms unieke opleidingen. Daarbij stelt men: “Examinering vindt steeds meer plaats op basis van actuele onderwerpen. Oude technieken en vaardigheden krijgen een minder belangrijke plaats”. Maar het meest trots tonen de invullers zich op de goede en nauwe samenwerking met de branche/het werkveld, met andere ROC’s en SBB/een (voormalig) kenniscentrum. Die samenwerking leidt tot een scala aan opbrengsten: dat de branche een belangrijke rol speelt in de examinering, dat de branche bereid is mee te denken, dat specialisten uit de branche worden ingezet om goede proeves te maken, bereid is om in de school op te treden als assessor, praktijkbegeleiders bereid zijn tot het volgen van scholen, dat er eenduidige examenproducten komen, dat de proeves zich kenmerken door vakmanschapen dat er een cyclus van verbetering/kwaliteitsborging in gang is gezet. Waar zou naar de mening van de invullers in zijn algemeenheid het meest urgent op ingezet moeten worden om de kwaliteit van examens bij kleinschalige specialistische opleidingen (verder) te verbeteren?

Verbeterpunten kwaliteit examens

ROC’s

Vakinstelling

Totaal


50%

44%

48%


23%

31%

27%

16


delen van kennis en aanpakken

23%

31

26%

waar mogelijk meer landelijke samenwerking

31%

6%

21%

organiseren examineren op de werkplek

15%

19%

17%


19%

19%

19%


15%

0%

10%

dat is niet nodig

0%

6%

2%

De professionalisering van beoordelaars, ook het meest genoemde knelpunt, is volgens de invullers het meest urgent verbeterpunt. Daarna volgen de samenwerking met de branche en het delen van kennis en aanpakken. Voor de roc’s staat meer landelijke samenwerking op het wensenlijstje. En wat zou de school als eerste binnen de eigen opleiding kunnen aanpakken om de kwaliteit van examinering bij kleinschalige specialistische opleidingen (verder) te verbeteren? Gevraagd naar eigen mogelijkheden van de school om urgente knelpunten op te lossen ziet maximaal een op de 5 instellingen daar mogelijkheden toe. Verbeterpunten kwaliteit examens binnen de eigen opleiding

%


22%

delen van kennis en aanpakken

22%


12%


12%

waar mogelijk meer landelijke samenwerking

7%

organiseren examineren op de werkplek

5%

anders

5%


2%

geen

2%

De roc’s zetten delen van kennis en aanpakken op de eerste plek (bij vakinstellingen nummer 2); de vakinstellingen professionalisering van de beoordelaars (bij roc’s op de tweede plaats). Docenten en opleidingsmanagers ondersteunen deze volgorde; de examencommissieleden zoeken het vooral in meer standaardisering. Het zijn de roc’s die vooral ook mogelijkheden zien om intern verder te werken aan standaardisering van producten. Bij ‘anders’ wordt als voorbeeld digitalisering van theorie-examens genoemd. Gevraagd naar wie buiten de school vooral aan zet is om de kwaliteit van examens verder te vergroten zien de invullers vooral een rol weggelegd voor de BT, gevolgd door de branche. Het Ministerie en de Inspectie worden maar weinig genoemd. Bij anders noemt men bijvoorbeeld bestaande samenwerkingsverbanden als IRIS (samenwerking optiekopleidingen), samenwerkingsproject examens audiciens, een samenwerking met SBB en vervolgonderwijs (hbo).

Verbeterpunten kwaliteit examens buiten de school BTG

% 27%


17

Branche

22%

Anders

12%

SBB

7%

De Inspectie van het Onderwijs

5%

Andere scholen

5%

Ministerie van OCW

2%

Weet niet

20%

De roc’s zien extern vooral een grote rol voor de BTG weggelegd, de vakinstellingen noemen de branches op de eerste plaats. Tot slot is gevraagd of de invullers nog dringende zaken kwijt wilden op het gebied van organisatie, uitvoering of kwaliteit van examens. Vijftien procent van de invullers maakte van de gelegenheid gebruik. De hartenkreten hebben betrekking op verschillende onderwerpen. Zo geeft een invuller aan, dat docenten voldoende kennis in huis hebben om de inhoud van de examens goed te kunnen verzorgen, maar dat het feitelijk schrijven van de examens (formats, protocollen, etc) door (externe) onderwijsdeskundigen moet gebeuren. Een invuller wijst op de mogelijkheid tot inkoop van examens voor de Optiek en de mogelijke rol die OCW en Inspectie daarbij zouden kunnen vervullen. Er wordt een pleidooi voor samenwerking gehouden: “Werk samen waar het kan, maar laat los wanneer het moet! Soms vragen specifieke opleidingen ook een specifieke aanpak en dat houdt uniek specialistisch onderwijs in stand”. Een andere invuller wijst op het gegeven van een kleine branche, terwijl branchebetrokkenheid zeer belangrijk is en opleiden en examineren deels vanwege het specialistisch karakter van het werk en de kostbare apparatuur in het werkveld moet plaatsvinden. Een aantal malen wijzen invullers op het belang van af en toe stilstaan bij waar de examens voor zijn: “Examens moeten een reflectie zijn van de meest actuele kennis in een zich voortdurend innoverende branche”. Samenvattende conclusies op het gebied van aangrijpingspunten voor kwaliteitsverbetering examinering  





Er worden bij de kleine specialistische opleidingen veel creatieve oplossingen bedacht om constructie, vaststelling, afname en kwaliteitsborging conform de normen te organiseren. Volgens de invullers zou om de kwaliteit van examens bij kleinschalige specialistische opleidingen te verbeteren, het meest urgent ingezet moeten worden op professionalisering van de beoordelaars, samenwerking met de branche, meer landelijke samenwerking (roc’s) en delen van kennis en aanpakken. Gevraagd naar eigen mogelijkheden van de school om urgente knelpunten op te lossen ziet maximaal een op de 5 instellingen daar mogelijkheden toe. Roc’s zien vooral mogelijkheden om het delen van kennis en aanpakken in de eigen opleiding op te pakken; vakinstellingen zien meer mogelijkheden om professionalisering van de beoordelaars op te pakken. Buiten de school zien de invullers vooral een rol weggelegd voor de BTG (roc’s) en de branches (vakinstellingen).

18

4


Van resultaten naar aanbevelingen De resultaten van de enquête onder docenten, leden van de examencommissies, opleidingsmanagers en stafleden bevestigen een aantal beelden die uit de interviewronde naar voren kwamen. Dat geldt bijvoorbeeld voor de mate waarin er zelfgemaakte examens zijn en de geringe mate van inkoop(mogelijkheden). Het geldt ook voor de overeenkomsten in knelpunten met grote opleidingen, bijvoorbeeld in termen van behoefte aan toetstechnische kwaliteit en de kwaliteit van beoordelaars op de werkplek. Hieronder wordt een beeld van de resultaten geschetst, in de volgorde van de bouwstenen van de procesarchitectuur. De resultaten zijn gebaseerd op zelfrapportage van verschillende groepen van betrokkenen bij de examinering. Als referentiekader en om mogelijke risico’s te kunnen signaleren hanteren we daarom de procesarchitectuur.

4.1

Beeld van de resultaten per onderdeel van de procesarchitectuur Op de verschillende onderdelen van examinering is het volgende beeld ontstaan: Docenten maken de examens met elkaar Examens worden nooit door slechts één docent gemaakt. Er is samenwerking die bij de roc’s meer extern georiënteerd is (andere roc’s en/of branche) en bij de vakinstellingen meer intern (docenten onderling). Het grootste ervaren knelpunt ligt in de beschikbare faciliteiten en ondersteunende instrumenten (roc’s). Gevraagd naar verbeterpunten noemt men die ook, maar gerelateerd aan ervaren knelpunten lijkt vooral het verruimen van faciliteiten (tijd) en ondersteuning (toetstechnische en onderwijskundige expertise) de meeste prioriteit te hebben. Inkoop is geen praktijk en zal dat ook niet snel worden Er is nauwelijks sprake van inkoop van examens omdat het aanbod er niet of nauwelijks is en men ook niet verwacht dat dit gaat komen. De beheofte aan inkoop loopt sterk uiteen van zeer gewenst tot zeer ongewenst. Betrokkenheid van de branches is een wens Voor zowel het constructieproces als het vaststellingsproces van examens ziet men verbetermogelijkheden in het vergroten van de betrokkenheid van de branche. Tegelijkertijd wordt geconstateerd dat dit, vanwege de kleine omvang van bedrijven en dus het kleine aantal mensen dat beschikbaar is (capaciteit), een knelpunt is. Examens worden vastgesteld door een vaststellingscommisie of een examencommissie. Vakinstellingen zien het vergroten van de betrokkenheid van de branche bij vaststelling als prioritair verbeterpunt, roc’s noemen ook vergroten van toetstechnische/onderwijskundige deskundigheid van vaststellers, verbeteren van het vaststellingsproces en de ondersteunende instrumenten. Externe validering wordt niet breed onderschreven Een noodzaak tot externe validering van zelfgemaakte examenproducten wordt niet breed onderschreven. ROC’s vinden dit vaker nodig dan vakinstellingen. Tevredenheid over wijze van examineren


19

De respondenten zijn over het algemeen tevreden over de kwaliteit van het examineren op de werkplek, binnen de school of in een simulatie. Deze tevredenheid heeft betrekking op kwaliteitsaspecten zoals: het gebruik van een methodenmix en het feit dat beoordelaars zijn voor een deel (50%) gecertificeerd zijn. Roc’s examineren meer buiten de school, vakinstellingen meer binnen de school. Vooral vakinstellingen uiten behoefte aan verandering in die situatie. Bij beoordeling op de werkplek is de docent nooit de enige beoordelaar; de docent beoordeelt samen met praktijkopleiders, assessoren of examinatoren uit de branche. Beoordeling binnen de school gebeurt in een op de vijf gevallen (vooral roc’s) door de docent alleen; zoveel mogelijk wordt het 4-ogenprincipe gehanteerd. Een op de vijf invullers vooral verbonden aan roc’s geeft aan dat de beoordelaars van het leerbedrijf niet gecertificeerd zijn. Kwaliteit beoordelaar/examinator kan nog beter Verbetermogelijkheden ziet men in de voorbereiding van de afname, zoals bijvoorbeeld het verbeteren van beoordelingsvoorschriften en meer urgent in het vergroten van de kwaliteit van de beoordelaars op de werkplek. Het gaat dan om zowel de toetstechnische expertise als de vakinhoudelijke deskundigheid van beoordelaars op de werkplek. Ook de betrokkenheid van de branche bij de examens en de communicatie hierover met de bedrijven kan beter volgens de respondenten. Specifiek voor de kleine opleidingen geldt dat het inzetten van twee beoordelaars een knelpunt vormt, gezien het beperkte beroep dat men kan doen op een kleine groep deskundige beoordelaars. Wel zijn er allerlei creatieve oplossingen om met dit knelpunt om te gaan (de tweede beoordelaar komt onverwachts langs bij het examen, beoordelaars worden geworven bij het vmbo etc.) Voldoende bruikbare gegevens voor handen? Ondanks het gegeven dat er een scala aan instrumenten gebruikt wordt die informatie leveren over de kwaliteit van examinering, is er toch sprake (bij vooral docenten en staffunctionarissen) van twijfel of er voldoende evaluatiegegevens beschikbaar zijn. Opvallend is dat gegevens over tevredenheid van het werkveld door iets meer dan 50% gebruikt worden bij de kwaliteitborging, van studenteveluaties maakt 78% gebruik. Kwaliteitsborging is speerpunt Ook bij dit onderdeel van de procesarchitectuur wordt duidelijk dat de borging van de kwaliteit van beoordelaars een speerpunt is bij het nadenken over verbeteringen. De verwachting is dat meer landelijke samenwerking , bijvoorbeld in de vorm van een pool van assessoren, hier een rol kan spelen en meer samenwerking met de branche. Als het gaat om de rol van kleinschalige opleidingen of de kleinschaligheid van de branche in relatie tot ervaren knelpunten wordt die vooral door leden van de examencommissies en door opleidingsmanagers gesignaleerd, wellicht omdat zij in de positie zijn om te vergelijken met de situatie bij grote(re) opleidingen. De mate waarin kleinschaligheid een rol speelt varieert per onderwerp. Meestal signaleert bijna minder dan een op de vijf invullers enig verband met kleinschaligheid. Bij het onderwerp constructie signaleert een op de drie invullers een verband. Vaak heeft dat betrekking op de situatie dat door de kleine omvang het ook maar zeer beperkt mogelijk is om een beroep te doen op de inzet van mensen.

4.2

Prioriteiten in de verbetering van de kwaliteit van examens Er zijn vier zaken die volgens de invullers prioriteit zouden moeten krijgen om de kwaliteit van examinering bij kleinschalige specialistische opleidingen te verbeteren:

20

   


professionalisering van beoordelaars; meer samenwerking met de branche; meer landelijke samenwerking en het delen van kennis en aanpakken. De instellingen zien beperkt mogelijkheden om dat zelf op te pakken. Roc’s verwachten daarin vooral een bijdrage van de BTG, vakinstellingen van de branches/het werkveld.

Uit de enquêteresultaten spreekt ook veel trots. Men hecht aan kwaliteit en heeft creatieve en mooie oplossingen gevonden om te kunnen voldoen aan de kwaliteitsnormen. Dat betekent dat er dus ook veel is om te delen.

4.3

Verdiepingsslag met de klankbordgroep De enquêteresultaten zijn vertaald naar factoren die het succes van examinering beïnvloeden, deze vervolgens zijn voorgelegd aan de klankbordgroep. Deelnemers aan de klankbordgroep hebben de factoren aangevuld met concrete aanbevelingen. Per procesgebied van de Procesarchitectuur Examinering komen hieronder de genoemde concrete aanbevelingen van de klankbordgroep aan bod (zie “dat zie je aan”), die opleidingen binnen het SV kunnen gebruiken om de examenkwaliteit te verbeteren.

Kaders stellen Een succesvolle opleiding: 



  

Heeft een managementteam dat verbinding zoekt en samenwerkt met vergelijkbare opleidingen in de eigen instelling of in het land en deze samenwerking faciliteert. Samenwerking is gericht op het samen maken van examenproducten; Heeft voldoende examendeskundigen (constructeurs, vaststellers, examencommissieleden en beoordelaars) in huis die adequaat functioneren. Daar waar dit vanwege schaalomvang moeilijk te realiseren is, worden de opleidingen ondersteund door externe onderwijskundigen of toetsexperts; Benut de voordelen van het werken in BTG-verband voor uitwisseling van kennis en het delen van aanpakken; Werkt vanuit een instellingsbreed en gedragen gemeenschappelijk referentiekaderaan de betrokkenheid van de branche bij de examinering; Weet dat er risico’s kleven aan unieke opleidingen (eenkennigheid);

Dit zie je aan: Samenwerking met andere opleidingen in het opstellen van een examenplan, type examenvormen, instructie voor leerlingen, instructie voor beoordelaars, organisatie van de vaststelling. Het meenemen van de branche in het hele proces, bij elke stap: redeneren vanuit “wat heeft de branches nodig” in plaats van vanuit de structuur van het onderwijs, de dialoog met de branche aangaan onder meer over de verantwoordelijkheidsverdeling bij examinering. Feedback en reflectie zoeken, over de schutting kijken, niet in je eigen “cocon” blijven. Met elkaar kwesties bespreken zoals: bedrijven in examencommissies ja of nee, betaling van assessoren ja of nee. Het benutten van gegevens die vanuit de praktijk komen, deze “niet voor de borst houden’’. Leren


21

Een succesvolle opleiding:  

Ziet er op toe dat er een helder onderscheid is tussen ontwikkelingsgerichte (formatieve) toetsen en kwalificerende examens. Kan de toetsen examenresultaten betekenisvol duiden en van feedback voorzien voor de studenten Dit zie je aan: Praktijkopleiders en docenten die weten waarom een bepaald examen of toets nodig is voor de beroepsuitoefening. Betekenisvol heeft betrekking op authenticiteit. Construeren en vaststellen Een succesvolle opleiding:



   

Waarborgt dat examens door deskundige mensen gemaakt en vastgesteld worden (interne samenwerking of door samenwerking met andere instellingen, inkoop is veelal geen optie) Het gaat om inhoudsdeskundigheid en toetstechnische/onderwijskundige deskundigheid; Faciliteert constructeurs en vatstellers in tijd; Heeft vóór afname zicht op de kwaliteit van examenproducten; Weet de voordelen van landelijke standaardisatie van producten te benutten; Heeft een examencommissie die er op ziet toe dat de rollen van constructeurs en vaststellers gescheiden zijn; Dit zie je aan: Beoordelaars die hun deskundigheid aantoonbaar onderhouden door training en het verzamelen van reflecties. Betrokkenen die het profiel van een assessor helder voor ogen hebben; De inzet van een pool van erkende, bekwame assessoren Examineren en diplomeren Een succesvolle opleiding:

   

Zorgt voor de deskundigheid van examinatoren met name op de werkplek; Heeft een duidelijk visie op wat in de BPV geëxamineerd wordt en wat binnen de school en kan dit onderbouwen; Benut creatieve oplossingen om examineren op de werkplek kwalitatief te kunnen waarborgen; Hanteert een examenmix Dit zie je aan: Creatieve oplossingen voor het waarborgen van bekwame assessoren op de werkplek zijn bijvoorbeeld: verrassingsbezoek van een tweede beoordelaar, het creëren van een pool van assessoren, het betrekken van de branche bij en het voeren van de dialoog over examinering met de branche. Het behoud van eigenaarschap van de examinering bij de school Kwaliteitsborging en kwaliteitsbewustzijn bevorderen



Een succesvolle opleiding: Heeft de risico’s in beeld en grip op de examensituatie;

22

   


Verzamelt systematisch en voldoende informatie over de kwaliteit van examinering; Bevordert continu de kwaliteit door de dialoog met collega’s (binnen en buiten de opleiding) aan te gaan, door bij elkaar ” in de keuken te kijken” en expertise te delen; Treft verbetermaatregelen op basis van beschikbare gegevens; Schakelt zo nodig hulp van buiten af in Dit zie je aan: Het digitaliseren van gegevens (wie beoordeelt, met welke vorm, wanneer) Het toepassen van de PDCA-cyclus SV-breed in BTG-verband met elkaar uit te wisselen hoe de kwaliteit nog beter gewaarborgd kan worden (pauzegesprekken met studenten, evaluaties van bedrijven, studenten en collega’s te gebruiken, de procesarchitectuur als kapstok te gebruiken) Stip op de horizon In de klankbordgroep is gesproken over duurzame oplossingen voor gezamenlijke kwaliteitsborging. Een rode draad in de reacties is het pleidooi om centraal, gezamenlijk en gecoördineerd samen te werken. Dit geldt in elk geval voor die opleidingen die op meerdere plekken aangeboden worden. Unieke opleidingen zouden de samenwerking binnen hun eigen instellingen kunnen regelen. Het beeld bij gezamenlijk optrekken bestaat uit één plek, één SV-label (één loket?) die centraal, herkenbaar, een groepje deskundigen in huis heeft dat ‘een klap geeft op de examenproducten’. De constructeurs zijn gescheiden van degene die valideert. En het geheel wordt gecoordineerd door een trekker of aanjager. Het eigenaarschap van producten zou breed geregeld moeten worden. De kwaliteitsborging zou eenvoudig, efficiënt en overzichtelijk met elkaar geregeld moeten worden. Kijken wat je kunt bundelen: werken met formats en halffabricaten om zo de papierstroom te beperken. Bij de totstandkoming van de examenproducten zou de authenticiteit een belangrijk kwaliteitscriterium moeten zijn: een verslag schrijven bijvoorbeeld is doorgaans geen goed beroepsproduct. Bij de totstandkoming van examenproducten is toetstechnische en materiedeskundigheid nodig. Examineren is een belangrijke taak die continu aandacht vraagt en niet als bijzaak gezien moet worden. Als stip op de horizon ziet de de klankbordgroep, tot slot, digitale mogelijkheden voor beheer, onderhoud en distributie van examenproducten. Dit zelf organiseren wordt als lastig ervaren.


5

23

Conclusies en adviezen In hoofdstuk 3 zijn de resultaten gepresenteerd, die vervolgens in hoofdstuk 4 - op basis van de verdieping met de klankbordgroep - zijn voorzien van aanbevelingen. Met de stuurgroep is vervolgens verkend wat die resultaten nu specifiek betekenen voor de kleinschalige en landelijk unieke opleidingen. De stuurgroep heeft kennis genomen van de opbrengsten van de verdiepingsslag en plaatst daar enkele kanttekeningen bij. De stuurgroep stelt de resultaten bemoedigend te vinden. Kleine specialistische opleidingen zijn zich zeer bewust van kwaliteit en hebben in beeld waar verbetering mogelijk is. Zij constateert verder dat de meeste resultaten en bijbehorende aanbevelingen vergelijkbaar zijn met grotere, niet unieke opleidingen. Maar er is geen ‘one size fits all’. Bovendien geldt dat binnen het specialistisch vakmanschap opleidingen niet allemaal over één kam geschoren kunnen worden. Het maakt verschil of het gaat om landelijk unieke opleidingen, of om kleinschalige opleidingen die op meerdere plekken aangeboden worden. En het maakt verschil of een opleiding door een ROC aangeboden wordt of door een vakschool. De stuurgroep heeft daarom aangegeven behoefte te hebben aan het benadrukken van die conclusies en bijbehorend advies die echt specifiek zijn voor de kleinschalige en unieke opleidingen. De specifieke aandachtspunten zouden aan het eigen handboek toegvoegd kunnen worden in de vorm van een addendum, Resultaten zijn over het algemeen vergelijkbaar met grotere opleidingen De uitkomsten stroken met het landelijk beeld zoals dat ook in verschillende inspectierapporten naar voren komt. Er zijn geen grote verschillen aan te wijzen. De resultaten zijn vergelijkbaar. Scholen binnen het Specialistisch Vakmanschap zijn bijvoorbeeld vergelijkbaar georgansieerd in examencommisies en vaststellingscommissies en werken met kwaliteitshandboeken. Dit betekent, om de kwaliteit te blijven waarborgen, het nodig is om net zoals alle andere mbo- opleidingen over de hele linie aandacht te blijven besteden aan alle elementen van de procesarchitectuur. Die aanbevelingen zijn in het vorig hoofdstuk belicht en kunnen een praktisch handvat bieden. Het advies aan de BTG SV luidt: blijf de dialoog over de kwaliteit van examens voeren. Bij de leden is behoefte aan kennisdeling en uitwisseling van aanpakken. De beoogde kwaliteitsverbeteringen zijn vergelijkbaar met het landelijk beeld. Dus stimuleer de verbinding, het bij elkaar kijken en de samenwerking tussen kleinschalige opleidingen. Wellicht dat een netwerk examinering voor kleinschalig SV, dat één of twee keer per jaar bijeen komt, een goede optie is om kwaliteit blijvend te borgen. er worden door kleine opleidingen veel creatieve oplossingen bedacht met het oog op de kwaliteit en uitvoering. Netwerken of bijeenkomsten kunnen het delen van die oplossingen (en dus niet ieder voor zich het wiel hoeven uitvinden) faciliteren. Minder of geen inkoop mogelijk, dus extra alertheid op kwaliteitsborging Specifiek voor de kleinschalig specialistische en unieke opleidingen geldt dat, in vergelijking met grotere opleidingen, er geen of beperkte mogelijkheid voor inkoop bestaat. In het algemeen geldt dat ingekochte examenproducten en diensten hoger scoren op kwaliteitsstandaarden dan zelfgemaakte examens. Dit betekent dat kwaliteitsborging van zelfgemaakte examens extra aandacht behoeft. Opleidingen zoals Optiek, Audicien en MSMH zijn kleine opleidingen die op meerdere plaatsen aangeboden worden. Zij kennnen samenwerkingverbanden waarin men gezamenlijk werkt aan examenproducten. Deze samenwerkingsverbanden zijn goede voorbeelden om het verschil in kwalitieit met ingekochte examens op te vangen.

Het advies aan de BTG SV luidt: stimuleer het samen construeren, vaststellen en borgen van kwaliteit van examenproducten. Kleinschalige, op meerdere plekken aangeboden opleidingen, zouden duurzaam gestimuleerd moeten worden om elkaar op te zoeken zoals dat nu gebeurt bij Optiek, MSMH en Audiciens. Unieke opleidingen, zeker als deze aangeboden worden binnen grotere ROC’s of vakscholen kunnen onderwijskundige en toetstechnische expertise aangereikt krijgen binnen hun eigen instelling of extern expertise inhuren om die extra kwaliteitsslag te maken.

24


Beschikbaarheid deskundigen is beperkter aanwezig, dus risico van rolvermenging

In vergelijking met grotere opleidingen is de spoeling van geschikte mensen dunner. Er is een risico dat constructeurs ook vaststellingstaken hebben of dat examencommissieleden dubbele petten hebben. Verschillende rollen zitten vaker bij één persoon dan bij grotere niet specialistiche opleidingen. Voorheen leverde de SVGB aanvullende expertise en organiseerde zij het examenproces zodanig dat het risico van rolvermenging minder aanwezig was.

Het advies aan de BTG is ook hier: stimuleer het samen optrekken waar dat kan. Daar waar opleidingen op meerdere plekken aangeboden worden gebeurt dat al voor een deel. Initiatieven om instellingsoverstijgend duurzaam samen te blijven werken zouden aangemoedigd moeten worden. Op die manier kan men profiteren van elkaars creatieve oplossingen en aanpakken. Directeuren, teamleiders en examencommissieleden zouden dit risico goed op het netvlies moeten hebben en passende maatregelen treffen. Beschikbaarheid van de branche is een issue De SV- leerbedrijven worden gekenmerkt door kleine ZZP-bedrijven De begeleider van de leerling is vaak ook de beoordelaar. In het examenprofiel staat vermeld dat het “georganiseerd bedrijfsleven medeverantwoordelijk is voor de beoordeling van de examens. Deze rol kan op de volgende manier door een of meerdere vertegenwoordigers van het georganiseerd bedrijfslevenworden ingevuld: “Medebeoordelaar van de examenprestatie van de student”. Het specialistisch vakmanschap heeft verschillende meer of minder georgansieerde branches. Voor scholen is het niet eenvoudig om de betrokkenheid van de branche bij de examinering goed te organiseren. Ook hier geldt dat slechts enkele personen kennis hebben van examineren en dat de scholen de leerbedrijven niet wil overvragen. Advies aan de BTG is: professionalisering en erkenning van assessoren moet op de agenda blijven om de onafhankelijkheid van de beoordeling te kunnen waarborgen. Het delen van creatieve oplossingen en aanpakken kan hierbij helpen. Het examenprofiel zou meer in de genen van de scholen en bedrijven opgenomen mogen worden. En als de BTG mogelijkheden ziet richting leerbedrijven, dan deze benutten. Hierbij kan bijvoorbeeld gedacht worden aan de opzet van een pool van assessoren.

Externe validering is geen speerpunt Men voelt geen druk om externe validering vorm te geven. De politieke besluitvorming hierover laat ook nog op zich wachten. De examenagenda mbo is inmiddels gereed. Advies is kennis te nemen van de voorstellen zoals geformuleerd in de examenagenda en in afwachting van de formele besluitvorming over externe validering door te gaan met de onderlinge validering en de bestaande vormen van validering in beeld te brengen. Maak zichtbaar wat er al gebeurt en betrek, zoals afgesproken in het examenprofiel, daar waar mogelijk de branche hierbij.

Tot slot

In de stuurgroep is de duurzaamheid van oplossingen minder uitgebreid aan de orde gekomen dan in de klankbordgroep. De klankbord ziet mogelijkheden bij landelijk gezamenlijk optrekken. De stuurgroep brengt hierin een fasering aan: kijk als eerste referentiekader binnen de instelling (bij andere opleidingen) en indien daar niet aanwezig, dan in den lande.


25

Het is een interessant punt om verder te verkennen waar landelijke samenwerking meerwaarde biedt en waar de voorkeur verdient om binnen de eigen instelling duurzaam de kwaliteit te borgen. Kleinschalig specialisme herbergt een rijk scala aan creatieve oplossingen en mogelijkheden om van elkaar te leren en te delen. Het is zinvol om het delen (bijvoorbeeld middels een website) te faciliteren.

26


Bijlage 1: Geraadpleegde informanten Instelling

Informant

Deltion College

Marc Otto

DHTA onderdeel MBO Amersfoort

Marleen Soppe

SVGB

Wolter de Vries

SOS Vakmanschap

Jos ter Haar

Thema adviesgroep / SBB

Janneke Voltman

Excenter

Jim Schouten

Deltion College/IRIS

Wim Roos

MBO Amersfoort

Aren van Heest

MBO Amersfoort

Jos van Odijk / Fokko van Gemert

St.Lucas

Ruud Rabelink / Dirk Roebroek

NUVO

Brigitte Wieman

HMC

Heleen van Baarsen / Ben Hoogerdijk


Bijlage 2: Vragen webenquête

Peiling Examinering Specialistisch Vakmanschap

© 2015 IVA Onderwijs / Bureau Turf

27

28


Algemene gegevens /naam instelling 00c

Wat is uw functie? (meerdere antwoorden mogelijk)

00b

Voor welk kwalificatiedossier vult u deze vragenlijst in en voor welke opleiding binnen dit kwalificatiedossier? Wat is het niveau van deze opleiding?

00a

00d

1. opleidingsmanager 2. examencommissielid 3. docent 4. anders namelijk ....... kwalificatiedossier: ......... opleiding: ......... 1. niveau 2 2. niveau 3 3. niveau 4 1. BOL opleiding 2. BBL opleiding

Betreft het een BOL of een BBL opleiding? (als de opleiding beide leerwegen kent, kies dan één van deze leerwegen en vul de verdere vragen in voor deze leerweg)

Constructie van examens 01 Hoe komen de examens van deze opleiding tot stand? (meerdere antwoorden mogelijk) 02

03

a. b. c. d. e. g 04a 04b

Wie construeren de examens? (alleen als vraag 01 is code 1 of 2)

1. 2. 3.

1. we maken de examens zelf 2. de examens worden met externe deskundigen gemaakt 3. we kopen de examens in 4. anders, namelijk…………….. één docent van deze opleiding meerdere docenten van deze opleiding één of meerderde docenten van deze opleiding in samenwerking met docent(en) van een andere school onze docent(en) in samenwerking met deskundige(n) uit de branche anders, namelijk…………………..

4. 5. In welke mate bent u tevreden over onderstaande kwaliteitsaspecten bij de constructie van de examens? (alleen als vraag 01 is code 1 of 2) de inhoudelijke deskundigheid van de constructeurs de toetstechnische/onderwijskundige deskundigheid van de constructeurs de ondersteunende instrumenten (toetsmatrijzen, checklisten, procedures) de beschikbare faciliteiten (denk aan ondersteuning, tijd et cetera) het constructieproces (samenwerking, onderlinge communicatie, afspraken) de betrokkenheid van de branche bij de constructie Bent u tevreden over de kwaliteit van de examens? Waarom bent u niet tevreden over de kwaliteit van de examens? (meerdere antwoorden mogelijk) (alleen als vraag v04a is kode 1 of kode 2)

zeer ontevreden

ontevreden

niet ontevreden / niet tevreden

tevreden

zeer tevre-den

weet niet

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

1.

onvolledigheid van de examens (antwoordmodel, instructie kandidaten ontbreekt) 2. cesuur ontbreekt 3. onduidelijke informatie voor studenten 4. de examens zijn te makkelijk 5. de examens passen niet goed bij het beroep 6. de inhoud van de examens dekken het KD niet 7. er is onvoldoende variatie in examens 8. de examens passen niet goed bij de leerstof 9. de verhouding kennis, vaardigheden en gedrag is goed in balans 10. andere reden namelijk .......


05

06a

06b

29

Wat zijn de twee meest belangrijke verbeterpunten op het gebied van constructie? (niet stellen als vraag 01 is code 3)

1. 2.

vergroten inhoudelijke deskundigheid constructeurs vergroten toetstechnische/onderwijskundige deskundigheid constructeurs 3. verbetering ondersteunende instrumenten 4. vergroten faciliteiten 5. verbeteren constructieproces 6. verbeteren examenproducten 7. vergroten betrokkenheid branche bij constructie 8. meer inkoop 9. meer samenwerking met de branche 10. anders namelijk .... 11. geen Hebben (eventuele) knelpunten die u ervaart 1. ja, omdat ........ op het gebied van constructie te maken met 2. enigszins, omdat ......... de kleinschaligheid van de opleiding of bran3. nee che? 4. weet niet (niet stellen als vraag 01 is code 3) 5. niet van toepassing Wat is uw mening over het aanbod van inkoop van examens voor uw opleiding ? (aanwezigheid aanbod, mogelijkheid, wenselijkheid ?

Vaststelling en externe validering van examens 07

Hoe worden de examens vastgesteld? (meerdere antwoorden mogelijk)

1. 2. 3. 4. 5. 6.

dat gebeurt niet door de vaststellingscommissie van onze school door de examencommissie door branchevertegenwoordigers op een andere manier, namelijk ......... weet niet

08a

Wat zijn de twee meest belangrijke verbeterpunten bij het vaststellen van de examens? (alleen als vraag 07 >1)

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

vergroten inhoudelijke deskundigheid vaststellers vergroten toetstechnische/onderwijskundige deskundigheid vaststellers verbetering ondersteunende instrumenten vergroten faciliteiten verbeteren vaststellingsproces verbeteren van het resultaat van de vaststelling vergroten betrokkenheid branche bij vaststelling meer samenwerking met anderen anders namelijk ...... geen

08b

Hebben (eventuele) knelpunten die u ervaart op het gebied van vaststelling te maken met de kleinschaligheid van de opleiding of branche? (alleen als vraag 07 >1)

1. 2. 3. 4. 5.

ja, omdat ........ enigszins, omdat ......... nee weet niet niet van toepassing

09

In hoeverre onderschrijft u onderstaande stellingen?

helemaal mee oneens

mee oneens

niet oneens / niet eens

mee eens

helemaal mee eens

weet niet

a.

Externe validering van zelfgemaakte examenproducten is hard nodig

-1-

-2-

-3-

-4-

-5-

-6

b.

We zijn actief aan de slag met de externe validering van zelfgemaakte examenproducten

-1-

-2-

-3-

-4-

-5-

-6

c.

Externe validering van zelfgemaakte examenproducten is niet te realiseren voor deze opleiding

-1-

-2-

-3-

-4-

-5-

-6

30

Examineren 12 Hoe is de verhouding tussen het aantal afgenomen examens binnen de school en buiten de school (op de werkplek of elders)?

10

Wie is betrokken bij de afname en beoordeling van de examens op de werkplek?

11

Wie is betrokken bij de afname en beoordeling van de praktijkexamens of proeven binnen de school ?

13

Welke examenvormen worden binnen deze opleiding gebruikt?

14a

Is er bij het beoordelen van vaardigheden en gedrag sprake van twee beoordelaars?

14b

Zijn de beoordelaars van het leerbedrijf gecertificeerde beoordelaars? (niet stellen als vraag 10 is kode 1 én vraag 11 is kode 1)

15

In hoeverre onderschrijft u onderstaande stellingen? (item b, c, d en g niet stellen als vraag 10 is kode 1 én vraag 11 is kode 1) Er wordt op inhoudelijke gronden besloten waar het examen plaats moet vinden Het leerbedrijf is goed voorbereid op de afname van het examen De verhouding examineren op de werkplek en examineren binnen school is goed in balans De beoordelaars van het leerbedrijf zijn inhoudsdeskundig De examenprocessen van afname en beoordeling zijn deugdelijk De bereidheid van de branche om te examineren is groot De beoordelaars van het leerbedrijf zijn ervaren De instrumenten voor beoordelaars en studenten zijn van voldoende kwaliteit (beoordelaarsinstructie, instructie voor kandidaat)

a. b. c.

d. e. f. g. h.


1. 2. 3. 4. 5. 1. 2. 3. 4. 5. 6. 1. 2. 3. 4. 5. 1. 2. 3. 4. 1. 2. 3. 4. 1. 2. 3. 4. 5.

examens uitsluitend binnen de school meer examens binnen de school dan buiten de school meer examens buiten de school dan binnen de school in gelijke mate binnen de school en buiten de school weet niet alleen de docent de praktijkopleider van de werkplek de docent én de praktijkopleider anders, namelijk binnen de opleiding examineren we niet op de werkplek weet niet alleen de docent de praktijkopleider van de werkplek de docent en de praktijkopleider anders, namelijk weet niet alleen schriftelijke examens alleen proeven van bekwaamheid/ praktijkexamens mix van examenvormen anders, namelijk .................... ja, bij elke praktijkbeoordeling ja, dit gebeurt steekproefsgewijs nee anders, namelijk ......... ja deels nee weet niet nvt

helemaal mee oneens

mee oneens


mee eens

helemaal mee eens

weet niet

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6


16

Wat zijn de twee meest belangrijke verbeterpunten op het gebied van de afname van examens?

31

1. 2. 3. 4. 5. 6. 7. 8. 9.

10. 11. 12. 13.

17

Hebben (eventuele) knelpunten die u ervaart op het gebied van examinering te maken met de kleinschaligheid van de opleiding of branche?

Diplomeren 18 In hoeverre onderschrijft u onderstaande stellingen? a.

Er is een diplomadossier met een checklist voor de inhoud van het dossier b. Het komt voor dat een kandidaat zijn diploma krijgt, terwijl hij/zij dat naar mijn idee niet had moeten krijgen c. Het komt voor dat een kandidaat zijn diploma niet krijgt, terwijl hij/zij dat naar mijn idee wel had moeten krijgen d. Onze opleiding heeft goed zicht op de kwaliteit van de examinering Kwaliteitsborging

14. 15. 1. 2. 3. 4. 5.

de plaats van het examen: bij voorkeur meer op school de plaats van het examen: bij voorkeur meer op de werkplek vergroten inhoudelijke deskundigheid beoordelaars van school vergroten inhoudelijke deskundigheid beoordelaars van de werkplek vergroten toetstechnische/onderwijskundige deskundigheid beoordelaars verbetering ondersteunende instrumenten vergroten faciliteiten verbeteren afnameproces verbeteren examenproducten (inclusief beoordelingsvoorschriften en instructies voor beoordelaars en studenten) vergroten betrokkenheid branche bij de afname en beoordeling communicatie en samenwerking intern communicatie en samenwerking extern met mensen van andere opleidingen communicatie en samenwerking extern met mensen uit het werkveld anders namelijk ........... geen ja, omdat ........ enigszins, omdat ......... nee weet niet niet van toepassing

helemaal mee oneens

mee oneens


mee eens

helemaal mee eens

weet niet

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

19

Wie heeft de grootste rol bij de feitelijke zorg voor de kwaliteitsborging?

1. 2. 3. 4. 5. 6.

de examencommissie het management het gehele team een docent branchevertegenwoordigers anders namelijk. ….

20

Welke instrumenten worden gebruikt om de kwaliteit van de examens te waarborgen (meerdere antwoorden mogelijk)

1. 2. 3. 4.

interne auditrapportages externe auditrapportages studenttevredenheidsevaluaties werkveldtevredenheidsevaluaties

32


5. 6. 7. 8. 9. 21

a.

b.

c. d.

e 22

In hoeverre onderschrijft u onderstaande stellingen? Er zijn voldoende onafhankelijke deskundigen betrokken bij het borgen van de examenkwaliteit De examencommissie ziet in voldoende mate toe op de naleving van processen en procedures De administratieve processen zijn goed gearchiveerd Onze opleiding werkt continue, cyclisch (PDCA) aan het verbeteren van de kwaliteit van examinering Er zijn voldoende evaluatiegegevens beschikbaar Welke zijn naar uw mening de twee meest belangrijke verbeterpunten op het gebied van kwaliteitsborging?

23a

Hebben (eventuele) knelpunten die u ervaart 1. op het gebied van kwaliteitsborging te maken2. met de kleinschaligheid van de opleiding of 3. branche? 4. 5. Slotvragen

zelfevaluaties verbeterplannen anders namelijk…………… geen van deze weet niet

helemaal mee oneens -1-

mee oneens -2-

niet oneens / niet eens -3-

mee eens -4-

helemaal mee eens -5-

weet niet -6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

-1-

-2-

-3-

-4-

-5-

-6

1. professionalisering beoordelaars 2. samenwerking met de branche 3. bevorderen van inkoop van examens 4. standaardisering van examenproducten 5. waar mogelijk meer landelijke samenwerking bij de borging 6. landelijk delen van kennis en aanpakken 7. anders namelijk ...................... 8. geen ja, omdat ........ enigszins, omdat ......... nee weet niet niet van toepassing

24

Om te voldoen aan algemeen geldende kwaliteitsnormen moeten specialistische vakopleidingen soms creatieve oplossingen zoeken. Op welke oplossing of aanpak op het gebied van de examinering (constructie, vaststelling, afname en kwaliteitsborging) bent u het meest trots?

Open vraag

25

Waar zou naar uw mening in zijn algemeenheid het meest urgent op ingezet moeten worden om de kwaliteit van examens bij kleinschalige specialistische opleidingen (verder) te verbeteren? (maximaal twee antwoorden mogelijk)

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

professionalisering beoordelaars samenwerking met de branche bevorderen van inkoop van examens organiseren examineren op de werkplek standaardisering van examenproducten waar mogelijk meer landelijke samenwerking delen van kennis en aanpakken anders namelijk dat is niet nodig weet niet


33

26

Wat is het eerste verbeterpunt dat binnen uw opleiding door de school zelf aangepakt zou moeten worden om de kwaliteit van kleinschalige specialistische opleidingen (verder) te verbeteren?

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

professionalisering beoordelaars samenwerking met de branche bevorderen van inkoop van examens organiseren examineren op de werkplek standaardisering van examenproducten waar mogelijk meer landelijke samenwerking delen van kennis en aanpakken anders namelijk geen weet niet

27

Wie is buiten uw school vooral aan zet om de kwaliteit van examens verder te vergroten?

1. 2. 3. 4. 5. 6. 7. 8.

Het Ministerie van OCW De Inspectie van het Onderwijs andere scholen branche SBB BTG anders namelijk .............. weet niet

28

Tot slot: zijn er nog dringende zaken op het gebied van organisatie, uitvoering of kwaliteit van examens die u hier kwijt wilt?

1. 2.

ja, namelijk ................ nee

Hartelijke dank voor uw medewerking, we houden u op de hoogte van de resultaten

Examensituatie Specialistisch Vakmanschap

Recommend Documents