Jaarbericht Examinering 2011/2012 Landstede MBO ( jongeren/volwassenen)
verantwoordelijkheid verbinding ontmoeting talentontwikkeling respect zingeving vakmanschap
december 2012
1. Inhoud 1. Inleiding
3
2. Examenraad wordt Kwaliteitsraad
3
3. Handboek Examinering 2012
3
4. Overgang LEV naar nieuw cijferregistratiesysteem in E-TO
3
5. Bevindingen Inspectie
4
6. Eigen bevindingen op basis van de zelfevaluatie
4
6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14
Bouw & Architectuur ICT & Technologie Gezond & Wel Groen & Dier Handel & Commercie Mooi & Mode Office & Management Onderwijs & Opvoeding Sport & Bewegen Techniek & Innovatie Veilig & Beschermd Vormgeving & Entertainment Vrij & Gastvrij Arbeidsgekwalificeerd Assistent (AKA)/TaToe
BIJLAGE: Standaarden en indicatoren Inspectie Gebied 2: Examinering en diplomering
4 5 6 7 8 9 10 11 12 13 14 15 16 17
19 19
Aspect 2.1 Exameninstrumentarium* (examenstandaard 1) 19 Aspect 2.2 Afname en beoordeling* (examenstandaard 2) 20 Aspect 2.3 Diplomering* (examenstandaard 3) 20
2
Jaarbericht Examinering 2011/2012
1. Inleiding In het schooljaar 2011/2012 heeft Landstede MBO veel aandacht besteed aan de kwaliteit van examinering. Landstede MBO streeft ernaar de examenprocessen en -producten voordurend te verbeteren. Het meest recente bezoek van de Inspectie van het Onderwijs laat desondanks zien dat Landstede MBO nog een aantal zaken moet oppakken. Zo moeten de afnames van examens en het functioneren van de Landschapsexamencommissies nog worden verbeterd (zie ook hoofdstuk 6). Dat betekent dat Landstede MBO het komende schooljaar hard aan de slag gaat om het niveau van examinering voldoende te krijgen. In dit jaarbericht willen we aangeven met welke zaken wij op het gebied van examinering te maken hebben gehad en hoe wij daarop hebben gereageerd. Daarnaast leggen de Landschapsexamencommissies van Landstede MBO verantwoording af over hun werkzaamheden in het afgelopen schooljaar.
2. Examenraad wordt Kwaliteitsraad Sinds januari 2012 voert de Inspectie integraal toezicht uit. Dat betekent dat de Inspectie tijdens een onderzoek zowel de kwaliteit van onderwijs als die van de examinering beoordeelt. In dit proces past ook een Kwaliteitsraad. Deze houdt zich niet alleen bezig met de kwaliteit van examinering, maar ook met de kwaliteit van onderwijs. Onder de noemer ‘kwaliteit’ kunnen veel aspecten vallen. In ieder geval zal het toezichtskader van de Inspectie de basis zijn voor de kwaliteitszorg binnen Landstede MBO. De Kwaliteitsraad is sinds september 2011 operationeel. In het begin stonden vooral onderwerpen op de agenda die uitsluitend betrekking hadden op examinering, maar in de loop van het schooljaar toont de agenda een palet van onderwerpen die zowel betrekking hebben op examinering als op onderwijs. De Kwaliteitsraad, die bestaat uit eenheidsdirecteuren en medewerkers Kwaliteitsborging, heeft een steeds prominentere, sturende rol gekregen op het gebied van kwaliteitszorg. Bovendien heeft de Kwaliteitsraad gezorgd voor meer samenhang tussen de uitvoering van examinering en onderwijs.
3
3. Handboek Examinering 2012 Vorig jaar konden wij volstaan met een beperkte aanpassing van het Handboek Examinering: ingegeven door actuele ontwikkelingen en veranderingen in de examenorganisatie. Datzelfde geldt voor dit jaar: opnieuw heeft de Helpdesk Examinering het Handboek Examinering geactualiseerd. De huidige aanpassingen zijn ingegeven door: • een nieuw toezichtskader van de Inspectie, dat geleid heeft tot nieuwe standaarden voor examinering; • de centrale examinering van Nederlands en rekenen; • de invoering van een nieuw digitaal cijfersysteem (zie hoofdstuk 4). In 2011 zijn de bijlagen van het handboek nauwelijks aangepast. Dit jaar heeft de Helpdesk Examinering alle bijlagen doorgenomen en zo nodig aangepast aan de actualiteit en de inhoud van het Handboek Examinering 2012. Het herziene Handboek Examinering is in september 2012 in gebruik genomen; voor de tweede keer in handig boekformaat.
4. Overgang LEV naar nieuw cijferregistratiesysteem in E-TO E-TO staat voor Elektronisch Talentvol Ontwikkelen. Een systeem dat teams op dezelfde wijze laat werken volgens de principes van Talentvol Ontwikkelen, het onderwijsmodel van Landstede MBO. Zo kent e-TO een uitgebreide begeleidingsmodule voor studenten en hun coaches. Ook bevat e-TO een examineringgedeelte. Binnen de projectgroep e-TO is men al vanaf het begin bezig geweest de examenprocessen van Landstede MBO goed in kaart te brengen. Ook was al vanaf de start duidelijk dat het Landstede Examen Volgsysteem (LEV) vervangen zou worden door het nieuwe elektronische systeem dat Talentvol Ontwikkelen mogelijk maakt. Op 1 juni 2012 werd het complete examineringgedeelte in e-TO door de leverancier opgeleverd. Na uitgebreid testen in invoeren van examenmappen, is het nieuwe examensysteem in november 2012 in werking getreden. Naast cijferregistratie kan het systeem ook diploma-aanvragen uitvoeren.
Jaarbericht Examinering 2011/2012
5. Bevindingen Inspectie In de periode van januari t/m maart 2012 heeft de Inspectie een regulier onderzoek uitgevoerd naar de kwaliteit van het onderwijsproces en de examinering. Het onderzoek vond plaats op basis van het nieuwe toezichtskader. Hierbij heeft de Inspectie met name ingezoomd op de kwaliteitsborging binnen Landstede MBO. Om een goed beeld te krijgen heeft de Inspectie gesprekken gevoerd met het College van Bestuur, de directeur Kwaliteitszorg, medewerkers Kwaliteitszorg, docenten en studenten. Half juni 2012 is de definitieve rapportage van de Inspectie ontvangen en hebben enkele opleidingen ten aanzien van examinering de volgende beoordeling gekregen: Opleiding Eenheid Commercieel Medewerker (n3) Harderwijk A Juridisch medewerker OB Zwolle C Mode/Maatkleding Zwolle D Onderwijsassistent Raalte Luchtvaartdienstverlener Zwolle D
Oordeel Slecht Slecht Onvoldoende Slecht Onvoldoende
Naar het oordeel van de Inspectie kunnen de opleidingen beter scoren op de volgende terreinen: • Meer onderscheid maken tussen ontwikkelgerichte toetsen en examinering. • Een scheiding tussen begeleider en beoordelaar realiseren. • Landschapsexamencommissies moeten over meer gegevens, instrumenten en verifieerbare afspraken met de teams beschikken om de kwaliteit van de examens op de Landstedelocaties te kunnen waarborgen.
Negen indicatoren
De beoordeling van de Inspectie is gebaseerd op negen indicatoren. Om een voldoende te scoren voor examinering dienen alle indicatoren voldoende te zijn (zie bijlage). Eén team heeft 5 indicatoren, drie teams 7 indicatoren en één team 8 van de 9 indicatoren voldoende. Gezien het feit dat het aantal indicatoren dat onvoldoende is relatief laag is, verwacht Landstede MBO de onvoldoendes in najaar 2012 om te buigen naar een voldoende.
4
6. Eigen bevindingen op basis van de zelfevaluatie De resultaten per landschap:
6.1 Bouw & Architectuur Examenstandaard 1: Exameninstrumentarium
• Er is extra kritisch gekeken naar examenplannen en het opleidingscurriculum. De communicatievorderingen (meetmomenten) zijn in kaart gebracht (proces) en in uitvoering gebracht. De dekking van het kwalificatiedossier was al in orde en hierin is niets veranderd. Wel is er extra aandacht nodig voor het talencurriculum. Met name moet bekeken worden op welke wijze de beroepsspecifieke taalonderdelen worden geïntegreerd in een Proeve van Bekwaamheid (PvB). • De examens voor de opleiding Middenkaderfunctionaris Bouw-Infra worden ingekocht bij brancheorganisatie Fundeon. • Bij de BBL-opleidingen is de cesuur vastgesteld in de geleverde toetsen. Bij de niveau 4 (BOL)-opleidingen is de cesuur van de examinering gebaseerd op werkprocessen. De leerling maakt een keuze uit werkprocessen die in de praktijk kunnen worden getoetst en beoordeeld door de praktijkbeoordelaar van het BPV-bedrijf. De overgebleven werkprocessen worden op school getoetst. Omdat dit systeem volgens het team niet meer voldoet, wordt voor wat betreft examinering overgestapt op de eisen van Talentvol Ontwikkelen en het Handboek Examinering. • Er is een eenduidige lijn gekomen in het toetsen van met name taal en rekenen. De uitvoering hiervan verdient echter nog verbeteringen. Dit wordt in het schooljaar 2012/2013 opgepakt. De ontwikkelingen gaan echter snel en blijken, met name op taalgebied, niet voor iedereen te volgen. Onderzocht wordt hoe alle wijzigingen inzichtelijker te krijgen zijn.
Examenstandaard 2: Afname en beoordeling
• De PvB van de niveau 4 (BOL)-opleiding Middenkaderfunctionaris Bouw-Infra is dit jaar in ontwikkeling. De cesuur hiervoor moet worden vastgesteld. De cesuur voor de BBL-opleidingen is vastgesteld op basis van het materiaal van Stichting Consortium Beroepsonderwijs. • De opzet van de afname en beoordeling is eenduidig bij zowel de BBL- als de BOL-opleidingen. Bij de niveau 4 (BOL)opleiding Middenkaderfunctionaris Bouw-Infra is in het
Jaarbericht Examinering 2011/2012
schooljaar 2010/2011 echter geconstateerd dat de huidige vorm van examinering niet meer voldoet. Dit schooljaar is er een verbeterplan opgezet.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De coach van de student geeft bij de Taakhouder Kwaliteitszorg aan dat de resultaten van de student voldoende zijn om het diploma aan te vragen. Het diploma wordt vervolgens door de Taakhouder Kwaliteitszorg aangevraagd en door een lid van de Landschapsexamencommissie gefiatteerd. • Het landschap is vertegenwoordigd in de Landschapsexamencommissie. De Landschapsexamencommissie vergadert structureel één keer per maand. In de Landschapsexamencommissie worden de processen en procedures rond examinering besproken en gecontroleerd vanuit het landschap. Hierbij wordt gebruikgemaakt van de input van de vaststellers, het Examenbureau en studententevredenheidsevaluaties. Terugkoppeling naar het team gebeurt door de Taakhouder Kwaliteitszorg. De Landschapsexamencommissie is een agendapunt op de teamvergadering, het lid is ook aanwezig bij deze vergaderingen. Tijdens de vergadering van de Landschapsexamencommissie zijn één of meerdere items van het toezichtskader geagendeerd. De teams wordt gevraagd om ruim voor de vergadering input te geven, daarna gaat de Landschapsexamencommissie naar de teams om dit te onderzoeken. • Het proces rondom het Protocol diplomering moet nog verbeterd worden.
6.2 ICT & Technologie Examenstandaard 1: Exameninstrumentarium
• Landschap ICT heeft een duidelijk onderscheid gemaakt tussen de opleiding - en daarin opgenomen ontwikkelgerichte toetsen - en de examinering. De examinering staat vermeld in de examenplannen die horen bij de aangeboden crebo’s. De studenten bouwen een portfolio op met bijbehorende opdrachtenlijst(en). Daarmee is de overgang tussen onderwijs en examinering gemarkeerd. Zijn het portfolio en de takenlijst in orde, dan heeft de student een grote kans op een positieve beoordeling van de Proeve van Bekwaamheid (PvB). • In het onderwijsproces maakt de student een ontwikkeling door van beginner tot gevorderde en is uiteindelijk beroepsbekwaam. Bij deze fasen horen onderwijsproducten met kwaliteitseisen (indicatoren). Als aan deze kwaliteitseisen is voldaan is de student in staat om de PvB met succes af te
5
leggen. De daarbij behorende trajectlijnen en een leermeter worden ontwikkeld en te zijner tijd in e-TO opgenomen. • De Landschapsexamencommissie heeft in de examenplannen vastgelegd op grond van welke examens en overige eisen het diploma wordt verstrekt. De studenten weten zo welke beoordelingen meetellen voor het halen van het diploma. • De kwalificerende examens zijn volledig, de complexiteit is afgestemd op het vereiste beheersingsniveau van de beroepsbeoefening. De PvB’s zijn projecten die variëren van dagdelen tot de duur van een aantal weken. Tijdens deze proeven doen de studenten opdrachten die in de beroepspraktijk ook dagelijks voorkomen. In de toekomst zal in de echte beroepsomgeving (BPV) geëxamineerd worden. De werkprocessen in het kwalificatiedossier worden voor meer dan driekwart van de kerntaken geëxamineerd. De inhoud van de PvB’s is afgestemd op de kennis, vaardigheden en houding die bij het beroep horen waarvoor de student wordt opgeleid. • De exameninstrumenten en de generieke kwalificatievereisten voor talen en rekenen worden zodanig afgedekt dat recht wordt gedaan aan het CEF-niveau Moderne Vreemde Talen (MVT) dan wel het referentieniveau (Nederlands en rekenen). Hiervoor worden TOA (Toolkit Onderwijs & Arbeidsmarkt)examens en contextrijke omgeving in de PvB gebruikt. • Er is een verantwoorde procedure gevolgd voor het bepalen van de cesuur, zowel voor examenonderdelen als voor het examen als geheel. De constructeur bepaalt de beoordelingscriteria bij het maken van de PvB en legt daarbij ook de cesuur vast. Bij een aantal onderdelen wordt 100% verlangd, bij de overige onderdelen van de PvB ligt de cesuur tussen de 60 en 80%. De cesuur van het exameninstrumentarium ligt op het juiste niveau. Er is sprake van een weging van de examenopdrachten/-toetsen onderling, die recht doet aan de cesuur. • Een beoordelingsvoorschrift bij de PvB maakt objectieve beoordeling mogelijk. De beoordelaar kan (deel)waardering aan de verschillende prestaties van een student toekennen en op grond daarvan een eindwaardering geven. Uit de beoordelingsrichtlijnen blijkt dat de beoordeling plaatsvindt op het niveau van werkprocessen en bijbehorende competenties. De beoordeling wordt gebaseerd op de prestatie-indicatoren die samenhangen met het kwalificatiedossier. De beoordelaar motiveert een onderdeel dat niet behaald is bij de betreffende prestatie-indicator. • Alle bij examinering betrokken partijen (studenten, bij de afname betrokken personen, constructeurs, beoordelaars, surveillanten etc.) weten wat de PvB inhoudt. Zij zijn op de hoogte hoe de PvB wordt uitgevoerd en beoordeeld. Studen-
Jaarbericht Examinering 2011/2012
ten en beoordelaars zijn middels een voorlichtingsbijeenkomst geïnformeerd over de PvB’s, de wijze waarop het examen zal plaatsvinden en over de beoordeling. De afnamecondities van de PvB’s en andersoortige examens zijn bekend voor iedereen die erbij betrokken is. Tijdens de voorlichtingsbijeenkomst(en) worden alle examenonderdelen uitgelegd en wordt de planning van het examen doorgesproken. • De examens worden in het jaarrooster opgenomen.
Examenstandaard 2: Afname en beoordeling
• De PvB’s bevatten de taken die de student als beginnend beroepsbeoefenaar in het toekomstige beroep uitvoert, afgestemd op het kwalificatiedossier. De werkomstandigheden en de sociale context (verschillende rollen en taken) tijdens de beoordeling van het examen komen zoveel mogelijk overeen met de situatie in het toekomstige beroep. Onderdelen van het examen vinden nog niet in de reële beroepspraktijk plaats, maar in een gesimuleerde omgeving. Het werkveld is betrokken bij de simulatie (PvB) in de vorm van een rol (opdrachtgever), maar heeft bij de beoordeling slechts een adviserende taak. • De Landschapsexamencommissie ziet erop toe dat de afname en beoordeling deugdelijk zijn en verlopen zoals van tevoren is vastgelegd in de examenproducten volgens de PICO-methode (Projectmatig werken In een Competentiegerichte Omgeving). Beoordeling van prestaties is voor iedere student gelijk (beoordelingsformulieren met beoordelingsvoorschrift). • De beoordeling vindt plaats door meerdere beoordelaars (binnen de PICO-methode bestaat een rollenverdeling en er is een strikte scheiding tussen begeleiders en beoordelaars) waardoor een hoge mate van objectiviteit wordt bereikt. Voorzieningen die zijn getroffen om dat te bereiken worden bij elke PvB of examen op dezelfde wijze toegepast. • Examenopdrachten, afnamecondities en beoordelingen zijn voor alle studenten gelijk. Bij iedere proeve wordt een instructiebijeenkomst georganiseerd. • Beoordelaars zijn geschoold om op vakinhoudelijk gebied correct de vereiste kennis, houding en vaardigheden van de student te kunnen beoordelen. • De beoordelaars zijn minimaal twee docenten en een vertegenwoordiger uit het werkveld. De beoordelende docenten zijn niet de coaches van de te beoordelen studenten. Momenteel zijn er plannen om een essentieel deel van de beoordelingen in de beroepspraktijk uit te voeren via de Kwabip-methode (kwalificeren en beoordelen in de praktijk).
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Landschapsexamencommissie besluit op basis van de examenresultaten van de student tot het verstrekken van een diploma. De Landschapsexamencommissie neemt deugdelijke besluiten op grond van de beoordelingen op de examenonderdelen en legt verantwoording af op basis van registratie van de besluitvorming. De Landschapsexamencommissie volgt bij de besluitvorming rondom de diplomering de procedure zoals die in het Handboek Examinering staat beschreven. • De Taakhouder Kwaliteitszorg doet de aanvraag voor een diploma nadat alle onderdelen zijn afgerond en nadat alle examenproducten in een compleet leerlingdossier zijn gecontroleerd. De controle gebeurt volgens het examenplan dat hoort bij het cohort van de student. • Een lid van de examencommissie fiatteert, nadat hij nogmaals een dossiercontrole heeft uitgevoerd. Er is een examendossier van elke student. • Het Examenbureau maakt een diploma en laat het ondertekenen door een lid van de directie op de eenheid en door een lid van de Landschapsexamencommissie. • De Landschapsexamencommissie vergewist zich met gepaste grondigheid en frequentie van de kwaliteit van het exameninstrumentarium, de afname, de beoordeling, de besluitvorming betreffende de diplomering en van de deskundigheid van bij de examinering betrokken personen. • Elke periode waarin PvB’s worden afgenomen is eenmaal een lid van de Landschapsexamencommissie aanwezig bij de afname van een PvB. • Elk examen wordt door studenten en beoordelaars geëvalueerd volgens het Landstede Handboek Examinering. De samenvatting van de bevindingen van deze evaluaties komen bij de Landschapsexamencommissie, worden daar besproken en indien nodig worden verbeteracties uitgezet. • Om vast te stellen of de beoordeling adequaat verloopt wordt gebruikgemaakt van bijvoorbeeld resultatenanalyses en studenttevredenheidsevaluaties. De Landschapsexamencommissie legt vast wanneer beoordelingsresultaten worden aangepast en tot welke verbeteracties deze correcties leiden of hebben geleid. De Landschapsexamencommissie analyseert wat mogelijke oorzaken zijn als de beoordelingen niet naar wens verlopen.
6.3 Gezond & Wel Examenstandaard 1: Exameninstrumentarium
• Er is duidelijk onderscheid tussen formatieve en summatieve
6
Jaarbericht Examinering 2011/2012
toetsing. Dit wordt uitgelegd in de Landstede Studiegids. Deze wordt aan het begin van de opleiding toegelicht. Desondanks is het voor studenten soms niet duidelijk of het gaat om formatieve (ontwikkelgerichte) toetsing of summatieve toetsing. De meeste opleidingen geven tijdens het coachtraject nadere uitleg aan de studenten. • De teams werken met een BPV-gids. In werkveldbijeenkomsten wordt aandacht besteed aan de manier waarop met de Proeven van Bekwaamheid (PvB’s) moet worden omgegaan. Een onderdeel van de PvB’s is de handleiding voor student en de handleiding voor beoordelaar. Tijdens BPV-bezoeken krijgen de praktijkbegeleiders/praktijkbeoordelaars uitleg over het afnemen van de PvB’s door de BPV-docent. De studenten krijgen van tevoren ook instructie over de PvB’s en wat moet worden behaald. Het geven van deze instructie blijft een aandachtspunt. • Alle summatieve toetsen worden ingekocht bij Prove2Move. De PvB’s zijn gerelateerd aan het kwalificatiedossier en sluiten hierop volledig aan. • In de PvB’s worden kennis, vaardigheden en beroepshouding meegenomen. Deze komen duidelijk naar voren in het beoordelingsformulier. De cesuur is duidelijk: alle PvB’s moeten behaald worden. Voor taal en rekenen wordt de cesuur centraal vastgesteld. • Een onderdeel van de PvB’s is de handleiding voor student en de handleiding voor beoordelaar. Ook zijn schema’s opgenomen met daarin een duidelijke koppeling tussen kerntaken, werkprocessen en competenties. De prestatie-indicatoren zijn in het beoordelingsformulier opgenomen. • Vanuit Prove2Move worden beoordelaarstrainingen gegeven. Als follow-up wordt nu ook een intervisietraject aangeboden. Hierdoor wordt de objectiviteit van de beoordeling vergroot en wordt geprobeerd de scheiding praktijkbegeleider/ praktijkbeoordelaar tot stand te brengen. Ook maakt het landschap gebruik van kenniscentrum Calibris om praktijkbeoordelaars te trainen. • De Landschapsexamencommissie heeft de dekking van de werkprocessen gecontroleerd en vastgesteld dat deze volledig is. • De Landschapsexamencommissie heeft het ‘Borgingsprotocol examinering in de praktijk 2012’ ontwikkeld om het proces van examinering in de praktijk te borgen.
Examenstandaard 2: Afname en beoordeling
• De PvB’s worden in de realistische beroepscontext afgenomen bij gecertificeerde instellingen. • Bijna alle proeven worden in de praktijk/het werkveld afgenomen. Het werkveld is betrokken bij constructie, vaststelling en afname van het examen.
7
• Naar BPV-instellingen wordt aangegeven dat een scheiding tussen praktijkbegeleider en praktijkbeoordelaar wenselijk is. • De praktijkbeoordelaar is gelijkwaardig of hoger opgeleid en heeft in veel gevallen een training gehad om te mogen beoordelen. • De Landschapsexamencommissie heeft een borgingsprotocol om de examenprocessen in de praktijk te borgen ontwikkeld. Dit instrument wordt inmiddels ingezet in de teams. • In werkveldbijeenkomsten wordt aandacht besteed aan het proces van beoordelen.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• Diploma’s worden aangevraagd en gefiatteerd op basis van summatieve toetsing. • Wanneer een student alle proeven heeft behaald en alle bewijsstukken op een correcte wijze zijn aangeleverd, worden de resultaten in het Landstede Examen Volgsysteem (LEV) gezet en worden de diploma’s aangevraagd. • Vervolgens vraagt de Taakhouder Kwaliteitszorg het diploma aan en een lid van de Landschapsexamencommissie fiatteert. • De Landschapsexamencommissie werkt volgens een jaarlijn waarin alle werkzaamheden met betrekking tot ontwikkelen en controle worden gepland en uitgevoerd. Hierbij wordt gewerkt volgens de PDCA-cyclus. • Evaluaties naar aanleiding van het Handboek Examinering worden uitgevoerd. Deze uitkomsten worden in de Landschapsexamencommissie besproken. Ook de resultaten van studentenpanels, studententevredenheidsevaluaties en werkveldenquêtes worden besproken.
6.4 Groen & Dier Examenstandaard 1: Exameninstrumentarium
• Er is een duidelijke splitsing tussen formatief en summatief toetsen. Het landschap kent/kende een ‘go/no go’-moment (ook voor algemene vakken en uitstroomvakken). Op dit moment is het een voorwaardelijkheid, wat ongewenst is. Het landschap zoekt naar oplossingen om een betere onderwijskwaliteit voor het formatieve leertraject te garanderen. In dit schooljaar is duidelijk gecommuniceerd met docenten dat enkel de summatieve toetsen bepalend zijn voor het examenresultaat. Middels een aantal cases is dit uitgewerkt en toegelicht. • Gebleken is dat de afgelopen jaren altijd de nieuwste PvB’s zijn afgenomen, maar dat deze niet per se het kwalificatiedossier dekten. Deze procedure is afgeschaft. Studenten leggen nu de PvB’s af zoals genoemd in het examenplan.
Jaarbericht Examinering 2011/2012
• De examenproducten zijn dit schooljaar voor het eerst vastgesteld voordat ze worden afgenomen (zowel de Proeven van Bekwaamheid (PvB’s) als de examenplannen). • Het landschap koopt in bij Stichting De Groene Standaard en participeert in het bestuur en overleg van de examensecretarissen. Bij vrijwel alle opleidingen, zo blijkt uit de evaluaties bij een PvB, zijn studenten tevreden met de informatie die ze over de examinering krijgen. Bij twee opleidingen is dit niet het geval, daar is een verbetertraject ingezet, onder andere door medewerkers te wisselen. • Het landschap gaat de informatievoorziening naar studenten anders organiseren. Tot nu toe werden studenten in klas 1 en vlak voor een examen geïnformeerd over examinering. Vanaf komend schooljaar wordt de Onderwijs- en Examenregeling (OER) elk schooljaar standaard besproken. • Ook is besloten om de PvB’s al bij de start van de opleiding aan de studenten te geven/te publiceren op intranet. Het proces ‘Aanvragen van een Proeve van Bekwaamheid’ kan dan verdwijnen, een student kan immers zelf aangeven wanneer hij klaar is voor een PvB.
Examenstandaard 2: Afname en beoordeling
• Binnen het landschap worden PvB’s altijd in de beroepspraktijk afgenomen. • Bij één van de opleidingen heeft het werkveld aangegeven dat de PvB inhoudelijk niet de juiste beoordelingscriteria omvat. Dit is opgepakt door Stichting De Groene Standaard en aangepast. • De beoordeling gebeurt altijd met minimaal één praktijkbeoordelaar uit de beroepspraktijk. Bij sommige PvB’s wordt de PvB afgenomen door een externe praktijkbeoordelaar die niet betrokken is geweest bij het onderwijsproces op school of op de BPV-plek. De vraag die nu leeft is hoe dit betaalbaar te houden.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Landschapsexamencommissie checkt met regelmaat bij de Taakhouders Kwaliteit hoe het proces van diplomering volgens regelgeving verloopt. Met name de implementatie van de PDCA-cyclus vraagt veel overleg. • De Landschapsexamencommissie gaat dit schooljaar steekproefsgewijs dossiers controleren op inhoud en volledigheid. Wel zijn niet alle dossiers van de studenten die dit schooljaar (2011/2012) afstuderen, volledig. De Taakhouders Kwaliteit zijn zich hiervan bewust en repareren waar kan. • Evaluaties worden uitgevoerd. Vanaf dit schooljaar worden de resultaten (zoals studentenpanel) in het teamoverleg gedeeld.
8
6.5 Handel & Commercie Examenstandaard 1: Exameninstrumentarium
• Per cohort wordt op intranet het examenplan gepubliceerd en aan de studenten uitgelegd. Het examenplan bevat een overzicht van de summatieve toetsen. • Er worden ook voortgangstoetsen afgenomen. De Landschapsexamencommissie heeft in haar gesprekken met de teams nadrukkelijk aandacht besteed aan het verbeteren van de communicatie met studenten met betrekking tot het onderscheid tussen summatieve en formatieve examens. • Voor Landstede, Loopbaan en Burgerschap (LLB) wordt een portfolio opgebouwd dat wordt afgesloten met een eindgesprek. • Bij de invoering van Elektronisch Talentvol Ontwikkelen (e-TO) is er een duidelijke scheiding tussen de registratie van summatieve examens en de registratie van de ontwikkeling die de student doormaakt in zijn opleiding. • Het kwalificatiedossier wordt volledig gedekt door het examenplan. • In de PvB’s en de examenprojecten zijn alle werkprocessen per kerntaak opgenomen. • Het examenmateriaal wordt ingekocht bij Kenniscentrum Handel. De cesuur daarin is correct en wordt onveranderd toegepast. Indien de cesuur onverhoopt moet worden aangepast, gaat dit conform de regelgeving van de Landschapsvaststellingscommissie. Het examenmateriaal wordt geëvalueerd, de bevindingen worden teruggekoppeld naar Kenniscentrum Handel op evaluatie- en gebruikersbijeenkomsten. • De generieke kwalificatievereisten worden volledig afgedekt en worden geëxamineerd met examens van Bureau ICE of door middel van centrale examinering (= pilot). • De wijze van beoordeling zoals Kenniscentrum Handel die voorschrijft, wordt toegepast. Indien de cesuur onverhoopt moet worden aangepast, gaat dit conform de regelgeving van de Landschapsvaststellingscommissie. • Om de objectiviteit te garanderen worden examenprojecten steeds vaker gezamenlijk - voor meerdere eenheden en met examinatoren van deze eenheden - afgenomen. • Bij vrijwel alle kwalificaties wordt in de praktijk geëxamineerd. Daarbij wordt gestuurd op een scheiding van de begeleidende en de beoordelende rollen. • Er wordt volop informatie gegeven over de wijze waarop de examinering plaatsvindt en de wijze waarop de beoordeling zal plaatsvinden. Toch blijkt dit nog niet altijd duidelijk te zijn, noch voor de (praktijk)beoordelaars, noch voor de studenten. Dit blijft een aandachtspunt. Coaches zullen de examinering nog meer in de coachuren bespreken. Het werkveld wordt op voorlichtingsavonden dan wel individueel over examinering geïnformeerd.
Jaarbericht Examinering 2011/2012
Examenstandaard 2: Afname en beoordeling
• De opleidingen binnen het landschap examineren veel in de praktijk en soms in de vorm van examenprojecten. • Bij de examinering zijn beoordelaars uit de praktijk betrokken. • Bij examenprojecten wordt er door minimaal twee examinatoren beoordeeld. De coach speelt daarin geen actieve rol. Om een deskundige beoordeling en betrouwbaarheid te borgen, worden bij de examinering in de praktijk ook praktijkbeoordelaars van school betrokken.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Taakhouder Kwaliteitszorg van het team vraagt het diploma aan en de Landschapsexamencommissie fiatteert deze na controle. Punten waarop wordt gecontroleerd: • is het Landstede Examen Volgsysteem (LEV) in overeenstemming met het examenplan; • staan alle vereiste resultaten in LEV; • is het examendossier compleet en op orde. De examendossiers zijn - onder meer vanwege tijdsdruk - nog niet altijd op orde. Er wordt pas overgaan op een steekproefsgewijze controle op het moment dat er vertrouwen is dat de procedure op orde is. • In de Landschapsexamencommissie is iedere eenheid en ieder landschap vertegenwoordigd. Dit maakt het eenvoudig om tijdens eenheidsoverleg en Landschapsoverleg het geluid van de Landschapsexamencommissie te laten horen. De Landschapsexamencommissie bezoekt het teamoverleg en de LOB’s (ontwikkelbijeenkomsten voor de landschappen van Landstede MBO) om examinering te bespreken. Examenmomenten worden bezocht. Van deze bezoeken vindt terugkoppeling plaats op de vergaderingen van de Landschapsexamencommissie. • Het evaluatieproces wordt in het schooljaar 2012/2013 verbeterd. Er wordt met name vastgelegd wanneer er naar aanleiding van een evaluatie actie moet worden ondernomen en waaruit die actie moet bestaan. Zo geeft een percentage ‘eens/zeer eens’ van minder dan 75% aanleiding tot actie. Een voorbeeldactie is het verbeteren van de afnamecondities. De respondenten krijgen een terugkoppeling en de Landschapsexamencommissie krijgt informatie over de gekozen actie en vervolgens een rapport met de resultaten. • Het ingekochte exameninstrumentarium wordt steekproefsgewijs beoordeeld door de Landschapsvaststellingscommissie. • Er zijn geen beoordelingsresultaten aangepast.
9
6.6 Mooi & Mode Examenstandaard 1: Exameninstrumentarium
• Het landschap heeft dit jaar veel tijd besteed aan het informeren van studenten over de inhoud en de wijze van afname van de examens. Bij één team vinden de examens in de laatste fase van de opleiding plaats, bij de andere twee teams zijn ze meer verdeeld over de opleiding. De teams proberen middels documenten en voorlichting zo duidelijk mogelijk uit te leggen waar de scheiding tussen formatieve en summatieve toetsing zit. Alle summatieve toetsen staan in het examenplan vermeld. • Het landschap toetst 100% van de werkprocessen in de examens. Tevens worden de talen en rekenen op de juiste CEF/Meijerink-niveaus getoetst. • Dit schooljaar is kritisch gekeken naar de cesuur. Op basis van evaluaties en na betere afstemming voldoet de cesuur nu aan de eisen die in het portret (verwoord in het toetsingskader van de Inspectie) worden gesteld. • Examens en de afname daarvan worden van tevoren besproken met beoordelaars. Daarnaast is er bij alle teams een duidelijke omschrijving van de wijze van beoordelen bij de examens aanwezig. • Bij alle examens zijn beschrijvingen en handleidingen gemaakt. Studenten zijn op de hoogte van de inhoud en de wijze van afname van de examens. Bij één team zijn de examens dusdanig duidelijk dat alle teamleden alle rollen kunnen uitvoeren die nodig zijn bij de afname van de examens.
Examenstandaard 2: Afname en beoordeling
• Waar mogelijk heeft men de examinering gepland op de (BPV-)werkplek. Voor een aantal onderdelen is dit niet haalbaar of logisch en kiest men voor een praktijklokaal met simulatie. Anderen laten beoordelaars uit de branche op school komen om samen met docenten de kandidaten te beoordelen. • De teams (Schoonheidsverzorging, Kappers en Mode) kennen alle drie een eigen systematiek om de betrouwbaarheid te waarborgen. Men werkt met twee beoordelaars, legt zaken vast met eenduidige formats. Daarnaast wordt waar enigszins mogelijk een praktijkbeoordelaar ingezet.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• Dit schooljaar zijn door de Landschapsexamencommissie geen vrijstellingen verleend. • Binnen de Landschapsexamencommissie is dit jaar afgesproken meer examendossiers op volledigheid en inhoud te
Jaarbericht Examinering 2011/2012
checken, alvorens de aanvraag van een taakhouder voor een diploma te fiatteren. Dit blijft lastig aan het einde van het jaar, in verband met de vele aanvragen. • De Landschapsexamencommissie heeft een protocol opgesteld waaraan de examendossiers op studentniveau moeten voldoen. De inhoud van een examendossier was onvoldoende duidelijk voor de teams. Dit hebben we middels het protocol duidelijk kunnen maken. Vanaf het voorjaar van 2012 worden de examendossiers met behulp van dit protocol gecontroleerd. • In het schooljaar 2012/2013 gebruiken we daar het Proces Verbaal bij dat bij het nieuwe handboek hoort. Op die manier kunnen we dan ook voldoen aan de eis dat er verantwoording moet worden afgelegd op basis van registratie van de besluitvorming. • De Landschapsexamencommissie legt in notulen vast wanneer afgeweken wordt van wat in examenplannen en examens staat. • De controle op afname en beoordeling van examens heeft dit jaar op basis van examenplannen en examendossiers plaatsgevonden. De Landschapsexamencommissie is hier door de Inspectie tijdens twee audits op bevraagd en ziet dit nu als een lacune in de borging. Vanuit het ‘Project Kwaliteitszorg Zwolle D’ - waarin twee leden van de Landschapsexamencommissie participeren - is een analyse gemaakt en een adviesdocument opgesteld. In één van de adviezen staat dat de Landschapsexamencommissie in 2012/2013 een plan opstelt waarin zo SMART mogelijk wordt aangegeven op welke manier en met welke terugkoppeling de afname en beoordeling van examens volgend jaar worden gemonitord.
6.7 Office & Management Examenstandaard 1: Exameninstrumentarium
• Per cohort wordt op intranet het examenplan gepubliceerd en aan de studenten uitgelegd. Het examenplan bevat een overzicht van de summatieve toetsen. • Er worden ook voortgangstoetsen afgenomen. De Landschapsexamencommissie heeft in haar gesprekken met de teams nadrukkelijk aandacht besteed aan het verbeteren van de communicatie met studenten met betrekking tot het onderscheid tussen summatieve en formatieve examens. Hieraan zal zowel tijdens de startperiode als de coachgesprekken extra aandacht worden besteed. • Bij de invoering van Elektronisch Talentvol Ontwikkelen (e-TO) is er een duidelijke scheiding tussen de registratie van summatieve examens en de registratie van de ontwikkeling die de student doormaakt in zijn opleiding.
10
• Voor Landstede, Loopbaan en Burgerschap (LLB) wordt een portfolio opgebouwd dat wordt afgesloten met een eindgesprek. • Het kwalificatiedossier wordt volledig gedekt door het examenplan. • In de PvB’s en de examenprojecten zijn minimaal 75% alle werkprocessen per kerntaak opgenomen. • Het examenmateriaal wordt ingekocht bij Stichting Praktijkleren (SPL). Over de cesuur is regelmatig overleg geweest in het LOB (ontwikkelbijeenkomsten voor de Landstedelandschappen), contact met SPL en met de Landschapsvaststellingscommissie teneinde te komen tot een objectieve beoordeling. Indien de cesuur onverhoopt moet worden aangepast, gaat dit conform de regelgeving van de Landschapsvaststellingscommissie. Het examenmateriaal wordt geëvalueerd, de bevindingen worden teruggekoppeld naar SPL op evaluatie- en gebruikersbijeenkomsten. • De generieke kwalificatievereisten worden volledig afgedekt en worden geëxamineerd met examens van Bureau ICE of door middel van centrale examinering (= pilot). • De wijze van beoordeling zoals SPL die voorschrijft, wordt toegepast. Indien de cesuur onverhoopt moet worden aangepast, gaat dit conform de regelgeving van de Landschapsvaststellingscommissie. • Om de objectiviteit te garanderen worden examenprojecten steeds vaker gezamenlijk - voor meerdere eenheden en met examinatoren van deze eenheden - afgenomen. • Steeds vaker wordt in de praktijk geëxamineerd. Daar waar mogelijk wordt de begeleidende en beoordelende rol gescheiden. Dit is echter vanwege de beperkte omvang van de BPV-bedrijven vaak niet mogelijk. Ook mag de praktijkbeoordelaar van school niet ook de coach van de student zijn. • Er wordt volop informatie gegeven over de wijze waarop de examinering plaatsvindt en de wijze waarop de beoordeling zal plaatsvinden. Toch blijkt dit nog niet altijd duidelijk te zijn, noch voor de (praktijk)beoordelaars, noch voor de studenten. Dit blijft een aandachtspunt. Coaches zullen de examinering nog meer in de coachuren bespreken. Het werkveld wordt op voorlichtingsavonden dan wel individueel over examinering geïnformeerd.
Examenstandaard 2: Afname en beoordeling
• De student doet examen middels een examenproject. Dit is een simulatie van de werkelijkheid of een examen in de praktijk middels de Kwabip-methode (kwalificeren en beoordelen in de praktijk). • Bij de BBL-opleidingen wordt een deel van de examinering in de beroepspraktijk afgenomen. Dit wordt ook steeds meer ingevoerd bij de BOL-opleidingen.
Jaarbericht Examinering 2011/2012
• De wijze van beoordeling wordt ook besproken in de Raad van Advies. • Bij examenprojecten wordt er door minimaal twee examinatoren beoordeeld. De coach speelt daarin geen actieve rol. Inschakeling van praktijkbeoordelaars uit de praktijk staat op de agenda van de Raad van Advies. Deze komt als regel tweemaal per jaar bijeen. • SPL heeft de beoordelingsvoorschriften en cesuur duidelijk verbeterd. • Voor wat betreft de examinering van de BPV wil de Landschapsexamencommissie in 2012/2013 een respons op de evaluatie van 50%.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Taakhouder Kwaliteitszorg van het team vraagt het diploma aan en de Landschapsexamencommissie fiatteert deze na controle. Punten waarop wordt gecontroleerd: • is het Landstede Examen Volgsysteem (LEV) in overeenstemming met het examenplan; • staan alle vereiste resultaten in LEV; • is het examendossier compleet en op orde. De examendossiers zijn - onder meer vanwege tijdsdruk - nog niet altijd op orde. Er wordt pas overgaan op een steekproefsgewijze controle op het moment dat er vertrouwen is dat het procedure op orde is. • In de Landschapsexamencommissie is iedere eenheid en ieder landschap vertegenwoordigd. Dit maakt het eenvoudig om tijdens eenheidsoverleg en Landschapsoverleg het geluid van de Landschapsexamencommissie te laten horen. De Landschapsexamencommissie bezoekt het teamoverleg en de LOB’s (ontwikkelbijeenkomsten voor de landschappen van Landstede MBO) om examinering te bespreken. Examenmomenten worden bezocht. Van deze bezoeken vindt terugkoppeling plaats op de vergaderingen van de Landschapsexamencommissie. • Het evaluatieproces wordt in het schooljaar 2012/2013 verbeterd. Er wordt met name vastgelegd wanneer er naar aanleiding van een evaluatie actie moet worden ondernomen en waaruit die actie moet bestaan. Zo geeft een percentage ‘eens/zeer eens’ van minder dan 75% aanleiding tot actie. Een voorbeeldactie is het verbeteren van de afnamecondities. De respondenten krijgen een terugkoppeling en de Landschapsexamencommissie krijgt informatie over de gekozen actie en vervolgens een rapport met de resultaten. • Het ingekochte exameninstrumentarium wordt steekproefsgewijs beoordeeld door de Landschapsvaststellingscommissie. • Er zijn geen beoordelingsresultaten aangepast.
11
6.8 Onderwijs & Opvoeding Examenstandaard 1: Exameninstrumentarium
• Het landschap heeft een onderscheid gemaakt tussen summatieve en formatieve/diagnostische beoordelingen. • In het examenplan zijn alle summatieve toetsen opgenomen, inclusief de zak/slaagregeling voor Nederlands, Engels en rekenen per cohort. Dit geeft echter nog onduidelijkheid wanneer studenten individueel versnellen of vertragen. • Alle Proeven van Bekwaamheid (PvB’s) worden uitgevoerd binnen de beroepspraktijk (excl. Terugblikken & Vooruitkijken OA). • De Landschapsexamencommissie heeft een protocol ‘Uitvoeren van een Proeven van Bekwaamheid’ opgesteld waarin het proces van uitvoeren wordt beschreven. Alle opleidingen hebben zich daaraan geconformeerd. De voorwaarden voor het uitvoeren van een PvB zijn vermeld in het examenreglement van de opleiding. • Binnen het landschap worden examenplannen opgesteld en vastgesteld. De ingekochte PvB’s (van Prove2Move) vormen naast LLB, Nederlands, Engels en rekenen de inhoud van het examenplan. • De Landschapsvaststellingscommissie heeft vastgesteld dat de dekkingsgraad van de PvB’s 100% is. Alle opleidingen examineren via vastgestelde examens van Bureau ICE op het juiste referentieniveau. • Het product en het proces van de PvB’s worden op meerdere manieren geëvalueerd binnen het landschap. De Landschapsexamencommissie geeft verbeterpunten aan bij de examenbank Prove2Move en bij Bureau ICE. De Landschapsexamencommissie conformeert zich aan het vaststellingsproces van Prove2Move. Dit blijft de Landschapsexamencommissie continueren en bewaakt dit door een jaarlijks overleg met de examenbank. • De opleidingen binnen landschap O&O hanteren de cesuur zoals deze is opgenomen in de handleidingen van de PvB’s (Prove2Move), beoordelingscriteria Nederlands, Engels en rekenen (Bureau ICE), beoordelingsportfolio (Landstede MBO) en eindgesprek (Landstede MBO). • De weging van alle examens is vastgelegd in het examenplan. Er is een duidelijk beoordelingsvoorschrift voor het exameninstrumentarium beschikbaar. • Het streven binnen het proces van examinering in de praktijk is een scheiding tussen begeleider van studenten en beoordelaar van examens. Een volledige scheiding heeft het landschap nog niet weten te realiseren. • De Landschapsexamencommissie beseft terdege de evidentie van het beoordelen. De borging van het proces is essentieel omdat een substantieel deel van de summatieve beoordeling
Jaarbericht Examinering 2011/2012
in de praktijk plaatsvindt. Op dit moment ontwikkelt de Landschapsexamencommissie het document ‘Borgingsprotocol examinering in de praktijk 2012’. Vanaf schooljaar 2012-2013 wordt het borgingsprotocol in praktijk gebracht binnen de teams. Het proces van examinering kan op diverse manier worden geborgd: • Zorgen voor scheiding begeleider/beoordelaar. Is dat niet mogelijk, dan beschrijven waarom niet. • Zorgen voor een objectieve en betrouwbare beoordeling. • Bevoegde beoordelaar door relevante opleiding/certificaat. • Steekproefsgewijs beoordelen door een docent van de onderwijsinstelling samen met de beoordelaar uit het werkveld. • In 2012 heeft een onderzoek van Prove2Move plaatsgevonden onder de beoordelaars in de praktijk. Ondanks de zeer lage respons heeft de Landschapsexamencommissie verbeterpunten kunnen formuleren. • Binnen het landschap zijn verschillende cursussen en trainingen gevolgd door docenten en beoordelaars: training ‘Beoordelen’ van Cinop, training ‘Bevoegd beoordelaar’ door docenten van Prove2Move en training ‘Beoordelen van Proeven van Bekwaamheid’ door Calibris of Prove2Move.
Examenstandaard 2: Afname en beoordeling
• De Landschapsexamencommissie is van mening dat de PvB’s, uitgegeven door Prove2Move, een goede afspiegeling zijn van de taken die een beginnend beroepsbeoefenaar moet beheersen. • De onderdelen van het examen vinden plaats in de reële beroepspraktijk. Het werkveld is zeer betrokken bij het tot stand komen en beoordelen van examens. Uit een onderzoek van Prove2Move, uitgevoerd in 2012, blijkt dat het werkveld de afname en beoordeling als realistisch beoordeelt. • De Landschapsexamencommissie heeft onvoldoende zicht op het proces van examinering in de praktijk. Dit is een belangrijk speerpunt voor het landschap. • De beoordeling van de PvB’s wordt gedaan op gecertificeerde BPV-plekken. Een deel van de praktijkbeoordelaars heeft een training ‘Beoordelen van Proeven van Bekwaamheid’ gevolgd bij Calibris of bij Prove2Move. Dit percentage moet omhoog. • Het streven binnen het proces van examinering in de praktijk is een scheiding tussen begeleider van studenten en beoordelaar van examens. Een volledige scheiding heeft het landschap nog niet weten te realiseren. • Binnen het landschap worden werkveldbijeenkomsten georganiseerd waarin het product en proces van examinering worden besproken.
12
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Landschapsexamencommissie hanteert bij de besluitvorming over diplomering het Handboek Examinering. • De Landschapsexamencommissie stelt - via het Landstede Examen Volgsysteem (LEV) - vast welke studenten recht hebben op een diploma. In samenwerking met het Examenbureau heeft de Landschapsexamencommissie een signalerende taak ten aanzien van onrechtmatigheden. • De Landschapsexamencommissie vergadert tweewekelijks. De Landschapsexamencommissie is tijdens die vergaderingen voornamelijk bezig met het ontwikkelen van protocollen en beleid ten aanzien van het proces van examinering. • Er is gebruikgemaakt van resultaten van verschillende onderzoeken om binnen het landschap keuzes te maken: Job Monitor, studentenpanels, onderzoek Prove2Move, interne audits, Inspectierapporten, evaluaties uitgevoerd bij de betrokkenen bij examinering binnen het landschap. • De Landschapsexamencommissie heeft te weinig zicht op de feitelijke kwaliteit van de examens, de afname en de beoordeling. De Landschapsexamencommissie kan daardoor een goed verloop van de examens en deskundigheid van beoordelaars niet borgen.
6.9 Sport & Bewegen Examenstandaard 1: Exameninstrumentarium
• Bij elke opleiding van het landschap wordt bij de ontwikkeling van de student gebruikgemaakt van de digitale leermeter. In de digitale leermeter is sprake van drie ankerpunten: Starter, Gevorderd en Beroepsbekwaam. Wanneer de student zich ontwikkeld heeft tot het niveau van bijna beroepsbekwaam op elk werkproces van de kerntaak, dan kan de student in overleg met zijn coach een Proeve van Bekwaamheid (PvB) aanvragen. • Bij het landschap is sprake van summatieve en formatieve toetsing. De summatieve toetsing betreft de onderdelen die ook terugkomen in het vastgestelde examenplan. Kennis- en vaardigheidstoetsing vindt plaats middels formatieve toetsing. Deze formatieve toetsen zijn een aanvulling op de eerder genoemde leermeter. Deze toetsen geven in combinatie met de leermeter een goed beeld van de ontwikkeling van de student. Hiermee kunnen goed onderbouwde coach- en adviesgesprekken gevoerd worden. • De student is op de hoogte van de inhoud van het examenplan en weet aan welke eisen hij moet voldoen om een diploma te kunnen behalen.
Jaarbericht Examinering 2011/2012
• Zowel de vastgestelde examenplannen als de vastgestelde PvB’s dekken en voldoen aan de gebruikte kwalificatiedossiers. Ook de leermeter wordt telkens bijgesteld aan de hand van de laatste versie van het kwalificatiedossier. • Bij elke PvB is duidelijk aangegeven voor zowel de student als de beoordelaar(s) wanneer een werkproces en/of kerntaak behaald is. Elk werkproces kent een eigen beoordelingsprotocol. Elk werkproces moet met een voldoende worden afgesloten. De cesuur (grens tussen voldoende en onvoldoende) ligt bij alle werkprocessen op 75%. • Voor de generieke onderdelen taal en rekenen worden bij de cohorten 2008 en 2009 de Deviant-toetsen afgenomen. Voor de cohorten 2010 en 2011 worden de TOA- toetsen afgenomen. • Elke PvB of generieke examentoets is voorzien van een beoordelingsvoorschrift dat een zo objectief mogelijke beoordeling waarborgt. Dit betekent dat: • het beoordelingsvoorschrift is voorzien van richtlijnen die leiden tot een onafhankelijke beoordeling; • de prestatie-indicatoren (of vergelijkbare beoordelingscriteria) herleidbaar in het beoordelingsvoorschrift zijn opgenomen; • het beoordelingsvoorschrift is voorzien van een correct antwoordmodel of beoordelingsschema; • de beoordelaar uit het beoordelingsvoorschrift kan opmaken welke (deel)waardering aan een prestatie van een student toegekend moet worden; • de beoordelaar uit het beoordelingsvoorschrift kan opmaken welke eindwaardering gegeven moet worden. • Waar mogelijk is er sprake van meerdere beoordelaars (één praktijk/één school) om het vierogenprincipe te kunnen toepassen. Dit principe kan in alle onderdelen (planning, uitvoering en verantwoording) worden toegepast, maar ook in een of meerdere onderdelen. In de toekomst moet minimaal de uitvoering beoordeeld worden door een (onafhankelijke) praktijkbeoordelaar en vindt het criteriumgericht interview plaats met twee beoordelaars. • Studenten en beoordelaars weten vooraf (bij voorkeur tijdens de aanvraag van de PvB) hoe het examen eruit ziet en hoe het wordt uitgevoerd en beoordeeld. Studenten en beoordelaars zijn bekend met de beoordelingscriteria. • Elke PvB is voorzien van afnamecondities en aanwijzingen voor beoordelaars en studenten.
Examenstandaard 2: Afname en beoordeling
• De opdrachten in de PvB’s zijn afgestemd op het kwalificatiedossier. • De onderdelen van de PvB’s vinden in de reële beroepspraktijk
13
plaats. Het werkveld is betrokken bij de examinering en beoordeelt de afname en beoordeling als realistisch. • Elke PvB wordt na afloop zowel door de betrokken student als door de praktijkbeoordelaars geëvalueerd. Indien nodig worden PvB’s naar aanleiding van deze evaluaties bijgesteld. • De beoordeling is zo objectief mogelijk. Om dat te bereiken vindt onder andere scholing van het werkveld plaats (training ‘Waarnemen en Beoordelen’). Hierdoor is volgens het landschap sprake van een deskundige beoordeling van studenten, gericht op het vakinhoudelijk correct beoordelen van de vereiste kennis, houding en vaardigheden van de student.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• Het proces van diplomering is onvoldoende. Het rapport in het Landstede Examen Volgsysteem (LEV) wordt onvoldoende gecontroleerd op 100% overeenkomst met het geldend examenplan. • Een diploma wordt gefiatteerd op basis van LEV, waarbij het examendossier niet wordt gecontroleerd. Bovendien was niet duidelijk wie uiteindelijk fiatteert: de Taakhouder Kwaliteitszorg of het lid van de Landschapsexamencommissie. • De Landschapsexamencommissie controleert onvoldoende en onregelmatig op de volgende punten: • de kwaliteit van de exameninstrumenten; • de afname; • de beoordeling; • de deskundigheid van bij de examinering betrokken personen. • Om vast te stellen of de beoordeling adequaat verloopt wordt gebruikgemaakt van onder andere een studentenpanel en evaluaties onder studenten en in het werkveld. Met de uitkomsten hiervan wordt nog onvoldoende ondernomen om tot een zichtbare verbetering te komen.
6.10 Techniek & Innovatie Examenstandaard 1: Exameninstrumentarium
• Er is nog steeds sprake van onderscheid in het opleidingstraject tussen ontwikkelgericht toetsen en examinering, waarbij trainingen, workshops en dergelijke de ontwikkeling van theorie en vaardigheden bewerkstelligen. Dit gebeurt grotendeels in de eerste drie jaren van de opleiding. Het vierde jaar is vooral bestemd voor examinering. • De student heeft voorafgaand aan de examinering een gesprek waarin hem wordt geadviseerd wel of niet het examineringtraject in te gaan. Het advies vindt plaats op
Jaarbericht Examinering 2011/2012
basis van de resultaten van het formatieve traject in de voorgaande leerjaren. • De vier in het kwalificatiedossier (MKE) benoemde kerntaken worden op school geëxamineerd. Daarnaast maakt de student in het vierde leerjaar de keuze uit één van de vier kerntaken die - naast de examinering in school - als specialisatie in de BPV wordt geëxamineerd. • Bij de niveau 3 (BBL)-opleiding Elektrotechniek en Werktuigkundige Installatietechniek is er zowel een theoretische als een praktische component aan de examinering toegevoegd. • Bij de de niveau 4 (BBL)-opleidingen van Elektrotechniek en Werktuigkundige Installatietechniek vindt examinering deels plaats in de beroepspraktijk. • De cesuur is bepaald door het Consortium Beroepsonderwijs en wordt aangehouden. • In het schooljaar 2010/2011 is bij de opleiding Technicus ervoor gekozen om de informatieverstrekking omtrent examinering voor de studenten en de praktijkbeoordelaars te combineren. • De opleiding Autotechniek heeft een verantwoordingsdocument voor de examinering dat ter inzage in de docentenkamer ligt. In het schooljaar 2012/2013 wordt het document ook op intranet gepubliceerd.
Examenstandaard 2: Afname en beoordeling
• De te examineren projecten (leerjaar 4) zijn projecten in een realistische omgeving in bedrijven. Het bedrijfsleven is betrokken bij de examinering, de deskundigen van de bedrijven zijn tijdens een voorlichtingsbijeenkomst geïnformeerd over de wijze van examineren. • Het beoordelen op school wordt door minimaal twee docenten gedaan. • Het beoordelen tijdens de BPV gebeurt door twee deskundigen van het bedrijf. Een docent controleert of de procedure goed is gevolgd.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De coach van de student meldt aan de Taakhouder Kwaliteitszorg dat de resultaten van de student voldoende zijn en het diploma kan worden aangevraagd. Het diploma wordt vervolgens door de Taakhouder Kwaliteitszorg aangevraagd en door een lid van de Landschapsexamencommissie gefiatteerd. De Landschapsexamencommissie vergadert structureel één keer per maand. Tijdens de vergaderingen worden de processen en procedures rondom examinering besproken en gecontroleerd vanuit het landschap. Men maakt hiervoor gebruik van de input van de vaststellers en van studenten-
14
tevredenheidsevaluaties. Terugkoppeling naar het team vindt plaats door de Taakhouder Kwaliteitszorg. • Er heeft een verbetering plaatsgevonden op de controle van examendossiers.
6.11 Veilig & Beschermd Examenstandaard 1: Exameninstrumentarium
• Per cohort wordt op intranet het examenplan gepubliceerd en aan de studenten toegelicht. Het examenplan bevat een overzicht van de summatieve toetsen. • Er worden ook voortgangstoetsen afgenomen. De Landschapsexamencommissie heeft in haar gesprekken met de teams nadrukkelijk aandacht besteed aan het verbeteren van de communicatie met studenten met betrekking tot het onderscheid tussen summatieve en formatieve examens. • Bij de invoering van Elektronisch Talentvol Ontwikkelen (e-TO) is er een duidelijke scheiding tussen de registratie van summatieve examens en de registratie van de ontwikkeling die de student doormaakt in zijn opleiding. • Het kwalificatiedossier wordt volledig gedekt door het examenplan. • Voor de opleiding Sociaal Cultureel Werk wordt het examenmateriaal volgend jaar ingekocht bij Prove2Move. • Bij de overige opleidingen is de beroepsgerichte examinering als volgt uitbesteed: • aan Stichting Vakexamens voor de Particuliere Beveiligingsorganisaties (SVPB) voor de opleiding Beveiliger; • aan Stichting Exameninstelling Toezicht en Handhaving (ExTH) voor de opleiding Handhaving Toezicht en Veiligheid; • aan Defensie/SPL voor de opleiding Aankomend medewerker/onderofficier grondoptreden. • De generieke kwalificatievereisten worden volledig afgedekt en worden geëxamineerd met examens van Bureau ICE dan wel door middel van centrale examinering (= pilot). • Voor Landstede Loopbaan en Burgerschap (LLB) wordt een portfolio opgebouwd. LLB wordt afgesloten met een eindgesprek. • Bij kwalificaties waarbij sprake is van uitbesteding verandert de cesuur niet. • Bij de examens voor de generieke kwalificatievereisten voldoet de cesuur aan het portret. De voorgeschreven wijze van beoordeling wordt toegepast. Indien onverhoopt de cesuur moet worden aangepast gaat dit conform de regelgeving via de Landschapsvaststellingscommissie. • In toenemende mate worden examenprojecten gezamenlijk afgenomen voor meerdere eenheden en met examinatoren
Jaarbericht Examinering 2011/2012
van deze eenheden waardoor de objectiviteit wordt gegarandeerd. • In toenemende mate wordt geëxamineerd in de praktijk. • Waar mogelijk wordt de begeleidende en beoordelende rol in de praktijk gescheiden. Dit is echter vanwege de omvang van de bedrijven vaak niet mogelijk. De docent die vanuit de opleiding betrokken is bij de beoordeling, mag niet de coach van de student zijn. • In toenemende mate worden beoordelaars in erkende leerbedrijven getraind. Vanuit de opleiding wordt uitgebreid aandacht gegeven aan de instructie ten aanzien van de beoordeling. • Er wordt volop informatie gegeven over de wijze waarop examinering plaatsvindt en de wijze waarop de beoordeling zal plaatsvinden. Toch blijkt dit nog niet altijd duidelijk te zijn, zowel voor de (praktijk)beoordelaars, als voor de studenten. Dit punt blijft een aandachtspunt. Coaches zullen de examinering nog meer in de coachuren bespreken. Het werkveld wordt op voorlichtingsavonden dan wel individueel over examinering te geïnformeerd.
Examenstandaard 2: Afname en beoordeling
• De uitbestede praktijkexamens vinden alle in de - gesimuleerde - beroepspraktijk plaats. • De Proeven van Bekwaamheid (PvB’s) van Prove2Move worden in de beroepspraktijk afgenomen. Bij examenprojecten/proeven wordt door twee of meer examinatoren beoordeeld. De coach speelt daarin geen actieve rol. • Om deskundige beoordeling en betrouwbaarheid te borgen worden beoordelaars van school betrokken bij de examinering in de praktijk.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Taakhouder Kwaliteitszorg van het team vraagt het diploma aan en de Landschapsexamencommissie fiatteert deze na controle. Punten waarop wordt gecontroleerd: • is het Landstede Examen Volgsysteem (LEV) in overeenstemming met het examenplan; • staan alle vereiste resultaten in LEV; • is het examendossier compleet en op orde. De examendossiers zijn - onder meer vanwege tijdsdruk - nog niet altijd op orde. Er wordt pas overgegaan op een steekproefsgewijze controle op het moment dat er vertrouwen is dat de procedure op orde is. • In de Landschapsexamencommissie is iedere eenheid en ieder landschap vertegenwoordigd. Dit maakt het eenvoudig om tijdens eenheidsoverleg en Landschapsoverleg het geluid
15
van de Landschapsexamencommissie te laten horen. De Landschapsexamencommissie bezoekt het teamoverleg en de LOB’s (ontwikkelbijeenkomsten voor de landschappen van Landstede MBO) om examinering te bespreken. Examenmomenten worden bezocht. Van deze bezoeken vindt terugkoppeling plaats op de vergaderingen van de Landschapsexamencommissie. • Het evaluatieproces wordt in het schooljaar 2012/2013 verbeterd. Er wordt met name vastgelegd wanneer er naar aanleiding van een evaluatie actie moet worden ondernomen en waaruit die actie moet bestaan. Zo geeft een percentage eens/zeer eens van minder dan 75% aanleiding tot actie. Een voorbeeldactie is het verbeteren van de afnamecondities. De respondenten krijgen een terugkoppeling en de Landschapsexamencommissie krijgt informatie over de gekozen actie en vervolgens een rapport met de resultaten.
6.12 Vormgeving & Entertainment Examenstandaard 1: Exameninstrumentarium
• Het landschap heeft een duidelijke splitsing tussen formatieve en summatieve toetsing. • Tijdens de opleiding zijn er competentiedrempels in de vorm van een leermeter (op locatie Harderwijk ‘talentmeter’ genoemd) ingebouwd. Dat zijn meetmomenten voor een bepaald beheersniveau dat de student moet halen om verder te kunnen. Dat kan bijvoorbeeld een toets zijn of een werkstuk dat de student moet maken. Het is een manier om te laten zien dat de student iets weet of iets beheerst. Er zijn algemene competentiedrempels (bijvoorbeeld voor Nederlands en houding) maar sommige gelden specifiek voor een opleiding. De student ontvangt een boekje met een overzicht en de inhoud van de competentiedrempels. • De summatieve toetsing vindt voor alle opleidingen aan het einde van de opleiding plaats. Dat geldt voor zowel de talen, voor rekenen, voor Landstede, Loopbaan en Begeleiding (LLB) en voor de eindproeven. De summatieve toetsing is benoemd in de examenplannen, welke zijn vastgesteld door de Landschapsexamencommissie en die beschikbaar zijn voor de studenten. • De locatie Zwolle heeft voor de studenten een examenwijzer geschreven, hierin staat alles rondom de examinering. • Het landschap examineert de generieke taalvaardigheden middels de examens van TOA. Dit geldt zowel voor Nederlands als voor Moderne Vreemde Talen (MVT). Bij een aantal opleidingen is zowel Engels als Duits een verplicht onderdeel.
Jaarbericht Examinering 2011/2012
Het landschap ervaart het als lastig en verwarrend dat de kwalificatiedossiers van de verschillende cohorten andere taaleisen stellen. • Aandachtspunt is beroepsgericht taal en rekenen in de Proeve van Bekwaamheid (PvB). Het is niet helemaal duidelijk of de taalvaardigheden Nederlands in de proeven zitten en/of verantwoord zijn. Voor MVT zitten ze niet in de PvB, deze worden mondeling in een gesimuleerde omgeving afgenomen. Dat roept niet alleen de vraag op of de taalvaardigheden Nederlands in de proeven zijn verwerkt en of de examinering van beroepsgericht taal en rekenen verantwoord is, het landschap moet ook bekijken hoe dan wordt omgegaan met de beoordeling van de kerntaken. • Voor LLB wordt een portfolio opgebouwd. LLB wordt met een exameneindgesprek afgesloten. • De examinering van de kerntaken wordt in één PvB uitgevoerd, behalve bij de opleidingen waar de kerntaak ‘voert ondernemersvaardigheden uit’ voorkomt. Deze kerntaak wordt met een afzonderlijke PvB geëxamineerd. • De proeven zijn zo geconstrueerd dat alle kerntaken en werkprocessen worden geëxamineerd. • Binnen het landschap wordt op alle locaties gebruikgemaakt van dezelfde PvB’s. Nu bestaat nog verschil tussen locatie Zwolle en locatie Harderwijk betreffende de cesuur, dat verschil wordt opgeheven in het schooljaar 2012/2013. • Alle werkprocessen en prestatie-indicatoren worden beoordeeld. Minimaal 75% van de werkprocessen dienen voldoende te zijn. • Het beoordelingsformulier is voorzien van richtlijnen voor een onafhankelijke beoordeling. Daarbij is ook een handleiding geschreven voor zowel de praktijkbeoordelaar als voor de student. • De prestatie-indicatoren zijn in het beoordelingsformulier opgenomen. De beoordelaar kan met behulp van de prestatie-indicatoren de eindwaardering bepalen. • Uit de beoordelingsrichtlijnen blijkt dat de beoordeling plaatsvindt op het niveau van kerntaken en werkprocessen. • De beoordeling wordt gebaseerd op de prestatie-indicatoren uit het kwalificatiedossier. Als een examen(onderdeel) niet behaald wordt, verantwoordt de beoordelaar op het niveau van de prestatie-indicator (of vergelijkbare beoordelingscriteria) wat de reden is. • De examenwijzer wordt elk jaar verspreid onder de studenten vanaf fase 2. • Op locatie Harderwijk vindt een briefing plaats over de PvB en de inhoud daarvan. • Tijdens de coaching komt de examinering summier ter sprake. • De examenplannen zijn gepubliceerd op intranet.
16
Examenstandaard 2: Afname en beoordeling
• De eindproeven vinden bij de opleidingen van locatie Zwolle plaats in de beroepspraktijk. Bij de opleidingen van locatie Harderwijk worden de eindproeven op dit moment nog in de gesimuleerde omgeving uitgevoerd. Proeven in de beroepspraktijk zijn op de locatie Harderwijk op dit moment niet haalbaar voor het team wegens ziekte van medewerkers en andere knelpunten, zoals tijdgebrek. • Voor locatie Zwolle geldt dat de deskundigheidsverklaring voor beoordelaars uit de praktijk moet worden ingevuld en gearchiveerd. • De uiteindelijke beoordeling vindt tot nu toe plaats door de beoordelaar van de opleiding. De praktijkbegeleider is bij die beoordeling ook aanwezig. • Bij de afname van de PvB in de gesimuleerde omgeving, op locatie Harderwijk, zijn twee beoordelaars vanuit de opleiding aanwezig.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De Taakhouder Kwaliteitszorg van het team vraagt het diploma aan en een lid van Landschapsexamencommissie fiatteert. • Tijdens een interne audit, gehouden bij het landschap voor de opleiding Evenementenorganisatie, blijkt dat de examendossiers zeer goed op orde zijn. Voor elke student is er een examendossier. Daarin zijn alle benodigde documenten gearchiveerd. • Diploma’s worden zorgvuldig gecheckt zodat vaststaat dat de student aan alle eisen heeft voldaan en ook recht heeft op het diploma. • Er zijn de afgelopen vier jaar geen klachten over examens en diplomering binnengekomen bij de Taakhouder Kwaliteitszorg en bij de Landschapsexamencommissie. Vragen en opmerkingen worden altijd snel en adequaat afgehandeld, in eerste instantie door de Taakhouder Kwaliteitszorg en indien nodig door de Landschapsexamencommissie.
6.13 Vrij & Gastvrij Examenstandaard 1: Exameninstrumentarium
• In het landschap is het verschil tussen formatieve en summatieve toetsing wel inzichtelijk, maar niet altijd even duidelijk voor de student. Er zijn verschillen tussen de teams. Bij één team is sprake van verbetering, met name in de communicatie naar de student over het verschil in formatief en summatief. Er is ook een team dat hierover goed en gestructureerd communiceert.
Jaarbericht Examinering 2011/2012
• Bij alle opleidingen wordt voldaan aan de dekkingsnorm voor het kwalificatiedossier. • Op het gebied van afstemming tussen locatie Harderwijk en locatie Zwolle is nog geen sprake van gestructureerde communicatie en samenwerking. • Alle opleidingen van het landschap voldoen aan de norm voor de cesuur. Bij alle opleidingen wordt 100% van de werkprocessen geëxamineerd. De cesuur die wordt gebruikt is 85% van de werkprocessen. Bij de opleiding Horeca geldt een andere cesuur met betrekking tot de theoretische toetsen. • Er wordt beoordeeld op basis van vooraf vastgestelde examenproducten en voorschriften. • Bij het team Toerisme worden mondelinge examens opgenomen met het oog op de mogelijke controle op de examinering. • Het team Horeca is aan de slag met een belangrijk verbeterpunt: transparantie door een heldere communicatie. Afspraken die gemaakt worden moeten voortaan helder zijn en worden nageleefd. Bij het team Toerisme is deze verbetering in communicatie inmiddels zichtbaar. Studenten en bij het examen betrokken personen zijn merkbaar beter op de hoogte van het proces van examinering. Transparantie door heldere communicatie blijft een belangrijk aandachtspunt.
Examenstandaard 2: Afname en beoordeling
• Bij het team Toerisme wordt beoordeeld in de beroepspraktijk. De beoordelingen vinden plaats in het BPV-bedrijf. Er is een strikte scheiding tussen de rollen van de opleider en beoordelaar. • Bij een van de andere opleidingen wordt gebruikgemaakt van simulatie waarbij de context van het examen te vergelijken is met de reële beroepssituatie. Het ontbreekt bij deze opleiding niet aan de wil om te examineren in de praktijk maar het blijkt het lastig te organiseren. Dat heeft vooral te maken met het mobiliseren van menskracht in de beroepspraktijk. • Bij het team Toerisme worden de (nieuwe) examenproducten voorgelegd aan en besproken met het werkveld tijdens de werkveldbijeenkomsten. • Bij alle opleidingen worden de examenproducten vastgesteld conform de eisen uit het Handboek Examinering. • Er wordt gebruikgemaakt van het vastgestelde format voor een Proeve van Bekwaamheid (PvB). Het team Toerisme maakt gebruik van een praktijkbeoordelaar uit het werkveld.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• Dit jaar zijn door de Landschapsexamencommissie geen vrijstellingen verleend.
17
• De Landschapsexamencommissie heeft dit schooljaar afgesproken om meer examendossiers op volledigheid en inhoud te checken, alvorens de aanvraag van een taakhouder voor een diploma te fiatteren. Dit blijft lastig aan het einde van het jaar, vanwege de vele aanvragen. • De Landschapsexamencommissie heeft een protocol opgesteld waaraan de examendossiers op studentniveau moeten voldoen. Het was voorheen bij de teams niet duidelijk wat een examendossier bevat en dit is middels het protocol duidelijk gemaakt. Vanaf voorjaar 2012 worden de examendossiers dan ook met behulp van dit protocol gecontroleerd. • De Landschapsexamencommissie legt in notulen vast wanneer afgeweken wordt van wat in examenplannen en examens staat. • Dit schooljaar is weinig aandacht besteed aan het controleren van de afname en beoordeling van examens. De controle heeft dit jaar uitsluitend op basis van examenplannen en examendossiers plaatsgevonden. De Landschapsexamencommissie is hier door de Inspectie tijdens twee audits op bevraagd en ziet dit nu als een lacune in de werkzaamheden. • Binnen het ‘Project Kwaliteitszorg Zwolle D’, waarin twee Landschapsexamencommissieleden participeren, is een analyse gemaakt en een adviesdocument opgesteld. In één van de adviezen staat dat de Landschapsexamencommissie in het schooljaar 2012/2013 een plan opstelt waarin zo SMART mogelijk wordt aangegeven op welke manier en met welke terugkoppeling de afname en beoordeling van examens voortaan worden gemonitord. • Een PvB dient na elke afname geëvalueerd te worden, waarbij de student een evaluatieformulier invult, dat vervolgens moet worden ingeleverd bij het Examenbureau. De conclusies worden besproken tijdens een vergadering van de Landschapsexamencommissie en indien nodig worden verbeteracties geformuleerd.
6.14 Arbeidsgekwalificeerd Assistent (AKA)/TaToe Examenstandaard 1: Exameninstrumentarium
• In de huidige situatie is er onvoldoende onderscheid tussen formatieve en summatieve toetsen. In het examenplan voor het nieuwe cohort is dit gewijzigd, zodat wel aan de eisen van het toetsingskader van de Inspectie wordt voldaan. • Binnen de opleiding Arbeidsgekwalificeerd Assistent (AKA TaToe) is continu aandacht voor ontwikkeling van de student op het gebied van competenties en de werkprocessen. Bij de
Jaarbericht Examinering 2011/2012
examinering is specifiek aandacht voor de werkprocessen en de ontwikkeling die de student heeft laten zien. • Naar aanleiding van de zelfevaluatie van 2010/2011 is een document gemaakt waarin duidelijk staat aangegeven welke onderdelen het portfolio moet bevatten voordat het panelgesprek uitgevoerd kan worden. • De cesuur is niet per onderdeel uitgewerkt. • Voor het nieuwe cohort is afgesproken om met een Proeve van Bekwaamheid (PvB) te gaan werken voor de AKA-werkprocessen. Een duidelijke cesuur kan vervolgens worden uitgewerkt. • De beoordeling van de werkprocessen gaat in 2012/2013 op een andere manier. Het is dan duidelijker aan te wijzen waar de student aan moet voldoen om te slagen voor de AKAwerkprocessen. • Alle beoordelaars krijgen in 2012/2013 een training voor het beoordelen van het panelgesprek. Ook de studenten ontvangen uitvoerige informatie over het panelgesprek en hoe dit gesprek gevoerd moet worden.
Examenstandaard 2: Afname en beoordeling
• Het panelgesprek is examinerend, het werkveld is betrokken bij het panelgesprek. • Het panelgesprek wordt op de locatie in de beroepspraktijk door mensen uit de beroepspraktijk gevoerd. Alle beoordelaars hebben de cursus gevolgd, dat zorgt voor een homogene beoordelingswijze. Iedere student doet zijn examen (het panelgesprek) op dezelfde manier.
Examenstandaard 3: De diplomering is deugdelijk en geborgd
• De besluitvorming over de diplomering gebeurt steeds nauwgezet, wel dragen bij de besluitvorming betrokken personen vaak een dubbele pet. • Met de Landschapsexamencommissie zijn nieuwe werkafspraken gemaakt om een einde te maken aan de praktijk dat personen die bij de diplomering zijn betrokken oordelen en handelen vanuit meer dan één perspectief.
18
Jaarbericht Examinering 2011/2012
BIJLAGE: Standaarden en indicatoren Inspectie Gebied 2: Examinering en diplomering Aspect 2.1 Exameninstrumentarium* (examenstandaard 1) Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen.
2.1.1 Onderscheid tussen ontwikkelgerichte toetsen en examinering
• De instelling heeft een duidelijk onderscheid gemaakt tussen de opleiding - en daarin opgenomen ontwikkelgerichte toetsen - en de examinering. Deze overgang is gemarkeerd. De examencommissie heeft geëxpliciteerd op grond van welk examen en overige eisen het diploma wordt verstrekt. De studenten weten welke beoordeling meetelt voor het behalen van het diploma.
2.1.2 Dekking van het kwalificatiedossier
• Voor competentiegerichte opleidingen zijn de vereisten uit het kwalificatiedossier voor het beroepsgerichte deel opgenomen in de afgenomen examens. De essentie van het beroep moet terugkomen in het examen. Meer dan driekwart van de werkprocessen per kerntaak is geëxamineerd met examens die qua inhoud en toetsvorm passen bij de werkprocessen. De exameninstrumenten voor de talen en rekenen dekken de generieke en beroepspecifieke kwalificatievereisten zodanig af dat recht wordt gedaan aan het vereiste CEF-niveau dan wel het referentieniveau. Voor eindgerichte opleidingen is minimaal driekwart van de eindtermen van de deelkwalificatie geëxamineerd met examens die qua inhoud en toetsvorm passen bij de eindtermen van de deelkwalificatie. De wettelijke beroepsvereisten zijn volledig geëxamineerd met examens die qua inhoud en toetsvorm passend zijn. De gekozen toetsvorm past bij het beheersingsniveau van deze vereisten. Het exameninstrumentarium bestaat uit een mix van verschillende beoordelingsvormen waarbij kennis, vaardigheden en houding worden beoordeeld. Bij de inrichting van kwalificerende examensituaties is er sprake van voldoende volledigheid en complexiteit om de beheersing van kerntaken, werkprocessen en het niveau van
19
de beroepsuitoefening (cognitieve complexiteit) te kunnen waarborgen. Er wordt over het geheel van het examen geëxamineerd op het vereiste kwalificatieniveau.
2.1.3 Cesuur
• De cesuur van het exameninstrumentarium ligt op het niveau waarop de student voldoet aan de vereisten die in het instrumentarium zijn verwerkt. De cesuur is zodanig opgesteld dat de beoordeling (en daarmee de waardering van de kennis, vaardigheden en houding van de student) in zijn totaal niet lager uitpakt dan voor de vakbekwaamheid voor het beroep en voor de generieke eisen voor taal en rekenen noodzakelijk is.
2.1.4 Beoordeling
• Het exameninstrumentarium is voorzien van een beoordelingsvoorschrift dat een zo objectief mogelijke beoordeling waarborgt. Dit betekent dat: • het beoordelingsvoorschrift is voorzien van richtlijnen die leiden tot een onafhankelijke beoordeling; • de prestatie-indicatoren (of vergelijkbare beoordelingscriteria) herleidbaar in het beoordelingsvoorschrift zijn opgenomen en een correct antwoordmodel of beoordelingsschema beschikbaar is; • de beoordelaar kan opmaken welke (deel)waardering aan een prestatie van een student toegekend moet worden; • de beoordelaar kan opmaken welke eindwaardering moet worden gegeven; • de beoordelaar de gegeven waarderingen conform het beoordelingsvoorschrift herleidbaar kan onderbouwen.
2.1.5 Transparantie
• Alle betrokkenen hebben een helder beeld hoe het examen eruitziet en hoe het wordt uitgevoerd en beoordeeld:
Jaarbericht Examinering 2011/2012
studenten en beoordelaars zijn geïnformeerd over de beoordelingscriteria en de wijze waarop het examen plaats zal vinden en over de beoordeling. Het exameninstrumentarium is voorzien van afnamecon-
dities en aanwijzingen voor de beoordelaars en de studenten voor de uitvoering van het examen.
Aspect 2.2 Afname en beoordeling* (examenstandaard 2) De examenprocessen van afname en beoordeling zijn deugdelijk.
2.2.1 Authenticiteit
• Het examen bevat tenminste activiteiten die de student als beginnend beroepsbeoefenaar in het toekomstig beroep uitvoert, afgestemd op het kwalificatiedossier. De werkomstandigheden en de sociale context tijdens de beoordeling van het examen lijken zoveel mogelijk op die in het toekomstig beroep. Het beroepenveld is betrokken bij de examinering en zij beoordelen de afname en beoordeling als realistisch.
2.2.2 Betrouwbaarheid
• Examenopdrachten, afnamecondities en beoordeling zijn voor alle studenten gelijkwaardig uitgevoerd. Eventuele verschillen zijn verantwoord, maar doen geen afbreuk aan
de betrouwbaarheid van de beoordeling noch aan het niveau van het examen. De beoordeling vindt plaats op het niveau van eindtermen van de deelkwalificaties of kerntaken en werkprocessen. De beoordeling wordt gebaseerd op de prestatie-indicatoren (of vergelijkbare beoordelingscriteria) uit het kwalificatiedossier. Als een examen(onderdeel) niet wordt gehaald, wordt op het niveau van de prestatie-indicator (of vergelijkbare beoordelingscriteria) verantwoord wat de oorzaak daarvan is. Er is sprake van een deskundige beoordeling van studenten gericht op het vakinhoudelijk correct beoordelen van de kennis, houding en vaardigheden van de student. De examencommissie vergewist zich van de deskundigheid van de beoordelaars.
Aspect 2.3 Diplomering* (examenstandaard 3) De diplomering is deugdelijk en geborgd.
2.3.1 Besluitvorming diplomering
• De examencommissie besluit op basis van de examenresultaten van de student, afgezet tegen de exameneisen uit het kwalificatiedossier en het Examenbesluit, tot het verlenen van vrijstellingen voor delen van het examen en tot het verstrekken van certificaten en diploma’s. De examencommissie neemt deugdelijke besluiten op grond van de oordelen op de examenonderdelen en legt op basis van registratie van de besluitvorming verantwoording af.
wordt gebruikgemaakt van bijvoorbeeld resultatenanalyses, studenttevredenheidevaluaties en gegevens uit (steekproefsgewijze) dubbele beoordelingen. De examencommissie legt vast wanneer beoordelingsresultaten worden aangepast, en tot welke verbeteracties deze correcties leiden of hebben geleid. De examencommissie analyseert wat mogelijke oorzaken zijn als de beoordelingen niet naar wens verlopen.
2.3.2 Verantwoordelijkheid examencommissie
• De examencommissie vergewist zich met gepaste grondigheid en frequentie van de kwaliteit van het exameninstrumentarium, de afname, de beoordeling, de besluitvorming betreffende de diplomering en van de deskundigheid van bij de examinering betrokken personen. Om vast te stellen of de beoordeling adequaat verloopt
20
Jaarbericht Examinering 2011/2012
verantwoordelijkheid verbinding verantwoordelijkheid verbinding ontmoeting talentontwikkeling ontmoeting talentontwikkeling respect zingeving vakmanschap respect zingeving vakmanschap
Informatienummer: 0800 - 0245666 (gratis) E-mail:
[email protected] Website: www.landstede.nl
Informatienummer: 0800 - 0245666 E-mail:
[email protected]
Website: www.landstede.nl