evaluatierapport examinering divisie Economie 2003
Evaluatierapport examinering divisie Economie 2003
inhoudsopgave 1
div. examen commissie
3
2
evaluatie examinering domein 1: het management van het examen domein 2: deskundigheid, inkoop en uitbesteding domein 3: examenproces domein 4: het examenproduct domein 5: verantwoording
5 5 5 6 6
doelstellingen 2004
7
3
Bijlage 1: Bijlage 2: Bijlage 3: Bijlage 4: Bijlage 5: Bijlage 6: Bijlage 7:
project laat je kennen opbouw examenorganisatie stand van zaken KCE planning en control cyclus examinering resultaten deelnemersonderzoek examinering resultaten examineringsproces gemiddelden per standaard per divisie
11 12 13 14 16 20 33
1
Divisie examen commissie
stand van zaken 2003 Plan • In 2002 is er een Albeda brede werkgroep opgezet onder de titel: Laat je kennen (zie bijlage 1). Dit project betaald vanuit een KCE-subsidie had tot doel de belangrijkste kaders uit te zetten waarbinnen de kwaliteit van de examens verbeterd kan worden. •
Het belangrijkste product vanuit het project Laat je Kennen is een handboek waarin de gehele examenorganisatie word beschreven (zie handboek).
Do • In maart 2002 er is per divisie een nulmeting uitgevoerd waarna de divisie een plan van aanpak heeft geschreven met de divisiebrede doelen voor 2003. Naast de nulmeting is er uitgebreid scala aan voorlichting geweest over het beoogde doel van examinering, de werkwijze en de nieuwe rol en taakverdeling. (zie bijlage 3) •
De divisie examen organisatie is opgezet en ingevuld; waaronder het instellen van een subexamencommissie en een toetsvaststellingscommissies per branche en een divisie- examencommissie (zie bijlage 2) (doelstelling examineringsverslag 2003).
•
Er is een divisie brede scholing ingezet om de kwaliteit van de examens te professionaliseren. De scholing voor de toetsconstructeurs en voor de leden van de vaststellingscommissie richtten zich op het opstellen van toetsmatrijzen en de vraagstelling in relatie tot eindterm & taxonomiecode (doelstelling examinerings verslag 2003).
. Check • Er is een “planning en control-cyclus” uitgezet waarmee de kwaliteit van de examens geborgd kan worden (zie bijlage 4). Deze planning sluit aan op het handboek examinering en is de concrete invulling van de verschillende aspecten die er binnen de examenorganisatie moeten worden verricht. Met name de controle op de kwaliteit van de examens krijgt de nadruk. Concreet betekent dit dat er in 2003 / 2004 de navolgende ‘controles’ zijn uitgevoerd (doelstelling examineringsverslag 2003). 1) In november 2003 heeft er een evaluatie examinering plaatsgevonden met behulp van het KCE auditinstrument. 40 Personen binnen de examenorganisatie hebben de vragenlijst ingevuld. Dit waren leden van de divisie examencommissie, de subexamencommissie, de toetsvaststellingscommissies en de examenbureau’s. 2) Na afloop van de examenweek van onderwijsperiode 1 is er binnen elke subexamencommissie een enquête uitgezet onder 2 groepen deelnemers over
3
het verloop van de examenweek. Middels deze enquête willen wij zicht krijgen op het verloop van het examenproces 3) In onderwijsperiode 3 is er door een tweetal deelnemers groepen per subexamencommissie een enquête ingevuld over de kwaliteit van de toets. De resultaten van deze enquête zullen gebruikt worden om de kwaliteit van de toetsenproducten te evalueren 4) Er worden sinds onderwijsperiode 3 van schooljaar 2002-2003 elke onderwijsperiode een of meerdere bezoeken gebracht aan alle locaties van de divisie (interne audits). Naast deze locatiebezoeken wordt er ook elke onderwijsperiode een aandachtsgebied onder de loep genomen en word hier uitgebreid bij stilgestaan. De bevindingen worden gerapporteerd aan de divisie examencommissie die op basis hiervan verbeteringen aanbrengt OP 3 2002-2003: het proces van examinering OP 4 2002-2003: de kennis bij docenten OP 1 2003-2004: de TVC’s OP 2 2003-2004: de subexamencommissies Act • Op basis van de bovenstaande zaken kan er gesteld worden dat de doelstellingen over 2003 zijn gerealiseerd zoals deze in het examineringsverslag van juni 2003 zijn verwoord. Helaas is er onvoldoende aandacht geweest voor het formuleren van beleid ten aanzien van de inkoop van toetsen (doelstelling examineringsverslag 2003). De reden voor het niet slagen is dat de opzet van de toetsvaststellingscommissies veel tijd vergt en hierdoor het proces van inkoop onvoldoende aandacht heeft gekregen. Deze doelstelling zal in 2004 alsnog gerealiseerd dienen te worden.
4
2
Evaluatie examinering 2003
Zoals hierboven beschreven worden er verschillende instrumenten ingezet om het examineringproces te kunnen monitoren / evalueren. Hieronder worden de belangrijkste zaken beschreven aan de hand van de verschillende domeinen zoals deze door KCE zijn vastgesteld. Domein 11: het management van het examen Binnen domein 1 scoort de divisie economie voldoende (score: 3,852). De organisatie van de examinering is geborgd in de volledige breedte, waarbij het handboek als uitgangspunt dient. Binnen dit domein is er nog wel onvoldoende aandacht voor het betrekken van het beroepenveld bij examinering (score: 2,80). Ook is het niet duidelijk of en zo ja op welke manier wij proberen het beroepenveld lid te maken van de examenorganisatie en / of te betrekken bij het examenbeleid. Naast de uitvoering wordt het beroepenveld niet betrokken bij de wijze van vormgeving van de examinering. Uitzonderingen zijn bijvoorbeeld de werkbank bij Detailhandel (score 2,24) zie handboek examinering zie divisie beleidsplan zie formele examenorganisatie zie OERen zie studiehandleidingen zie P & C cyclus examinering zie P & C cyclus OERen Domein 2: deskundigheid, inkoop en uitbesteding Binnen dit domein scoort de divisie ruim voldoende op de deskundigheid van onze examenorganisatie (score: 4,3). Het proces van inkoop is echter nog onvoldoende. De procedure voor de inkoop van toetsen; waarbij de leveranciers worden beoordeeld op hun prestaties en de producten worden geëvalueerd is wel bekent maar wordt niet gebruikt. zie stuurgroep KCE zie notulen toetsvaststellingscommissies en sub examencommissies Domein 3: examenproces Binnen de divisie kan op basis van de evaluatie gesteld worden dat er een duidelijke scheiding is van toetsvaststelling en toetsconstructie. De functionarissen zijn aangesteld en kennen hun rol en taakverdeling. Ook de betrouwbaarheid van het examenproces is geborgd, net als de diplomering en certificering (score gemiddeld tussen 4,5 en 5). In het proces van toetsconstructie zijn er verschillen te zien. De kennis over de processen zijn voldoende (bijvoorbeeld: het proces voor toetsconstructie of toetsvaststelling)
1 2
De resultaten voor de domeinen 1, 2, 3 en 5 zijn afgeleid uit de interne meting (bijlage 6) De resultaten zijn uitgedrukt op een schaal van 1 tot 5
5
De uitvoering van het werkproces voor toetsconstructie is nog onvoldoende (score 2,75) Ook binnen het examenproces scoren wij nog onvoldoende op de beoordeling van toetsen door de TVC. Naast de beoordeling vooraf is er geen evaluatie van de toetsen achteraf (oa. de toetstechnische criteria en toetstechnische eisen) De beoordeling van de examens is nog onvoldoende geborgd (score 1,9). Er is geen goede werkwijze opgesteld voor het beoordelen voor het analyseren van examenresultaten en vindt er geen evaluatie plaats van de beoordeling van toetsen. Nadat de examens zijn afgenomen kan gesteld worden dat het proces voorspoedig verloopt. De medewerkers werken volgens de gestelde werkwijze van het publiceren van examenresultaten (score 4,7), het uitreiken van de diploma’s en de registratie hiervan (score 4,8). Door de formele overlegstructuur die in de examencommissie is vastgelegd, is het duidelijk wie, welke onderdelen van het proces dient te evalueren. Helaas gebeurt dit nog niet op alle onderdelen, met name: of de uitreiking van diploma’s in overeenstemming is met het OER (score 2.1) zie toetsplannen, toetsmatrijzen zie notulen toetsvaststellingscommissies en sub examencommissies Domein 43: het examenproduct Binnen het domein van het examenproduct beoordelen de deelnemers het proces van examinering met een 6,2. Het gehele proces van examinering wordt op elk afzonderlijk aspect als voldoende beoordeeld. Uit een tevredenheidsonderzoek dat door ons gehouden is onder de deelnemers blijkt dat de volgende aspecten wel voldoende scoren maar nog verbeterd kunnen worden: • 13 % van de deelnemers heeft ooit een klacht ingediend over examinering, waarvan 52 % niet tevreden is over de afhandeling van deze klacht Ook geven de deelnemers aan dat ze nog onvoldoende weten waar ze een klacht kunnen indienen over een toets of het examenproces • De deelnemers hebben onvoldoende inzicht in welke vorm de toets wordt afgenomen (44%) zie resultaten deelnemersenquête Domein 5: verantwoording Binnen het domein verantwoording scoort de divisie nog onvoldoende (score 2,95) De tevredenheid onder de deelnemers wordt gemeten middels een enquête die jaarlijks wordt uitgezet en is opgenomen in de P & C cyclus van de divisie. Zoals in domein 1 al is beschreven is er nog onvoldoende aandacht voor de tevredenheid van het beroepenveld over de examinering (score 1,9) zie beleidsplan en branchejaarplannen
3
De resultaten voor domein 4 zijn afgeleid uit de deelnemers enquête (bijlage 5)
6
3
Doelstellingen 2004 (act)
Op basis van de deelnemersenquête, de interne audits en de examenevaluatie is inzichtelijk gemaakt op welke terreinen de examinering nog verbeterd dient te worden. De hieronder vermelde doelstellingen zijn van toepassing op de gehele divisie. OERen Binnen de divisie economie is er een te grote hoeveelheid van opleidingen en varianten ontstaan. Momenteel wordt er binnen de divisie bekeken welke opleidingen geclusterd kunnen worden binnen een onderwijs en examenregeling, waardoor het aantal opleidingsvarianten zal afnemen. Daarnaast zal er ook gekeken moeten worden naar de eenheden van toetsing. •
Voor 15 april 2004 dient er binnen elk OER beslist te zijn welke eenheden afgetoetst moeten worden waarbij wordt gestreefd de eenheden van toetsen groter te maken ten opzichte van de huidige eenheden.
•
Op basis van de OERen zal er voor de zomervakantie van 2004 een toetsplan voor schooljaar 2004 – 2005 gereed moeten zijn.
Scheiding toetsvaststelling en toetsconstructie Binnen de divisie wordt gewerkt volgens het handboek examinering waarbij toetsconstructie en toetsvaststelling gescheiden is. Elk cluster van opleidingen zoals deze binnen de divisie zijn vastgesteld heeft een eigen toetsvaststellingscommissie die op objectieve wijze de toetsen controleert. De ontwikkelde toetsen worden in concept naar de toetsvaststellingscommissies gestuurd die de toetsen beoordelen en in overleg met de constructeur aanpast daar waar nodig. Door verschillende initiatieven binnen de divisie wordt de werkwijze van scheiding en constructie steeds beter gevolgd. Op basis van de interne audits kan gesteld worden dat niet alle toetsen volgens de formele procedure worden vastgesteld. Voor 2004 zijn de volgende doelstellingen vastgesteld: •
In onderwijsperiode 4 van het schooljaar 2003 – 2004 dient 75% van alle aangeleverde toetsen door de TVC beoordeeld te worden voorafgaand aan het examineringsproces.
•
Voor het einde van 2004 dient 75 % van de toetsen compleet via de formele procedure te worden aangeleverd aan de TVC (toets voorzien van een toetsvoorblad, antwoordmodel, cesuur en bestaan uit de benodigde versies).
Inkoop van de toetsen Binnen de divisie is besloten om alle toetsen die ingekocht kunnen worden, worden ingekocht. Met als doel de beheersbaarheid van de examinering te verbeteren. Uit de examenevaluatie is gebleken dat er nog onvoldoende systematiek is in de evaluatie van de inkoop van toetsen. Controle op de samenwerking en inkoop van toetsen bij derden is dus noodzakelijk en dient te worden opgenomen in de planning en control cyclus.
7
Er dient een inventarisatie te komen met welke externe leveranciers reeds structureel word gekeken naar de kwaliteit van hun producten. Op basis van deze afspraken kunnen we beoordelen welke stappen er moeten worden ondernomen om te komen tot een systematiek waarmee we kwaliteit van de ingekochte toetsen kunnen garanderen. •
Voor einde februari 2004 dient er een inventarisatie te zijn van de contracten tussen aanbieders van toetsen en de divisie economie.
•
Voor het einde van schooljaar 2003 – 2004 zal er 1 centraal punt moeten zijn binnen de divisie waar klachten over ingekochte toetsen worden verzameld.
•
Met ingang van schooljaar 2004 – 2005 dient er te worden gewerkt volgens een op te stellen planning en controle cyclus waarbij alle aspecten van de inkoop van toetsen worden meegenomen.
Beroepenveld Binnen de divisie is er onvoldoende aandacht voor het betrekken van het beroepenveld bij examinering. De verschillende branches geven er ieder op hun eigen manier invulling aan. •
Voor het einde van dit schooljaar (2003 –2004) moet een inventarisatie zijn van de initiatieven die er reeds binnen de divisie economie zijn om op structurele wijze het beroepenveld te betrekken bij de examinering van ons onderwijs.
•
Op basis van deze inventarisatie zal er voor het einde van schooljaar 2003 – 2004 een plan van aanpak moeten liggen met als doel kaders aan te geven hoe en op welke manier het beroepenveld betrokken moet worden bij de examinering. Leidraad voor het opstellen van het plan van aanpak is het handboek examinering.
Examineringsproces Het proces van examinering is voldoende op orde. Dit blijkt zowel uit onze eigen interne audits die elke OP worden uitgevoerd als uit de deelnemersenquête. De interne audits hebben tot doel gehad te constateren waar nog verbeteringen konden worden aangebracht. Hierbij valt te denken aan het uitsluiten van fraudemogelijkheden, de afname van de examens en de rol van de surveillanten. Ondanks dat de divisie tevreden is met het proces van examinering blijken er uit de deelnemersenquête nog enkele aandacht punten naar voren te komen. De doelstelling voor 2004 is dat op de volgende thema’s tenminste een tevredenheid van 60 % gescoord dient te worden. De overige aspecten uit de deelnemersenquête voldoen hier reeds aan. In elke onderwijsperiode zal er door de mensen die de interne audits uitvoeren gecontroleerd worden of de doelstellingen zullen worden gehaald. • De voorlichting Hoe en in welke vorm de toetsen worden afgenomen (44% tevreden) Waarover toetsen worden afgenomen (55% tevreden)
8
• Voorbereiding De informatie over de hoeveelheid voorbereidingstijd die een deelnemer gemiddeld nodig heeft om een toets met een voldoende te kunnen afronden (33% tevreden) • Klachtenregeling Binnen dit onderwerp is het belangrijk dat de klachtenregeling bekend is indien de deelnemers hiervan gebruik wil maken (36 % tevreden) Evaluatie van toetsen De kwaliteit van de toetsen wordt niet alleen bepaald door de scheiding van toetsconstructie en vaststelling maar ook door de evaluatie van de toetsen nadat deze door de deelnemers zijn gemaakt. De doelstelling voor de ingekochte toetsen is dat er een centraal punt komt waar klachten en opmerkingen worden gebundeld om zo in overleg met de externe leverancier het product te kunnen evalueren. Voor de toetsen die binnen de divisie worden gemaakt is er nog onvoldoende aandacht voor de toetstechnische eisen, toetstechnische criteria, beoordeling van toetsen, beoordelingsinstructies en analyse van examenresultaten. Zo blijkt uit de resultaten van de examenevaluatie. Volgens de P & C cyclus dient er elk jaar in OP 2 een korte evaluatie door de deelnemers te worden ingevuld over de toets die gemaakt is. Op basis van deze evaluatie zal de kwaliteit van de toets inzichtelijk worden gemaakt. Op basis van deze evaluatie kan bekeken worden welke toetsen opnieuw door de TVC beoordeeld moeten worden. Door deze feedback zal de kwaliteit van de toetsen toe moeten nemen. •
In het schooljaar 2003 – 2004 moet de eerste evaluatie van toetsen door de deelnemers plaatsvinden.
•
Voor het einde van 2004 een stappenplan moeten worden ontwikkeld met als doel te komen tot een structurele evaluatie van toetsen, onderdeel van dit stappenplan zal tevens moeten zijn de samenwerking (benchmarking) met andere ROC’s.
Scholing Naar aanleiding van de interne audits zullen er binnen de divisie twee nieuwe scholingstrajecten worden uitgezet. •
Naast de verplichte training voor alle docenten in 2003 zal er in 2004 een scholing plaatsvinden voor toetsconstructeurs op vrijwillige basis. Hiermee kunnen docenten hun competentie op het gebied van toetsconstructie verbeteren
•
In 2004 zal er tevens een vervolgscholing plaatsvinden voor de leden van de toetsvaststellingscommissies. In deze training zal worden ingegaan op de professionaliteit van de vaststellingscommissies en op hun rol en taak binnen de examenorganisatie
9
Samenwerking divisie educatie en divisie economie In overleg met educatie zijn er een aantal doelstellingen geformuleerd die in gezamenlijkheid dienen te worden uitgevoerd •
Voor einde januari ’04 heeft elke sub examencommissie van de divisie economie een contactpersoon benoemd die bevoegd is om met educatie afspraken te maken
•
Per 1 augustus 2004 participeren medewerkers van educatie in de sub examencommissies van de divisie economie
•
Per 1 augustus 2004 participeren medewerkers van educatie in de toetsvaststellingscommissies van de divisie economie
•
Per 1 augustus 2004 worden toetsconstructeurs met specifieke deskundigheid voor de educatie doelgroepen aangesteld / ingezet voor het maken van toetsen
•
In mei 2004 zal er door de divisie educatie een checklist kwaliteit studiehandleiding worden ontwikkeld met betrekking tot examinering (afgestemd met de subexamencommissies)
•
De divisie economie zal de divisie educatie betrekken bij de tevredenheidsonderzoeken zoals deze binnen de divisie economie worden uitgevoerd.
10
Bijlage 1: project laat je kennen Verbetering interne kwaliteitszorg met betrekking tot examinering. Doelstelling van het project Doel van het project is dat opleidingsclusters zo efficiënt mogelijk de interne kwaliteitszorg met betrekking tot examinering realiseren. De vertaling van algemene noties over kwaliteitszorg met betrekking tot examinering is mede afhankelijk van de wijze waarop de interne organisatie van het opleidingscluster eruit ziet (bijvoorbeeld veel of weinig locaties, wel of niet ondergebracht in verschillende regio’s). Daarbij zijn bij de kwaliteitszorg m.b.t. examinering in de beroepspraktijkvorming de keuzes voor procedures onder meer afhankelijk van de wijze waarop de branche georganiseerd is (grote of kleine organisaties, sterk of zwak georganiseerd, lange of korte opleidingstraditie). Hetzelfde geldt voor procedures voor het betrekken van functionarissen uit het werkveld bij de beoordeling en de bewaking van de kwaliteit van examinering. De interne kwaliteitszorg met betrekking tot examinering dient tenslotte een duidelijke relatie te hebben met de algemene kwaliteitszorg van de individuele instelling en afgestemd te zijn op de landelijke standaarden van KCE. Concrete opbrengsten van het project Nulmeting per divisie Plan van Aanpak per divisie Handboek Examinering In het kader van dit project heeft een Albedabrede nulmeting plaats gevonden op het gebied van examinering. Op basis hiervan is er voor alle divisies een Plan van Aanpak geschreven, dat in juli 2002 door de divisiedirecties is geaccordeerd. Uit de diverse handboeken - die onder andere binnen het Albeda worden gebruikt is een Albeda-breed Handboek gemaakt. Daarnaast hebben wij formats voor verantwoordingsdocumenten ontwikkeld. Deze zullen in het kader van de interne borg (zelfevaluaties / rapportages examencommissies e.d.) worden gebruikt.
11
Bijlage 2: opbouw examenorganisatie
Divisie-examencommissie Subexamencommissie Handel Subexamencommissie Administratie Subexamencommissie ICT Subexamencommissie Toerisme
Examenbureau Toetsconstructeurs Vaststellingscommissie Surveillanten Beoordelaars
12
Bijlage 3: stand van zaken KCE 10 9 8 7
7,4 6,8
6,5
6,8
6,7
Haastrechtstraat Stolwijkstraat Weena Oude Tonge Spinozaweg Buys Ballotlaan Zr. Hennekeplein
7,0 6,2
6 5 4 3 2 1 locatie
waardering presentatie examinering per locatie (schaal 1 tot 10)
In oktober 2003 is er door de directeur onderwijs een ‘rondje’ langs de locaties gemaakt waarin uitgebreid is gesproken over de examenorganisatie. Dit rondjes is een van de vele initiatieven geweest om de nieuwe examen systematiek onder de aandacht te brengen. Er is veelvuldig geschreven over examinering in de personeelsbladen: Albeda actueel en d’ecovisie. Daarnaast zijn er de verschillende locaties eigen initiatieven ondernomen. Op basis van een korte vragenlijst die is uitgezet onder alle docenten van de divisie economie is 97 % van alle docenten op de hoogte van de komst van KCE. Het examenhandboek kent ruim 26 % van de betrokkenen en 65 % weet wat hun nieuwe taak en verantwoordelijkheid is binnen de nieuwe organisatiestructuur.
13
Bijlage 4: planning en control cyclus examinering In 2003 is er op basis van dit plan van aanpak en dit verantwoordingsmodel is de planning en control cyclus omgezet in een jaarplanning. Deze planning en control cyclus heeft een cyclisch karakter. De genoemde weeknummers zijn gebaseerd op het jaar 2004 tenzij anders is vermeldt. dec = divisie examen commissie sec = sub examencommissie bb = bedrijfsbureau
Examen product cyclus
actor
datum
uitzetten van deelnemersenquête (toetsproduct)
kwaliteitszorg
week 3
inleveren toetsen voor KCE (2)
voorzitter sec
week 6
3
resultaten deelnemers enquête (toetproduct)
kwaliteitszorg
week 7
4
inleveren toetsen voor KCE(3)
voorzitter sec
week 14
5
toetsplan volgens OER (afstemmen met OER P&C)
subexamen commissie
15 mei
6
definitieve rapportage KCE
KCE
juni / juli
inleveren toetsen (1)
voorzitter sec
week 48 (2003)
1
2
7 8 9 10 11 12
14
examen proces cyclus
actor
datum
dec
week 2
dec
week 2
bb
week 3
voorbereiden van KCE proces audit
bb
week 7,8,9
proces audit KCE ( ong. 3 dagen)
divisie
week 11
(concept) rapportage nav KCE audit
KCE
week 12
reactie op concept rapportage
dec
week 14
interne audit
bb
week 13
definitieve rapportage KCE
KCE
juni / juli
rapportage communiceren
bb
augustus
interne audits
bb
week 24
interne audits
bb
week 44 (2003)
uitzetten deelnemers enquête (examineringsproces)
kwaliteitszorg
week 48 (2003)
Uitzetten van evaluatie bij divisie examen organisatie
kwaliteitszorg
week 48 (2003)
bespreken evaluatie rapportage 1
aanleveren rapportage aan CvB interne audit
2
3
4 5
6
7 8 9 10
11
12
opstellen evaluatierapport examinering
week 50 (2003)
* De rapportage op basis van de evaluatie is onderdeel van het zelfevaluatierapport
15
Bijlage 5: resultaten deelnemersonderzoek examinering
1 2 3 4 5
6 7 8 9 10 11
12 13 14 15 16 17 18 19
20 21 22 23
Toen ik begon met mijn opleiding is mij verteld: Wanneer de toetsen worden afgenomen Hoe en in welke vorm toetsen worden afgenomen Waarover toetsen worden afgenomen Wie verantwoordelijk is op school voor het organiseren en afnemen van toetsen Waar informatie over toetsdagen of toetsweken gevonden kan worden
Voordat de toetsperiode begon, wist ik: Waarover de toetsen zouden gaan Hoeveel en welke leerstof je per toets moest bestuderen Hoeveel tijd je nodig had om te studeren, zodat je de toetsen met voldoende resultaat kon afleggen Hoeveel tijd beschikbaar is om een toets te maken Waar de toetsen afgenomen worden Op welke wijze die toetsen afgenomen zouden worden Toetsafname Begonnen de toetsen op tijd? Heb je voldoende tijd gehad om de toetsen af te kunnen maken? Ben je tevreden over het kunnen gebruiken van hulpmiddelen (Potlood, gum, rekenmachine)? Ben je tevreden over de mate van rust en stilte tijdens de toetsen? Ben je tevreden over het gedrag van de surveillant? Uitslag Ben je tevreden over het tijdstip waarop je de uitslag hebt gekregen? Ben je tevreden over het aantal herkansingsmogelijkheden? Is er een mogelijkheid tot inzage van de gemaakte toetsen? Klachtenregeling Ik weet bij wie ik een klacht over de inhoud van de toetsen in kan dienen Ik weet bij wie ik een klacht over de organisatie van de toetsweek kan indienen Heb je ooit een klacht over toetsen of de toetsweek ingediend? Ben je tevreden over de afhandeling van je klacht? Kun je een rapportcijfer geven voor de toetsweek?
16
Ja
Nee
147 107 132 85
100 137 109 163
151
93
202 176
43 64
79
163
190 209 147
54 36 95
183 193
59 49
212
33
181
66
199
48
152
95
125 120 168
74
100 146 79
166
27
178
16 6,2
17
1 > Wanneer de toetsen w orden afgenomen
40%
Nee
5 > W aar infoprm atie over toetsdagen of toetsweken gevonden kan worden
38%
Ja
nee
60%
ja
2 >Hoe en in welke vorm toetsen worden afgenomen
62%
6 > waarover de toetsen zouden gaan
18% nee
ja 44%
nee 56%
ja 82%
3 > Waarover toetsen worden afgenomen
7 > hoeveel een welke leerstof je per toets m oest bestuderen
27%
45%
nee
ja
55% ja 73%
4 > Wie verantw oordelijk is op school voor het organiseren en afnemen van toetsen
8 > hoeveel tijd je nodig had om te studeren, zodat je de toetsen met voldoende resultaat kon afleggen
34%
33%
ja 66%
ja
nee
67%
17
nee
13 > heb je v oldoende tijd gehad om de toets en af te kunnen maken
9 > hoeveel tijd beschikbaar is om een toets te maken
20%
22%
nee
nee
ja
ja 78%
80%
10 > w aar de toetsen afgenomen zouden w orden
14 > ben je tev r eden ov er het kunnen gebr uiken v an hulpmiddelen (potlood, gum, rekenmac hine)
15% 13%
nee
nee ja
ja 85%
87%
11 > op w elke w ijze die toetsen af genomen zouden w orden
15 > ben je tevreden over de mate van rust en stilte tijdens de toetsen
27% 39%
nee
nee ja
ja
61%
73%
12 > begonnen de toetsen op tijd
16 > ben je tevreden over het gedrag van de surveillant
19%
24%
nee
nee
ja
ja
81%
76%
18
17 > ben je tevreden over het tijdstip w aarop je de uitslag heb gekregen
38%
21 > ik w eet bij w ie ik een klacht over de organisatie van de toetsw eek kan indienen
32% nee
ja
ja
62% 68%
18 > ben je tevreden over het aantal herkansingsmogelijkheden
nee
22 > heb je ooit een klacht over de toetsen of de toetsw eek ingediend
13% 49%
nee 51% ja
87%
19 > is er een mogelijkheid tot inzage van de gemaakte toetsen
23 > ben je tevreden over de afhandeling van de klacht
31% nee 52% nee ja 48%
ja 69%
20 > ik w eet bij w ie ik een klacht over de inhoud van de toetsen in kan dienen
nee ja
41%
59%
19
Bijlage 6: resultaten examineringsproces
In november 2003 zijn er een tweetal evaluaties uitgevoerd om zicht te krijgen op het functioneren van de examenorganisatie binnen de divisie economie. In november 2003 is er door de divisie economie een evaluatie uitgevoerd met betrekking tot examinering. De evaluatie is uitgevoerd door een schriftelijke vragenlijst voor te leggen aan de verschillende leden van de examencommissie. Deze vragenlijst is gerelateerd aan het instrument dat KCE gebruikt bij de procesaudit die zij uitvoeren. De indicatoren die door KCE zijn vastgesteld zijn door een of meerdere functionarissen van de examenorganisatie ingevuld. divisie examencommissie per sub examencommissie (4 stuks) per toets vaststellingscommissie (4 stuks) per examenbureau (4 stuks)
2 leden 3 leden 3 leden 2 personen
20
1.1.8
1.1.9
1.2.1
1.2.2
1.2.3
1.2.4
1.2.5
1.2.6
1.2.7
De betrokkenen zijn op de hoogte van bevoegdheden met de daaruit voortvloeiende verantwoordelijkheden en taken. De betrokkenen werken in overeenstemming met de vastgestelde processen. Het beroepenveld is betrokken bij de inhoud van het examen. Het beroepenveld is betrokken bij de uitvoering van het examen. Het bevoegd gezag heeft een plan van aanpak vastgesteld om het beroepenveld bij de inhoud en uitvoering van de examinering te betrekken. Het bevoegd gezag zorgt ervoor dat het plan van aanpak uitgevoerd wordt. Het bevoegd gezag neemt aantoonbaar actie om het beroepenveld lid te maken van de examencommissie en / of om het beroepenveld bij het examenbeleid te betrekken.(3) Het bevoegd gezag evalueert regelmatig de betrokkenheid van het beroepenveld. (3) Het bevoegd gezag neemt aantoonbaar actie indien de evaluatie daartoe aanleiding geeft.(3)
divisie toerisme economie 4,38 4,2
handel
ICT
4,3
5
admini stratie 4
3,93
3,4
4
5
3,3
3,25
3
4
3
3
3,18
1
5
3,7
3
2,50
3
3
1
3
4,18
5
3
3,7
5
2,83
4
2
1
4,3
2,83
4
2
2,3
3
3,25
4
3
3,7
2,3
21
1.2.8
1.2.9
1.5.1
1.5.2
1.5.3 1.5.4
1.5.5 1.5.6
1.5.7
1.5.8
Het bevoegd gezag bepaalt in en na overleg met het beroepenveld op welke wijze de examinering wordt vormgegeven(4) Het bevoegd gezag betrekt het beroepenveld bij het bewaken en evalueren van de examinering(4) Het bevoegd gezag heeft processen voor informatieverstrekking aan deelnemers over de inhoud en inrichting van het examen vastgesteld. De informatieverstrekking gebeurt in overeenstemming met de hiervoor vastgestelde processen. De exameninformatie is afgestemd op de doelgroep. De exameninformatie is toegankelijk voor de deelnemers. De exameninformatie wordt tijdig verstrekt. De verstrekte exameninformatie is compleet.
2,25
2
1
3,7
2,3
2,43
3
2
3,7
1
5,00
5
5
5
5
4,75
4
5
5
5
4,18
3
5
3,7
5
5,00
5
5
5
5
4,50
3
5
5
5
4,00
3
5
4,3
3,7
De exameninformatie komt overeen met de in de OER vermelde informatie. Het bevoegd gezag informeert de deelnemers hoe ze zich op de hoogte kunnen stellen over de wijze van verwerken van de examenresultaten.
4,50
4
4
5
5
4,50
5
3
5
5
22
1.5.9
Het bevoegd gezag informeert de deelnemers hoe ze zich op de hoogte kunnen stellen over de wijze van publiceren van de examenresultaten. 1.5.10 Het bevoegd gezag evalueert regelmatig het proces en de inhoud van de exameninformatie en gebruikt, indien nodig, de resultaten voor de verbetering hiervan(3) 1.5.11 Het bevoegd gezag betrekt andere instellingen bij verbetering en vernieuwing van het proces en de inhoud van de exameninformatie (4) 1.5.12 De samenwerking met andere instellingen leidt tot een efficiëntere informatievoorziening(4) 1.6.7 De betrokken medewerkers werken overeenkomstig de vastgestelde beroepsprocedure. 1.6.8 De betrokken medewerkers werken overeenkomstig de vastgestelde klachtenregeling. 1.7.1 De betrokken medewerkers zijn op de hoogte van de voor hen relevante sectorspecifieke standaarden. 1.7.2 De betrokken medewerkers handelen in overeenstemming met de relevante sectorspecifieke standaarden. 2.1.1 De aanwezige kennis en vaardigheden voor alle bij de examinering betrokken medewerkers zijn bekend bij het bevoegd gezag.
4,50
5
3
5
5
5,00
5
5
5
5
3,68
3
3
5
3,7
2,65
3
3
2,3
2,3
4,83
5
5
5
4,3
4,83
5
5
5
4,3
3,93
3
4
5
3,7
3,58
4
3
5
2,3
4,08
3
4
5
4,3
23
2.1.2
2.1.3
2.1.7
2.1.8
2.2.1
2.2.2
2.2.3
Gewenste kennis en vaardigheden voor alle bij de examinering betrokken medewerkers zijn bekend bij het bevoegd gezag. Het bevoegd gezag zorgt voor deskundigheidsbevorderende maatregelen om de geconstateerde tekorten in kennis en vaardigheden op te lossen. De instelling betrekt de medewerkers bij voortdurende verbetering(3) Bijdragen van medewerkers worden regelmatig geëvalueerd en aan hen teruggekoppeld(3) De instelling heeft met elke bij de examinering betrokken derde een contract afgesloten. In alle contracten is minimaal opgenomen: - specificaties van de door derden te leveren dienst(en) en product(en); - verantwoordelijkheden van derden; - duidelijke kwaliteitseisen geformuleerd voor de te leveren producten of diensten; - de looptijd van het contract. In het geval van samenwerkingsverbanden zijn de verantwoordelijkheden van derden beschreven.
4,50
4
4
5
5
4,25
4
5
3,7
4,3
3,93
3
4
3,7
5
4,43
4
5
5
3,7
4,50
3
5
5
5
4,33
3
5
5
4,3
4,33
3
5
5
4,3
24
2.2.4
2.2.5
2.2.6
2.2.7
2.2.8
2.2.9
2.3.1
Er vindt regelmatig evaluatie plaats met de interne afnemers van de producten en diensten over de geleverde prestaties van derden. De instelling evalueert periodiek het proces rondom de contractvorming voor de uitbesteding van het examen of de inkoop van examenproducten en – diensten (3) De instelling evalueert periodiek de prestaties van de leverancier op basis van het contract(3) De instelling gebruikt de resultaten van de evaluaties voor eventuele bijstelling van het proces en / of het contract(3) De instelling evalueert de leverancier mede op zijn toegevoegde waarde (4) Met leveranciers wordt structureel aan innovatie van diensten en processen gewerkt (4) Het bevoegd gezag controleert of de door samenwerking verkregen en / of ingekochte examenproducten en – diensten voldoen aan de KCE-standaarden.
3,60
3
4
3,7
3,7
3,18
3
3
3,7
3
3,43
2
5
3,7
3
3,43
3
4
3,7
3
3,43
3
4
3,7
3
3,75
2
5
3,7
4,3
5,00
5
5
5
5
25
2.3.2
2.3.3
3.1.2
3.1.3
3.1.4 3.1.5 3.1.6
3.1.7
3.1.8
3.1.9
De instelling evalueert periodiek het proces voor samenwerking en / of inkoop en stelt op basis van de verkregen kwalitatieve en kwantitatieve informatie, indien nodig, het proces bij(3) De selectie, inkoop en beoordeling van examenproducten en – diensten gebeurt in samenwerking en in overleg met andere instellingen en / of het beroepenveld(4) Betrokken medewerkers kennen het werkproces voor toetsconstructie. Betrokken medewerkers werken conform het werkproces voor toetsconstructie. De examencommissie heeft de toetsplannen vastgesteld. De examencommissie heeft de toetsmatrijzen vastgesteld. Betrokken medewerkers gebruiken de vastgestelde toetsplannen. Betrokken medewerkers gebruiken de vastgestelde toetsmatrijzen. De criteria voor de dekkingsgraad van toetsopdrachten zijn vastgesteld. De criteria voor de moeilijkheidsgraad van toetsopdrachten zijn vastgesteld.
2,60
2
3
3,7
1,7
2,90
2
3
4,3
2,3
4,55
4,5
5
5
3,7
2,75
2
3
3,7
2,3
4,33
3
5
5
4,3
3,93
3
4
5
3,7
3,58
2
5
5
2,3
3,08
3
2
5
2,3
4,58
4
5
5
4,3
4,33
5
3
5
4,3
26
3.1.10 De examencommissie evalueert regelmatig de dekkingsgraad van toetsopdrachten. 3.1.11 De examencommissie evalueert regelmatig de moeilijkheidsgraad van toetsopdrachten. 3.1.12 De examencommissie gebruikt indien nodig de evaluatieresultaten van de toetsopdrachten om het toetsproces te verbeteren. 3.1.13 De examencommissie gebruikt indien nodig de evaluatieresultaten van de toetsopdrachten om de instrumenten voor toetsconstructie te verbeteren 3.2.1 De vaststelling van toetsen geschiedt onafhankelijk van de constructie. 3.2.2 De examencommissie heeft toetstechnische eisen vastgesteld waaraan toetsen moeten voldoen. 3.2.3 Het bevoegd gezag heeft het proces voor toetsvaststelling vastgesteld. 3.2.4 De examencommissie kent het vastgestelde proces voor toetsvaststelling. 3.2.5 De examencommissie stelt toetsen vast conform het vastgestelde werkproces. 3.2.6 De examencommissie stelt voor toetsafname de toetsopdracht vast.
3,35
2
4
3,7
3,7
3,68
2
4
3,7
5
4,15
5
3
4,3
4,3
3,65
3
3
4,3
4,3
4,70
5
4,5
5
4,3
4,18
3
5
5
3,7
5,00
5
5
5
5
4,83
5
5
5
4,3
4,00
5
5
3,7
2,3
2,58
2
3
4,3
1
27
3.2.7
De examencommissie evalueert toetsen regelmatig op basis van toetstechnische eisen. 3.2.8 Evaluatiegegevens worden indien nodig gebruikt om de vaststelling van toetsen bij te stellen. 3.2.9 Evaluatiegegevens worden indien nodig gebruikt om toetstechnische criteria bij te stellen. 3.2.10 De examencommissie evalueert periodiek het proces en de instrumenten van toetsvaststelling en gebruikt de resultaten, indien nodig, voor verbetering van het proces (3) 3.2.11 De examencommissie informeert regelmatig de toetsconstructeurs over haar bevindingen(3) 3.2.12 De instelling betrekt andere instellingen bij verbetering en vernieuwing van de instrumenten voor toetsvaststelling (4) 3.3.1 De examencommissie heeft afname-instructies voor alle betrokkenen vastgesteld. 3.3.2 De afname-instructies bevatten in ieder geval bepalingen over toezicht, detectie, aanpak fraude en omgaan met calamiteiten. 3.3.3 Betrokkenen kennen de afname-instructies. 3.3.4 Betrokkenen werken conform de geldende instructies.
2,25
1
4
3
1
2,90
2
3
4,3
2,3
2,43
2
3
3
1,7
4,00
3
5
4,3
3,7
3,73
3,5
5
3,7
2,7
2,38
1,5
3,5
2,3
2,2
5,00
5
5
5
5
4,75
4
5
5
5
4,68
3,7
5
5
5
4,70
3,8
5
5
5
28
3.3.5
3.3.6
3.3.7
3.4.1
3.4.2
3.4.3 3.4.4
3.4.5 3.4.6
3.4.7
De examencommissie evalueert regelmatig het afnemen van examens. De examencommissie gebruikt de evaluatiegegevens, indien nodig, voor verbeteren van de afname-instructies. De instelling betrekt deelnemers en het beroepenveld bij de evaluatie van de afname van de examens (4) De examencommissie heeft beoordelingsinstructies vastgesteld. De beoordelingsinstructies bevatten minimaal bepalingen over het hanteren van beoordelingsmodellen, objectiviteit van de beoordeling en het voorkomen van fraude. Medewerkers kennen de beoordelingsinstructies. Medewerkers beoordelen conform de beoordelingsinstructies. De examencommissie stelt het examenresultaat vast. De examencommissie evalueert regelmatig de beoordeling van examens. De examencommissie gebruikt, indien nodig, de evaluatiegegevens van de beoordeling van examens om beoordelingsinstructies te verbeteren.
4,00
3
5
4,3
3,7
4,00
3
5
4,3
3,7
3,08
4
3
3
2,3
4,75
4
5
5
5
4,45
3,5
5
4,7
4,6
4,45
4,2
5
5
3,6
4,68
5
4,6
5
4,1
3,75
2
5
4,3
3,7
1,93
1
2
1
3,7
2,18
3
1
1
3,7
29
3.4.8
3.5.1
3.5.2
3.5.3
3.5.4
3.5.5
3.5.6
3.5.7
3.5.8
De examencommissie betrekt de deelnemers en het beroepenveld bij de evaluatie van de beoordeling van de examens (4). De examencommissie heeft een werkwijze voor het analyseren van de examenresultaten vastgesteld. Medewerkers kennen de werkwijze voor het analyseren van examenresultaten. Medewerkers werken conform de werkwijze voor het analyseren van examenresultaten. Indien nodig wordt de analyse van examenresultaten gebruikt voor het verbeteren van examens. De examencommissie heeft een werkwijze voor het verwerken van de examenresultaten vastgesteld. De werkwijze voor het verwerken van examenresultaten omvat in ieder geval bepalingen over wanneer, waar en aan wie de examenresultaten aan te leveren en bepalingen over hoe fraude te voorkomen. De examencommissie heeft een werkwijze voor het publiceren van de examenresultaten vastgesteld. Medewerkers kennen de werkwijze voor het verwerken van examenresultaten.
1,33
1
1
2,3
1
1,58
1
2
1
2,3
2,00
1,8
2,6
1,7
1,9
1,85
1,8
2,6
1,7
1,3
2,68
4
2
1
3,7
4,18
3
5
5
3,7
4,50
3
5
5
5
4,50
5
3
5
5
4,70
3,8
5
5
5
30
3.5.9
Medewerkers kennen de werkwijze voor het publiceren van examenresultaten. 3.5.10 Medewerkers werken conform de werkwijze voor het verwerken van examenresultaten. 3.5.11 Medewerkers werken conform de werkwijze publiceren van examenresultaten. 3.6.3 De examenresultaten zijn opgeslagen in een registratiesysteem. 3.6.4 Betrokken medewerkers kennen de werkwijze voor het registreren van diploma’s en certificaten. 3.6.5 Betrokken medewerkers kennen de werkwijze voor het uitreiken van diploma’s en certificaten. 3.6.6 Betrokken medewerkers werken conform de werkwijze voor het registreren van diploma’s en certificaten. 3.6.7 Betrokken medewerkers werken conform de werkwijze voor het uitreiken van diploma’s en certificaten. 3.6.8 De examencommissie heeft een werkwijze vastgesteld voor het verstrekken van certificaten en diploma´s op basis van vrijstellingen. 3.6.9 De werkwijze waarborgt dat vrijstellingen gebaseerd zijn op de eindtermen.
4,70
3,8
5
5
5
4,70
3,8
5
5
5
4,70
3,8
5
5
5
5,00
5
5
5
5
5,00
5
5
5
5
5,00
5
5
5
5
5,00
5
5
5
5
4,73
5
4,3
5
4,6
4,00
3
3
5
5
3,00
1
1
5
5
31
3.6.10 Medewerkers kennen de werkwijze voor het uitreiken en registreren van diploma’s en certificaten op basis van vrijstellingen. 3.6.11 Medewerkers werken conform de werkwijze voor het uitreiken en registreren van diploma’s en certificaten op basis van vrijstellingen. 3.6.12 De examencommissie evalueert regelmatig de uitreiking van diploma’s en certificaten in overeenstemming zijn tot de OER. 3.6.13 De examencommissie gebruikt, indien nodig, de resultaten van de evaluatie voor verbetering van de werkwijze voor de uitreiking van certificaten en diploma’s. 5.1.1 Het bevoegd gezag onderzoekt regelmatig de tevredenheid van deelnemers over de examinering. 5.1.2 Het bevoegd gezag onderzoekt regelmatig de tevredenheid van het beroepenveld over de examinering. 5.1.3 Het bevoegd gezag gebruikt, indien de uitkomst daartoe aanleiding geeft, de uitkomsten van de tevredenheidsonderzoeken voor verbeterplannen (3) 5.1.4 Analyse en benchmarking van de gegevens geven impulsen aan nieuw beleid? (4)
3,85
3,7
1,7
5
5
4,00
3,7
2,3
5
5
2,18
1
1
3,7
3
2,00
3
1
1
3
3,33
5
3
2,3
3
1,93
2
3
1,7
1
3,40
5
4
2,3
2,3
3,15
5
3
2,3
2,3
32
Bijlage 7: gemiddelden per standaard per divisie 500 = Divisie Economie 510 = Divisie Techniek 520 = Divisie GWDV 530 = Educatie DOMEIN 1: HET MANAGEN VAN HET EXAMEN.
1= 2= 3= 4= 5= 6= 7=
De organisatie van de examinering Het beroepenveld Documenten Examenregeling Exameninformatie Commissie van Beroep voor de examens Sectorspecifieke Standaarden
2 DOMEIN 2: DESKUNDIGHEID, INKOOP EN UITBESTEDING.
1= Deskundigheid 2 = Contractsluiting 3 = Samenwerking en inkoop DOMEIN 3: EXAMENPROCES
1= 2= 3= 4= 5=
Toetsconstructie Toetsvaststelling Betrouwbaarheid van het afnemen van het examen Betrouwbaarheid van de beoordeling Examenresultaten
33
6 = Diplomering en certificering DOMEIN 5: VERANTWOORDING
1 = Tevredenheidsonderzoek 2 = Verantwoording DOMEIN 6: ENQUETE
1 = Enquête vragen
34
