Evaluatierapport examinering divisie Economie 2004
Evaluatierapport examinering divisie Economie
clusters Handel, Administratie, Toerisme en ICT
Inhoudsopgave
1
Inleiding
4
Schets van de divisie Economie
5
Deelnemers Medewerkers Opleidingslocaties Examenorganisatieschema 2
Evaluatierapport examinering Toerisme 2004
7
Terugblik 2004 Stand van zaken (december 2004) Domein 1: management van het examen Domein 2: deskundigheid, inkoop en uitbesteding Domein 3: examenproces Domein 4: het examenproduct Domein 5: verantwoording Doelstellingen 2005 3
Evaluatierapport examinering Administratie 2004
10
Terugblik 2004 Stand van zaken (december 2004) Domein 1: management van het examen Domein 2: deskundigheid, inkoop en uitbesteding Domein 3: examenproces Domein 4: het examenproduct Domein 5: verantwoording Doelstellingen 2005
4
Evaluatierapport examinering ICT 2004
12
Terugblik 2004 Stand van zaken (december 2004) Domein 1: management van het examen Domein 2: deskundigheid, inkoop en uitbesteding Domein 3: examenproces Domein 4: het examenproduct Domein 5: verantwoording Doelstellingen 2005
Evaluatierapport examinering divisie Economie
2
5
Evaluatierapport examinering Handel 2004
14
Terugblik 2004 Stand van zaken (december 2004) Domein 1: management van het examen Domein 2: deskundigheid, inkoop en uitbesteding Domein 3: examenproces Domein 4: het examenproduct Domein 5: verantwoording Doelstellingen 2005 6
Resultaten zelfevaluatieonderzoek december 2004
16
7
Resultaten deelnemersenquête december 2004
19
Evaluatierapport examinering divisie Economie
3
Inleiding Voor u ligt het tweede evaluatierapport examinering van de divisie Economie. De werkwijze die gehanteerd is houdt in dat iedere subexamencommissie van de divisie Economie een evaluatie heeft gemaakt. Het doel van dit rapport is het inzicht geven in de vorderingen die wij afgelopen jaar binnen de divisie hebben gemaakt met betrekking tot examinering. De verantwoording hierover leggen wij af aan het College van Bestuur van het Albeda College, aan KCE maar natuurlijk ook aan ouders, docenten en andere geïnteresseerden. Het rapport bestaat uit een korte schets van de divisie Economie als geheel. Vervolgens geven de vier subexamencommissies weer wat ze het afgelopen jaar hebben bereikt (resultaat 2004), waar ze nu staan en wat ze voor het jaar 2005 als doelstellingen hebben geformuleerd. Een tweetal onderzoeken hebben ten grondslag gelegen aan dit rapport. • Een jaarlijks onderzoek onder deelnemers over het examenproces. • Het jaarlijks digitale onderzoek onder een groot aantal functionarissen binnen de examenorganisatie. Aan dit laatste onderzoek hebben ruim 80 mensen van de divisie Economie deelgenomen. De resultaten van deze beide onderzoeken zijn als bijlage toegevoegd. De divisie examencommissie is tevreden over de bereikte resultaten in het afgelopen jaar. De in de rapportage aangegeven punten ter verbetering door KCE en door de divisie Economie zijn aangepakt en/of sterk verbeterd. Een punt van zorg voor de divisie-examencommissie blijft het betrekken van het beroepenveld bij de inhoud en uitvoering van de examinering. Wij hopen dat u na het lezen van dit rapport een indruk heeft van de inspanningen die wij als divisie leveren om de kwaliteit van onze examens te behouden en te verbeteren.
Namens de voorzitter van de divisie examencommissie
Marloes de Vries
Evaluatierapport examinering divisie Economie
4
1
Schets van de divisie Economie
De divisie Economie bestaat uit vier subexamencommissies en een divisieexamencommissie. De cluster zijn:Handel, Administratie (inclusief beveiliging) Toerisme en ICT. In zijn totaliteit bestaat het opleidingenaanbod uit 80 opleidingen.
Deelnemers De verdeling van het aantal deelnemers naar opleiding, leerweg en niveau zijn opgenomen in onderstaande tabellen. Opleidingen 2004/2005
BBL1 BBL2 BBL3 BBL4 BOL1 BOL2 BOL3 BOL4 DT DT DT DT Totaal BOL1 BOL2 BOL3 BOL4
Handel Administratie Toerisme ICT Totaal
1 40
182 39
167 28
51 18
41
221
8 203
18 87
118 273
282 966 130 242 391 1620
141 316 322 462 1241
765 1649 94 196 2704
75
107
98
75 54
75
107
98
54
Tabel 1.1: Overzicht opleidingenaanbod: Aantal deelnemers naar opleidingen per sub examencommissie uitgesplitst naar leerweg en niveau. Aantal deelnemers
2003-2004
Totaal BBL Totaal BOL Totaal DTBOL Totaal
2004-2005
735 5369 490 6594
552 5956 334 6842
Tabel 1.2: Aantal deelnemers, verdeeld naar leerweg (reguliere opleidingen) in 2004/2005, afgezet tegen 2003/2004
Medewerkers Bij de divisie Economie zijn 426 fte’s in dienst. Hiervan maakt bijna 300 fte’s deel uit van het personeel dat direct betrokken is bij het primaire proces; de overige medewerkers maken deel uit van het ondersteunend personeel. Een groot deel van het onderwijzend personeel is betrokken bij de uitvoering van het examen als toetsbeoordelaar, toetsvaststeller of examenvoorlichter. Meerdere medewerkers die deel uitmaken van het onderwijs ondersteunend personeel hebben een functie in de formele examenorganisatie: als lid van de divisie-examencommissie, als lid van een van de toetsvaststellingscommissies (TVC) of als lid van het examenbureau. Voor een overzicht van de examenorganisatie van de divisie: zie Handboek Examinering 2004-2005, pag. 148 e.v.
Evaluatierapport examinering divisie Economie
5
1707 3663 546 926 6842
Opleidingslocaties De opleidingen van de divisie worden verzorgd op en vanuit 8 opleidingslocaties. Cluster
Opleidingslocatie
Handel
De Lier Spinozaweg Zuster Hennekeplein Buijs Ballotlaan De Lier Oude Tonge Weena Buijs Ballotlaan Zuster Hennekeplein Haastrechtstraat Stolwijkstraat Buys Ballotlaan Weena Schiedamseweg Zuster Hennekeplein
Administratie
ICT
Toerisme
Tabel 1.3: Overzicht opleidingslocaties per branche
Examenorganisatieschema College van Bestuur Albeda College Commissie van Beroep voor de Examinering Divisie-examencommissie Techniek
Divisie-examencommissie Economie
Divisie-examencommissie GWDV
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Sub examencomm
Examenbureau Toetsconstructeurs Vaststellingscommissie Surveillanten Beoordelaars Examenvoorlichters
Evaluatierapport examinering divisie Economie
6
2
Evaluatierapport examinering Toerisme 2004
Terugblik 2004 Binnen het cluster Toerisme is er het afgelopen jaar een flinke sprong voorwaarts gemaakt zowel in het proces van examinering als in de kwaliteit van de toetsen. Om de kwaliteit van de toetsen te verbeteren is het cluster Toerisme gaan samenwerken met de LTTR toetsenbank. Een groot deel van de toetsen van de deelnemers uit de eerste twee leerjaren worden via deze toetsenbank geleverd. Omdat de toetsenbank dit schooljaar pas voor de eerste keer functioneert is er met de LTTR een evaluatie aan het einde van dit schooljaar. Hierin zullen onze bevindingen en die van de andere ROC’s met de LTTR worden besproken. Op basis van deze evaluatie zal er een nieuw contract met de LTTR worden gesloten. De kwaliteit van de toetsen die door de LTTR wordt aangeleverd voldoet nog niet helemaal verwachtingen. Om aan het einde van het schooljaar goed inzicht te hebben in de kwaliteit van deze toetsen gaan de LTTR toetsen langs de toetsvaststellingscommissie (TVC) voor een check. Er is het afgelopen jaar meer aandacht geweest voor het informeren van de docenten over examinering. Tijdens verschillende bijeenkomsten zijn er onderwerpen besproken die de examinering binnen het cluster moeten verbeteren. Een onderwerp dat uitgebreid aan bod is geweest is de werking van de LTTR toetsenbank . De systematiek van de examenorganisatie loopt nu volledig volgens het handboek examinering. De subexamencommissie vergadert direct na afloop van de examenweek. Tijdens deze bijeenkomsten worden er een aantal vaste items besproken: het verslag van de Locatie examen leider, het verslag van de TVC en evt. klachten. Daarnaast worden de definitieve eindcijfers vastgesteld voor de deelnemers. De TVC heeft voor het verbeteren van hun functioneren een 2 daagse scholing gevolgd over het beoordelen van toetsen. Mede door deze scholing lukt het de TVC om 80 % van de toetsen te beoordelen voordat deze door worden afgenomen. Ook rapporteert de TVC elke onderwijsperiode aan de subexamencommissie. Het examenproces voor de deelnemers is op meerdere vlakken verbeterd. Zo zijn de toetsroosters via Blackboard beschikbaar voor de deelnemers. Op die manier kunnen de laatste wijzigingen voor de deelnemers over bv. de tijd of het lokaal worden doorgegeven aan de deelnemer. Daarnaast is het voor alle deelnemers op alle opleidingen mogelijk zich elektronisch in te schrijven voor herkansingen. Hiermee krijgt een deelnemer direct zicht op het aantal herkansingen dat hij/zij heeft en een duidelijk overzicht voor welke examens hij/zij herkansing kan maken. De deelnemers op niveau 2 worden (nog) geholpen in het OLC bij het inschrijven voor de herkansingen. Tevens heeft de locatie examenleider duidelijk inzicht in de te verwachten aantallen kandidaten.
Evaluatierapport examinering divisie Economie
7
De toetsing voor de topografie is volledig gedigitaliseerd. Hierdoor kan de deelnemer de stof op eigen tempo aanleren en examineren. Uit ruim 1000 items krijgt de deelnemers een automatische toets aangereikt die hij/zij moet maken. Om de kwaliteit van de BPV beoordeling te verbeteren wordt er gebruik gemaakt van het praktijkwerkboek. Dit werkboek is landelijk ingevoerd bij een groot aantal ROC’s en zorgt dat de beoordeling van de BPV op een goede manier gebeurt.
Stand van zaken (december 2004) Uit de evaluatie blijkt dat wij onze examenorganisatie op de meeste punten met een voldoende beoordelen. Toch blijven er een aantal punten onvoldoende. Hieronder lichten wij de evaluatie toe. Domein 1: management van het examen De examenorganisatie van het cluster Toerisme is zeer goed te noemen. Een gemiddelde score op dit domein van 4,56 (schaal 1 tot 5). Hiermee staat de examenorganisatie en functioneert volgens het handboek examinering. Binnen dit domein blijft een punt van zorg het betrekken van het beroepenveld bij de inhoud en uitvoering van de examinering. Domein 2: deskundigheid, inkoop en uitbesteding Op het gebied van deskundigheid geeft het cluster toerisme zichzelf een goede beoordeling. De functionarissen binnen het cluster weten wat hun taak en opdracht is en krijgen scholing/voorlichting over examinering. Ondanks deze goede score blijft het erg belangrijk voldoende informatie te geven over veranderingen en verbeteringen binnen het cluster. Alleen op deze manier blijft de kwaliteit van examinering constant. Domein 3: examenproces Binnen het examenproces is er nog een aantal scores te zien die aandacht vragen. De examenresultaten worden aan de deelnemers als voorlopige score medegedeeld via Blackboard. Op het moment dat de subexamencommissie deze cijfers definitief heeft vastgesteld krijgen de deelnemers een uitdraai met het definitieve cijfer erop. De vraag rijst of de functionarissen onvoldoende weten dat de procedure zo werkt, of dat hij nog onvoldoende wordt uitgevoerd. Ook wordt er niet gewerkt aan de evaluatie van examenresultaten, behalve dat deze worden vastgesteld door de subexamencommissie. Binnen de het cluster toerisme wordt er nog geen gebruik gemaakt van EVC procedures. De deelnemer hoeft niet de lessen te volgen maar maakt alleen het examen van het betreffende vak. Bij de invoering van competentiegericht onderwijs moet dit natuurlijk worden vastgelegd. In de uitkomsten van de deelnemersenquête zijn verschillende resultaten te zien. Gemiddeld genomen geven de deelnemers het cluster toerisme een 6,3 voor het examenproces. Toch blijven er een aantal punten van aandacht in de voorbereiding en de voorlichting over de toetsing bij de deelnemer.
Evaluatierapport examinering divisie Economie
8
Domein 4: het examenproduct Uit de examenbeoordeling van KCE blijken de toetsen niet te voldoen aan de eisen die er worden gesteld. Zowel op de onderdelen dekkingsgraad, moeilijkheidsgraad als toetskwaliteit wordt onvoldoende gescoord. Domein 5: verantwoording Binnen het domein verantwoording wordt geen onderzoek verricht naar de tevredenheid van de BPV bedrijven. Reden hiervoor is dat er nog niet getoetst wordt in de BPV.
Doelstellingen 2005 • • • • • •
Minimaal 80 % van de toetsen is voorzien van toetsplan, toetsmatrijs etc bij aanlevering aan TVC Minimaal 80 % van de toetsen is beoordeeld door de TVC voor afname van de toets Het structurele contact met het beroepenveld moet worden opgezet De nieuwe functie van examenvoorlichter moet vorm en inhoud krijgen Het contract moet worden beoordeeld en er moeten afspraken met de toetsenbank LTTR worden gemaakt (= proces van deskundigheid, inkoop en uitbesteding) Het examenproces en product moeten structureel worden gemeten en geëvalueerd
Evaluatierapport examinering divisie Economie
9
3
Evaluatierapport examinering Administratie 2004
Terugblik 2004 Het cluster administratie heeft het afgelopen jaar een groot aantal wijzigingen doorgemaakt. Het doel van deze wijzigingen is de effectiviteit en efficiëntie te vergroten waardoor de kwaliteit van de examinering sterk is verbeterd. De TVC van administratie is verdeeld in een drietal kleinere TVC die ieder rechtstreeks werken voor de subexamencommissie. Kern van de wijziging is dat de branchevoorzitter integraal de examinering van zijn branche aanstuurt. De brancheTVC vergadert op de locatie van de branchevoorzitter. Hierdoor zijn de communicatielijnen tussen de TVC en de toetsconstructeurs korter geworden. Ook heeft elke TVC de mogelijk de toetsen van de toetsenbank te downloaden. Daarnaast zijn de leden van de TVC (weer) geschoold in het vaststellen van toetsen middels een twee daagse training. Door de verandering in deze werkwijze worden alle schriftelijke toetsen beoordeeld en vastgesteld door de TVC voordat deze worden afgenomen. De TVC legt na elke verantwoording af over hun werk aan de subexamencommissie die hierdoor goed zicht heeft op het functioneren van de examenorganisatie. Binnen het cluster administratie is er een eerste audit uitgevoerd door de subexamencommissie. Middels deze audit wil de subexamencommissie zicht hebben op de werking van de examenproces en product. Hiervoor worden er aan alle locaties bezoeken gebracht waarin verschillende aspecten van de examinering aan de orde komen (bv. documentenbeheer, toetsbeoordeling, toetsafname en de voorlichting aan de deelnemers) Aan het einde van 2004 is er door de subexamencommissie een eerste aanzet gemaakt tot het opstellen van een contract met de toetsenbank van de EBA. Op deze moment voldoet het contract dat wij met de EBA hebben besloten niet aan de eisen die in het handboek examinering zijn vastgesteld. Op locatie niveau zijn er meerdere initiatieven geweest om het kwaliteitsbewust denken over examinering te verbeteren. Bijvoorbeeld door het nieuwe handboek te verspreiden etc.
Stand van zaken (december 2004) Domein 1: Management van het examen Het management van het cluster administratie is op orde. Mensen kennen hun rol en verantwoordelijkheden binnen de examenorganisatie. Toch zijn er nog twee onvoldoendes binnen domein 1 die beide betrekking hebben op de betrokkenheid van de BPV bedrijven bij de examinering. Gezien de ontwikkelingen binnen het BPV platform lijken hier op lange termijn verbeteringen mogelijk. Domein 2: Deskundigheid, inkoop en uitbesteding Een groot deel van de toetsen van het cluster administratie worden ingekocht. Hiervoor maken wij gebruik van de EBA toetsenbank. Het contract met de EBA is nog niet geëvalueerd en verbeterd. Wel is er rechtstreeks intensief contact tussen de
Evaluatierapport examinering divisie Economie
10
locatie examenleiders en de EBA. Toetsen die door onze TVC als onvoldoende worden beoordeeld worden voorgelegd aan de EBA die deze toets vervolgens aanpast. Domein 3: Examenproces Eens per jaar wordt er een onderzoek gehouden onder de deelnemers over de kwaliteit van ons examenproces. De resultaten van deze enquête worden besproken en tot aanpassingen van het examenproces. Zo bleek uit de laatste enquête dat de deelnemer nog niet goed weet waar hij/zij een klacht kan indienen. Indien er klachten zijn van deelnemers worden deze besproken en beoordeeld door de subexamencommissie. De locatie examenleiders zorgen dat de beslissing van de subexamencommissie op de betreffende locaties wordt gecommuniceerd aan deelnemers en andere betrokkenen. De voorlichting aan deelnemers blijft een punt van aandacht voor het cluster administratie. Domein 4: Het examenproduct Het cluster administratie werkt hard aan de verbetering van de toetskwaliteit. Met name is er veel aandacht voor het ontwikkelen en vaststellen van de schriftelijke toetsen. Deze worden digitaal aangeleverd bij de toetsvaststellingscommissie en beoordeeld voordat deze worden afgenomen. De procedures voor het vaststellen van andere toetsen zoals mondelinge toetsen of portfolio krijgt steeds meer aandacht maar moet nog worden verbeterd. De kwaliteit van de toeten/examens speelt een steeds grotere rol bij het opstellen van de OERen. Hierbij is er veel aandacht voor het aantal toetsen, de toetsvorm en dekkingsgraad van de eindtermen. Op deze manier wil het cluster administratie de kwaliteit van de examens verbeteren.
Doelstellingen 2005 • • • • • • •
80% van de toetsen is goedgekeurd door de TVC op volledigheid en toetsinhoud voor afname van de toets Met de toetsenbank EBA wordt een contract afgesloten dat voldoet aan de eisen zoals deze in het handboek examinering zijn vastgesteld. Na elke onderwijsperiode stelt de subexamencommissie een controlerend orgaan samen ter inspectie op de locatie. Voor het mondeling examen wordt een standaard protocol ontwikkeld. Documentenbeheer voor de examinering op de locatie is vastgesteld. De subexamencommissie wil klachten en verzoeken tot vrijstellingen systematisch behandelen. De rol van de examenvoorlichter is bekend en wordt volgens het handboek examinering uitgevoerd.
Evaluatierapport examinering divisie Economie
11
4
Evaluatierapport examinering ICT 2004
Terugblik 2004 In het afgelopen jaar heeft het cluster ICT zich gericht op het competentiegericht toetsen. Hiervoor ontwikkelt het cluster in samenwerking met Bureau ICE en het Zadkine College een aantal Proeven van Bekwaamheid (PvB): • Niveau 2: Assembleren van hardware 2 • Niveau 3: Ondersteunen van systeemgebruikers 3 • Niveau 4: Ontwikkelen van informatiesystemen 4 Deze proeven zijn medio januari 2005 gereed. Op het Zadkine College zijn er rond die datum in samenwerking met het Albeda College drie andere proeven gereed. De PvB worden direct opgenomen in de toetsenbank van de EBA. Doordat meerdere ROC’s PvB ontwikkelen zullen eind april 2005 alle PvB gereed voor de opleidingen die binnen het cluster van ICT worden aangeboden. Indien dit niet het geval is zal het cluster ICT deze PvB zelf ontwikkelen. In het begin van 2005 is er een bijeenkomst geweest voor alle docenten waarin de reeds ontwikkelde PvB uitgebreid zijn besproken. In januari van 2005 worden de laatste examens ‘oude’ stijl afgenomen bij een drietal klassen uit het cohort 2002. De deelnemers hebben uiteraard nog recht op herkansingen zoals vastgelegd in het OER. De examenleider heeft over de punten van kritiek van KCE overleg gehad met de TVC .Een aantal punten is meegenomen in de nieuw te ontwikkelen examens, zoals op het voorblad van het examen opnemen van de puntenwaardering per eindterm en de bijbehorende vragen of opdrachten. Op deze manier heeft het cluster ICT de informatie aan de deelnemers te verbeteren. Alle deelnemers die na januari 2005 examen afleggen nemen deel aan de PvB. Het beroepenveld voor de ICT zijn niet de ICT-bedrijven, zoals vaak wordt gedacht, maar elk bedrijf waar er gebruik wordt gemaakt van ICT. Dit is ook de reden dat er geen branche ICT is. Dit zelfde probleem doet zich voor bij administratie en secretarieel. De subexamencommissie ICT stelt voor om voor deze drie beroepsgroepen gezamenlijk contacten te leggen met het beroepenveld. Er is een eerste aanzet gemaakt om de contacten met het beroepenveld te verbeteren. Deze contacten verlopen binnen de huidige BPV bedrijven en de stagebegeleiders.
Stand van zaken (december 2004) Domein 1: Management van het examen Binnen domein 1 scoort het cluster ICT bijna optimaal. De organisatie van toetsconstructie en vaststelling verloopt goed. Ook worden de cijfers formeel vastgesteld volgens de procedure zoals deze in het handboek zijn opgenomen. Een evaluatie van de cijfers (per toets) heeft na overleg in de subexamencommissie niet plaatsgevonden. Er is duidelijk voor gekozen om de tijd en inzet in de ontwikkeling van de PvB te investeren.
Evaluatierapport examinering divisie Economie
12
Domein 2: Deskundigheid, inkoop en uitbesteding Het cluster ICT werkt samen met de toetsenbank EBA. De toetsen die uit deze toetsenbank komen voldoen aan de eisen zoals wij deze hebben vastgelegd in het handboek examinering. Domein 3: Examenproces Het examenproces binnen de ICT opleidingen verloopt goed. De klachten die worden ingediend door de deelnemers worden zorgvuldig afgehandeld binnen de subexamencommissie. De deelnemer(s) en andere betrokkenen worden van het besluit op de hoogte gesteld. Domein 4: Het examenproduct De toetsen voldoen aan de eisen zoals deze in het handboek examinering zijn vastgesteld. Ondanks heeft KCE sommige toetsen nog als onvoldoende beoordeeld, omdat de bestanden niet geopend konden worden. De bestanden waren beveiligd met een wachtwoord conform het examenhandboek. Of de toetsen nu voldoen aan de eisen zal blijken uit de beoordeling van KCE in 2005 Domein 5: Verantwoording Het kwaliteitsonderzoek naar het examenproces gaan we richten op de competentiegerichte opleidingen. In mei/juni worden de eerste competentiegerichte opleidingen afgesloten. In de maand juni 2006 komt er een tevredenheidsonderzoek naar het examenproces en naar de aansluiting van de PvB op het beroepenveld voor alle ICT opleidingen.
Doelstellingen 2005 • • • • •
We gaan ons richten op de examinering van de competentiegerichte opleidingen Alle competentiegerichte opleidingen gaan in het schooljaar 2004-2005 geëxamineerd worden met de PvB. Alle PvB krijgen een KCE goedkeuring of zijn geconstrueerd met KCE-proof garantie. Het beroepenveld wordt betrokken bij de examinering tenminste middels de BPV. We onderzoeken de mening van de deelnemers over het examenproces en of de PvB aansluit bij het beroepenveld waar de deelnemers werken.
Evaluatierapport examinering divisie Economie
13
5
Evaluatierapport examinering Handel 2004
Terugblik 2004 In het afgelopen jaar is er bij de handelsopleidingen veel aandacht besteed aan de kwaliteit van de opleidingen. Het aantal OERen is omlaag gebracht bij vooral de afdeling BBL Handel. Opleidingen die niet of nauwelijks werden aangeboden zijn geschrapt uit het aanbod. Dit is de overzichtelijkheid duidelijk ten goede gekomen. Daarnaast is er binnen elke opleiding kritisch gekeken naar het aantal en de kwaliteit van de examens. Aan de hand van het advies van KC Handel en het Examen Service Systeem (ESS) is een begin gemaakt met het omlaag brengen van het aantal examens. In elke opleiding en examenregeling is een toetsplan opgesteld, dat conform de procedure in het handboek examinering binnen de subexamencommissie is vastgesteld. Bij het proces van het voorbereiden van examens heeft de toetsvaststellingscommissie zich vanaf augustus 2004 kunnen richten op de volledigheid van de examens in plaats van het wel of niet binnen hebben van de examens. Een eerste evaluatie van de kwaliteit van de examens heeft geleid tot een extra scholingsdag voor docenten die moeite hebben met het maken van examens. Vanuit de subexamencommissie zal er een controle komen op de toetsen. Steekproefsgewijs zullen er een aantal toetsen gecontroleerd worden. Belangrijk hierbij is dat het de juiste toets is (de toets die is vastgesteld door de TVC), dat de cesuur en het cijfer in overeenstemming zijn. Daarnaast is er een voorstel om in 2005 het bedrijfsleven intensiever te betrekken bij de examinering. Het idee is om twee keer per jaar mensen uit het bedrijfsleven toetsen, projecten en BPV toetsen te laten beoordelen. Zij maken aan de hand hiervan een verslag en leggen dit voor aan de subexamencommissie.
Stand van zaken (december 2004) Domein 1: Management van het examen Het management van de examenorganisatie is op orde. De leden van de TVC zijn niet meer automatisch lid van de subexamencommissie waardoor de slagvaardigheid van de examenorganisatie nu goed op orde is. De secretaris van de TVC vertegenwoordigt de TVC in de subexamencommissie. Domein 2: Deskundigheid, inkoop en uitbesteding Een groot deel van de toetsen van handel worden ingekocht bij ESS. De samenwerking verloopt naar behoren en de kwaliteit van deze toetsen is voldoende. Deze toetsen worden (nog) niet door de TVC beoordeeld. Domein 3: Examenproces Met name het betrekken van het beroepenveld bij de uitvoering van het examen blijft een bron van zorg. Een deel van de eindtermen wordt al in de praktijk getoetst.
Evaluatierapport examinering divisie Economie
14
Twee keer per jaar kijken een aantal vertegenwoordigers uit het bedrijfsleven naar de examens. Desondanks moeten de vertegenwoordigers van het bedrijfsleven nog meer betrokken worden bij de inhoud van de examens. Domein 4: Het examenproduct De kwaliteit van de examens laat soms nog te wensen over omdat de relatie tussen de eindtermen en de inhoud van het examen niet altijd klopt. Bovendien worden sommige examens nog te laat aangeleverd bij de TVC waardoor het moeilijk is om deze toetsen volgens planning te beoordelen. De subexamencommissie heeft besloten een aantal examens uit te stellen om de kwaliteit te kunnen waarborgen. Domein 5: Verantwoording Het cluster handel heeft meegedaan met de twee onderzoeken van de divisie. Daarnaast evalueert het cluster handel de BPV bedrijven systematisch, middels een drietal vragenlijsten: een voor het BPV bedrijf, een voor de deelnemer en een vragenlijst voor de begeleider van school.
Doelstellingen 2005 •
• • • •
•
Systematische evaluatie door opleidingsmanagers Handel met locatie examenleiders binnen 14 dagen na iedere toetsweek. Bespreking op eerstvolgende vergadering subexamencommissie en formulering verbeter voorstellen aan de hand van inhoud evaluatie. Systematisch noteren van klachten via secretaris sub examencommissie die bij opleidingsmanagers binnenkomen en afhandeling behandelen in subexamencommissie. In het jaarplanning opnemen van 4 x overleg tussen TVC en voorzitter subexamencommissie.Verslag van dit overleg in iedere vergadering subexamencommissie. Het verhogen van het aantal toetsen dat door de TVC wordt gecontroleerd naar 60 % op volledigheid en inhoud. Het schriftelijk rapporteren van de TVC van vooraf geconstateerde onvolkomenheden aan de subexamencommissie 4 weken voor de betreffende toetsweek . De afhandeling van de onvolkomenheden vindt plaats via onderwijsmanager van locatie van de toetsenmaker. Het houden van twee gesprekken per jaar( januari en juni) met een afvaardiging van de deelnemers op iedere locatie over het onderwerp examinering aan de hand van een door de groep kwaliteitszorg op te stellen vragenlijst.
Evaluatierapport examinering divisie Economie
15
6
Resultaten zelfevaluatieonderzoek dec. 2004
De scores zijn weergegeven op een schaal van 1 tot 5
Evaluatierapport examinering divisie Economie
16
Evaluatierapport examinering divisie Economie
17
Evaluatierapport examinering divisie Economie
18
7
Resultaten deelnemersenquête dec. 2004
Voorlichting Toen ik begon met mijn opleiding is mij verteld: Wanneer de toetsen worden afgenomen Hoe en in welke vorm toetsen worden afgenomen Waarover toetsen worden afgenomen Wie verantwoordelijk is op school voor het organiseren en afnemen van toetsen Waar informatie over toetsdagen of toetsweken gevonden kan worden Voorbereiding Voordat de toetsperiode begon, wist ik: Waarover de toetsen zouden gaan Hoeveel en welke leerstof je per toets moest bestuderen Hoeveel tijd je nodig had om te studeren, zodat je de toetsen met voldoende resultaat kon afleggen Hoeveel tijd beschikbaar is om een toets te maken Waar de toetsen afgenomen worden Op welke wijze die toetsen afgenomen zouden worden Toetsafname Begonnen de toetsen op tijd? Heb je voldoende tijd gehad om de toetsen af te kunnen maken? Ben je tevreden over het kunnen gebruiken van hulpmiddelen ( Potlood, gum, rekenmachine)? Ben je tevreden over het mate van rust en stilte tijdens de toetsen? Ben je tevreden over het gedrag van de surveillant? Uitslag Ben je tevreden over het tijdstip waarop je de uitslag hebt gekregen? Ben je tevreden over het aantal herkansingsmogelijkheden? Is er een mogelijkheid tot inzage van de gemaakte toetsen? Klachtenregeling Ik weet bij wie ik een klacht over de inhoud van de toetsen in kan dienen Ik weet bij wie ik een klacht over de organisatie van de toetsweek kan indienen Heb je ooit een klacht over toetsen of de toetsweek ingediend? Ben je tevreden over de afhandeling van je klacht? Gemiddeld rapportcijfer
Evaluatierapport examinering divisie Economie
Handel Ja (%) Nee (%)
Administratie Ja (%) Nee (%)
Toerisme Ja(%) Nee (%)
71 53 65 34
29 47 35 66
62,5 44 54 40
37,5 56 46 60
51 44 46 16
49 56 54 84
56
44
64
36
48
52
87 77
13 23
84 82
16 18
80 75
20 25
20
80
34
66
18
82
87 80 72
13 20 28
78 84 66
22 16 34
77 85 52
23 15 48
83 85
17 15
71 80
29 20
42 92
58 8
90
10
90
10
100
0
80
20
83
17
70
30
90
10
86
14
74
26
42
58
60
40
60
40
69
31
48
52
62
38
50
50
58
42
60
40
33
67
45
55
41
59
25
75
31
69
23
77
11
89
18
82
8
92
56
42
58
67
44 6,6
6,2
33 6,3