Rapport van bevindingen KCE-audit 2006-2007 ROC Westerschelde (65057) Definitief rapport 22 oktober 2007
®
Inhoudsopgave
Onderbouwing uitspraak per kwalificatie............................................................................. 8 Managementsamenvatting.................................................................................................. 9 Toelichting uitspraak ......................................................................................................... 11 Bijlage 1 Gegevens instelling ............................................................................................ 27 Bijlage 2 Overzicht actieve kwalificaties............................................................................ 28 Bijlage 3 Overzicht onderzochte kwalificaties ................................................................... 32 Bijlage 4 Gegevens verificatieaudit ................................................................................... 33 Bijlage 5 Gegevens KCE................................................................................................... 34 Bijlage 6 Documenten ....................................................................................................... 35
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
2/37
Ondertekening Dit rapport van bevindingen is op 31 juli 2007 in concept aan de instelling verstrekt. De instelling heeft tot en met 7 september 2007 de mogelijkheid gehad om eventuele feitelijke onjuistheden in het rapport van bevindingen aan KCE te melden. De instelling heeft van deze mogelijkheid gebruik gemaakt. KCE heeft op 3 september 2007 de inhoud van het rapport van bevindingen besproken met de instelling. Op 13 augustus 2007 is de bijlage onderzoek naar de instrumenten van examinering in concept aan de instelling verstrekt. De instelling heeft tot en met 7 september 2007 de mogelijkheid gehad om eventuele feitelijke onjuistheden in de bijlage onderzoek naar de instrumenten van examinering aan KCE te melden. De instelling heeft hier gebruik van gemaakt. KCE heeft de gemelde feitelijke onjuistheden onderzocht en zonodig de beoordeling van het onderzoek naar de instrumenten van examinering aangepast.
De instelling heeft de mogelijkheid om tot en met 15 november 2007 haar zienswijze op het definitieve rapport van bevindingen als bijlage aan het rapport toe te voegen.
Dit rapport is op 22 oktober 2007 definitief vastgesteld door de directeur van KCE, Mevrouw M. Creemers.
Amersfoort, 22 oktober 2007
Mevrouw M. Creemers Directeur KCE
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
3/37
Verklaring
Het KwaliteitsCentrum Examinering legt zijn oordeel vast in een verklaring conform artikel 7.4.9.h van de WEB. Het KwaliteitsCentrum Examinering verstrekt hierbij de onderstaande verklaring aan ROC Westerschelde op basis van de gehouden KCE-audit® 2006-2007.
Voorwaardelijke verklaring Het KwaliteitsCentrum Examinering verstrekt een voorwaardelijke verklaring indien de examinering bij de beroepsopleiding door de instelling of exameninstelling niet in overeenstemming is met de standaarden, bedoeld in artikel 7.4.4, waarbij het naar het oordeel van het KwaliteitsCentrum Examinering beroepsopleidingen aannemelijk is dat dit binnen een jaar alsnog het geval zal zijn. crebocode naam leerweg 10021 Magazijnmedewerker BBL 10178 Schilder BBL 10395 Zelfstandig Werkend Kok BBL 90220 ICT-beheerder BOL 90360 Medewerker ICT BOL Kwalificaties die niet zijn onderzocht, maar waarvan het oordeel is bepaald op basis van de steekproef. crebocode naam leerweg 10036 Commercieel Medewerker Marketing en Communicatie BOL 10039 Administrateur BOL 10040 Directiesecretaresse / Management Assistent BOL 10045 Bedrijfsadministratief Medewerker BOL 10049 Boekhoudkundig Medewerker BOL 10054 Werktuigbouwkunde BOL 10066 Gieterijmedewerker BBL 10077 Onderhoudstechnicus Werktuigbouw BBL 10089 Monteur Montage/Onderhoud BBL 10107 Machinaal Verspaner BBL 10114 Constructie- en Apparatenbouwer BBL 10117 Pijpenbewerker BBL 10121 Constructiebankwerker/Lasser BBL 10121 Constructiebankwerker/Lasser BOL 10124 Assistent Constructiewerker/Lasser BOL 10130 Middenkaderopleiding Bouwkunde BOL 10141 Voortgezette Timmerkracht BBL 10151 Tegelzetter BBL 10153 Primaire Timmerkracht BBL 10174 Restauratieschilder BBL 10175 Gezel Schilder BBL 10205 Eerste Bedrijfsautotechnicus BBL 10206 Eerste Autotechnicus BBL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
4/37
10222 10223 10235 10245 10248 10249 10254 10255 10255 10260 10260 10261 10261 10263 10264 10264 10387 10394 10399 10399 10400 10400 10403 10404 10417 10419 10420 10421 10421 10422 10423 10424 10425 10426 10426 10427 10427 10428 10428 10443 10507 10507 10508 10508 10531 10538 10541 10542 10551 10553 10710
Bedrijfsautotechnicus BBL Autotechnicus BBL Middenkaderfunctionaris Automatiserings Energietechniek (MK-AEN) BOL Eerste Monteur Elektrotechnische Panelen (EMEP) BBL Eerste Monteur Elektrische Bedrijfsinstallaties (EMBI) BBL Eerste Monteur Sterkstroominstallaties (EMSI) BBL Monteur Consumentenelektronica (MCE) BBL Monteur Industriele Elektronica (MIE) BBL Monteur Industriele Elektronica (MIE) BOL Monteur Elektrische Bedrijfsinstallaties (MBI) BBL Monteur Elektrische Bedrijfsinstallaties (MBI) BOL Monteur Sterkstroominstallaties (MSI) BBL Monteur Sterkstroominstallaties (MSI) BOL Monteur Laagspanningsnetten (MLN) BBL Assistent Monteur Montage Elektronica Componenten (AMME) BBL Assistent Monteur Montage Elektronica Componenten (AMME) BOL Restaurateur BOL Zelfstandig Werkend Gastheer/-vrouw BBL Gastheer/Gastvrouw BBL Gastheer/Gastvrouw BOL Kok BBL Kok BOL Horeca-Assistent BOL Middenkaderfunctionaris Milieutechniek BOL Middenkaderfuctionaris Procestechniek BOL Procesoperator C BBL Mechanisch Operator B BBL Procesoperator B BBL Procesoperator B BOL Operator A BOL Mechanisch Operator A BBL Procesoperator A BBL Basisoperator BBL Verpleegkundige BBL Verpleegkundige BOL Verzorgende BBL Verzorgende BOL Helpende BBL Helpende BOL Middenkaderfunctionaris Grond-, Water- en Wegenbouw BOL All-Round Kapper BBL All-Round Kapper BOL Kapper BBL Kapper BOL Servicemonteur Installatietechniek (SEMi) BBL Montage-Assistent Installatietechniek (MASi) BBL Installatiemonteur met Specialisatie Woningbouw (IMw) BBL Installatiemonteur met specialisatie Dakbedekking (IMd) BBL Assistent Installatiemonteur (AIMv) BBL Assistent Installatiemonteur (AIMd) BBL Onderwijsassistent BOL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
5/37
10742 10742 10743 10743 10745 10746 10763 10765 10765 10777 10779 10779 10795 10797 10797 10802 10812 10814 10842 10847 10849 10849 10850 10850 10851 10851 10853 10853 10883 10888 10904 10905 10929 10933 10935 10937 90230 90240 90380 90440 90920 90950 91360 91450 91470
Sociaal Pedagogisch Werker 3 (SPW 3) Sociaal Pedagogisch Werker 3 (SPW 3) Sociaal Pedagogisch Werker 4 (SPW 4) Sociaal Pedagogisch Werker 4 (SPW 4) Helpende Welzijn (HW) Sociaal Cultureel Werker (SCW) Bouwplaatsassistent Assistent Monteur Sterkstroominstallaties (AMSI) Assistent Monteur Sterkstroominstallaties (AMSI) Specialist Interieurafwerking Winkelassistent Winkelassistent Zorghulp Assistent Schilder Assistent Schilder Metselaar Medewerker Beheer ICT Middenkaderfunctionaris Infratechniek Allround Metselaar Verkoopchef Filiaalbeheerder Filiaalbeheerder Ondernemer/Manager Detailhandel Ondernemer/Manager Detailhandel Eerste Verkoper Eerste Verkoper Verkoopmedewerker Verkoopmedewerker Metaalconserver Assistent Mobiliteitsbranche Medewerker beheer ICT ICT-beheerder Allround meubelmaker Meubelmaker Werkplaatstimmerman Assistent Timmerindustrie Medewerker beheer ICT Hoofdoperator Verkoopspecialist Arbeidsmarktgekwalificeerd Assistent Afdelingsmanager Filiaalmanager Onderwijsassistent niveau 4 Medewerker schilderen (Schilder) Signmaker (Medewerker sign)
BBL BOL BBL BOL BOL BOL BBL BBL BOL BBL BBL BOL BOL BBL BOL BBL BOL BOL BBL BBL BBL BOL BBL BOL BBL BOL BBL BOL BBL BBL BOL BOL BBL BBL BBL BOL BOL BOL BOL BOL BOL BOL BOL BBL BOL
Afkeurende verklaring Het KwaliteitsCentrum Examinering verstrekt een afkeurende verklaring indien de examinering bij de beroepsopleiding door de instelling of exameninstelling niet in overeenstemming is met de standaarden, bedoeld in artikel 7.4.4, waarbij het naar het
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
6/37
oordeel van het KwaliteitsCentrum Examinering beroepsopleidingen niet aannemelijk is dat dit binnen een jaar alsnog het geval zal zijn. crebocode naam leerweg 10050 Secretarieel Medewerker BOL 10232 Middenkaderfunctionaris Automatiserings Elektronica (MK-AEC) BOL
Oordeel niet mogelijk Het KwaliteitsCentrum Examinering geeft geen oordeel over de beroepsopleiding. De instelling verstrekt geen diploma’s voor 1 augustus 2007 voor de beroepsopleiding. De informatie over de examinering is niet volledig, omdat de instelling de beroepsopleiding in 2006-2007 heeft opgestart. crebocode naam leerweg 90260 Middenkaderfunctionaris Bouw-Infra BOL 90290 Ondernemer detailhandel BOL 90470 Administratief medewerker BOL 90510 Managementassistent BOL 91140 Technicus middenkader WEI BOL 91380 Sport- en bewegingsbegeleider BOL 92620 ovd22 Pedagogisch Werker (Pedagogisch werker) 3 BOL 92640 ovd23 Helpende Zorg & Welzijn BOL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
7/37
Onderbouwing uitspraak per kwalificatie Beoordeling volgens nieuwe standaarden 1 = Slecht, a = Niet actief,
ROC Westerschelde
2 = Onvoldoende, b = Niet beoordeeld,
3 = Voldoende, n = Niet van toepassing
4 = Goed, 5 = Uitstekend i = Inkoop
Domein S Standaard 1 Standaard 2 Standaard 3 Standaard 4 Standaard 5 Standaard 6 Standaard 7 Standaard 8 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 Verklaring
ROC Westerschelde 10021 Magazijnmedewerker
BBL
10050 Secretarieel Medewerker
BOL
10178 Schilder
BBL
10232 Middenkaderfunctionaris Automatiserings Elektronica (MK-AEC) 10395 Zelfstandig Werkend Kok
BOL
90220 ICT-beheerder 90260 Middenkaderfunctionaris Bouw-Infra 90290 Ondernemer detailhandel
BOL
90360 Medewerker ICT
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
i
Voorwaardelijke verklaring
Afkeurende verklaring
Voorwaardelijke verklaring
Voorwaardelijke verklaring Voorwaardelijke verklaring
Afkeurende verklaring
BBL
BOL
BOL
BOL
90470 Administratief medewerker BOL
90510 Managementassistent
91140 Technicus middenkader BOL WEI 91380 Sport- en BOL bewegingsbegeleider 92620 ovd22 Pedagogisch Werker BOL (Pedagogisch werker) 3 92640 ovd23 Helpende Zorg & BOL Welzijn
i
BOL
i
i
i
i
i
i
i
i
i
i
Geen oordeel
Voorwaardelijke verklaring
Geen oordeel
Geen oordeel
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
i
i
i
i
i
i
i
i
i
i
8/37
i
Geen oordeel
Geen oordeel Geen oordeel Geen oordeel Geen oordeel
Managementsamenvatting Voor de audit van ROC Westerschelde vielen tien experimentele opleidingen binnen de steekproef. Bij de experimentele kwalificaties 90360 (BOL Medewerker ICT) en 90220 (BOL ICT-beheerder) wordt voor 1 augustus 2007 een diploma afgegeven. Bij de overige experimenten is dit nog niet aan de orde. Voor deze kwalificaties wordt de verklaring 'geen oordeel' gegeven. In de steekproef zaten ook vijf eindtermgerichte kwalificaties. De kwalificatie 10050 Secretarieel medewerker heeft in het auditjaar 2005-2006 een afkeurende verklaring ontvangen. Deze kwalificatie is in het auditjaar opnieuw onderzocht en heeft wederom een afkeurende verklaring. Voor een deel van de kwalificaties worden producten ingekocht. Bij de kwalificatie 10178 (BBL Schilder) is sprake van inkoop (Savantis) van examenproducten en examenafname. Er is geen inkoop bij de kwalificaties 90260 (BOL Middenkaderfunctionaris Bouw-Infra) en 91380 (BOL Sport- en bewegingsbegeleider). Voor de overige kwalificaties koopt ROC Westerschelde de examenproducten in bij gecertificeerde leveranciers. De exameneenheid ROC Westerschelde is opgesplitst in drie sectoren. Iedere sector heeft daaronder meerdere resultaatverantwoordelijke teams. Voor de kwalificaties in de steekproef is in totaal met elf teams gesproken. De aanlevering van de documenten voor ROC Westerschelde is niet optimaal geweest. Naast een groot aantal instellingsbrede documenten zijn per kwalificatie documenten aangeleverd. Deze waren veelal niet rechtstreeks te herleiden naar de standaarden van KCE, de diverse teams/sectoren hebben de relatie met deze standaarden niet aangegeven. Ook de naamgeving van de documenten en verzamelbestanden gaf niet altijd een indicatie over de inhoud. De aangeleverde zelfevaluaties bevatten geen verwijzing naar documenten. Tijdens het vooronderzoek heeft de contactpersoon van ROC Westerschelde een overzicht per sector opgesteld waarin de documenten, geplaatst in december 2006, aan de standaarden zijn gekoppeld. Voor de documenten die tijdens de verificatieaudit zijn getoond en alsnog op Kwalidata zijn geplaatst, is de relatie wederom niet aangegeven. De hoeveelheid documenten is zeer groot. Hiervan is een deel niet als bewijs meegenomen omdat het document niet is gedateerd, niet herleidbaar is van wie afkomstig, de relevantie of de representativiteit niet is aangetoond of niet voldoet aan het criterium van 36 maanden. Per sector is een beknopte zelfevaluatie opgeleverd. Economie heeft een verbeterplan opgesteld waarin documenten worden genoemd die aantonen dat voldaan wordt aan de standaarden 2006 van KCE. ROC Westerschelde is actief bezig het kwaliteitszorgstelsel en kwaliteitsdenken binnen de sectoren en de teams op niveau te brengen. Hiervoor is het afgelopen jaar een interne auditgroep actief geweest. Het doel was te kijken in hoeverre de sectoren en teams werken volgens de Deming-cirkel. De interne audit richtte zich met name op het procesmatige deel en niet op de inhoudelijke verantwoording van de examineringsprocessen. De conclusie van de interne audit is dat nog niet consequent wordt gewerkt volgens de Deming-cirkel en dat het kwaliteitsdenken en de verantwoording van de examinering aandacht behoeven. KCE onderschrijft deze constatering. Er zijn verbeterpunten geformuleerd en er is ondersteuning vanuit het Onderwijsbureau. Voor het vertrouwen van het beroepenveld in de kwaliteit van de examinering, geldt dat deze in het algemeen als ‘onvoldoende’ is beoordeeld, uitgezonderd 10178 (BBL Schilder) waar sprake is van volledige inkoop van examenproducten en examenafname. Voor de als
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
9/37
‘onvoldoende’ beoordeelde experimenten geldt dat er nog geen sprake was van summatieve examinering waarover het beroepenveld zich kon uitspreken. De tevredenheid van het beroepenveld is niet aangetoond. Hierbij geldt dat het inzichtelijk maken van de representativiteit van bewijsvoering en een goede weergave van de betekenis van de bewijsvoering ten opzichte van de standaarden gelden als duidelijke verbeterpunten. De tevredenheid van de deelnemer over de kwaliteit van de examinering, is beoordeeld als ‘onvoldoende’. De tevredenheidsonderzoeken bij Economie, Techniek en Zorg geven een onvolledig beeld en zijn niet representatief. Ook is op grond van (soms lege) tevredenheidsonderzoeken de deelnemerstevredenheid onvoldoende aangetoond. Wel heeft ROC Westerschelde een norm gesteld voor de deelnemerstevredenheid. De deskundigheid van betrokkenen bij examinering is overwegend beoordeeld als ‘onvoldoende’, uitgezonderd 10178 (BBL Schilder) waar sprake is van inkoop bij door KCE-erkende leveranciers. De aanwezige deskundigheid van betrokkenen bij examinering en de criteria voor de gewenste deskundigheid zijn niet vastgesteld door de betrokken examencommissies. Voor de standaarden 4 en 5 geldt dat in bijlage 7 de scores zijn weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. De transparantie van de examineringsprocessen is deels op orde. Bij een aantal kwalificaties, waaronder een experimentele kwalificatie, zijn de examenmodellen helder beschreven. Voor deze kwalificaties geldt de beoordeling ‘voldoende’. De overige experimenten en een eindtermgerichte kwalificatie beschikken niet over een transparant examenmodel. De kwalificerende toetsing is veelal slechts ten dele uitgewerkt en beschreven. Bij een eindtermgerichte kwalificatie is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling. De borging van de examineringsprocessen is voor alle kwalificaties in het onderzoek beoordeeld als ‘onvoldoende’. De onderbouwing van de (zelf)evaluaties ontbreekt geheel of gedeeltelijk. De overige aangedragen documenten geven geen duidelijk beeld van een geborgd proces. Er zijn geen evaluaties van inkoop aangetroffen. De wettelijke vereisten waaraan examinering moet voldoen, is college-breed beoordeeld als ‘voldoende’.
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
10/37
Toelichting uitspraak
ROC Westerschelde Domein A Validering door belanghebbenden Standaard 1 Het beroepenveld heeft vertrouwen in de kwaliteit van examinering KCE vraagt de instelling om het vertrouwen van het beroepenveld in de kwaliteit van de examinering inzichtelijk te maken. Het vertrouwen kan de instelling ook onderbouwen door: • de betrokkenheid van het beroepenveld bij én • de tevredenheid van het beroepenveld over de examinering aan te tonen. De examinering van de kwalificatie 10178 (BBL Schilder) aan standaard 1, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat het beroepenveld vertrouwen heeft in de examinering. KCE beoordeelt de examinering op deze standaard als ‘voldoende’. De examinering van de kwalificaties 10021 (BBL Magazijnmedewerker), 10050 (BOL Secretarieel Medewerker), 10232 (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), 10395 (BBL Zelfstandig Werkend Kok), 90220 (BOL ICTbeheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90360 (BOL Medewerker ICT), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 1, omdat met het door de instelling aangeleverde bewijs het vertrouwen van het beroepenveld in de examinering niet kan worden vastgesteld. De bewijzen zijn ofwel onvolledig of niet representatief. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 a. b. i. ii. iii. c. d.
Economie Intern auditrapport Toetsing en examinering economie.2005-2006.doc Overeenkomsten inkoop KC Handel, 24 mei 2006, 24 mei 2006 (10021, 90290) LOB HTV, 13 april 2007 (10395) Stichting Praktijkleren, 13-4-2007 (10050) Verslagen SOB september 2005 tot april 2007 (10021, 90290) vragenlijst SOB.doc, niet gedateerd (10021, 90290)
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
11/37
e. 2 a. b. c. d. e. f. 3 a. b. c. d.
ZE versie juni 2006 economie versie d.d. 310506.doc Techniek 060529 Zelfevaluatie Module 2 – Examenzaken, maart 2006(10178, 10232, 90220, 90260, 90360, 91140) 100406 Actieplan Verbetering examinering Techniek concept 2.doc, maart 2006 (10178, 10232, 90220, 90260, 90360, 91140) Intern auditrapport Toetsing en examinering.techniek.2005-2006.doc Notulen leermeestersoverleg maart 2004 tot februari 2006 (10232) Overeenkomst Savantis, 22 augustus 2006 (10178) Overeenkomst Stichting Praktijkleren, 13-4-2007 (90220, 90360) ZWO Actieplan Verbetering Examinering .OA (92620) Evaluatie van het werkveld onderwijs (91380, 92620, 92640) Intern auditrapport toetsing en examinering ZWO (91380, 92620, 92640) Zelfevaluatie juni 2006 (91380, 92620, 92640)
Economie De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van de zelfevaluatie (1e) en het intern auditrapport (1a) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd. De betrokkenheid/vertrouwen van het beroepenveld is geen specifiek actiepunt en staat niet specifiek beschreven in de zelfevaluatie. Voor de kwalificaties 10050 Secretarieel Medewerker, 90470 Administratief Medewerker en 90510 Managementassistent zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee voor deze kwalificaties niet aangetoond. Voor de kwalificatie 10021 Magazijnmedewerker, 10050 Secretarieel Medewerker, 10395 Zelfstandig Werkend Kok, 90290 Ondernemer Detailhandel, 90470 Administratief Medewerker en 90510 Managementassistent is sprake van inkoop bij KCE-erkende leveranciers van examenproducten (b). Het vertrouwen van het beroepenveld in deze examenproducten is daarmee aangetoond. Er zijn geen bewijzen aangetroffen van het vertrouwen in de examenafname. Daarom beoordeelt KCE standaard 1 voor deze kwalificaties als onvoldoende. Voor de kwalificaties 10021 Magazijnmedewerker en 90290 Ondernemer Detailhandel zijn verslagen van sector overleggen bedrijfsleven (SOB) aangeleverd (1c). Niet inzichtelijk is gemaakt in hoeverre de aanwezige bedrijven representatief zijn voor het relevante beroepenveld. Verslagen worden vastgesteld en de examinering is onderwerp van gesprek. Er is een vragenlijst uitgezet onder het bedrijfsleven (1d). In deze vragenlijst zijn geen vragen opgenomen die het vertrouwen van het beroepenveld in de examinering aangeven. Ook zijn er geen resultaten bekend en is niet helder wat de onderzoeksgroep is en welke respons op de enquête is gekomen. Hiermee is het vertrouwen van het beroepenveld niet aangetoond. Techniek De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van de zelfevaluatie (2a) en het intern auditrapport (2c) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd, tevens heeft de instelling een actieplan (2b) ter verbetering van examinering opgesteld waarbij betrokkenheid/vertrouwen van het
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
12/37
beroepenveld ook een punt van aandacht is. De onderliggende bewijsvoering ontbreekt. Voor de kwalificaties 90260 Middenkaderfunctionaris Bouw-Infra en 91140 Technicus middenkader WEI zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee niet aangetoond. Er zijn notulen van het leermeestersoverleg (2d) voor de kwalificatie 10232 Middenkaderfunctionaris Automatisering Elektronica (MK-AEC). Niet inzichtelijk is gemaakt in hoeverre de aanwezige bedrijven representatief zijn voor het relevante beroepenveld. Een deel van de notulen was niet voldoende recent. Het vertrouwen van het beroepenveld is niet aangetoond. Voor de kwalificatie 10178 Schilder is het vertrouwen van het beroepenveld voldoende gegarandeerd met de inkoop van de examenproducten en de examenafname bij Savantis (2e). Voor de kwalificaties 90220 ICT-beheerder en 90360 Medewerker ICT koopt ROC Westerschelde de exameninstrumenten in bij Stichting Praktijkleren (2f). Het vertrouwen van het beroepenveld in deze instrumenten is daarmee aangetoond. Er zijn geen bewijzen aangetroffen van het vertrouwen in de examenafname. Daarom beoordeelt KCE standaard 1 voor deze kwalificaties als onvoldoende. ZWO De instelling toont op basis van de aangeleverde bewijsvoering niet aan dat het beroepenveld vertrouwen heeft in de kwaliteit van de examinering. De instelling heeft op basis van evaluaties (3b, 3e) en het intern auditrapport (3c) de huidige situatie in kaart gebracht en verbeterpunten en acties benoemd, tevens heeft de instelling een actieplan (3a) ter verbetering van examinering opgesteld waarbij betrokkenheid/vertrouwen van het beroepenveld ook een punt van aandacht is. De onderliggende bewijsvoering ontbreekt. Voor de kwalificaties 91380 Sport- en bewegingsleider, 92620 Pedagogisch Werker 3 en 92640 Helpende Zorg & Welzijn zijn geen andere documenten aangetroffen. Het vertrouwen van het beroepenveld in de examineringsprocessen is hiermee niet aangetoond. Standaard 2 De deelnemer is tevreden over de kwaliteit van de examinering KCE vraagt de instelling om de tevredenheid van de deelnemer over de examinering inzichtelijk te maken. De examinering van de kwalificaties voldoet niet aan standaard 2, omdat met het door de instelling aangeleverde bewijs de tevredenheid van de deelnemer over de kwaliteit van de examinering niet kan worden vastgesteld. De tevredenheidsonderzoeken bij Economie, Techniek en Zorg geven een onvolledig beeld en zijn niet representatief. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen:
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
13/37
1 Algemeen a. 5s1xove supplement b. 'Hoe steekhoudend zijn de gegevens', deelnemerstevredenheidsonderzoek 20052006 2 Economie a. Evaluatie van de experimentopleidingen.cursisten.doc, niet gedateerd (90290) 3 Techniek a. 040407 Overleg met vertegenwoordiging EME1D.doc, 7 april 2004 (10232) b. 060905 Notities ouderoverleg_1 EME2O.doc, 05-09-2006 (10232) c. Evaluatieformulier PVB voor de kandidaat d. Uitkomsten evaluatie PVB kerntaak 1 en 2, maart 2007 (90360) 4 ZWO a. Evaluatie studenten 1e gel 2eolp A.doc, januari 2006 (92620) b. Evaluatie van de experimentopleidingen.cursisten.doc (92620) c. Inventarisatie te onderzoeken kwalificaties 2006-2007 d. Toetsevaluatie voor studenten, oktober 2006 (92620) Algemeen De Excel-bestanden 5s1xove (1a) geven de resultaten van het tevredenheidsonderzoeken onder deelnemers weer. Een sterk punt is dat ROC Westerschelde een norm heeft gesteld over de mate van tevredenheid van deelnemers. Er is een gestaffeld overzicht opgenomen waaruit blijkt dat bij een tevredenheid van 80% of lager acties moeten worden opgesteld. Er zijn vijf vragen over toetsing, niet alle vragen zijn door iedere respondent beantwoord. Er zijn geen vragen opgenomen over de informatie vooraf en over de inhoud van de toetsen. Het bewijs is niet voldoende representatief. De tevredenheid van de deelnemer is hiermee niet aangetoond. Economie De evaluatie van de experimentopleidingen is een format vragenlijst, de examinering is hierin niet opgenomen (2a). Ook zijn er geen resultaten bekend. KCE neemt dit document niet mee als bewijs. Techniek De aangeleverde bewijzen voor de sector Techniek van het overleg met deelnemers en ouders onderbouwen niet de tevredenheid van de deelnemers. Het gaat om incidentele bijeenkomsten met een klas en een groep ouders om knelpunten op te lossen (3a, 3b). Techniek heeft een format evaluatie Proeve van Bwekwaamheid opgesteld. Voor de kwalificatie 90360(BOL Medewerker ICT) zijn twee evaluaties met resultaten bekend. Niet inzichtelijk is hoe groot de totale groep deelnemers is die deze Proeven hebben afgelegd. Daardoor is niet af te leiden in hoeverre er sprake is van tevredenheid van de deelnemers van deze kwalificatie. ZWO De evaluatie van de experimentopleidingen is een format vragenlijst, de examinering is hierin niet opgenomen (4b). De evaluatie studenten (4a) is eveneens een format, hierin zijn vragen opgenomen over de tevredenheid ten aanzien van een Proeve van Bekwaamheid. Van beide onderzoeken zijn geen resultaten bekend. KCE neemt deze documenten niet mee als bewijs. De toetsevaluatie voor studenten, gehouden in oktober 2006 is een tevredenheidmeting over een afgenomen Proeve van Bekwaamheid (4d). De vragen gaan over de inhoud en
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
14/37
de afname. Er zijn geen vragen over de informatie vooraf, de beoordeling en de tijdigheid van de uitslag. De onderzoeksgroep is niet weergegeven, in totaal hebben 76 deelnemers de vragenlijst ingevuld. In hoeverre deze respons representatief is, is niet uit het document af te leiden. Omdat ROC Westerschelde in de inventarisatie te onderzoeken kwalificaties (4c) heeft aangegeven dat er nog geen kwalificerende toetsing is bij de kwalificatie 92620 Pedagogisch Werker 3, is de status van de evaluatie niet helder. De tevredenheid van de deelnemers is hiermee niet aangetoond. Domein B Deskundigheid van betrokkenen Standaard 3 De betrokkenen bij de examinering zijn deskundig KCE vraagt de instelling inzichtelijk te maken: • de gewenste deskundigheid van de betrokkenen bij examinering; • het voldoen aan de gestelde criteria van de betrokkenen bij examinering. De examinering van de kwalificaties 10178 (BBL Schilder) voldoet aan standaard 3, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat de betrokkenen bij de examinering deskundig zijn. KCE beoordeelt de examinering op deze standaard als ‘voldoende’, omdat de volledige examinering wordt ingekocht bij door KCEerkende leveranciers. De examinering van de kwalificaties 10021 (BBL Magazijnmedewerker), 10050 (BOL Secretarieel Medewerker), 10232 (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), 10395 (BBL Zelfstandig Werkend Kok), 90220 (BOL ICTbeheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90360 (BOL Medewerker ICT), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 3, omdat met het door de instelling aangeleverde bewijs de deskundigheid van de betrokkenen bij de examinering niet kan worden vastgesteld. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 a. b. c. d. e. f. g. h.
Economie Overzicht Scholingsactiviteiten Medewerkers Economie 2006-2007 Handboek Handel: toetsing en examinering 2006-2007 Zelfevaluatie Sector Economie, juni 2006 Toelichting aanlevering aanvullende bewijsstukken m.b.t. standaard 3 (10-05-07) Voorlichting beroepspraktijkvorming (09-01-06) Module 2 actieplan verbetering examinering (13-03-06) Training coachingsvaardigheden (ongedateerd) Handboek examinering Administratie, hoofdstuk 2 (ongedateerd)
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
15/37
2 a. b. c. d. e. f. g. 3 a. b. c. d. e. f.
Techniek contract Savantis (22-08-06) contract Kenteq (14-08-06) Document kenteq 4 tbv KCE, 14 augustus 2006 (91140) Document E/ICT kenteq tbv KCE, 25-04-2006 Concept (III) Teamhandboek Toetsing & Examinering (10-04-06) Deskundigheidsbevordering team BIS 0607 Scholingsplan t.b.v. implementatie cge 2005-2007 ZWO Intern auditrapport toetsing en examinering ZWO 2007 Teamhandboek deel 5 2005-2006 Bureau Dekkers in ‘Anders leren, anders examineren’ (offerte getekend 13-12-05) Training ‘CH-Q niveau 3’ door CINOP (getekende offerte 12-01-07) Zelfevaluatieverslag ZWO (06-06) Actieplan verbetering examinering (ongedateerd)
Economie Overzicht Scholingsactiviteiten Medewerkers Economie 2006-2007 (1a) geeft per persoon een klokurenopsomming die niet herleidbaar is naar standaard 3. In het Handboek Handel: toetsing en examinering 2006-2007 ‘deskundigheidsbevordering docenten § 14’ (1b) is geen relatie met de gewenste deskundigheid gelegd en bijgevolg kan niet worden vastgesteld dat de betrokkenen voldoen aan de gestelde criteria. Het Scholingsplan is dit jaar niet ten uitvoer gebracht (Zelfevaluatie Sector Economie, juni 2006) (1c). De ‘Toelichting aanlevering aanvullende bewijsstukken m.b.t. standaard 3’, (10-05-07) (1d) is niet nader te controleren/beoordelen. ‘Module 2 actieplan verbetering examinering’ (13-0306) (1f), met name de zelfevaluatie, geeft wel verbeteracties maar de implementatiestatus is niet te herleiden. De kenniscentra zijn nog bezig met het in beeld brengen van de competenties van het betrokken beroepenveld. Alle docenten zijn geschoold door bureau Dekkers in ‘Competentiegericht Leren’ en inmiddels zijn twee betrokkenen geschoold door Kenteq. Uit de ppt-presentatie ‘voorlichting beroepspraktijkvorming’ (09-01-06) [1e) blijkt dat competentiegericht examineren nog volop in ontwikkeling is. ‘Training coachingsvaardigheden’ (ongedateerd) (1g) kan niet als bewijs dienen aangezien ‘content’ ontbreekt. Bovengenoemde bewijsvoering is opgevoerd voor de kwalificatie 10021 (BBL Magazijnmedewerker), 10395 (BBL Zelfstandig Werkend Kok) en 90470 (BOL Administratief medewerker). Voor 90290 (BOL Ondernemer detailhandel) is aanvullend het ‘visiedocument interne training studieloopbaanbegeleiding detailhandelsopleidingen’ (18-08-06) aangeleverd zonder koppeling aan personen. Voor de kwalificaties 10050 (BOL Secretarieel Medewerker) en 90510 (BOL Managementassistent) geldt dat in Handboek examinering Administratie, hoofdstuk 2, § 2.1.1 (ongedateerd) wel deskundigheidsbevordering (gevolgd door een gedateerde planning § 2.2.1) is opgenomen, maar dat de gewenste deskundigheid niet is vastgelegd (1h). Dat de betrokkenen voldoen aan de gestelde eisen is niet vastgesteld en daarmee niet aantoonbaar. Techniek Voor de kwalificatie 10178 (BBL Schilder) geldt de beoordeling ‘voldoende’. De volledige examinering wordt ingekocht bij door KCE-erkende leveranciers (getekend contract Savantis d.d. 22-08-06 (2a) en Kenteq d.d. 14-08-06) (2b), de deskundigheid is dan
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
16/37
gegarandeerd. Voor de kwalificaties 90220 (BOL ICT-beheerder) en 90360 (BOL Medewerker ICT) is als bewijsvoering opgevoerd de scholing door bureau Dekkers in ‘Competentiegericht Toetsen’ (offerte getekend 13-12-05) en de training ‘CH-Q niveau 3’ door CINOP (getekende offerte 12-01-07) in vervolg op een eerdere training niveau 1 in 2005 (2c). Competentieprofielen zijn niet aan personen gekoppeld. De sector (evenals de andere sectoren) oriënteert zich op de eisen die aan de nieuwe examinering stelt aan de deskundigheid van betrokkenen. De gewenste deskundigheid is niet vastgelegd. Het team ICT heeft een scholingsplan ogesteld voor de experimenten(2g). Hierin wordt verwezen naar een traject 'Proeve van Bekwaamheid'van ICE uit 2004-2006. Niet helder is in hoeverre de scholingsactiviteiten zijn gerealiseerd en waaruit deze bestond. De overige (relevante) documenten die onder Economie zijn behandeld zijn ook op sector Techniek van toepassing. Het concept (III) Teamhandboek Toetsing & Examinering’ (1004-06) (2e) reikt niet verder dan taken en verantwoordelijkheden per functie. Voor de kwalificatie 90260 (BOL Middenkaderfunctionaris Bouw-Infra) wordt aanvullend op de bovengenoemde bewijsvoering ‘deskundigheidsbevordering team BIS 0607’ (2f) genoemd, dat echter niet ingaat op examinering. ZWO Voor de kwalificaties 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) is als bewijsvoering opgevoerd de scholing door bureau Dekkers in ‘Anders leren, anders examineren’ (offerte getekend 13-12-05) (3c) en de training ‘CH-Q niveau 3’ door CINOP (getekende offerte 12-01-07) in vervolg op een eerdere training niveau 1 in 2005 (3d). Competentieprofielen zijn niet aan personen gekoppeld. Het ‘Zelfevaluatieverslag ZWO (06-06) gaat niet inhoudelijk in op de deskundigheid bij examinering (3e) en het ‘Actieplan verbetering examinering’ (ongedateerd) laat geen status zien (3f). ‘Teamhandboek deel 5 2005-2006’ § g ‘Geplande deskundigheidsbevordering voor docenten’ (3b) is intentioneel van aard, de vastlegging van de gewenste deskundigheid ontbreekt en bijgevolg kan niet beoordeeld worden of aan criteria bij examinering is voldaan. Domein C Exameninstrumentarium Standaard 4 Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen KCE vraagt de instelling voor eindtermgericht onderwijs aan te tonen dat: • tenminste 75% van de eindtermen van de deelkwalificatie is uitgewerkt in de examenonderdelen; • in de examentoets(en) de per vraag/opdracht aangegeven relatie met de eindterm(en) correct is; • de toetsvorm past bij het beheersingsniveau zoals omschreven in de eindtermen en het niveau van de deelkwalificatie. KCE vraagt de instelling voor competentiegericht onderwijs aan te tonen dat: • voor alle competenties beoordelingscriteria zijn geformuleerd die de competenties dekken doordat ze een kennis-, vaardigheids- en houdingsaspect bevatten; • in de instrumenten van examinering alle beoordelingscriteria, behorende bij de competenties, zijn opgenomen; • de instrumenten van examinering alle kerntaken dekken;
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
17/37
•
alle kerntaken en competenties op het juiste niveau getoetst worden.
In bijlage 7 zijn de scores weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. Standaard 5 Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen KCE vraagt de instelling voor eindtermgericht onderwijs aan te tonen dat de examenonderdelen: • voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct afnemen waarborgen; • voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct beoordelen waarborgen; • informatie bevatten die een eenduidig, correct en aan de eindtermen gerelateerd beoordelen waarborgt. KCE vraagt de instelling voor competentiegericht onderwijs aan te tonen dat: • het taalgebruik en de woordkeuze van de vragen/ opdrachten bij het niveau van de kwalificatie passen; • de instructie voor de deelnemer duidelijk en volledig is; • de afnamecondities waaronder het/de instrument(en) van examinering wordt/ worden ingezet, een valide beoordeling van het examen waarborgen; • het antwoordmodel/ beoordelingsvoorschrift inhoudelijk correct is; • de cesuur van het examen minimaal op het niveau ligt dat een deelnemer de kerntaken en competenties in meerderheid beheerst; • in de beoordeling, door middel van instrumenten van examinering, gewaarborgd wordt dat deelnemers individueel beoordeeld worden. In bijlage 7 zijn de scores weergegeven per examenvariant en per ijkpunt. Bovendien zijn in geel de wijzigingen weergegeven naar aanleiding van de ingediende feitelijke onjuistheden. De resultaten op standaardniveau per kwalificatie zijn vervolgens berekend op basis van de rekenregels productaudit, zoals deze kenbaar zijn gemaakt op de website van KCE. Domein D Processen Standaard 6 De examenprocessen zijn transparant KCE vraagt de instelling om inzichtelijk te maken: • de inrichting van de examenorganisatie; • inkoop van examenproducten en/of –diensten bij een KCE-gecertificeerde leverancier; • de uitbestedingprocedure van een examen; • de wijze waarop een examen wordt afgenomen; • de vaststellingsprocedure van een examen; • de controlemomenten in het examineringsproces.
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
18/37
De examinering van de kwalificaties 10021 (BBL Magazijnmedewerker), 10178 (BBL Schilder), 10232 (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), 10395 (BBL Zelfstandig Werkend Kok) en 91140 (BOL Technicus middenkader WEI) voldoet aan standaard 6, omdat met het door de instelling aangeleverde bewijs kan worden vastgesteld dat de examenprocessen transparant zijn. De examinering van de kwalificaties 10050 (BOL Secretarieel Medewerker), 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90360 (BOL Medewerker ICT), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) voldoet niet aan standaard 6, omdat met het door de instelling aangeleverde bewijs de transparantie van de examenprocessen niet kan worden vastgesteld. De kwalificerende toetsing is nog niet volledig vastgelegd en daardoor incompleet. Bij de kwalificatie 10050 (BOL Secretarieel Medewerker) is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling. Bij de experimentele kwalificatie 90360 Medewerker ICT wordt in het schooljaar 20062007 gediplomeerd. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 a. b. c. d. e. f. g. h. 2 a. b. c. 3 a. b. c. d. e. f.
Overeenkomsten Document kenteq 4 tbv KCE, 14 augustus 2006 (91140) Document E/ICT kenteq tbv KCE, 25-04-2006 (10232) KC Handel, 24 mei 2006, 24 mei 2006 (10021, 90290) LOB HTV, 13 april 2007 (10395) RBA4, november 2006 Savantis, 22 augustus 2006 (10178) Stichting Praktijkleren, 13-4-2007 (10050, 90470, 90510) Stichting Praktijkleren, 13-4-2007 (90220, 90360) ROC breed Handboek Toetsing en Examinering deel 0-4, 2004-2005 (vastgesteld voor alle kwalificaties 2006-2007) Inventarisatie te onderzoeken kwalificaties voor KCE-audit 2006-2007 Targets werkgroepen 2006-2007 (interne experimentclub levert juli 2007 een ROC-breed format Oer op) Economie Kwaliteitshandboek Horeca (10395) Oer 10021 Magazijnmedewerker 2006-2008 Oer 10050 Secretarieel Medewerker, 2005-2007 Oer 10395 Zelfstandig Werkend Kok 2006-2007 Oer 90290 Ondernemer Detailhandel 2005-2009 Oer 90470 Administratief Medewerker 2006-2008
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
19/37
g. h. i. 4 a. b. c. d. e. f. g. h. i. 5 a. b. c. d. e.
Oer 90510 Managementassistent 2006-2009 Teamhandboek Administratie (10050, 90470, 90510) Teamhandboek Handel (10021, 90290) Techniek Concept teamhandboek T&E, laatste revisie 2006 Oer 10178 Schilder 2006-2008 Oer 10232 Middenkaderfunctionaris Automatisering Elektronica (MK-AEC) 2004-2008 Oer 90220 ICT-beheerder 2006-2010 Oer 90260 Middenkaderfunctionaris Bouw-Infra 2006-2010 Oer 90360 Medewerker ICT, 2006-2008 Oer 91140 Technicus Middenkader WEI 2006-2010 Plan competentiegerichte opleidingen techniek, niet gedateerd Teamhandboek ICT-Lyceum, niet gedateerd (90220, 90360) ZWO Handboek deel 5 (91380, 92620, 92640) OER 91380 Sport en bewegingsbegeleider 2006-2009 OER 92620 Pedagogisch werker 2006-2009 OER 92640 Helpende zorg en welzijn 2006-2009 Plan van Aanpak Onderwijsvernieuwing 2003-2008
Handboek Het Handboek Toetsing en Examinering (2a) is een ROC-breed vastgesteld handboek waarin parallel aan de KCE-standaarden 2004 het kwaliteitszorgsysteem voor de examenorganisatie is ingericht. Het handboek bevat procedures voor vrijwel alle relevante examineringsprocessen; de taken, verantwoordelijkheden en bevoegdheden zijn vastgelegd. Daarnaast bevat het handboek ‘richtlijnen en hulpmiddelen voor goede toetsen’ en ‘format’s en checklisten’. Een procedure voor analysering examenresultaten is niet opgenomen. Het handboek Toetsing en Examinering bevat de terminologie voor de eindtermgerichte kwalificatiestructuur. Het handboek beschrijft diverse toetsvormen en is deels toepasbaar voor de competentiegerichte examinering. Voor de kwalificaties in de steekproef, waarbij de kwalificerende toetsing in alle gevallen uit Proeven van Bekwaamheid bestaat, voldoet het voor dit moment. Er is geen procedure voor criteriumgerichte interviews. In deel 0 van het Handboek is een richtlijn opgenomen voor de inrichting van de competentiegerichte kwalificaties (toetsvisie). Iedere sector maakt op basis hiervan een toetsbeleidsplan. Een interne experimentclub (2c) heeft dit jaar de opdracht een ROC-breed format OER te ontwikkelen, het document Toetsvisie uit te werken op basis van een kaderstellend document en een raamwerkdocument examenhandboek voor te leggen aan het management. De oplevering staat in juli 2007 gepland. Binnen de kaders van het ROC-brede Handboek Toetsing en Examinering hanteert elke sector (of team) een eigen handboek waarin de processen, taken en verantwoordelijkheden op sectorniveau staan beschreven. De sectoren Techniek en Economie werken met een teamhandboek. Aangeleverd voor Techniek is een concept teamhandboek (4a). De status hiervan is niet helder. Voor de ICT-kwalificaties is een handboek ICT-Lyceum opgesteld (4i). Bij Economie zijn Teamhandboeken voor Handel, Administratie en Horeca aangeleverd (3a, 3h, 3i). In deze handboeken staan taken beschreven, wie hiervoor verantwoordelijk is en soms wanneer de taak moet worden uitgevoerd. Hiermee is de basis aanwezig voor het beheersen van de processen. Het Handboek Administratie bevat daarnaast opmerkingen waar de uitvoering van de processen niet volstaat.
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
20/37
Het Handboek ZWO beschrijft taken en wie hiervoor verantwoordelijk is (5a). ZWO heeft een Plan van Aanpak voor de te ontwikkelen experimenten opgesteld (5e). Ook bij Techniek is een dergelijk plan aangetroffen (4h). Economie Voor de kwalificatie 10021 Magazijnmedewerker is de transparantie aangetoond met de OER (3b), het Handboek Toetsing en Examinering (2a) en het Teamhandboek Handel (3i). De examenproducten koopt Economie in bij KC Handel, een overeenkomst is aanwezig (1c). Bij de beoordeling zijn zowel de praktijkopleider als de BPV-docent betrokken. Bij de kwalificatie 10050 Secretarieel medewerker koopt Economie de examenproducten in bij Stichting Praktijkleren, er is een overeenkomst (1g). De kwalificerende toetsing staat beschreven in de OER (3c) en er is een handboek Toetsing en Examinering (2a) . Er is geen sprake van een onafhankelijke, betrouwbare en objectieve beoordeling: in het teamhandboek Administratie (3h), artikel 3.3, staat dat er geen tweede beoordelaar is en dat de eigen docent de deelnemers beoordeelt. KCE beoordeelt de transparantie van de examineringsprocessen daarom als onvoldoende. De kwalificatie 10395 Zelfstandig Werkend Kok beschikt over een transparant examenmodel, het Handboek Toetsing en Examinering en het Kwaliteitshandboek Horeca bevatten relevante procedures (2a, 3a). De examenproducten koopt Economie in bij LOB HTV, een overeenkomst is aanwezig (1d). De OER is samengevoegd met de studiegids en geeft een brede beschrijving van de kwalificerende examinering (3d). Er zijn meerdere beoordelaars bij de praktijktoetsing en voor de theorietoetsen wordt regelmatig een tweede beoordeling uitgevoerd. Hiermee is een onafhankelijke, betrouwbare en objectieve beoordeling aangetoond. Bij de kwalificaties 90290 Ondernemer Detailhandel, 90470 Administratief Medewerker en 90510 Managementassistent wordt het schooljaar 2006-2007 nog niet gediplomeerd. De informatie is intentioneel. De examenproducten koopt Economie voor 100% in bij KC Handel en Stichting Praktijkleren (1c, 1g). De transparantie van de examineringsprocessen is voor deze kwalificaties niet aangetoond. De kwalificerende toetsing voor 90290 is in de OER deels uitgewerkt (3e). Er is sprake van negen kerntaakbeoordelingen in de beroepspraktijkvorming, kennistoetsing en criteriumgerichte interviews. Deelnemers maken beroepsproducten in de beroepspraktijkvorming die worden beoordeeld door de praktijkopleider. Er is geen tweede beoordelaar tijdens de uitvoering van de opdrachten. Als de opdrachten voor een kerntaak zijn uitgevoerd, is er een evaluatiegesprek met de praktijkopleider en de bpv-docent. Niet beschreven staat in hoeverre de bpv-docent mede beoordeelt. Per schooljaar is er een summatief assessment van 2 weken. Hierin verzamelen de cursisten hun competentiebewijzen voor het totale opleidingsjaar en leveren hun dossierportfolio in. De examencommissie stelt de competentiebewijzen vast en houdt met elke cursist een voortgangsgesprek. De examencommissie bepaalt of de competentiebewijzen substantieel genoeg zijn om doorstroom naar het volgende opleidingsjaar te kunnen garanderen. De eerste vijf kerntaken zijn uitgewerkt in een examenplan. KCE beoordeelt de transparantie voor de kwalificatie 90290 als onvoldoende omdat de kwalificerende toetsing nog niet volledig is vastgesteld. Daarnaast is de onafhankelijke, objectieve en betrouwbare beoordeling in de beroepspraktijkvorming niet aangetoond en is niet helder hoe de diverse beoordelingen – praktijkopleider, bpv-docent, examencommissie- zich verhouden. Bij de kwalificatie 90470 Administratief Medewerker is volgens de OER sprake
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
21/37
van 2 Proeven van Bekwaamheid (3f). Er zijn geen nadere gegevens bekend over de inhoud en wijze van beoordelen. Hierdoor is niet aangetoond dat wordt voldaan aan assessmentcondities. Daarnaast kan een deelnemer uitsluitend worden gediplomeerd als de beroepspraktijkvoming met een voldoende is beoordeeld en moet de deelnemer zijn overgegaan van leerjaar 1 naar leerjaar 2. Ook is er een overzicht ‘examenmomenten en examenvormen’ opgenomen in de OER. Dit gaat om formatieve toetsing die moet zijn behaald en als voorwaarde geldt voor deelname aan de beroepspraktijkvorming en Proeven van Bekwaamheid. De kwalificatie 90510 Managementassistent heeft een onvolledig OER (3g). De uitwerking van de kwalificerende toetsing is niet opgenomen, bijlage 3 ontbreekt in het examenreglement. Techniek Techniek koopt zowel de examenproducten als de examenafname in voor de kwalificatie 10178 Schilder. Voor de overige kwalificaties worden de examenproducten ingekocht. Er zijn overeenkomsten van inkoop en OER’en aanwezig (4b, 4g). Bij de beoordeling van 10232 en 91140 zijn zowel de praktijkopleider als de BPV-docent betrokken, voor 10178 is er een beoordeling in het examencentrum van Savantis en een beoordeling door de praktijkopleider. KCE beoordeelt de transparantie van de examineringsprocessen als voldoende voor deze kwalificaties. De examenproducten van de kwalificaties 90220 ICT-beheerder en 90360 Medewerker ICT koopt Techniek in bij Stichting Praktijkleren (1h). Het getekende contract is als bewijs aangeleverd. Bij de kwalificatie 90360 Medewerker ICT wordt in het schooljaar 2006-2007 gediplomeerd. De OER’en geven geen volledig examenmodel weer, het bevat een opsomming van de kerntaken (4d, 4f). Een deel van de artikelen in de OER is niet uitgewerkt. Niet helder is bijvoorbeeld voor de kwalificatie 90220 uit hoeveel Proeven van Bekwaamheid de kwalificerende toetsing bestaat en wie de beoordelaars zijn. Bij de kwalificatie 90360 ontbreekt ook de informatie over de beoordelaars. Hierdoor is niet aangetoond dat de beoordeling onafhankelijk, objectief en betrouwbaar plaatsvindt. KCE beoordeelt de transparantie van de examineringsprocessen voor de kwalificaties 90220 ICT-beheerder en 90360 Medewerker ICT als onvoldoende. De kwalificatie 90260 Middenkaderfunctionaris Bouw-Infra is nog in ontwikkeling. Het examenmodel is niet uitgewerkt in de OER (4e). De informatie is intentioneel; er is sprake van Proeven van Bekwaamheden, het aantal is nog niet vastgelegd. Ook is er geen informatie over de wijze van beoordelen. Techniek geeft aan dat deze kwalificatie niet wordt ingekocht. De transparantie van de examineringsprocessen is niet aangetoond. ZWO Voor de kwalificaties 91380 Sport- en bewegingsleider, 92620 Pedagogisch Werker 3 en 92640 Helpende Zorg&Welzijn is de informatie intentioneel. Er is nog geen volledig uitgewerkt examenmodel in de OER (5b, 5c, 5d). Deelnemers verzamelen competentiebewijzen in een archiefportfolio. Deze worden besproken met de studieloopbaanbegeleider. Jaarlijks is er een formele evaluatie van een dossierportfolio. Niet helder is waaruit de competentiebewijzen bestaan, wie deze beoordeelt en of de beoordeling objectief, onafhankelijk en betrouwbaar plaatsvindt. Inkoop Voor een deel van de kwalificaties worden producten ingekocht. Bij de kwalificatie 10178 (BBL Schilder) is sprake van inkoop (Savantis) van examenproducten en examenafname.
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
22/37
Er is geen inkoop bij de kwalificaties 90260 (BOL Middenkaderfunctionaris Bouw-Infra) en 91380 (BOL Sport- en bewegingsbegeleider). Voor de overige kwalificaties koopt ROC Westerschelde de examenproducten in bij gecertificeerde leveranciers. Standaard 7 De examenprocessen zijn geborgd KCE vraagt de instelling om inzichtelijk te maken hoe zij invulling geeft aan: • de inkoop van examenproducten en/of –diensten bij een KCE-gecertificeerde leverancier; • de wijze waarop examens worden afgenomen; • de vaststelling van examens; • de controlemomenten in het examineringsproces. De examineringsprocessen van de kwalificaties 10021 (BBL Magazijnmedewerker), 10050 (BOL Secretarieel Medewerker), 10178 (BBL Schilder), 10232 (BOL Middenkaderfunctionaris Automatisering Elektronica (MK-AEC)), 10395 (BBL Zelfstandig Werkend Kok), 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris BouwInfra), 90290 (BOL Ondernemer detailhandel), 90360 (BOL Medewerker ICT), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) voldoen niet aan standaard 7, omdat met het door de instelling aangeleverde bewijs de borging van de examenprocessen niet kan worden vastgesteld. De onderbouwing van de vele (zelf)evaluaties ontbreekt geheel of gedeeltelijk. Er zijn geen evaluaties van inkoop aangetroffen. Bij de experimentele kwalificatie 90360 Medewerker ICT wordt in het schooljaar 20062007 gediplomeerd. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. Omdat binnen deze experimentele kwalificatie de ontwikkeling net is gestart en nog niet kwalificerend is geëxamineerd, kan borging van examenprocessen niet worden aangetoond. Dit resulteert in de beoordeling ‘onvoldoende’, omdat de toepasbare beoordelingsschaal niet voorziet in gevallen, waarin er nog geen sprake is van examinering.
KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 a. b. c. d. e. f. 2
ROC breed Intern auditrapport Toetsing en examinering Economie, 29-09-2006 Intern auditrapport Toetsing en examinering Techniek, 31-10-2006 Intern auditrapport Toetsing en examinering ZWO, mei 2007 Jaarverslag Toetsing en Examinering, 2005 Targets werkgroepen 2006-2007 Verslagen Examencommissie ROC-breed, maart en oktober 2006 Economie
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
23/37
a. b. c. d. e. f. g. h. i. 3 a. b. c. d. e. 4 a. b.
Activiteitenplan herontwerp 2006-2007 (90290) Evaluatie examenproces Handel, 19-4-2006 Evaluatie examenproces Horeca, 22-3-2006 Examencommissiebesprekingen Administratie 2006-2007 Notulen examencommissie Handel, 12 en 19 april 2006 Notulen examencommissie Handel, 2006-2007 Notulen examencommissie Horeca, april 2006, juni 2006, januari 2007 Verbeterplan Examinering economie, maart 2007 Zelfevaluatie Economie, juni 2006 Techniek Activiteitenplan cgl techniek 2006-2007 conceptversie Besluiten- en actiepuntenlijsten 2004-2005 (90220, 90360) Evaluatie cgl techniek, 2005-2006 (90220, 90360) Evaluatie van het examenproces team BIS, 13 oktober 2007 (90260) Verslagen teamexamencommissie 2006-2007 (90260) ZWO Actieplan verbetering examinering 2007-2008 Evaluatie examenproces, januari 2007
Het jaarverslag Toetsing en Examinering beschrijft de beleidsdoelstellingen op ROCniveau en per sector (1d). Het bevat een evaluatie van de ROC-brede beleidsdoelstellingen en geeft aan op welke wijze ROC Westerschelde de kwaliteitszorg gaat inrichten en verbeteren. Er is een interne auditgroep ingesteld met als opdracht het cyclisch werken te bevorderen. Deze interne audits zijn uitgevoerd en er zijn acties ondernomen daar waar nodig de sectoren en teams te begeleiden bij het cyclisch werken en het verantwoorden van de kwaliteit van de examinering. Dit begeleidingstraject is nog niet afgerond en loopt tot 2008. De conclusie van het interne auditteam is, zo blijkt uit de rapportages, dat de sectoren nog niet voldoende cyclisch werken (1a, 1b, 1c). Ook de verantwoording met bewijzen is een aandachtspunt. Uit de verslagen van de examencommissie ROC-breed blijkt dat het handboek Toetsing en Examinering deel 0-4 met enkele wijzigingen is vastgesteld (1f). Daarnaast is de urgentie van het ontwikkelen van een competentiegericht handboek besproken. Dit is in gang gezet, zo blijkt uit de ‘Targets werkgroepen’ (1e). De examencommissie ROC-breed houdt zicht op de aanwezigheid van de OER’en. De examencommissie bespreekt ook de minimale zelfevaluaties die onvoldoende relevante informatie bevatten. De kwaliteit van deze zelfevaluaties is een aandachtspunt van de examencommissie. Per sector en soms per team is een evaluatie van het examenproces aangeleverd (2b, 2c, 3c, 3d, 4b). Hierin staan procedures, rollen en werkwijzen van het examenproces als te beoordelen aspecten. Voor ieder aspect maakt de sector een inschatting of zij tevreden of ontevreden is. Op basis waarvan deze inschatting wordt gemaakt is niet duidelijk. De onderbouwing ontbreekt. Als de sector zelf niet tevreden is, wordt een verbeteractie geformuleerd en een datum vastgesteld waarop de verbetering gerealiseerd moet zijn. Als instrument voor zelfevaluatie voldoet het niet omdat de bewijsvoering niet is meegenomen. Daardoor is niet te verifiëren op basis waarvan de sector bepaalt of de examineringprocessen naar wens verlopen. Economie Het verbeterplan Examinering Economie (2h) is een sector-breed document waarin aan de hand van de KCE-standaarden 2006 een zelfevaluatie is opgesteld en waarin beknopt de
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
24/37
documenten worden aangegeven die als bewijs gelden. Ook zijn er verbeterpunten opgenomen en een tijdpad. Nog niet alle voorgenomen verbeteracties zijn gerealiseerd. De onderbouwing voor standaard 7, de borging van de examineringsprocessen is niet in het verbeterplan uitgewerkt. Economie geeft aan dat alle processen uitgevoerd worden zoals het in het handboek is vastgelegd. De onderbouwing waaruit dit blijkt, ontbreekt. De borging van de examinering toont Economie ook niet aan met de Zelfevaluatie Economie (2i). Het hoofdstuk Examens in de zelfevaluatie geeft weinig informatie over de examinering. De verslagen van de teamexamencommissie Handel tonen dat deze commissie haar taken uitvoert (2e). Handel heeft een activiteitenplan opgesteld voor de experimenten, een aantal activiteiten zijn gerealiseerd. Administratie houdt regelmatig examencommissiebesprekingen waarin de voortgang van de deelnemers wordt besproken (2d). Er zijn geen bewijzen van vaststelling van resultaten, genoemd wordt welke deelnemers onvoldoenden hebben behaald. De teamexamencommissie Horeca heeft het afgelopen jaar drie maal vergaderd (2g). De examineringsprocessen worden geëvalueerd en er worden verbeteracties geformuleerd. De verbeteracties hebben met name betrekking op de uitvoering. Er zijn in de notulen geen bewijzen aangetroffen waaruit blijkt dat Horeca de taken van de examencommissie uitvoert en niet helder is op basis waarvan de evaluatie door de teamexamencommissie is samengesteld. Techniek heeft met het document ‘Evaluatie cgl techniek’ een vorm van zelfevaluatie aangeleverd van de ontwikkeling van de competentiegerichte kwalificaties (3c). Dit document bevat summiere informatie over de borging van de examineringprocessen. Van het activiteitenplan techniek 2006-2007 is niet helder of de acties op schema liggen (3a). Techniek heeft besluiten- en actiepuntenlijsten aangevoerd als bewijs voor de kwalificaties 90220 en 90360 (3b). Niet opgenomen is van welk overleg deze documenten afkomstig zijn. De verslagen van de teamexamencommissie BIS tonen dat de cijfers worden vastgesteld (3e). De borging van de examineringsprocessen is met de documenten van Techniek niet aangetoond. ZWO heeft een ‘Actieplan verbetering examinering 2007-2008’ (4a) gebaseerd op de KCE-standaarden 2004, dit loopt parallel met het Handboek Toetsing en Examinering. Niet inzichtelijk is of de doelen uit het Plan van Aanpak Onderwijsvernieuwing zijn behaald of bijgesteld (4b). Uit deze documenten blijkt geen borging van de examineringsprocessen. KCE beoordeelt de borging van de examineringsprocessen voor alle standaarden als onvoldoende. ROC Westerschelde is bezig met een traject waarbij de sectoren en teams begeleid worden om te komen tot een sluitende kwaliteitscyclus. Voor de examinering is het nog niet zover dat hier sprake van is, er is wel een aanzet gegeven met de interne audits. Met name de onderbouwing van de vele (zelf)evaluaties ontbreekt geheel of gedeeltelijk. De eerste stap tot een betere verantwoording is gezet bij Economie, maar ook daar kan de onderbouwing sterker worden opgezet. De documenten die door de teams als bewijs zijn aangevoerd, geven geen indicatie voor een volledig geborgd examenproces. Er zijn geen evaluaties van inkoop aangetroffen. Domein E Wettelijke vereisten Standaard 8 De instelling voldoet aan de wettelijke vereisten rondom examinering
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
25/37
KCE vraagt de instelling inzichtelijk te maken: • de aanwezigheid en werkwijze van een examencommissie; • de aanwezigheid van een examenregeling per kwalificatie (OER’en); • de aanwezigheid en werkwijze van een Commissie van Beroep voor de examens; • dat wordt voldaan aan wettelijke beroepsvereisten voor examinering; • dat publieke verantwoording wordt afgelegd over de kwaliteit van de examinering. De examinering van de kwalificaties voldoet aan standaard 8, omdat het door de instelling aangeleverde bewijs kan worden vastgesteld dat aan de wettelijke vereisten ten aanzien van de examinering is voldaan. KCE beoordeelt de examinering op deze standaard als ‘voldoende’. Voor de kwalificaties 90220 (BOL ICT-beheerder), 90260 (BOL Middenkaderfunctionaris Bouw-Infra), 90290 (BOL Ondernemer detailhandel), 90470 (BOL Administratief medewerker), 90510 (BOL Managementassistent), 91140 (BOL Technicus middenkader WEI), 91380 (BOL Sport- en bewegingsbegeleider), 92620 (BOL ovd22 Pedagogisch Werker (Pedagogisch werker) 3) en 92640 (BOL ovd23 Helpende Zorg & Welzijn) wordt vóór 01-08-2007 geen diploma uitgereikt. KCE komt tot dit oordeel op grond van de volgende bewijzen: 1 a. b. 2 a. b. 3 a. b. 4 a. b.
ROC breed Handboek examinering deel 0-4 Jaarverslag T&E 2005 Economie OER 10050, 10395, 90470, 90510, 90290 Evaluatie van het examenproces Handel 19-04-06 Techniek OER 10178, 10232, 90220, 90260, 90360, 91140 Zelfevaluatie module 2 examenzaken 13-03-06 ZWO Handboek deel 5 (ZWO) OER 91380, 92620, 92640
De instelling toont in het Handboek examinering (1a) aan dat een examencommissie en commissie van beroep aanwezig is. Tevens wordt de werkwijze taken en bevoegdheden in het handboek van beide commissies beschreven. Per kwalificatie is een OER vastgesteld, deze bevatten de wettelijk vereisten. (2a, 3a, 4b). Voor de onderzochte kwalificaties gelden geen wettelijke beroepsvereisten voor examinering. Wel dient de kanttekening geplaats te worden dat voor de sector Welzijn en de kwalificaties 90220, 90360, 90470 en 90510 geen datum vaststelling door bevoegd gezag is vermeld. De instelling legt publieke verantwoording over de kwaliteit van de examinering af in het jaarverslag Toetsing en Examinering (1b).
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
26/37
Bijlage 1 Gegevens instelling
Onderwijsinstelling
ROC Westerschelde
Brinnummer
40346
Naam bevoegd gezag
De heer A. Huijsmans
Adres bevoegd gezag
Postbus 102 4530 AC TERNEUZEN
Contactpersoon namens instelling
De heer K. Capel
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
27/37
Bijlage 2 Overzicht actieve kwalificaties eenheid ROC Westerschelde
crebocode 10021 10036 10039 10040 10045 10049 10050 10054 10066 10077 10089 10107 10114 10117 10121 10121 10124 10130 10141 10151 10153 10174 10175 10178 10205 10206 10222 10223 10232 10235 10245 10248 10249 10254 10255 10255 10260 10260 10261
kwalificatienaam leerweg Magazijnmedewerker BBL Commercieel Medewerker Marketing en BOL Communicatie Administrateur BOL Directiesecretaresse / Management BOL Assistent Bedrijfsadministratief Medewerker BOL Boekhoudkundig Medewerker BOL Secretarieel Medewerker BOL Werktuigbouwkunde BOL Gieterijmedewerker BBL Onderhoudstechnicus Werktuigbouw BBL Monteur Montage/Onderhoud BBL Machinaal Verspaner BBL Constructie- en Apparatenbouwer BBL Pijpenbewerker BBL Constructiebankwerker/Lasser BBL Constructiebankwerker/Lasser BOL Assistent Constructiewerker/Lasser BOL Middenkaderopleiding Bouwkunde BOL Voortgezette Timmerkracht BBL Tegelzetter BBL Primaire Timmerkracht BBL Restauratieschilder BBL Gezel Schilder BBL Schilder BBL Eerste Bedrijfsautotechnicus BBL Eerste Autotechnicus BBL Bedrijfsautotechnicus BBL Autotechnicus BBL Middenkaderfunctionaris Automatiserings BOL Elektronica (MK-AEC) Middenkaderfunctionaris Automatiserings BOL Energietechniek (MK-AEN) Eerste Monteur Elektrotechnische BBL Panelen (EMEP) Eerste Monteur Elektrische BBL Bedrijfsinstallaties (EMBI) Eerste Monteur Sterkstroominstallaties BBL (EMSI) Monteur Consumentenelektronica (MCE) BBL Monteur Industriele Elektronica (MIE) BBL Monteur Industriele Elektronica (MIE) BOL Monteur Elektrische Bedrijfsinstallaties BBL (MBI) Monteur Elektrische Bedrijfsinstallaties BOL (MBI) Monteur Sterkstroominstallaties (MSI) BBL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
28/37
10261 10263 10264 10264 10387 10394 10395 10399 10399 10400 10400 10403 10404 10417 10419 10420 10421 10421 10422 10423 10424 10425 10426 10426 10427 10427 10428 10428 10443 10507 10507 10508 10508 10531 10538 10541 10542 10551 10553 10710 10742 10742 10743 10743
Monteur Sterkstroominstallaties (MSI) Monteur Laagspanningsnetten (MLN) Assistent Monteur Montage Elektronica Componenten (AMME) Assistent Monteur Montage Elektronica Componenten (AMME) Restaurateur Zelfstandig Werkend Gastheer/-vrouw Zelfstandig Werkend Kok Gastheer/Gastvrouw Gastheer/Gastvrouw Kok Kok Horeca-Assistent Middenkaderfunctionaris Milieutechniek Middenkaderfuctionaris Procestechniek Procesoperator C Mechanisch Operator B Procesoperator B Procesoperator B Operator A Mechanisch Operator A Procesoperator A Basisoperator Verpleegkundige Verpleegkundige Verzorgende Verzorgende Helpende Helpende Middenkaderfunctionaris Grond-, Wateren Wegenbouw All-Round Kapper All-Round Kapper Kapper Kapper Servicemonteur Installatietechniek (SEMi) Montage-Assistent Installatietechniek (MASi) Installatiemonteur met Specialisatie Woningbouw (IMw) Installatiemonteur met specialisatie Dakbedekking (IMd) Assistent Installatiemonteur (AIMv) Assistent Installatiemonteur (AIMd) Onderwijsassistent Sociaal Pedagogisch Werker 3 (SPW 3) Sociaal Pedagogisch Werker 3 (SPW 3) Sociaal Pedagogisch Werker 4 (SPW 4) Sociaal Pedagogisch Werker 4 (SPW 4)
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
BOL BBL BBL BOL BOL BBL BBL BBL BOL BBL BOL BOL BOL BOL BBL BBL BBL BOL BOL BBL BBL BBL BBL BOL BBL BOL BBL BOL BOL BBL BOL BBL BOL BBL BBL BBL BBL BBL BBL BOL BBL BOL BBL BOL
29/37
10745 10746 10763 10765 10765 10777 10779 10779 10795 10797 10797 10802 10812 10814 10842 10847 10849 10849 10850 10850 10851 10851 10853 10853 10883 10888 10904 10905 10929 10933 10935 10937 90220 90230 90240 90260 90290 90360 90380 90440 90470 90510 90920 90950 91140 91360 91380 91450 91470
Helpende Welzijn (HW) BOL Sociaal Cultureel Werker (SCW) BOL Bouwplaatsassistent BBL Assistent Monteur Sterkstroominstallaties BBL (AMSI) Assistent Monteur Sterkstroominstallaties BOL (AMSI) Specialist Interieurafwerking BBL Winkelassistent BBL Winkelassistent BOL Zorghulp BOL Assistent Schilder BBL Assistent Schilder BOL Metselaar BBL Medewerker Beheer ICT BOL Middenkaderfunctionaris Infratechniek BOL Allround Metselaar BBL Verkoopchef BBL Filiaalbeheerder BBL Filiaalbeheerder BOL Ondernemer/Manager Detailhandel BBL Ondernemer/Manager Detailhandel BOL Eerste Verkoper BBL Eerste Verkoper BOL Verkoopmedewerker BBL Verkoopmedewerker BOL Metaalconserver BBL Assistent Mobiliteitsbranche BBL Medewerker beheer ICT BOL ICT-beheerder BOL Allround meubelmaker BBL Meubelmaker BBL Werkplaatstimmerman BBL Assistent Timmerindustrie BOL ICT-beheerder BOL Medewerker beheer ICT BOL Hoofdoperator BOL Middenkaderfunctionaris Bouw-Infra BOL Ondernemer detailhandel BOL Medewerker ICT BOL Verkoopspecialist BOL Arbeidsmarktgekwalificeerd Assistent BOL Administratief medewerker BOL Managementassistent BOL Afdelingsmanager BOL Filiaalmanager BOL Technicus middenkader WEI BOL Onderwijsassistent niveau 4 BOL Sport- en bewegingsbegeleider BOL Medewerker schilderen (Schilder) BBL Signmaker (Medewerker sign) BOL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
30/37
92620 92640
ovd22 Pedagogisch Werker (Pedagogisch werker) 3 ovd23 Helpende Zorg & Welzijn
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
BOL BOL
31/37
Bijlage 3 Overzicht onderzochte kwalificaties Voorwaardelijk en of afgekeurde kwalificaties Eenheid ROC Westerschelde
CREBOcode 10050
1
Kwalificatienaam
Leerweg
Secretarieel Medewerker
BOL
Individueel te beoordelen kwalificaties
0
Steekproef kwalificaties volgens “Methode Sikkel”
14
Eenheid ROC Westerschelde
CREBOcode 10021 10178 10232 10395 90220 90260 90290 90360 90470 90510 91140 91380 92620 92640
Kwalificatienaam
Leerweg
Magazijnmedewerker Schilder Middenkaderfunctionaris Automatiserings Elektronica (MK-AEC) Zelfstandig Werkend Kok ICT-beheerder Middenkaderfunctionaris Bouw-Infra Ondernemer detailhandel Medewerker ICT Administratief medewerker Managementassistent Technicus middenkader WEI Sport- en bewegingsbegeleider ovd22 Pedagogisch Werker (Pedagogisch werker) 3 ovd23 Helpende Zorg & Welzijn
BBL BBL BOL
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
BBL BOL BOL BOL BOL BOL BOL BOL BOL BOL BOL
32/37
Bijlage 4 Gegevens verificatieaudit
Datum Exameneenheid Locatie Contactpersoon Auditoren
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
9 mei 2007 ROC Westerschelde Terneuzen mevrouw R. Boelens mevrouw J. van der Bijl en de heer R. Lemstra
33/37
Bijlage 5 Gegevens KCE
Referenties
Overeenkomst voor een opdracht tot externe borg 2006-2007
06-15856/SK/KS
Studiejaar
2006-2007
KCE-audit® uitgevoerd op basis van
Standaarden 2006
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
34/37
Bijlage 6 Documenten
Omschrijving 040407 Overleg met vertegenwoordiging EME1D.doc, (10232) 060529 Zelfevaluatie Module 2 – Examenzaken, (10178, 10232, 90220, 90260, 90360, 91140) 060905 Notities ouderoverleg_1 EME2O.doc, (10232) 100406 Actieplan Verbetering examinering Techniek concept 2.doc, (10178, 10232, 90220, 90260, 90360, 91140) 5s1xove supplement Actieplan verbetering examinering Actieplan Verbetering Examinering .OA (92620) Actieplan verbetering examinering Activiteitenplan cgl techniek conceptversie Activiteitenplan herontwerp (90290) Besluiten- en actiepuntenlijsten (90220, 90360) Bureau Dekkers in ‘Anders leren, anders examineren’ (offerte getekend ) Concept (III) Teamhandboek Toetsing & Examinering Concept teamhandboek T&E, laatste revisie Contract Kenteq Contract Savantis Deskundigheidsbevordering team BIS 0607 Document E/ICT kenteq tbv KCE Document E/ICT kenteq tbv KCE(10232) Document kenteq 4 tbv KCE, (91140) Document kenteq 4 tbv KCE, (91140) Documenten ROC Westerschelde Evaluatie cgl techniek, (90220, 90360) Evaluatie examenproces Handel Evaluatie examenproces Horeca Evaluatie examenproces, januari 2007 Evaluatie studenten 1e gel 2eolp A.doc, (92620) Evaluatie van de experimentopleidingen.cursisten.doc (92620) Evaluatie van de experimentopleidingen.cursisten.doc, niet gedateerd (90290) Evaluatie van het examenproces Handel Evaluatie van het examenproces team BIS, (90260) Evaluatie van het werkveld onderwijs (91380, 92620, 92640) Examencommissiebesprekingen Administratie Handboek deel 5 (91380, 92620, 92640) Handboek examinering Administratie, hoofdstuk 2 (ongedateerd) Handboek examinering deel 0-4 Handboek Toetsing en Examinering deel 0-4, 2004-2005 (vastgesteld voor alle kwalificaties 2006-2007) Intern auditrapport Toetsing en examinering Economie Intern auditrapport Toetsing en examinering economie.doc Intern auditrapport Toetsing en examinering Techniek Intern auditrapport Toetsing en examinering ZWO, Intern auditrapport Toetsing en examinering.techniek.doc
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
Versie/datum 7 april 2004 maart 2006 05-09-2006 maart 2006
ongedateerd 2007-2008 2006-2007 2006-2007 2004-2005 13-12-05 10-04-06 2006 14-08-06 22-08-06 25-04-2006 25-04-2006 14 augustus 2006 14 augustus 2006 2005-2006 19-4-2006 22-3-2006 januari 2006
19-04-06 13 oktober 2007 2006-2007
29-09-2006 2005-2006 31-10-2006 mei 2007 2005-2006
35/37
Inventarisatie te onderzoeken kwalificaties voor KCE-audit Jaarverslag T&E Jaarverslag Toetsing en Examinering Kwaliteitshandboek Horeca (10395) Module 2 actieplan verbetering examinering Notulen examencommissie Handel Notulen examencommissie Handel Notulen examencommissie Horeca
2006-2007 2005 2005
13-03-06 12 en 19 april 2006 2006-2007 april 2006, juni 2006, januari 2007 Notulen leermeestersoverleg (10232) maart 2004 tot februari 2006 Oer 10021 Magazijnmedewerker 2006-2008 Oer 10050 Secretarieel Medewerker 2005-2007 Oer 10178 Schilder 2006-2008 Oer 10232 Middenkaderfunctionaris Automatisering Elektronica 2004-2008 (MK-AEC) Oer 10395 Zelfstandig Werkend Kok 2006-2007 Oer 90220 ICT-beheerder 2006-2010 Oer 90260 Middenkaderfunctionaris Bouw-Infra 2006-2010 Oer 90290 Ondernemer Detailhandel 2005-2009 Oer 90360 Medewerker ICT 2006-2008 Oer 90470 Administratief Medewerker 2006-2008 Oer 90510 Managementassistent 2006-2009 Oer 91140 Technicus Middenkader WEI 2006-2010 Oer 91380 Sport en bewegingsbegeleider 2006-2009 Oer 92620 Pedagogisch werker 2006-2009 Oer 92640 Helpende zorg en welzijn 2006-2009 Overeenkomst KC Handel, 24 mei 2006, (10021, 90290) 24 mei 2006 Overeenkomst LOB HTV, (10395) 13 april 2007 Overeenkomst RBA4, november 2006 Overeenkomst Savantis, (10178) 22 augustus 2006 Overeenkomst Stichting Praktijkleren, (10050, 90470, 90510) 13-4-2007 Overzicht Scholingsactiviteiten Medewerkers Economie 2006- 2006-2007 2007Handboek Handel: toetsing en examinering Plan competentiegerichte opleidingen techniek niet gedateerd Plan van Aanpak Onderwijsvernieuwing 2003-2008 Targets werkgroepen 2006-2007 Teamhandboek Administratie (10050, 90470, 90510) Teamhandboek deel 5 2005-2006 Teamhandboek Handel (10021, 90290) Teamhandboek ICT-Lyceum, (90220, 90360) niet gedateerd Toelichting aanlevering aanvullende bewijsstukken m.b.t. 10-05-07 standaard 3 Toetsevaluatie voor studenten, (92620) oktober 2006 Training ‘CH-Q niveau 3’ door CINOP (getekende offerte ) 12-01-07 Training coachingsvaardigheden ongedateerd Verbeterplan Examinering economie maart 2007 Verslagen Examencommissie ROC-breed maart en oktober 2006 Verslagen SOB (10021, 90290) september 2005 tot april 2007 Verslagen teamexamencommissie (90260) 2006-2007 Voorlichting beroepspraktijkvorming 09-01-06 Vragenlijst SOB.doc, (10021, 90290) niet gedateerd
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
36/37
ZE versie juni 2006 economie versie .doc Zelfevaluatie Economie, Zelfevaluatie juni 2006 (91380, 92620, 92640) Zelfevaluatie module 2 examenzaken Zelfevaluatie Sector Economie, Zelfevaluatieverslag ZWO (06-06)
KCE-audit ® 2006-2007 / ROC Westerschelde / 22 oktober 2007
d.d. 31-05-06 juni 2006 13-03-06 juni 2006
37/37