Examenverslag KCE pagina 1. Examenverslag KCE examenverslag mbo

��

��

� � � � � � � � � � � � � �

��

� � � � � � � � � �

��

��

��

��

� � �

��

��

� � �

��

��

� � �

��

��

� � �

��

��

� �

��

��

� � � ��

��

��

examenverslag mbo

�

pagina 1

��

Examenverslag KCE 2004–2005

��


��

��

�

��

Rond de millenniumwisseling bleken er bij verschillende partijen twijfels te bestaan over de kwaliteit van de examens in het mbo. De bve-sector sloeg de handen ineen en stelde voor een onafhankelijk instituut, het KwaliteitsCentrum Examinering (KCE), in het leven te roepen dat de kwaliteit van de examens moest borgen en stimuleren. KCE is opgericht in februari 2002 en is sinds 1 augustus 2004 de bij wet aangewezen organisatie die de kwaliteit van mbo-examens onderzoekt.

In de aanloopfase naar de aanpassing van de WEB bleek al dat het bestaan van KCE een grote impact had op de verbetering van de kwaliteit van het mbo-examen. Dat constateert niet alleen KCE; ook het bedrijfsleven maakt deze observatie. Waar enkele jaren geleden nog maar nauwelijks sprake was van een goed kwaliteitszorgsysteem rondom examinering, is er nu vrijwel geen instelling meer die de randvoorwaarden voor examinering onvoldoende heeft geregeld. KCE onderzoekt de kwaliteit van de examens in het mbo pas twee jaar. Uit onderzoek blijkt dat er met name bij instellingen die twee keer door KCE zijn onderzocht, sprake is van een significante verbetering in de kwaliteit van de examinering. U leest daarover meer in hoofdstuk 7 van Deel I van dit examenverslag.

Vorig jaar, na afronding van het proefjaar, bracht KCE een ‘Rapport van bevindingen’ uit over de onderzoeksresultaten van het studiejaar 2003–2004. De wettelijke status van KCE bracht een aantal wijzigingen met zich mee voor het studiejaar 2004–2005. Zo voerde KCE onderzoek uit bij alle instellingen met actieve Crebo-licenties, dit in tegenstelling tot het jaar daarvoor, waarin KCE bij ongeveer de helft van de instellingen de examens van een deel van de opleidingen heeft onderzocht. De geleidelijke opbouw van het onderzoek zette zich voort in 2004–2005. Zo’n 60% van alle mbo-opleidingen, bijna 4.500 in aantal, is onderzocht in 2004–2005. Al met al een substantieel percentage, dat het mogelijk maakt te spreken van een goede nulmeting. Overigens waren niet altijd alle examens bij alle opleidingen voor onderzoek beschikbaar. Omdat de aangepaste WEB pas op 1 augustus 2004 van kracht werd, kon KCE alleen die examens onderzoeken, die na die datum waren afgenomen. Alleen van de opleidingen, die ook al in 2003–2004 waren onderzocht, konden de examens uit die periode worden onderzocht. Alles bij elkaar zijn zo van 68 % van de onderzochte opleidingen een of meer examenvarianten onderzocht. KCE verwacht dat de opbouwfase van zijn onderzoek aan het einde van studiejaar 2005–2006 zal zijn afgerond. Dan kunnen alle examens van alle beroepsopleidingen worden onderzocht. KCE is er trots op dat nu voor het eerst een goed beeld kan worden gegeven van de kwaliteit van het mbo-examen. Een vertrouwenwekkend beeld: de examinering van ruim de helft van de opleidingen is goed en voldoet aan de door de minister vastgestelde standaarden. Van het resterende deel kunnen we zeggen dat er voor het merendeel van de examens enkele verbeterpunten zijn die binnen een jaar gerealiseerd kunnen worden. Een klein percentage van de mbo-opleidingen wordt afgesloten met een examen dat beneden de maat is. We kunnen dus concluderen dat de meeste examens van voldoende kwaliteit zijn. Dat betekent overigens allerminst dat instellingen op hun lauweren kunnen rusten. Het wegwerken van de geconstateerde tekortkomingen stelt de instellingen in 2005–2006 voor een uitzonderlijk zware opgave.

pagina 3



pagina 2


Voorwoord

Ook KCE heeft belangrijke verbeteringen doorgemaakt. Een jonge organisatie heeft nog weinig routine opgebouwd en kampt met kinderziekten in haar IT-systemen. Dit heeft ertoe geleid dat KCE niet altijd tijdig kon rapporteren aan de instellingen, wat aanleiding was voor ergernissen. We hopen dat de manier waarop KCE werk heeft gemaakt van de feedback die daarop binnen kwam, vertrouwen heeft gewekt in het lerende en correctieve vermogen van KCE. Toch blijft er zorg bestaan over de kwetsbaarheid van de informatiestromen. Het aanleveren van informatie en documenten blijkt erg arbeidsintensief voor instellingen te zijn. Ook is gebleken dat vraagtekens geplaatst moeten worden bij de betrouwbaarheid van de verstrekte informatie. Dit veroorzaakt planningsproblemen bij KCE en verhoogt de beheerslast bij instellingen. In deel II leest u over de betrokkenheid van het bedrijfsleven bij examinering. Het bedrijfsleven ziet de kwaliteit van het examen als een zichtbaar bewijs van de prestatie van een instelling. Hoewel men nog de nodige verbeterpunten signaleert, is er vertrouwen in de kwaliteit van de examinering; men geeft de instellingen een dikke zes. Lang niet iedereen wil direct betrokken zijn bij examinering. Toch is het bijzonder verheugend dat ruim 20% van de geïnterviewde bedrijven aangeeft wél betrokken te willen zijn bij de examinering. Een belangrijk motief daarvoor is dat men trots is op zijn vak en een bijdrage wil leveren aan de verdere professionalisering ervan. Dat biedt perspectief voor competentiegerichte examinering, die naar verwachting vaak in de beroepspraktijk zal plaatsvinden. Marja Creemers directeur KCE

Deel I: Verslag examens 2004–2005

1.1 Waarom een examenverslag? De stichting KwaliteitsCentrum Examinering beroepsopleidingen, KCE, is in februari 2002 opgericht door Bve-raad, Colo en Paepon. Het doel van KCE is de kwaliteit van de examens in het middelbaar beroepsonderwijs (mbo) te borgen en te stimuleren om zo een bijdrage te leveren aan het maatschappelijke vertrouwen in het mbo-diploma.

1.2 Opzet examenverslag Hoe staat het met de kwaliteit van de examens in het mbo? In antwoord op die vraag behandelt dit examenverslag de kwaliteit van examinering: 1. in onderwijsen exameninstellingen; 2. in proeftuinen; 3. van leveranciers die examenproducten en -diensten leveren aan onderwijsen exameninstellingen.

Met ingang van augustus 2004 is KCE opgenomen in de Wet educatie en beroepsonderwijs (WEB artikelen 7.4.9a tot en met k) als de organisatie die de kwaliteit van examens in het mbo onderzoekt. Ter vervulling van zijn taak onderzoekt KCE jaarlijks de kwaliteit van de examens van alle beroepsopleidingen die zijn geregistreerd in het Centraal Register Beroeps Opleidingen (CREBO). Voor het beoordelen van de kwaliteit van de examens in het mbo heeft KCE in overleg met belanghebbenden kwaliteitsstandaarden ontwikkeld, die zijn vastgesteld 1 door de minister . De toepassing van deze standaarden in het jaarlijkse onderzoek leidt tot de afgifte van drie soorten verklaringen (WEB artikel 7.4.9h): • een goedkeurende verklaring voor opleidingen die voldoen aan de standaarden; • een voorwaardelijke verklaring voor opleidingen die naar verwachting binnen één jaar zullen voldoen aan de standaarden; • een afkeurende verklaring voor opleidingen die naar verwachting niet binnen één jaar zullen voldoen aan de standaarden. De norm voor het behalen van een goedkeurende verklaring is dat een instelling moet voldoen aan 100% van de standaarden. Daar de verwachting was dat vele instellingen nog niet zouden kunnen voldoen aan deze norm is met de staatssecretaris afgesproken dat in 2004–2005 een tussentijdse norm van 70% zou worden gehanteerd. De staatssecretaris zal jaarlijks opnieuw de tussentijdse norm bepalen. KCE rapporteert over de afgegeven verklaringen aan de minister. De minister beslist uiteindelijk of een opleiding met een afkeurende verklaring al dan niet zijn examenlicentie, en daarmee het recht op examinering van de betreffende kwalificatie(s) verliest. Als onderdeel van zijn wettelijke taak publiceert KCE jaarlijks een ‘verslag examens’ (WEB artikel 7.4.9, lid 5) waarin het zijn bevindingen weergeeft over de kwaliteit van de examens in het mbo in het afgelopen studiejaar. In het studiejaar 2003–2004, voor het zijn wettelijke status verkreeg, onderzocht KCE alleen instellingen die zich daarvoor hadden aangemeld. Daarover publiceerde KCE een ‘Rapport van Bevindingen’. Deel I van dit rapport is het eerste officiële examenverslag van KCE. Deel II behandelt ieder jaar een thema dat samenhangt met examinering. Dit jaar is het thema de betrokkenheid van het beroepenveld bij examinering.

pagina 7



pagina 6


1. Inleiding

Alle bevindingen tezamen resulteren in een algemeen oordeel over de kwaliteit van examinering in het mbo in het studiejaar 2004–2005. De opzet van dit examenverslag is als volgt. Hoofdstuk 2 beschrijft waarop het onderzoek van KCE zich richt. Hoofdstuk 3 beschrijft de onderzoeksmethode van KCE. Daarna volgen de resultaten van de onderzoeken naar de kwaliteit van examinering in onderwijsen exameninstellingen, proeftuinen, en van leveranciers in de hoofdstukken 4, 5 en 6. Hoofdstuk 7 biedt een korte weergave van de ontwikkelingen in de kwaliteit van de examens in het mbo over de periode 2003–2005 zoals gebleken uit een onafhankelijk onderzoek naar de onderzoeksgegevens van KCE over die twee studiejaren. Hoofdstuk 8 bevat een samenvatting van dit examenverslag.

2.1 Inleiding KCE onderzoekt jaarlijks de kwaliteit van de examens van alle beroepsopleidingen die zijn geregistreerd in het CREBO-register. De volgende paragrafen geven een toelichting op de drie deelgebieden die KCE in het studiejaar 2004–2005 heeft onderzocht: de instellingen, de proeftuinen en de leveranciers. De laatste paragraaf biedt een overzicht van de soorten opleidingen die KCE onderzoekt.

De tabel laat zien dat 86% van de 4.450 kwalificaties die KCE in het afgelopen jaar heeft onderzocht wordt verzorgd door een ROC. ROC’s zijn doorgaans grote instellingen met meer dan 50 kwalificaties, die alleen door hun omvang al veel onderzoek vergen. Om verantwoord onderzoek te kunnen blijven garanderen, is KCE geleidelijk te werk gegaan. In 2004–2005 onderzocht KCE om en nabij 60% van de actieve kwalificaties bij grote instellingen, en 100% bij middelgrote en kleine instellingen.

2.2 Onderzoek bij instellingen Een veelgebruikt onderscheid tussen instellingen is hun bekostiging: door geld van de overheid of particuliere gelden. Niet door de overheid bekostigde instellingen (NBI’s) leveren erkende opleidingen, examens en diploma’s met dezelfde civiele waarde als door de overheid bekostigde instellingen. Bekostigde instellingen zijn regionale opleidingscentra (ROC’s), agrarische opleidingscentra (AOC’s) en vakinstellingen.2 Ook exameninstellingen, waaraan onderwijsinstellingen hun examinering kunnen uitbesteden, vallen onder de noemer ‘instellingen’. Het verschil tussen een onderwijsinstelling en een exameninstelling is dat een onderwijsinstelling op grond van zijn CREBO-registratie voor een bepaalde opleiding zowel mag opleiden als examineren, terwijl een exameninstelling alleen mag examineren. Naast het onderscheid in type instelling – NBI, ROC, AOC, vakinstelling en exameninstelling – hanteert KCE in dit examenverslag een onderscheid in omvang van de instelling: groot, middelgroot en klein. Daarbij is het aantal actieve kwalificaties (actuele opleidingen met deelnemers) bepalend. Een kleine instelling heeft maximaal 15 actieve kwalificaties, een middelgrote maximaal 50, en een grote meer dan 50. Tabel 1 geeft inzicht in de verdeling van kwalificaties over de verscheidene instellingen, gesorteerd naar type en omvang.

Tabel 1: Het aantal onderzochte kwalificaties ingedeeld naar type en omvang instelling Grootte van AOC de instelling

ROC

Vakinstelling

NBI

Exameninstelling

Totaal

Klein 0 Middelgroot 306 Groot 0

0 64 3.755

57 87 0

106 66 0

9 0 0

172 (4%) 523 (12%) 3.755 (84%)

3.819 (86%)

144 (3%)

172 (4%)

9 (0%)

4.450 (100%)

Totaal

306 (7%)

pagina 9



pagina 8


2. Onderzoek van KCE in het studiejaar 2004–2005

Hoofdstuk 4 beschrijft de resultaten van het jaarlijkse kwaliteitsonderzoek van KCE bij instellingen. Bijlage 1 bevat een overzicht van de instellingen die KCE heeft onderzocht in het studiejaar 2004–2005. Specifieke rapportages per instelling zijn te vinden op www.kce.nl. 2.3 Onderzoek van proeftuinen Momenteel vindt een grote reorganisatie van het mbo plaats, het Herontwerp mbo, die er kortweg uit bestaat dat opleidingen op basis van competentiegerichte kwalificatieprofielen gaan werken. Een kwalificatieprofiel is een omschrijving van de competenties die een beginnend beroepsbeoefenaar moet bezitten om zich te kwalificeren voor de arbeidsmarkt. Het competentiegerichte profiel richt zich meer dan voorheen op de specifieke (kern)taken die een competent beroepsbeoefenaar moet kunnen uitvoeren, en wordt opgesteld door de kenniscentra beroepsonderwijs bedrijfsleven (KBB’s). Het nieuwe kwalificatieprofiel leidt tot een andere manier van opleiden en een andere manier van examineren. Om te voorkomen dat instellingen deze grote verandering ineens moeten doorvoeren, trof het ministerie een regeling die het onderwijsinstellingen mogelijk maakte, vanaf 1 oktober 2004 te starten met ‘proeftuinen’. Proeftuinopleidingen zijn bedoeld om instellingen de kans te geven ervaring op te doen met de nieuwe kwalificatieprofielen. KCE onderzocht 71 van de 152 proeftuinopleidingen.3 De resultaten van de kwaliteitsonderzoeken worden besproken in Hoofdstuk 5.

2.4 Onderzoek van leveranciers Het onderzoeken van de examenproducten en -diensten van leveranciers behoort niet tot de wettelijke taak van KCE. Hoewel een onderzoek dus alleen plaatsvindt als een leverancier daar belangstelling voor heeft, hechten zowel leveranciers als KCE er grote waarde aan.

2.5 Branches van opleidingen die KCE onderzoekt Om een idee te geven van de soorten opleidingen die KCE onderzoekt, bevat Tabel 2 een overzicht van het aantal onderzochte opleidingen per branche, geplaatst in de domeinindeling van Colo (2005).4

Voor leveranciers heeft goedkeuring door KCE een duidelijke meerwaarde richting hun afnemers. Zolang hun examenproducten en -diensten ongewijzigd worden afgenomen, dus in dezelfde staat waarin zij zijn goedgekeurd, hoeven zij niet opnieuw te worden onderzocht. Dat bespaart de afnemers kosten en draagt in zeer belangrijke mate bij aan de doelmatigheid van KCE; bijna de helft van de producten hoeft op deze manier niet meermalen te worden onderzocht. Het is immers veel efficiënter om een product of dienst maar éénmaal te hoeven beoordelen. KCE onderscheidt drie profielen voor leveranciers: profiel A voor leveranciers van examentoetsen, profiel B voor leveranciers van examenafname (waar deelnemers een examen doen, dat niet door die leverancier is ontwikkeld) en profiel C voor leveranciers van examentoetsen en examenafname. De verdeling van de onderzochte leveranciers over de drie profielen is weergegeven in Figuur 1.

Figuur 1

Profiel A

56%

Profiel B Profiel C %

12%

4% 40% 0

20

40

60

80

100

Voorafgaand aan het studiejaar 2004–2005 hebben 25 leveranciers zich aangemeld voor een kwaliteitsonderzoek van hun examenproducten en -diensten door KCE. Zoals blijkt uit Figuur 1, valt één leverancier in profiel B, waarin alleen examenafname wordt aangeboden. Alle overige 24 leveranciers bieden examentoetsen aan, waarvan 10 ook examenafname. In Bijlage 2 is een overzicht opgenomen van de leveranciers waar KCE kwaliteitsonderzoeken heeft uitgevoerd. De belangrijkste resultaten van de onderzoeken worden besproken in Hoofdstuk 6. Een volledig overzicht van de resultaten van de onderzoeken is opgenomen in Bijlage 5.

pagina 11



pagina 10


2. Onderzoek van KCE in het studiejaar 2004–2005 vervolg

Tabel 2: Onderzochte opleidingen naar branche Domein

Aantal onderzochte opleidingen

Relatief aandeel

Gezondheidszorg Veiligheid Techniek Bouw Bedrijfsvoering Zakelijke dienstverlening ICT Handel Mobiliteitssector Uiterlijke verzorging Recreatie en Toerisme Communicatie en Media Voedsel en Leefomgeving

378 40 1.128 571 407 36 122 541 365 111 319 77 355

8% 1% 25% 13% 9% 1% 3% 12% 8% 3% 7% 2% 8%

Totaal

4.450

100%

3.1 Inleiding Hoe komt KCE tot een oordeel over de stand van zaken van de examens in het mbo? Aan de hand van door de minister vastgestelde landelijke kwaliteitsstandaarden voert KCE jaarlijks een onderzoek uit naar de kwaliteit van de examens van iedere opleiding waar in dat studiejaar deelnemers op staan ingeschreven, de zogenaamde actieve kwalificaties. Op grond van de bevindingen uit het onderzoek legt KCE de minister per kwalificatie een goedkeurende, voorwaardelijk goedkeurende, of afkeurende verklaring voor. De minister beslist of een afkeurende verklaring gevolgen heeft voor het recht op examinering van de desbetreffende opleiding. Het onderzoek dat KCE uitvoert, heeft de vorm van een audit: de KCE-audit®.

3.2.2 Productaudit Het vierde domein van de kwaliteitsstandaard heeft betrekking op de kwaliteit van examenproducten, en staat centraal in de productaudit. Bij de productaudit wordt beoordeeld of de examentoetsen die een instelling gebruikt, voldoen aan de landelijke eisen die zijn opgenomen in eindtermendocumenten of kwalificatieprofielen. Hiervoor beoordelen productauditoren alle examentoetsen die voor een bepaald onderdeel binnen een opleiding, een zogeheten deelkwalificatie, worden afgenomen. Aspecten die worden beoordeeld zijn: 1. De dekkingsgraad: bevat het examen voldoende van de voorgeschreven eindtermen? 2. De moeilijkheidsgraad: stemt het beheersingsniveau van een toets overeen met het niveau dat de eindtermen voorschrijven? 3. De toetstechnische kwaliteit van examenproducten: zijn de examenonderdelen voldoende begrijpelijk, correct en volledig voor een optimale afname en beoordeling?

De volgende paragraaf beschrijft de elementen waaruit een KCE-audit® bestaat: de procesaudit, de productaudit, en de normering die KCE hanteert om te bepalen welk type verklaring een kwalificatie toekomt. De beschrijving in deze paragraaf is de standaardaudit zoals die in het afgelopen studiejaar bij instellingen is uitgevoerd. De laatste twee paragrafen beschrijven de audits zoals die zijn uitgevoerd op de examinering in proeftuinen en op de examenproducten en -diensten van leveranciers.

3.2 de KCE-audit® 3.2.1 Procesaudit De procesaudit bestaat uit twee delen. Het eerste deel is een (voor)onderzoek van documenten die een instelling aanlevert, zoals de zelfevaluatie, het handboek examinering en de examenregelingen van de betreffende opleidingen. Het tweede deel bestaat uit gesprekken die auditoren op de instelling voeren met vertegenwoordigers van de examenorganisatie, zoals directies, examencommissies, kwaliteitszorgfunctionarissen, toetsconstructeurs, examinatoren en medewerkers van examenbureaus. Uiteraard voeren de auditoren ook gesprekken met deelnemers over hun ervaringen met examinering. De bevindingen uit het documentenonderzoek en de gesprekken worden beoordeeld aan de hand van de landelijke kwaliteitsstandaarden die KCE hanteert. Deze standaarden zijn onderverdeeld in vijf domeinen, die elk voor een specifiek thema aangeven, wanneer er sprake is van een kwalitatief goed, ‘geborgd’ proces. Procesauditoren beoordelen de examinering aan de hand van vier van de vijf domeinen. De vijf domeinen zijn: 1. het managen van het examen; 2. samenwerking, inkoop en uitbesteding; 3. examenproces; 4. examenproducten (zie het volgende onderdeel ‘Productaudit’); 5. verantwoording. Elk domein bestaat uit een aantal standaarden die samenhangen met de thematiek van het domein. Elke standaard is op zijn beurt onderverdeeld in een aantal indicatoren, die deelaspecten van een standaard beschrijven. Aan de hand van de bevindingen worden de indicatoren beoordeeld als ‘voldoet’ of ‘voldoet niet’. In Bijlage 3 is een overzicht van de standaarden opgenomen. Het resultaat van de procesaudit is de beoordeling van de domeinen 1, 2, 3 en 5.

pagina 13



pagina 12


3. Onderzoeksmethode: de KCE-audit®

Daarnaast beoordelen de auditoren aan de hand van documenten van de instelling welke van de voorgeschreven eindtermen wel of niet getoetst worden, om welke reden dat wel of niet gebeurt, en wat de relatie is tussen eindtermen en specifieke toetsvragen. Ook beoordelen zij de weging van de toetsen onderling, en de gekozen toetsvorm, bijvoorbeeld mondeling, schriftelijk met open vragen of multiple choice, of praktijktoetsing. Verder beoordeelt de productauditor de deugdelijkheid van de deelnemersversie, het antwoorden beoordelingsmodel en de cesuur, die voorschrijft wanneer voor een toets een (on)voldoende is behaald. Het resultaat van de productaudit is de beoordeling van domein 4. 3.2.3 Normering De resultaten uit de proces- en productaudit bestaan uit de inhoudelijke bevindingen en de voldoende of onvoldoende scores die op basis daarvan zijn gegeven aan de indicatoren binnen de vijf domeinen van de landelijke kwaliteitsstandaarden. Deze scores bepalen welke verklaring een kwalificatie krijgt. Voor een goedkeurende verklaring moet 70% van de indicatoren voor elk domein als ‘voldoende’ zijn beoordeeld. De precieze normering staat in Tabel 3.

Tabel 3: De voorwaarden voor een goedkeurende verklaring per domein Standaarden 2004

Minimum aantal indicatoren positief beoordeeld

Domein Domein Domein Domein

11 2 12 Het gewogen gemiddelde van de deelkwalificatie moet 70% of hoger zijn. 2

1: 2: 3: 4:

Het managen van het examen Samenwerking, inkoop en uitbesteding Examenproces Examenproducten

Domein 5: Verantwoording

Zoals blijkt uit de tabel, is de normering van domein 4 anders dan die van de andere domeinen. In Bijlage 4 is de verklaring daarvoor door middel van een voorbeeld uitgewerkt.

Op grond van de WEB zijn instellingen verplicht tot het uitvoeren van een zelfevaluatie en het publiceren van de resultaten daarvan, met vermelding van de bevindingen die KCE tijdens zijn jaarlijkse onderzoek heeft gedaan. Strikte toepassing van deze voorschriften, vervat in Domein 5 van de standaarden, zou hebben geleid tot een onredelijk hoog percentage onvoldoende scores. Veel instellingen voerden in 2004–2005 voor het eerst een zelfevaluatie uit en hadden de resultaten daarvan nog niet gepubliceerd, terwijl enkele instellingen bovendien niet eerder door KCE waren onderzocht. Terwille van de redelijkheid en billijkheid is besloten de resultaten van Domein 5 in het studiejaar 2004–2005 niet te laten meewegen in de verklaringen die aan instellingen zijn uitgereikt, tenzij domein 5 tijdens het onderzoek uitdrukkelijk in zijn geheel niet in orde wordt bevonden.

3.4 Leveranciers Leveranciers zijn rechtspersonen die examenproducten en -diensten aanbieden aan instellingen. Omdat leveranciers voor hun activiteiten geen CREBO-licentie nodig hebben, is een onderzoek van hun producten en diensten door KCE niet vanzelfsprekend. Wel kunnen leveranciers zich jaarlijks, voorafgaand aan een studiejaar, aanmelden bij KCE voor een kwaliteitsonderzoek. Goedkeuring door KCE heeft het voordeel, dat een instelling de ingekochte producten of diensten zelf niet door KCE hoeft te laten onderzoeken. Deze aanpak levert ook een belangrijke bijdrage aan de doelmatigheid van KCE.

Een instelling ontvangt per kwalificatie een voorwaardelijke goedkeuring indien de bevindingen uit de KCE-audit® de verwachting rechtvaardigen, dat binnen een jaar een goedkeurende verklaring kan worden behaald. Is die verwachting er niet, dan volgt een afkeurende verklaring. In die gevallen, waarin KCE over onvoldoende aanknopingspunten beschikte om de haalbaarheid van goedkeuring binnen een jaar te beoordelen, is aan instellingen verzocht een verbeterplan aan te leveren, alvorens een definitieve verklaring werd uitgereikt. Dit resulteerde in een bijstelling van het percentage afkeuringen van 16% naar 2%. 3.3 Proeftuinen De beoordeling van de examinering in de proeftuinen stelde KCE voor een boeiend vraagstuk. Enerzijds diende KCE de proeftuinen net als reguliere opleidingen te onderzoeken. Anderzijds waren de proeftuinen per ministeriële regeling formeel pas per 1 oktober 2004 van start gegaan. Hoe snel komt een opleiding inclusief examinering tot stand? Daarnaast waren de officiële kwalificatieprofielen, aan de hand waarvan KCE de proeftuinen moest beoordelen, pas in maart 2005 beschikbaar. De eerste audits van proeftuinen toonden aan dat het, geredeneerd vanuit de kwaliteitsstandaarden, moeilijk was om recht te doen aan het enthousiasme waarmee instellingen hun proeftuinen opzetten. In veel proeftuinen was men bijvoorbeeld nog zo druk bezig met het ontwikkelen van de opleiding, dat examinering nog niet op de agenda stond. Eerder stelde men zich de vraag, wat eigenlijk de plaats is van examinering in competentiegericht opleiden. En vele andere vragen. Gesprekspartners in audits legden de auditoren vaak meer vragen dan antwoorden voor. Omdat de kwaliteit van examinering in de proeftuinen nog niet kon worden beoordeeld, koos KCE ervoor, geen verklaring af te geven aan proeftuinen. Als stimulator van kwaliteit in examinering leek het passender, informatie over de ‘examinering van de toekomst’ te vergaren en zo ook zelf te leren van de ervaringen van instellingen. Waar relevant hebben auditoren in hun auditverslagen wel aandacht besteed aan de bezochte proeftuinen, maar dan in een meer beschrijvende trant. KCE zal de examinering die in 2004–2005 in de proeftuinen heeft plaatsgevonden meenemen in de onderzoeken van het studiejaar 2005–2006.

pagina 15



pagina 14


3. Onderzoeksmethode: de KCE-audit® vervolg

KCE onderscheidt drie profielen voor leveranciers: profiel A voor leveranciers van examentoetsen, profiel B voor leveranciers van examenafname en profiel C voor leveranciers van examentoetsen en examenafname. Het kwaliteitsonderzoek van elk profiel komt zoveel mogelijk overeen met de standaard KCE-audit® die KCE uitvoert bij instellingen. Bijlage 5 bevat een overzicht van de toepassing van de kwaliteitsstandaarden op de verschillende leveranciersprofielen. Naar aanleiding van de KCE-audit® ontvangen leveranciers een goedkeurende, voorwaardelijk goedkeurende of afkeurende verklaring. Ook voor hen geldt dat voorwaardelijke goedkeuring is gebaseerd op de verwachting, dat er binnen één jaar sprake zal zijn van goedkeuring. Bij een afkeurende verklaring is die verwachting er niet. Het verschil met de verklaring die KCE aan een instelling verstrekt, is dat de verklaring aan leveranciers op het niveau van de organisatie – als certificaat – wordt verstrekt, en niet op het niveau van een specifieke opleiding met een vermelding in het CREBO-register. In het studiejaar 2004–2005 onderscheidt KCE zodoende goedgekeurde, voorwaardelijk goedgekeurde, en afgekeurde leveranciers. Met ingang van 2005–2006 onderscheidt KCE gecertificeerde en niet-gecertificeerde leveranciers. Om potentiële afnemers tijdig duidelijkheid te geven over de verklaring die KCE aan een leverancier verstrekt, onderzoekt KCE een leverancier steeds voordat het nieuwe studiejaar begint. De producten en diensten van leveranciers die zijn gebruikt in het studiejaar 2004–2005 zijn zodoende onderzocht in het studiejaar 2003–2004.

4.1 Inleiding In de voorgaande hoofdstukken zijn het onderzoeksgebied en de onderzoeksmethode van KCE besproken. Dit hoofdstuk behandelt de resultaten van het onderzoek bij de instellingen. Eerst komen de verklaringen aan bod, die zijn uitgereikt naar aanleiding van het jaarlijkse kwaliteitsonderzoek. Vervolgens komen de meest opvallende bevindingen uit de onderzoeken aan bod.

4.2.2 Verklaringen naar instellingstype Grafiek 1 geeft een overzicht van de percentages uitgereikte verklaringen per instellingstype; Vakinstelling, ROC, Exameninstelling, NBI en AOC.

4.2 Uitgereikte verklaringen KCE verstrekt instellingen jaarlijks een verklaring voor iedere actuele opleiding met deelnemers, de zogenaamde actieve kwalificaties. Voldoet de kwalificatie aan de kwaliteitsstandaarden, dan is de verklaring goedkeurend. Is de verwachting gerechtvaardigd, dat de kwalificatie binnen een jaar aan de kwaliteitsstandaard zal voldoen, dan is de verklaring voorwaardelijk goedkeurend. Is die verwachting er niet, dan volgt een afkeurende verklaring. In die gevallen waarin instellingen binnen de gestelde termijn een goed verbeterplan aanleverden voor afgekeurde kwalificaties, zijn de afkeuringen omgezet in voorwaardelijke goedkeuringen. De volgende tabellen en grafieken bieden verschillende gezichtspunten op de aantallen en percentages uitgereikte verklaringen.

pagina 17



pagina 16


4. Resultaten instellingen

Grafiek 1: Percentages uitgereikte verklaringen naar type instelling

Vakinstelling

47%

ROC

54%

Exameninstelling

89%

NBI

49%

AOC

26%

%

0

4.2.1 Algemeen overzicht verklaringen Tabel 4 geeft een overzicht van de totale aantallen en percentages verklaringen die zijn uitgereikt in het studiejaar 2004–2005.

53% 44%

2% 11%

46%

5%

64% 20

10% 40

60

80

100

% Goedgekeurd % Voorwaardelijk % Afgekeurd

Tabel 4: Aantallen en percentages van de afgegeven verklaringen 2004–2005 Verklaring

Aantal opleidingen

Goedgekeurd Voorwaardelijk Afgekeurd

2.301 2.074 75

Relatief aantal opleidingen 52% 46% 2%

Totaal

4.450

100%

4.2.3 Verklaringen naar omvang instelling Grafiek 2 geeft een overzicht van de percentages uitgereikte verklaringen voor kleine instellingen (maximaal 15 kwalificaties), middelgrote instellingen (maximaal 50 kwalificaties) en grote instellingen (meer dan 50 kwalificaties).

Grafiek 2: Percentages uitgereikte verklaringen naar omvang instelling

Klein

49%

Middel

35%

Groot

54%

%

0

46%

5%

59%

6% 44%

20


40

60

2% 80

100

4.2.4 Verklaringen naar opleidingsbranche Grafiek 3 geeft een overzicht van de percentages uitgereikte verklaringen ingedeeld naar opleidingsbranches.

4.3 Bevindingen Deze paragraaf beschrijft de voornaamste bevindingen uit de KCE-audits® bij instellingen in het studiejaar 2004–2005. De bevindingen zijn gerangschikt naar de vijf domeinen waarin de kwaliteitsstandaarden zijn onderverdeeld. De standaarden worden thematisch besproken onder aparte kopjes. De gemiddelde resultaten per standaard en indicator zijn opgenomen in Bijlage 3.

Grafiek 3: Percentages uitgereikte verklaringen naar opleidingsbranche

Gezondheidszorg

45%

Veiligheid

58%

Techniek

54%

Bouw

56%

Bedrijfsvoering

47%

Zakelijke dienstverlening

45%

ICT

55%

Handel

53%

Mobiliteitssector

64%

Uiterlijke verzorging

74%

Recreatie en toerisme

52%

Communicatie & media

21%

Voedsel & leefomgeving

32%

%

0

52%

3% 40%

43%

1%

45%

8%

44%

11% 43%

2%

45%

2% 35%

1% 26%

48% 79% 59%


9% 40

60

4.3.1 Domein 1: Het managen van het examen 98% van de onderzochte kwalificaties voldoet aan de norm voor domein 1.

2%

46%

20

pagina 19



pagina 18


4. Resultaten instellingen vervolg

80

Inrichting van de examenorganisatie Bijna alle opleidingen voldoen aan de norm voor een goed ingerichte examenorganisatie. Ruim de helft, 62%, van de examenorganisaties functioneert al naar behoren. De resterende 38% is druk bezig, de processen van de ingerichte organisatie in overeenstemming te brengen met de dagelijkse praktijk, en vice versa. Betrokkenheid van het beroepenveld Bij gemiddeld 74% van de onderzochte kwalificaties is er sprake van betrokkenheid van het beroepenveld bij het ontwikkelen en uitvoeren van examens. De opleidingsbranches, zoals die zijn vermeld in Grafiek 3 in voorgaande paragraaf, scoren tussen de 58% en de 86%. Sectorspecifieke standaarden en beroepsvereisten Sectorspecifieke standaarden zijn van toepassing op 3% van de onderzochte opleidingen. Bij vrijwel alle opleidingen, 99%, zijn de medewerkers bekend met en handelen zij naar deze standaarden. 64% van alle opleidingen evalueert de toepassing van sectorspecifieke standaarden. De toepassing en evaluatie van beroepsvereisten vanuit andere wetgeving is bij 90% van alle relevante kwalificaties, 8% van het totaal, positief beoordeeld. 4.3.2 Domein 2: Samenwerking, inkoop en uitbesteding 91% van de onderzochte kwalificaties voldoet aan de norm voor domein 2.

100

Deskundigheidsontwikkeling 79% van de onderzochte kwalificaties scoort positief op het waarborgen en ontwikkelen van de deskundigheid van medewerkers op het gebied van examinering. In het afgelopen studiejaar maakte het ontwikkelen van deskundigheid inzake examinering bij de meeste instellingen deel uit van een algemene deskundigheidsontwikkeling op het gebied van competentiegericht opleiden. Inkoop examenproducten en -diensten Vrijwel alle, namelijk 96% van de 78% opleidingen die examenproducten en/of -diensten inkopen, legt zijn inkoopafspraken met leveranciers vast in een contract. Ruim tweederde van de opleidingen controleert bovendien regelmatig, of de geleverde producten en diensten voldoen aan de gemaakte afspraken. In die gevallen waarin evaluatie nog niet plaatsvindt, hangt dat meestal samen met de mate waarin opleidingen in de gelegenheid zijn geweest, hun kwaliteitscyclus door te voeren.

4.3.3 Domein 3: Examenproces 68% van de onderzochte kwalificaties voldoet aan de norm voor domein 3.

4.3.4 Domein 4: Examenproducten 37% van de onderzochte kwalificaties voldoet aan de norm voor domein 4. Dat domein 4 in vergelijking met andere domeinen minder positief scoort, hangt mogelijk samen met een tweetal oorzaken. Op dit moment kiezen de meeste instellingen er eerder voor te investeren in het invoeren van competentiegericht opleiden en examineren, dan in het verbeteren van bestaande examens. Daarnaast speelt in de resultaten van de productaudit een zeker naijleffect een rol. De productaudit beoordeelt alleen de afgenomen examens van een voltooide deelkwalificatie. Omdat het voltooien van een deelkwalificatie soms vrij veel tijd vergt, kan er tussen constructie en afname een verschil zijn ontstaan tussen de gebruikte toets en de actuele procedure. Dat verschil vertaalt zich mogelijk in de resultaten van proces- en productaudits.

Implementatie van examenprocessen De standaarden van domein 3 behandelen de implementatie en evaluatie van examenprocessen. Deze processen zijn toetsconstructie en -vaststelling, het afnemen en beoordelen van het examen, het verwerken en publiceren van examenresultaten, diplomering en certificering. Over het algemeen vertoont de implementatie van de vastgestelde examenprocessen een beeld dat overeenstemt met de vorderingen die opleidingen boeken in het invoeren van hun kwaliteitscyclus. Een opvallend positieve bevinding betreft de afname van het examen, die bij 96% van de onderzochte opleidingen plaatsvindt in overeenstemming met de vastgestelde processen. Evaluatie en verbeteren van de examenprocessen Structurele en regelmatige evaluatie van een proces kan pas plaatsvinden, als het proces volledig is ingevoerd. Veel instellingen zijn nog niet toe aan het evalueren van hun processen, omdat zij hun processen nog niet volledig hebben kunnen invoeren. De evaluatie die in deze gevallen wel plaatsvindt, hangt veelal samen met incidenten die zich voordoen bij het implementeren van een proces. Dat verklaart de percentages positieve beoordelingen van de evaluatie van de processen voor toetsconstructie (27%) en -vaststelling (29%), examenafname (61%) en examenbeoordeling (29%). Een opvallend positieve uitzondering vormt de evaluatie van het uitreiken van certificaten en diploma’s (79%). Vrijstellingen en EVC Met betrekking tot vrijstellingen en Erkenning Verworven Competenties (EVC) zijn diverse verbeterpunten gesignaleerd. Een eerste verbeterpunt dat uit de onderzoeken naar voren kwam, is de bekendheid met het verschil tussen vrijstellingen (het erkennen van elders behaalde certificaten en diploma’s) en EVC (het erkennen van competenties). Andere verbeterpunten zijn de algemene bekendheid met EVC en zijn wettelijke basis, de implementatie van EVCprocedures, informatie aan deelnemers die hun EVC’s willen laten erkennen en de registratie van erkende EVC’s. Naar verwachting zal de invoering van competentiegericht leren en beoordelen het belang van EVC’s vergroten, wat een gedegen kennis en uitvoering van EVC-trajecten in het mbo extra noodzakelijk maakt. Diplomering en certificering 98% van de opleidingen hanteert een vastgestelde werkwijze voor de uitreiking en de registratie van certificaten en diploma’s. 95% van de onderzochte opleidingen verstrekt bovendien certificaten en diploma’s op basis van vrijstellingen volgens een vastgestelde werkwijze.

pagina 21



pagina 20


4. Resultaten instellingen vervolg

Dekkingsgraad Over het algemeen toetsen de onderzochte deelkwalificaties de voorgeschreven eindtermen nog in onvoldoende mate. Deze constatering betreft de helft van de onderzochte examens. In 57% van de onderzochte examens kwam de inhoud van de toets onvoldoende overeen met de inhoud die de opleiding eraan had willen geven. Moeilijkheidsgraad 57% van de onderzochte examens toetst de eindtermen op het bedoelde beheersingsniveau. Toetstechnische kwaliteit 70% van de onderzochte examens bedient zich van een correct en begrijpelijk taalgebruik. Bij 70% van de kwalificaties ontbreekt bij de examens het beoordelingsmodel, de cesuur en/of het antwoordmodel. 4.3.5 Domein 5: Verantwoording 95% van de onderzochte kwalificaties voldoet aan de norm voor domein 5. Tevredenheidsonderzoeken, deelnemers en beroepenveld Vrijwel alle opleidingen, 94%, onderzoeken de tevredenheid van deelnemers en het beroepenveld over de kwaliteit van hun examinering. In de meeste gevallen maakt examinering onderdeel uit van een breder, generiek opgezet onderzoek. Aandachtspunten zijn de relatief geringe plaats die examinering binnen dergelijke onderzoeken inneemt en de regelmaat waarmee de onderzoeken worden gehouden. Zelfevaluatie en verantwoording 95% van de onderzochte kwalificaties voert jaarlijks een zelfevaluatie uit en publiceert die ook. In 83% van de gevallen maakt het onderwerp ‘de betrokkenheid van het beroepenveld bij examinering’ deel uit van de zelfevaluatie. Een verbeterpunt, waarop veel opleidingen zich overigens al beraden, is de kwaliteit van de zelfevaluatie. KCE verwacht dat de kwaliteit van de zelfevaluatie zal toenemen, naarmate deze meer en meer een functioneel onderdeel van het kwaliteitszorgsysteem van een instelling gaat vormen. Gelet op de energie die de meeste opleidingen in hun zelfevaluatie steken, zal de kwaliteit van de zelfevaluaties in de komende jaren verbeteren.

5.1 Inleiding Dit hoofdstuk behandelt de resultaten van het onderzoek van proeftuinen. Omdat KCE in het studiejaar 2004–2005 geen verklaringen heeft uitgereikt aan kwalificaties in proeftuinen, bestaan de onderzoeksresultaten uit de algemene bevindingen die tijdens onderzoeken zijn gedaan. De bevindingen zijn gerangschikt naar de vijf domeinen waarin de kwaliteitsstandaarden zijn onderverdeeld. De bevindingen worden per domein besproken onder aparte kopjes.

5.2.2 Domein 2: Samenwerking, inkoop en uitbesteding Deskundigheidsontwikkeling Binnen competentiegericht examineren staat met name de deskundigheid van beoordelaars centraal. Zij moeten in staat zijn te beoordelen of de competenties die een deelnemer in een examensituatie toont, hem of haar kwalificeren binnen de beroepspraktijk. Ook op dit gebied speelt de betrokkenheid van het beroepenveld een belangrijke rol. Er zijn docenten die regelmatig stage lopen bij een bedrijf om hun kennis van de beroepspraktijk actueel te houden. Andere docenten zijn weer parttime werkzaam in het beroepenveld. Deskundigheidsontwikkeling wordt verder vaak vorm gegeven in samenwerking met externe trainingsbureaus, door middel van trainingen en workshops die een opleiding zelf ontwikkelt of door intercollegiaal overleg tussen docenten.

5.2 Bevindingen De meest opvallende, positieve indruk die is opgedaan tijdens het onderzoek van examens in proeftuinen, betreft het grote enthousiasme waarmee de betrokkenen werken aan het vormgeven van competentiegericht onderwijs. Proeftuinen bevinden zich in verschillende stadia van ontwikkeling per instelling en hun ontwikkeling varieert per instelling vaak ook weer per opleiding. Sommige opleidingen oriënteren zich al langer op competentiegericht onderwijs en hebben al een eigen visie op competentiegerichte examinering ontwikkeld. In de meeste gevallen zijn opleidingen nog hoofdzakelijk bezig met het ontwikkelen van competentiegericht onderwijs. Zij zijn nog niet toegekomen aan het ontwikkelen van de bijbehorende examinering. Ervaringen met geïntegreerde ontwikkeltrajecten van proeftuinen geven aan, dat het gelijktijdig ontwikkelen van onderwijs en examinering een betere onderlinge afstemming van beide tot resultaat heeft. 5.2.1 Domein 1: Het managen van het examen Organisatie van de examinering In veel proeftuinen is de organisatie van de examinering identiek aan die van de reguliere opleidingen. De formele procedures voor toetsconstructie, -vaststelling en beoordeling stemmen veelal overeen met de procedures die worden gehanteerd binnen de reguliere opleidingen. Betrokkenheid van het beroepenveld Een aantal proeftuinen heeft al concreet vorm gegeven aan de betrokkenheid van het beroepenveld. Bedrijven zijn in die gevallen actief betrokken bij het ontwikkelen en uitvoeren van de examens. In veel andere gevallen zoeken proeftuinen nog naar een goede samenwerking met bedrijven. Met de komst van competentiegericht examineren en examens in de vorm van proeven van bekwaamheid neemt het belang van de betrokkenheid van het beroepenveld toe. Het beroepenveld kan immers het beste aangeven, wat van belang is in de beroepspraktijk en hoe het daar zelf naar kijkt. Van groot belang zijn dan ook de informatievoorziening aan bedrijven (wat betekent competentiegericht onderwijs voor hen?) en een goede afstemming tussen opleidingen en bedrijven. De grote diversiteit aan initiatieven die proeftuinen en instellingen ontplooien voor het regelen van deze afstemming geeft aan dat enthousiast en serieus wordt gewerkt aan het betrekken van het beroepenveld bij examinering. Exameninformatie Exameninformatie aan deelnemers komt vaak pas in de loop van een studiejaar beschikbaar, omdat zowel onderwijs als examinering in de meeste gevallen nog volop in ontwikkeling zijn. De kwaliteit van de informatie die in het algemeen wordt verstrekt, is opvallend hoog. Deelnemers hebben doorgaans begrip voor de wat trage informatieverstrekking, omdat zij tijdig en goed zijn geïnformeerd over het experimentele karakter van de opleiding waaraan zij deelnemen.

pagina 23



pagina 22


5. Resultaten proeftuinen

Samenwerking tussen ROC’s Een aantal instellingen heeft de krachten verenigd in consortia ten behoeve van de ontwikkeling van competentiegericht onderwijs. Binnen deze consortia krijgt ook competentiegericht examineren vorm, waarbij de aandacht nadrukkelijk uitgaat naar de deskundigheidsontwikkeling van betrokkenen. De verantwoordelijkheid voor de invoering van competentiegericht examineren berust bij de individuele instelling. 5.2.3 Domein 3: Examenproces Implementatie examenprocessen In de meeste proeftuinen komen de procedures voor toetsconstructie en -vaststelling overeen met de procedures die reguliere opleidingen hanteren. In de praktijk blijken deze procedures vaak minder bruikbaar. Binnen veel proeftuinen blijkt een projectmatige of improviserende werkwijze praktischer. Een en ander hangt veelal samen met het gegeven, dat proeftuinen zich nog oriënteren op inhoud en vorm van competentiegericht onderwijs en examineren. Er is meestal nog geen sprake van een bepaalde werkwijze die geschikt is om vastgesteld te worden als procedure. 5.2.4 Domein 4: Examenproducten Veel instellingen maken gebruik van portfolio’s en proeven van bekwaamheid om te toetsen of deelnemers beschikken over de competenties die hen kwalificeren in beroepssituaties. Beide toetsmethodes bevinden zich nog in uiteenlopende stadia van ontwikkeling. Daarbij moeten nog veel beslissingen worden genomen. Wat moet bijvoorbeeld voorwaardelijk en wat kwalificerend (meetellend voor het eindcijfer) worden getoetst? Hoe ziet een goede beoordeling van een beroepssituatie eruit? Hoe moet een toets worden verantwoord? De intensiteit waarmee aan deze en andere vraagstukken wordt gewerkt, geeft KCE de verwachting dat het de uitkomsten ervan zal aantreffen in zijn onderzoeken in het studiejaar 2005–2006. 5.2.5 Domein 5: Verantwoording Tevredenheidsonderzoeken Sommige instellingen huren een extern bureau in om de tevredenheid van deelnemers en het beroepenveld over hun examinering te laten onderzoeken. Over het algemeen geldt echter, dat dit onderdeel van de kwaliteitscyclus van proeftuinen nog in een pril ontwikkelingsstadium verkeert. Zelfevaluatie en verantwoording In de meeste proeftuinen is men nog niet toe aan het evalueren en verantwoorden van de nieuwe examinering. Omdat de proeftuinen nog maar kort bestaan, is de kwaliteitscyclus nog vrijwel nergens in zijn geheel doorlopen. Ervaringen in proeftuinen maken nog geen deel uit van de zelfevaluaties van instellingen.

6.1 Inleiding Dit hoofdstuk behandelt de resultaten van het onderzoek van leveranciers van examenproducten en -diensten. KCE onderzoekt een leverancier die zich daarvoor aanmeldt voorafgaand aan een studiejaar, om potentiële afnemers tijdig duidelijkheid te geven over de status van de producten en diensten van de leverancier. De onderzoeksresultaten in dit hoofdstuk komen zodoende uit het studiejaar 2003–2004. Met ingang van 2005–2006 onderscheidt KCE overigens gecertificeerde en niet-gecertificeerde leveranciers.

6.3 Bevindingen Leveranciers werken hard aan het invoeren en onderhouden van hun kwaliteitszorgsysteem. Over het algemeen hebben de leveranciers de kwaliteit van hun producten en diensten goed op orde. Zoals in Bijlage 5 inzichtelijk is gemaakt, was een aantal standaarden in de domeinen 2, 3 en 4 niet voor alle leveranciersprofielen relevant.

Eerst komen de afgegeven verklaringen aan bod. Daarna volgen de meest opvallende bevindingen uit de onderzoeken. Bijlage 5 bevat een volledig overzicht van de resultaten uit onderzoeken van leveranciers. 6.2 Uitgereikte verklaringen Voorafgaand aan het studiejaar 2004–2005 hebben 25 leveranciers zich aangemeld voor een kwaliteitsonderzoek van hun examenproducten en -diensten door KCE.

6.3.3 Domein 3: Examenprocessen Een meerderheid van de leveranciers heeft zijn examenprocessen op orde. De dertien voor leveranciers relevante indicatoren in domein 3 leveren in gemiddeld 72% van de gevallen een positief oordeel op. Een aanvullende 17% toont aan zijn processen deels op orde te hebben. Eénderde van de leveranciers voert structureel evaluaties uit van de dekkingsgraad en moeilijkheidsgraad van zijn producten. De helft van de leveranciers evalueert de toetstechnische kwaliteit van zijn producten.

Verklaringen aan leveranciers worden verstrekt op het niveau van de organisatie. KCE onderscheidt in het studiejaar 2004–2005 goedgekeurde, voorwaardelijk goedgekeurde en afgekeurde leveranciers. Voorwaardelijke goedkeuring is gebaseerd op de verwachting, dat er binnen één jaar sprake zal zijn van goedkeuring. Bij een afkeurende verklaring is die verwachting er niet. Grafiek 4 geeft een overzicht van de uitgereikte verklaringen, gesorteerd naar leveranciersprofiel.

Grafiek 4: Percentages verklaringen naar profiel leverancier

60%

Profiel B

100%

Profiel C

86%

%

0

6.3.4 Domein 4: Examenproducten Gemiddeld 77% van de examenproducten is positief beoordeeld op de indicatoren binnen dit domein. Gemiddeld 68% voldeed aan de norm. Dat komt onder andere omdat 81% van de leveranciers nog niet alle eindtermen van de onderzochte deelkwalificaties had uitgewerkt in het toetsplan.

40%

14% 20

% Goedgekeurd % Voorwaardelijk

40

60

6.3.1 Domein 1: Managen van het examen Gemiddeld 79% van de leveranciers scoort positief op de indicatoren binnen dit domein. 6.3.2 Domein 2: Deskundigheid en levering Het waarborgen en ontwikkelen van de deskundigheid van medewerkers die betrokken zijn bij het ontwikkelen en leveren van examenproducten en -diensten is in ruim de helft van de gevallen in orde bevonden en bij éénderde deels in orde. In driekwart van de gevallen worden verkoopafspraken met instellingen vastgelegd in een contract.

KCE onderscheidt drie profielen voor leveranciers: profiel A voor leveranciers van examentoetsen, profiel B voor leveranciers van examenafname en profiel C voor leveranciers van examentoetsen en examenafname.

Profiel A

pagina 25



pagina 24


6. Resultaten leveranciers

80

100

6.3.5 Domein 5: Verantwoording Jaarlijkse evaluatie 32% van de leveranciers voert regelmatig een tevredenheidsonderzoek uit. 36% voert jaarlijks een managementreview uit en publiceert de resultaten daarvan in een verslag. Betrokkenheid beroepenveld Eénvijfde van de leveranciers bespreekt de betrokkenheid van het beroepenveld in zijn jaarlijkse verslag. Overigens bleek uit de onderzoeken duidelijk dat alle leveranciers het belang van de betrokkenheid van het beroepenveld onderschrijven. Alle onderzochte leveranciers hebben de betrokkenheid van het beroepenveld al ten dele of volledig gewaarborgd.

Kunnen er op basis van de gegevens, die in twee jaar tijd in onderzoeken zijn vergaard, uitspraken worden gedaan over ontwikkelingen die zich voordoen in de examinering in het mbo? In opdracht van KCE heeft bureau Sixtat medio 2005 een onderzoek verricht naar de relaties tussen de gegevens uit het studiejaar 2003–2004 en die uit 2004–2005. De resultaten van dat onderzoek zijn gepubliceerd in het rapport Steekproefopzet examens MBO (2005). De volgende paragraaf biedt een korte weergave van de zienswijze van KCE. De paragraaf daarna geeft een overzicht van de belangrijkste resultaten uit het onderzoek van Sixtat. 7.2 Waarneming KCE De kwaliteit van examinering in het mbo neemt toe. Uit de onderzoeken in het studiejaar 2004–2005 is gebleken, dat instellingen hard werken aan de kwaliteit van hun examens. Kwaliteitszorg rondom examinering staat duidelijk op de agenda. Instellingen kiezen hun eigen weg met betrekking tot de kwaliteit van hun examens. Sommige instellingen richten hun kwaliteitszorgsysteem in op grond van wat hun vanuit het ministerie en KCE wordt aangereikt. Andere instellingen richten een geheel eigen systeem in en zoeken vaak actief de dialoog met KCE over de mate waarin en wijze waarop het nieuwe systeem verantwoord kan worden in overeenstemming met de kwaliteitsstandaarden.

pagina 27

7.1 Inleiding Voorafgaand aan het studiejaar 2003–2004, een jaar voor KCE zijn wettelijke status verkreeg, konden belangstellende instellingen hun opleidingen aanmelden voor een kwaliteitsonderzoek. De resultaten uit die onderzoeken zijn gepubliceerd in het ‘Rapport van bevindingen 2003–2004’ (2005). Nadat KCE zijn wettelijke status had verkregen, dienden alle opleidingen hun examinering met ingang van het studiejaar 2004–2005 door KCE te laten onderzoeken. De resultaten daarvan staan vermeld in dit examenverslag.



pagina 26


7. Ontwikkeling kwaliteit van examinering in het mbo 2003–2005

7.3 Onderzoek Sixtat De resultaten uit het onderzoek van Sixtat bevestigen het beeld dat KCE zich tijdens zijn onderzoeken heeft gevormd. Om een goed beeld te krijgen van eventuele ontwikkelingen in examinering in het mbo, zijn de onderzoeksresultaten van KCE uit de studiejaren 2003–2004 en 2004–2005 vergeleken op het niveau van: 1. de deelkwalificatie (gegevens uit de productaudits); 2. de kwalificatie (gegevens uit de procesaudits); 3. de instelling (de gemiddelde resultaten van 1 en 2 op instellingsniveau). Daarnaast is een vergelijking gemaakt tussen de resultaten van (deel)kwalificaties en instellingen die zowel in 2003–2004 als in 2004–2005 zijn onderzocht en de resultaten van (deel)kwalificaties en instellingen die alleen in 2004–2005 zijn onderzocht. Uit de analyse bleek dat de deelkwalificaties die in beide studiejaren zijn onderzocht gemiddeld aantoonbaar beter scoren dan het gemiddelde van de deelkwalificaties die alleen in 2004–2005 zijn onderzocht. De scores van de onderzochte kwalificaties verschillen in beide studiejaren te weinig, om van een duidelijke ontwikkeling te kunnen spreken. Op het niveau van de instelling wijst de analyse uit, dat de gemiddelde score van de instellingen die in beide studiejaren zijn onderzocht, veel hoger uitvalt dan die van instellingen die alleen in 2004–2005 zijn onderzocht. De resultaten uit het onderzoek van bureau Sixtat wijzen uit, dat er sprake is van een verbetering in de kwaliteit van examens in 2004–2005 ten opzichte van 2003–2004. Het onderzoeksrapport vermeldt dat met name het feitelijke bestaan van KCE een bijdrage levert aan de verbetering van de gemeten kwaliteit. De bestaansduur van KCE is nog te kort om uitspraken te doen over verbeteringen op aandachtspunten, die het onderzoek van KCE heeft uitgewezen.

8.1 Inleiding Hoe staat het met de kwaliteit van de examens in het mbo? Dit hoofdstuk geeft antwoord op de centrale vraag van dit examenverslag aan de hand van een korte samenvatting van de resultaten van de onderzoeken in instellingen, in proeftuinen, en bij leveranciers. Daarna volgt de conclusie.

8.3 Kwaliteit van examinering in de proeftuinen In veel proeftuinen is het denken over de kwaliteit van competentiegerichte examinering nog maar net begonnen. In de meeste gevallen is er alleen nog sprake van plannen voor de vorm die examinering in de toekomst moet krijgen. Het nog prille ontwikkelingsstadium van de meeste proeftuinen in aanmerking genomen, is die stand van zaken niet zo wonderlijk. Niettemin dient te worden voorkomen dat examinering in proeftuinen wordt ontwikkeld als sluitstuk van het onderwijs. Dat zou gevolgen hebben voor zowel de tijdigheid als de kwaliteit van examinering. Ervaringen met geïntegreerde ontwikkeltrajecten van proeftuinen geven aan, dat het gelijktijdig ontwikkelen van onderwijs en examinering een betere onderlinge afstemming van beide tot resultaat heeft. De kwaliteit van examinering verdient meer aandacht van instellingen bij het verder ontwikkelen van competentiegerichte opleidingen.

8.2 Kwaliteit van examinering in onderwijsen exameninstellingen De kwaliteit van examinering op onderwijsinstellingen is goed tot redelijk goed op orde voor een groot deel van de kwalificaties. 98% van de kwalificaties is (voorwaardelijk) goedgekeurd en 2% is afgekeurd. Een eerste aandachtspunt betreft het verbeteren van de toetskwaliteit van examenproducten, met name de dekkingsgraad, de moeilijkheidsgraad, de beoordelingsmodellen en de cesuur, ofwel het punt waarop een deelnemer een (on)voldoende behaalt voor een examen. Een tweede aandachtspunt dat uit de onderzoeken in instellingen naar voren kwam was het implementeren en verbeteren van het kwaliteitszorgsysteem met betrekking tot examinering. KCE verwacht dat dit aandachtspunt een sterke verbetering zal doormaken, naarmate instellingen hun kwaliteitscycli vaker doorlopen en meer ervaring opdoen met het borgen van kwaliteit. Een derde aandachtspunt is de verantwoording van hun examinering door instellingen. Voor een gedegen verantwoording is het van groot belang dat instellingen een deugdelijke, gestructureerde zelfevaluatie opzetten, waarin specifiek aandacht aan examinering wordt besteed. Ook is het van belang dat de verschillende belanghebbenden (deelnemers en het beroepenveld) structureel bij de zelfevaluatie worden betrokken.

pagina 29



pagina 28


8. Samenvatting en conclusie

8.4 Kwaliteit van examinering bij leveranciers Uit de onderzoeken blijkt dat leveranciers hard werken aan en veel investeren in hun kwaliteitszorgsystemen. Over het algemeen hebben zij de kwaliteit van hun examenproducten en -diensten goed op orde. Verbeterpunten bij leveranciers betreffen vooral het evalueren van examenprocessen, dekkingsgraad, moeilijkheidsgraad en de toetstechnische kwaliteit van de examenproducten. Ook publieke verantwoording verdient bij de leveranciers nog aandacht. 8.5 Conclusie: kwaliteit van examinering in het mbo De resultaten van de onderzoeken van KCE in het studiejaar 2004–2005 wijzen uit dat de kwaliteit van de examinering in het mbo bij het merendeel van de opleidingen voldoende is of binnen een jaar voldoende zal zijn. Daarnaast geeft een vergelijking van de resultaten van dit jaar met die van vorig jaar aan, dat er sprake is van een verbetering in de kwaliteit van de examens in het mbo. Op basis van genoemde resultaten verwacht KCE dat de kwaliteit van de examinering in het mbo in de komende jaren verder zal toenemen.

Deel II: Onderzoek naar de betrokkenheid van het beroepenveld bij examinering

1.1 Over het onderzoek KCE is opgericht om de kwaliteit van de examens in het mbo te borgen en te stimuleren en zo een bijdrage te leveren aan het maatschappelijke vertrouwen in het mbo-diploma. KCE kreeg die taak omdat het beroepenveld niet tevreden was over de kwaliteit van nieuwe werknemers die net hun mbo-diploma hadden behaald. KCE moest bijdragen aan een verbetering van dat vertrouwen. Daarbij is uitgegaan van twee veronderstellingen: 1. de oprichting van een landelijke organisatie die de kwaliteit van examens in het mbo onderzoekt en mede daardoor stimuleert, zal het vertrouwen van het beroepenveld in het mbo-diploma verbeteren; 2. een duidelijker betrokkenheid van het beroepenveld bij activiteiten rondom examinering zal het vertrouwen in het mbo-diploma doen toenemen.

Het doel was om zoveel mogelijk beroepsbranches in Nederland aan het woord te laten. De meningen van het bedrijfsleven over het mbo-diploma en de examinering vloeien waarschijnlijk voort uit een mix van harde criteria (organisatiegraad, omvang van de organisatie, mate van scholing van het personeel, economische situatie, mate van specialisatie, beschikbare financiën) en zachte criteria (ervaringen met ROC’s, traditie en betrokkenheid bij het onderwijs). Aangezien deze criteria per branche zullen verschillen zijn zoveel mogelijk verschillende branches benaderd.

KCE heeft begin 2005 aan Profiel Onderzoek gevraagd te onderzoeken of het beroepenveld deze veronderstellingen onderschrijft. Het ‘beroepenveld’ bestaat in het onderzoek uit de bedrijven en hun brancheorganisaties. Deel II van het Examenverslag 2004–2005 behandelt de resultaten uit het onderzoek van Profiel5. 1.2 Opzet Deel II van het examenverslag Hoofdstuk 2 presenteert de resultaten uit het kwalitatieve deelonderzoek onder brancheorganisaties. Hoofdstuk 3 behandelt de resultaten uit het kwantitatieve deelonderzoek onder de bedrijven. Tot slot beschrijft Hoofdstuk 4 enkele overeenkomsten en verschillen tussen beide deelonderzoeken.

pagina 33



pagina 32


1. Inleiding

1.6 Aanpak van het kwantitatieve deelonderzoek onder bedrijven Om de onderzoeksvragen te kunnen beantwoorden zijn vragen ontwikkeld die telefonisch zijn voorgelegd aan een aantal bedrijven die steekproefsgewijs waren gekozen. De vragenlijst bevatte onder andere vragen over de tevredenheid over het mbo-examen en de visie op het mbo-examen. Naast deze onderwerpen zijn in de vragenlijst enkele gegevens over het bedrijf gevraagd, zoals de omvang en het aantal medewerkers met een afgeronde mbo-opleiding. Bij het opstellen van de steekproef is gebruik gemaakt van de indeling in beroepsbranches die ook in het kwalitatieve gedeelte van het onderzoek is gebruikt. Voor elke branche in de indeling is een koppeling gemaakt met de indeling die de Kamer van Koophandel hanteert. Voor elk domein is vervolgens een at random steekproef getrokken uit het adressenbestand van de Kamer van Koophandel. De bedrijven uit de steekproef zijn telefonisch benaderd. In het domein Gezondheidszorg zijn bijvoorbeeld willekeurige organisaties benaderd uit de verpleging, verzorging (waaronder tandartspraktijken en bejaardentehuizen) en laboratoria. Alleen bedrijven met tenminste twee werknemers die de laatste twee jaar bovendien iemand hadden aangenomen op mbo-2-niveau konden aan het onderzoek deelnemen. Daarnaast moest het mbo-diploma specifiek zijn voor de desbetreffende branche en niet langer dan vijf jaar geleden behaald zijn. Een groot deel van de benaderde bedrijven bleek door deze eisen uiteindelijk niet geschikt voor deelname aan het onderzoek. Uiteindelijk zijn uit de 8.710 benaderde bedrijven 417 enquêtes gerealiseerd. Om te kunnen bepalen of er verschillen bestaan tussen de beroepsbranches, is een minimum van twintig respondenten per branche nagestreefd. Een verdeling van de gerealiseerde enquêtes over de branches staat in Tabel 4.

1.3 Onderzoeksopzet Voor de onderzoeksopzet is gekozen voor een combinatie van kwalitatieve en kwantitatieve onderzoeksmethodes. Voor het kwalitatieve deel zijn interviews gehouden met medewerkers van brancheorganisaties. Voor het kwantitatieve deel zijn vragenlijsten voorgelegd aan medewerkers van bedrijven die gekwalificeerde mbo’ers in dienst hebben. Hieronder wordt de opzet van zowel het kwalitatieve als het kwantitatieve onderzoeksdeel toegelicht. 1.4 Selectie deelnemers aan het onderzoek De deelnemers (respondenten) aan zowel het kwalitatieve als het kwantitatieve deelonderzoek zijn geselecteerd uit de volgende 13 beroepsbranches: 1. Gezondheidszorg, 7. ICT Welzijn en Onderwijs 8. Handel 2. Veiligheid 9. Mobiliteitssector 3. Techniek 10. Uiterlijke verzorging 4. Bouw 11. Recreatie en Toerisme 5. Bedrijfsvoering 12. Communicatie en Media 6. Zakelijke dienstverlening 13. Voedsel en Leefomgeving 1.5 Aanpak van het kwalitatieve deelonderzoek onder brancheorganisaties Het kwalitatieve deelonderzoek is uitgevoerd in de vorm van telefonische interviews onder vertegenwoordigers van beroepsbranches. Deze keuze kwam voort uit de verwachting dat het gespreksonderwerp van dit onderzoek bij de respondenten erg actueel is, zodat zij er gemakkelijk over kunnen praten. Examinering en het vertrouwen van het beroepenveld staan immers hoog op de agenda in het onderwijs. Telefonische interviews stellen respondenten bovendien in de gelegenheid om rustig, zonder beïnvloeding van buitenaf, hun persoonlijke mening te geven over het vertrouwen in het mbo-diploma en in het bijzonder over hun vertrouwen in de examinering.

Tabel 4: Deelnemende bedrijven per beroepsbranche Branche

Aantal

Totaal

Gezondheidszorg, Welzijn en Onderwijs Veiligheid Techniek Bouw Bedrijfsvoering Zakelijke dienstverlening ICT Handel Mobiliteitssector Uiterlijke verzorging Recreatie en Toerisme Communicatie en Media Voedsel en Leefomgeving

53 31 38 21 21 56 31 22 29 51 23 20 21

13% 7% 9% 5% 5% 14% 7% 5% 7% 12% 6% 5% 5%

Totaal

417

100%

2.2 Vertrouwen in het mbo-diploma De overgrote meerderheid van de respondenten geeft aan het eens te zijn met de stelling dat als werkgevers nauwer betrokken worden bij examinering de tevredenheid over en het vertrouwen in het mbo-diploma groeien. Het valt op dat éénderde van de respondenten invloed op de cesuur van examens, het punt waarop een examen (on)voldoende scoort, ziet als een vorm van betrokkenheid. Bijna de helft geeft aan dat informatie over de inhoud van de opleiding en het examen een positief effect heeft op het vertrouwen in het mbo-diploma. De helft van de respondenten beschouwt het diploma als waardevol en kansenbiedend. De andere helft ziet het als ‘een neutrale vastlegging van kennis en kunde’. Eén respondent geeft aan dat het diploma geen enkele waarde heeft. Het grootste deel van de respondenten is van mening dat een werkgever weet wat hij mag verwachten van een mbo’er en dat die mbo’er in de dagelijkse praktijk van het bedrijf aan die verwachtingen kan beantwoorden. Eenderde van de respondenten geeft aan dat de potentiële medewerker niet aan de verwachtingen van de werkgever voldoet. Als redenen worden aangegeven dat de werkgever te veel verwacht, namelijk dat iedereen direct inzetbaar (vakvolwassen) is en dat de werkgever zo min mogelijk inspanningen wil leveren om iemand binnen zijn bedrijf goed te laten functioneren.

Het verwachtingspatroon van werkgevers heeft over de afgelopen jaren weinig veranderingen vertoond. De respondenten geven aan dat de invoering van de Wet educatie en beroepsonderwijs (WEB) in 1994 geen positieve invloed heeft gehad op het verwachtingspatroon van werkgevers. Respondenten merken op dat de discussies over het onderwijs zich de laatste jaren vooral richtten op de structuur van het onderwijs. Die is nodeloos ingewikkeld geworden. De discussies kenmerken zich vooral door een teveel aan onderwijskundig jargon.

pagina 35

2.1 Inleiding Als onderdeel van dit onderzoek naar de betrokkenheid van het beroepenveld bij examinering is in het voorjaar van 2005 een kwalitatief onderzoek verricht onder vertegenwoordigers van brancheorganisaties, opleidingsfondsen en andere sectorale koepels, inclusief de landelijke koepels VNO-NCW en MKB Nederland. Het betrof in totaal 24 telefonische gesprekken. De respondenten is hun mening gevraagd over het vertrouwen van het beroepenveld in het mbo-diploma en over de betrokkenheid van het beroepenveld bij examinering.



pagina 34


2. Resultaten kwalitatief onderzoek onder brancheorganisaties

De respondenten zien met spanning uit naar de resultaten van de invoering van Competentiegericht beroepsonderwijs (CGB). Verder is hun houding tegenover CGB neutraal; niet positief, niet negatief. 2.3 Betrokkenheid bij examinering Meer dan de helft van de respondenten is van mening dat het examen moet worden verbeterd. Het meest wordt genoemd: een betere controle op zowel de inhoud van de opleiding als het examen. Respondenten geven aan dat hun branche het gevoel heeft overgeleverd te zijn aan de instellingen en geen invloed te kunnen uitoefenen op het beleid van onderwijsinstellingen. Zonder die invloed voelen ze zich minder betrokken. Het examen wordt gezien als een zichtbaar bewijs van de prestaties van de school. Het verlangen naar invloed richt zich vooral op de inhoud van de opleiding. Een aantal respondenten geeft aan dat de examinering prima verloopt en ziet geen enkele reden om er wijzigingen in aan te brengen. Genoemde redenen zijn: • • • •

de examinering vindt plaats in het eigen examencentrum; er komen geen klachten binnen; examinering is geen speerpunt voor de desbetreffende branche; examinering is het terrein van KCE. Eenvijfde van de respondenten heeft geen mening over een eventuele verbetering van de examinering. Als belangrijkste reden geven ze aan dat ze er te ver vanaf staan.

2.4 Wijze van betrokkenheid bij examinering De mate waarin en de wijze waarop respondenten vinden dat branches nu betrokken zijn bij de examinering vertoont een zeer divers beeld. Op elk niveau wordt anders gedacht over wie betrokken moet zijn bij examinering en op welke manier.

2.5 Motieven om actief betrokken te zijn bij examinering Meer dan de helft van de respondenten denkt dat werkgevers meer betrokken willen worden bij examinering. Het belangrijkste motief om energie en aandacht te investeren in examinering is de verdere professionalisering van de branche en de zorg voor de vakbekwaamheid. Respondenten zijn trots op hun vak en willen de kennis en kunde dienaangaande bevorderen.

Meermalen noemen respondenten een betrokkenheid op uitvoeringsniveau: examinering door praktijkopleiders, inzet van vakexaminatoren, vulling van itembanken, gecommitteerden en bepaling van de cesuur. Op beleidsmatig niveau vinden de respondenten dat de branches via de volgende organen betrokken zijn bij examinering: via een Sectoraal Examen Platform (SEP), eigen examenstichtingen en het eigen kenniscentrum. Een van de brancheorganisaties heeft haar gehele onderwijsen arbeidsmarktbeleid naar grote tevredenheid uitbesteed aan het desbetreffende kenniscentrum. Een andere branche organiseert al haar examinering op een eigen examencentrum. Deze branche hecht vooral aan de betrouwbaarheid van het examen. De respondenten hebben weinig zicht op de betrokkenheid van het regionale beroepenveld bij examinering. De meeste respondenten herinneren zich voornamelijk de uitersten: heel goede voorbeelden of juist heel slechte voorbeelden van regionale betrokkenheid. Zij noemen vooral de rol van het ROC in de regio bepalend. Als een ROC het regionale bedrijfsleven op een boeiende wijze betrekt bij zijn examinering, doen de werkgevers graag mee. Als het ROC zich afstandelijk opstelt, te veel jargon gebruikt of niets met de mening van de werkgevers doet, haken brancheorganisaties af. Een opvallende conclusie op basis van de gesprekken is dat de branches zoeken naar een zinvolle inhoudelijke discussie voor de werkgevers. Een discussie die de werkgever raakt en aansluit bij zijn belang en dagelijkse praktijk. Branches willen hun werkgevers niet vermoeien met structuurdiscussies. De wijze waarop respondenten zich informeren over de examinering in hun branche is zeer divers. De meest genoemde informatiebron is het kenniscentrum, dat wordt (h)erkend als een intermediair tussen het scholenveld en de branche.

pagina 37



pagina 36


2. Resultaten kwalitatief onderzoek onder brancheorganisaties vervolg

Een ander vaak genoemd motief is dat respondenten het onderwijs zien als een onderdeel van de branche waar ze invloed op willen hebben. Daarnaast is gesteld dat alles meegenomen is, wat de school de branche aan kennis meegeeft. Dat scheelt gewoon erg veel geld. Weer een andere motief is dat het ‘gewoon leuk’ is om betrokken te zijn bij het onderwijs en de examinering. Volgens de respondenten hebben de werkgevers die betrokkenheid bij examinering ‘gewoon leuk’ vinden een onderwijshart. Ze voelen zich gewaardeerd door de school en leveren een wezenlijke bijdrage aan de ontwikkeling van jongeren. Het laatste motief is de informatievoorziening, die gepaard gaat met examinering. Mensen willen weten wat er gebeurt en wat er leeft. 2.6 Invloed van KCE Vertegenwoordigers van de beroepsbranches noemen het bestaan van KCE op zichzelf belangrijk. Zij zien KCE als een goede manier voor de branches om meer invloed te krijgen op de examinering in het mbo. De stelling, dat 3 jaar KCE heeft geleid tot een groter vertrouwen in het mbo-diploma, vinden de respondenten voorbarig. Zij vinden dat een dergelijke ontwikkeling meer tijd nodig heeft. Volgens een aantal respondenten is een belangrijk gevolg van de oprichting van KCE dat instellingen meer zijn gaan nadenken over de inrichting van hun examinering. Zij beoordelen deze ontwikkeling als bijzonder positief. Andere respondenten nemen bij instellingen een verschuiving in de aandacht van inhoud naar proces waar. Een ander effect dat respondenten zien als gevolg van de oprichting van KCE is het toegenomen gebruik van relatief goedkope multiple choice toetsen in plaats van de arbeidsintensievere praktijktoetsen. Over het algemeen zijn de respondenten tevreden dàt er een KCE is. Daarnaast geven zij aan, dat het na deze eerste jaren wel van belang is om duidelijker te maken, waar KCE nog meer voor staat dan het uitvoeren van de WEB en het toepassen van de kwaliteitsstandaarden in onderzoeken.

3.1 Inleiding Dit hoofdstuk behandelt de resultaten van het onderzoek naar de mate waarin bedrijven tevreden zijn over en betrokken zijn bij de examinering in het mbo. Aan het onderzoek, dat is uitgevoerd in de maanden mei en juni 2005, hebben 417 bedrijven uit verschillende branches deelgenomen.

Grafiek 6 biedt een overzicht van de gemiddelde beoordeling van de respondenten van verschillende aspecten van examinering, zoals de aansluiting op de praktijk, de voorspellende waarde van het examen en de organisatie van de examinering in het mbo. De grafiek laat zien dat bedrijven gemiddeld genomen het meest tevreden zijn over de wijze waarop de examinering is georganiseerd en het minst tevreden over de mate waarin de examinering aansluit op de praktijk.

3.2 Tevredenheid over het mbo-examen Het bedrijfsleven blijkt gematigd tevreden te zijn over het mbo-examen. Gemiddeld geven bedrijven een 6,4 als algemeen rapportcijfer voor het examen. Tegelijkertijd geven ze aan dat het vroeger niet veel beter of slechter was. Dit is te zien in Grafiek 5.

Grafiek 5: Gemiddeld algemeen oordeel over het mbo-examen van nu en vijf jaar geleden

pagina 39



pagina 38


3. Resultaten kwantitatief onderzoek onder bedrijven

Grafiek 6: Gemiddelde tevredenheid over vijf aspecten van het mbo-examen

Bij het MBO-examen wordt voldoende getoetst wat in de praktijk belangrijk is.

3,0

Wat is uw algemene oordeel over het MBOexamen op dit moment?

6,4

Bij het MBO-examen wordt voldoende getoetst wat iemand moet kunnen als starter.

3,2

Wat is uw algemene oordeel over het MBOexamen 5 jaar geleden?

6,4

Het MBO-examen geeft aan waartoe iemand in de toekomst in staat is.

3,0

Als je iemand met een MBOdiploma aanneemt, weet je wat je in huis haalt.

3,0

De examinering in het MBO is goed georganiseerd.

3,3

%

0

2

Zeer mee oneens

4

6

Neutraal

8

10

Zeer mee eens

%

0

1

Zeer mee oneens

2

3

Neutraal

Zoals Grafiek 6 laat zien, is het gemiddelde oordeel redelijk neutraal. Bedrijven zijn niet uitgesproken positief of negatief over het mbo-examen. Niettemin is er een behoorlijke marge voor verbetering: op vier van de vijf stellingen antwoordt 30 à 40% van de bedrijven dat er nog veel moet veranderen voordat het bedrijfsleven een uitgesproken positief beeld zal hebben van het mbo-examen. Wat opvalt, is dat bedrijven maar in beperkte mate weten over welk niveau een beginnende mbo’er beschikt. Juist op dat punt laat het vertrouwen in het mbo-diploma ruimte voor verbetering.

4

5

Zeer mee eens

Voor de bedrijven bestaat er een sterk verband tussen de waardering van de opleiding en die van het examen (correlatie 0,66). Uit een vergelijking tussen de cijfers van de algemene tevredenheid over het mbo-diploma en het algemene oordeel over het mbo-examen blijkt dat 56% van alle geënquêteerden over beide onderdelen een identiek oordeel geeft. De waardering voor het mbo-examen blijkt voor een groot deel te berusten op ervaring in de praktijk, want slechts een minderheid van de bedrijven heeft kennis van de inhoud van het examen: 57% weet niet of nauwelijks wat er in het examen wordt getoetst. Dat is in Figuur 3 te zien.

3.3 Visie op het mbo-examen Hoewel weinig bedrijven op de hoogte zijn van de inhoud van het examen, vindt de overgrote meerderheid dat het examen kan worden verbeterd. Slechts 6% van de respondenten is van mening dat er niets of nauwelijks iets verbeterd moet worden aan het mbo-examen. Dit is te zien in Figuur 4.

Figuur 3: Kennis over de inhoud van het examen

Ja, volledig op de hoogte

12%

Ja, enigszins

32%

Nauwelijks

22%

Nee, helemaal niet

34%

pagina 41



pagina 40


3. Resultaten kwantitatief onderzoek onder bedrijven vervolg

Figuur 4: Verbeteren van het examen. Vindt u dat het MBO-examen kan worden verbeterd? Ja, enigszins

48%

Nauwelijks

3%

Nee, helemaal niet

3%

Geen antwoord

13%

Ja, in sterke mate

33%

%

%

0

20

40

60

80

100

Van de bedrijven die hebben aangegeven dat ze (enigszins) op de hoogte zijn van de inhoud van het examen, krijgt het grootste deel de informatie via een deelnemer. De wijze waarop bedrijven geïnformeerd worden over de inhoud van het mbo-examen is te zien in Grafiek 7.

0

20

40

60

80

100

Bedrijven geven duidelijk aan op welk punt het examen moet worden verbeterd: er moet meer getoetst worden op praktijkvaardigheden. Ruim een kwart van de bedrijven benoemt andere verbeterpunten. Voor een deel bestaan die verbeterpunten uit aspecten zoals basishouding en zelfstandigheid, maar ook uit vaardigheden zoals communicatievaardigheden, hoofdrekenen of omgaan met klanten. 3% van de respondenten noemt een grotere betrokkenheid van de brancheorganisatie bij de inhoud van het mbo als belangrijkste verbeterpunt. Andere genoemde verbeterpunten zijn de vergroting van de praktijkgerichtheid van de opleiding, zoals meer stages en een verhoging van het niveau van de gehele opleiding. In Grafiek 8 staat een overzicht van de verkregen antwoorden. Grafiek 8: Verbeterpunten mbo-examen

Grafiek 7: Informatie over de inhoud van het mbo-examen

Meer toetsen op theorie en achtergrond Meer toetsen op praktijkvaardigheden

Via school

5% 53%

24% Meer toetsen op algemene kennis

Via vakblad Via leerling, stagiair/leerling en werknemer Via werknemersorganisatie (commissie?) Via werknemersorganisatie

Het examen moet zwaarder

1%

Het niveau is te laag

2%

Meer betrokkenheid van de werkgevers bij het examen

3%

Meer controle op de kwaliteit van het examen

2%

Meer betrokkenheid van de branchevereniging bij de inhoud van het examen

3%

Anders

26%

45% 5% 1%

Via het KBB

3%

Anders

15%

%

6%

5%

0

20

40

60

80

100 %

0

20

40

60

80

100

Opvallend is dat respondenten op de vraag naar verbeteringen in het examen veelal verbeteringen in de opleiding benoemen.

Grafiek 9 geeft weer dat ongeveer 10% van de bedrijven op de een of andere manier betrokken is bij examinering.

3.4 Overige resultaten Uit de resultaten van de interviews blijkt verder dat bedrijven die geïnformeerd zijn over de inhoud van het examen iets minder tevreden zijn over de mboopleiding, dan bedrijven die niet geïnformeerd zijn. Kennis van de inhoud van het examen leidt niet automatisch tot een hogere waardering van het mbodiploma. Het lijkt er eerder op dat bedrijven die minder kennis hebben van de inhoud van het examen tevredener zijn over de opleiding. Een voorzichtige conclusie luidt dat het algemene oordeel over het mbo-examen het meest het gevoel van het bedrijfsleven weergeeft. Bijna 70% geeft een 6 of 7 aan het examen. Deze uitkomsten komen sterk overeen met de uitkomsten van de vragen of het mbo-examen voldoende toetst wat in de praktijk belangrijk is, en of het mbo-examen voldoende toetst wat een beginnend beroepsbeoefenaar moet beheersen. Feitelijk beoordelen bedrijven de mbo-opleiding en het examen hoofdzakelijk op wat een leerling in de praktijk kan. Om de waardering van het bedrijfsleven voor het mbo-diploma te laten groeien, moet het onderwijs nog meer aansluiten bij de dagelijkse praktijk van het bedrijfsleven.

Grafiek 9: De mate van betrokkenheid bij examinering. Bent u op enige manier betrokken bij de examinering in het MBO of zou u dat willen?

Nee

11%

Nee, ik zou het ook niet willen

53%

Nee, maar wel geweest

2%

Nee, maar ik zou het wel willen

22%

Nee, maar ik zou wel willen onder bepaalde voorwaarden

2%

Ja, via deelname aan een (onderwijs)commissie

2%

Ja, ik adviseer bij het maken van examenvragen

4%

Ja, anders

3%

Geen antwoord %

Uit nadere analyse blijkt dat de bereidheid van een bedrijf om betrokken te zijn bij het mbo-examen bij erkende leerbedrijven iets groter is dan bij andere bedrijven. Tevens blijkt dat erkende leerbedrijven niet automatisch tevredener zijn over het mbo-diploma. Ook blijken erkende leerbedrijven niet over meer kennis van de examinering te beschikken dan andere bedrijven. Zo blijkt dat 56% van de erkende leerbedrijven niet bekend is met de inhoud van het mbo-examen.

1%

Ja, ik neem examens af

Op basis van de resultaten kan voorzichtig worden geconcludeerd dat meer kennis over de inhoud van het examen niet per se leidt tot een grotere tevredenheid over het mbo-diploma.

1% 0

pagina 43



pagina 42


3. Resultaten kwantitatief onderzoek onder bedrijven vervolg

20

40

Bijna tweederde van de bedrijven is niet betrokken bij de examinering in het mbo en heeft daar ook geen behoefte aan. Nadere analyse wijst uit dat juist de groep die blijk geeft van een betrokkenheid bij het examen kritischer is over de inhoud ervan: 52% van de respondenten die betrokken is of wil zijn bij de examinering vindt dat het examen in sterke mate verbeterd moet worden. Voor de totale groep ligt dat percentage op 33%. Een kritische houding lijkt dus samen te gaan met de wens nader betrokken te zijn bij het examen.

60

80

100

4.1 Inleiding In voorgaande hoofdstukken zijn per deelonderzoek conclusies getrokken. Dit hoofdstuk presenteert een aantal opvallende overeenkomsten en verschillen in de resultaten uit het onderzoek onder de beroepsbranches en het onderzoek onder de bedrijven. Daarbij komen de tevredenheid van brancheorganisaties en bedrijven over de kwaliteit van examinering en de betrokkenheid van bedrijven bij examinering aan bod.

4.3 Betrokkenheid Brancheorganisaties geven aan meer betrokken te willen zijn bij examinering, terwijl 3% van de bedrijven die zijn aangesloten bij een brancheorganisatie aangeeft dat hun brancheorganisatie meer betrokken zou moeten zijn. De bedrijven zien verbetering van de examinering vooral in het praktijkgericht maken van de examens (en de opleidingen). Ook de brancheorganisaties noemen een mogelijke verbetering van de inhoud van de examens (en de opleiding). Daarnaast geven brancheorganisaties aan in eerste instantie meer grip te willen krijgen op het examenproces om tot betere producten te komen. Zij beschikken nu over te weinig mogelijkheden om het proces te beïnvloeden.

4.2 Tevredenheid Een nadere beschouwing van de resultaten uit het kwalitatieve en kwantitatieve deelonderzoek geeft aan dat het gemiddelde oordeel van de brancheorganisaties over examinering in het mbo positiever is dan dat van de bedrijven, die gemiddeld slechts matig tevreden zijn. Dit heeft waarschijnlijk te maken met het gegeven dat de beleidsmedewerkers van de koepels en de brancheorganisaties veel dichter bij de inhoud van examinering staan. Brancheorganisaties zijn ook veel positiever over de waarde van het mbo-diploma als voorspeller van succes in een (loop)baan. Het grootste deel van de brancheorganisaties geeft aan dat een werkgever weet wat hij mag verwachten als hij iemand met een mbo-diploma aanneemt. Bij bedrijven ligt dat vertrouwen veel lager. Zij zien het mbo-diploma over het algemeen niet als een garantie dat zij een werknemer met de juiste kennis en vaardigheden in huis halen. De resultaten van de deelonderzoeken onder brancheorganisaties en bedrijven tonen weinig verschillen tussen de beroepsbranches. Regionale verschillen worden nauwelijks genoemd. Daarnaast blijkt dat zowel brancheorganisaties als bedrijven de inhoud van de opleiding grotendeels vereenzelvigen met de inhoud van het examen. Verder zijn brancheorganisaties en bedrijven eensgezind in hun mening dat de kwaliteit van de examinering de afgelopen jaren niet veel veranderd is. Met betrekking tot de invloed die KCE in de drie jaar van zijn bestaan op de kwaliteit van examinering heeft uitgeoefend, stellen de brancheorganisaties dat de bestaansperiode nog te kort is, om grote verbeteringen te kunnen verwachten. Een belangrijk effect dat brancheorganisaties wel signaleren is dat KCE instellingen meer heeft aangezet tot het nadenken over hun examinering. Dat, vinden zij, is bijzonder positief.

pagina 45



pagina 44


4. Overeenkomsten en verschillen

Tweederde van de beleidsmedewerkers van brancheorganisaties vindt dat meer betrokkenheid bij examinering leidt tot meer tevredenheid. De helft van de bedrijven wil echter niet betrokken zijn bij examinering. Verder vindt slechts 3% van de bedrijven dat door een grotere betrokkenheid van werkgevers bij het examen de kwaliteit van het mbo-examen verbetert. Bij de bedrijven lijkt, naast de 9% die nu betrokken is bij examinering, een groep van 24% te bestaan die betrokken zou willen zijn bij examinering. Wellicht doelen de beleidsmedewerkers van de brancheorganisaties op die bedrijven, als zij spreken over ‘werkgevers met een onderwijshart’. Juist deze bedrijven zouden in samenwerking met de instellingen een nieuwe impuls kunnen geven aan de betrokkenheid van het beroepenveld bij de examinering.

pagina 46


Geraadpleegde bronnen en noten

Bronnen

Commissie Arbeidsmarkt en Onderwijsbeleid, Beroepskwalificaties en domeinen in het mbo: twee kanten van dezelfde medaille. Advies aan bestuur Colo (2005). KCE-audit® 2004–2005, Amersfoort, (2004), KCE. Procesmanagement Herontwerp mbo aan de Bve Raad, Domeinen in het mbo: meer ruimte voor regio, leerling en school (2005). Rapport van Bevindingen 2003-2004, Amersfoort (2004), KCE. Wet van 11 maart 2004 tot wijziging van de Wet educatie en beroepsonderwijs en de Wet op het onderwijstoezicht met het oog op verbetering van de kwaliteit van examens van het beroepsonderwijs. In: Staatsblad 138 (2004), pp. 1-14. ’s-Gravenhage, SDU Uitgevers. Sikkel, prof. dr. D., Rapport steekproefopzet examens MBO (2005), Sixtat. Veldhoen & Westmeijer, Rapport onderzoek naar de betrokkenheid van het beroepenveld bij de Examinering (2005, druk in voorbereiding), Profiel Onderzoek. Cinop, Een dag zonder leren, is een verloren dag: Onderzoek Proeftuinen 2004–2005 (2005).

Noten

1

‘Minister’ of ‘ministerie’ in dit verslag verwijst steeds naar de ministers en ministeries van Onderwijs, Cultuur en Wetenschap (OCW), en Landbouw, Natuur en Voedselkwaliteit (LNV).

2

Onder ‘vakinstellingen’ worden hier ook drie instellingen gerekend, die wel bekostigd worden, maar niet zonder meer tot het type ROC, AOC of vakinstelling behoren.

3

Voor meer informatie over de proeftuinen, zie Cinop, Een dag zonder leren, is een verloren dag: Onderzoek Proeftuinen 2004–2005 (2005).

4

De domeinindeling van Colo staat beschreven in Beroepskwalificaties en domeinen in het mbo: twee kanten van dezelfde medaille (2005) van de Commissie Arbeidsmarkt en Onderwijsbeleid.

5

Westmeijer & Veldhoen, Rapport onderzoek naar de betrokkenheid van het beroepenveld bij de examinering (2005, druk in voorbereiding), Profiel Onderzoek.

Bijlagen

Overzicht van 131 instellingen die op peildatum 1-8-2004 onderzocht moesten worden in het studiejaar 2004–2005

Mbo-college Rens & Rens (O) Methusalem

A.S.O.P. Albeda College Alfa-College All Inn Kappers College (U) Amice Opleidingscentrum AOC Clusius College AOC de Groene Welle AOC Friesland AOC Helicon opleidingen AOC Limburg AOC Oost AOC Terra Avans hogeschool, Nova Knowledge BePro (U) Berechja College Best Alert Brabantse Kappers Academie (U) CIBAP Capabel Onderwijs Groep Da Vinci College De Bron De Lis de Mondriaan onderwijsgroep Deltion College Didactica Dirksen Opleidingen Drente College Edudelta Onderwijsgroep Eerste Nederlandse Particuliere Hoefsmeden Opleiding (O) Esthetica (U) EuroCollege Europrof Friesland College

Gelders Opleidingsinstituut GO opleidingen Graafschap College Grafisch Lyceum Amsterdam Grafisch Lyceum Rotterdam Grafisch Lyceum Utrecht Grafisch Opleidings Centrum Grafische School Eindhoven Groenhorst College

Hoeksche Kappersacademie (U) Hogeschool INHOLLAND Holland College Hoornbeeck College Horizon College Hout- en Meubileringscollege ID College IMKO Opleidingen (U) Instituut Broers Instituut De Vries-Kok (U) Instituut Kosmos (U) Instituut Notenboom Instituut Penso-Garmes (U) Instituut Schoevers Internationaal Opleidings Instituut Thomas IVS Opleidingen (U) Kappers College Limburg bv (U) Kappers Opleiding Doetinchem (U) Kappers Opleidingsschool (U) Kappersacademie (U) Kappersacademie Hair Point (U) Kapperscollege Maastricht (U) Kappersschool Opleidingsinstituut Van Wetten (U) Kennis- en ontwikkelcentrum Uiterlijke Verzorging Koning Willem I College Landstede LOI LSBL Services

pagina 49



pagina 48


Bijlage 1

Bijlagen

Nationale Handels Academie NBC Nederlandse Kappersakademie (U) Nederlandse Veiligheidsdienst Advies en Trainingscentrum bv Nimeto NIPA Eindhoven NIPA Noord Holland NOLOS (U) Noorderpoort College NTI OLC Learning bv (O) Opleidingsinstituut voor Politieen Beveiligingspersoneel

Savantis Onderwijsinstelling Scheepvaart en Transport College Scholengemeenschap Effatha Zoetermeer SintLucas SOMA-college Stichting GO Stichting Revalidatie Limburg Stichting VOC Studiecentrum Minerva SVO SVOZ SWZ TCI, exameninstelling Tio College Trent Professional Wellantcollege

Privé Coiffures Vakopleiding (U) Profit (O) RBA-4 Examenbank Regiocollege Zaanstreek Waterland ROC A12 ROC Arcus College ROC ASA ROC AVENTUS ROC Baronie College ROC de Brabantgroep ROC Eindhoven ROC Flevoland ROC Friese Poort ROC Gilde Opleidingen ROC Kop van Noord-Holland ROC Leeuwenborgh ROC Leiden ROC Midden Brabant ROC Midden Nederland ROC Nijmegen ROC Nova College ROC Rijn IJssel ROC Rivor ROC Ter AA ROC van Amsterdam ROC van Twente ROC West-Brabant ROC Westerschelde ROC Zeeland

Zadkine Zebra College (U)

U = examinering wordt uitbesteed. O = opleiding tussentijds opgegeven.

Innovam, Branchekwalificatie-Instituut IPC Groene Ruimte Kenniscentrum Handel Kenteq KOC Nederland

Domein 1: Het managen van het examen 1.1

LOB-HTV Merk Educatie

1.1.1

NBC

1.1.2

PTC+

1.1.3

RBA 4 Savantis SBW SH&M Stichting ECDL Nederland Stichting Owen Stichting Toets Centrum Intereducatief SVGB Intermediair tussen Branche en Onderwijs

1.1.4

VaPro VOC

1.2.1

1.2

1.3

1.3.1

1.3.2

De organisatie van de examinering Het bevoegd gezag waarborgt dat de organisatie van de examinering zodanig is ingericht dat de kwaliteitsdoelstellingen van de instelling ten aanzien van de examinering kunnen worden verwezenlijkt. De organisatie van de examinering is ingericht door of namens het bevoegd gezag. Er zijn één of meer (sub)examencommissies benoemd door of namens het bevoegd gezag. De betrokkenen bij de organisatie van de examinering zijn op de hoogte van hun bevoegdheden met de daaruit voortvloeiende verantwoordelijkheden en taken. De betrokkenen bij de organisatie van de examinering werken in overeenstemming met vastgestelde processen. Het beroepenveld Het bevoegd gezag waarborgt dat het beroepenveld betrokken wordt bij de inhoud en uitvoering van de examinering. Het bevoegd gezag waarborgt dat het beroepenveld betrokken wordt bij de inhoud en uitvoering van het examen. Examenregeling Het bevoegd gezag stelt een Onderwijs- en examenregeling (OER) vast die wat de examenregeling betreft in overeenstemming is met artikel 7.4.8. van de Wet educatie en beroepsonderwijs (WEB). Het bevoegd gezag heeft tijdig, vóór de aanvang van het studiejaar, een examenregeling als onderdeel van de OER vastgesteld. Het bevoegd gezag heeft een examenregeling vastgesteld die qua inhoud en publicatiedatum voldoet aan de eisen die de WEB daaraan stelt.

nee

Examenbank EbA Examenbank MOV Exameninstelling KBB Transport en Logistiek

ja

CBL, met toepassingsgebied supermarktbranche Consortium MCT/Citogroep

Overzicht van de resultaten instellingen 2004–2005 In deze bijlage staan de resultaten van de instellingen per standaard en indicator op kwalificatieniveau weergegeven. De kolom ‘n.v.t.’ geeft aan, op welk percentage opleidingen de desbetreffende indicator niet van toepassing was. De kolom ‘ja/nee’ geeft het percentage opleidingen weer, waarop de indicator wel van toepassing was. De percentages in de kolommen ‘ja’ en ‘nee’ geven de percentages aan van de opleidingen die respectievelijk wel of niet voldeden aan de indicator. De percentages in de kolom ‘n.v.t.’ zijn in de totaalscore meegeteld in de kolom ‘ja’. Door afrondingen naar hele procenten zijn de totalen overigens niet overal precies honderd.

ja/nee

Bouwradius

Bijlage 3

n.v.t.

Overzicht van de onderzochte leveranciers 2004

pagina 51

Bijlage 2



pagina 50


Bijlagen vervolg

0

100 95

5

0

100 95

5

0

100 86

14

0

100 62

38

0

100 74

26

0

100 95

5

0

100 98

2

1.5

1.5.1

1.5.2

1.5.3

1.6

1.6.1

1.6.2 1.6.3

Commissie van beroep voor de examens Het bevoegd gezag heeft, al dan niet in samenwerking met het bevoegd gezag van één of meer andere instellingen, een Commissie van Beroep voor de examens ingesteld, dan wel zich bij een dergelijke commissie aangesloten. De bevoegdheden met de daaruit voortvloeiende verantwoordelijkheden, taken en werkwijze, alsmede de samenstelling van de Commissie van Beroep zijn geregeld in overeenstemming met de artikelen 7.5.1, 7.5.2, 7.5.3 en 7.5.4 van de WEB. Het bevoegd gezag waarborgt dat er een beroepsprocedure aanwezig is en bekend kan zijn bij de deelnemers en betrokken medewerkers. De betrokken medewerkers werken overeenkomstig de vastgestelde beroepsprocedure. Sectorspecifieke standaarden en beroepsvereisten De instelling voldoet aan de sectorspecifieke KCE-standaarden en de beroepsvereisten vanuit andere wetgeving. De betrokken medewerkers zijn op de hoogte van de voor hen relevante sectorspecifieke standaarden en handelen in overeenstemming met deze standaarden. Het bevoegd gezag evalueert regelmatig de toepassing van de sectorspecifieke standaarden. Het bevoegd gezag evalueert regelmatig de toepassing van de beroepsvereisten vanuit andere wetgeving, zoals beschreven in artikel 7.2.6 in de WEB.

0

100 93

7

2.2

2.2.1

2.2.2 1

99

96

4

1

99

98

2

78

22

99

1

97

3

99

1

97

3

64

36

92

8

90

10

0

Contractsluiting Indien er sprake is van samenwerking, uitbesteding en/of inkoop, waarborgt het bevoegd gezag dat de afspraken met derden worden vastgelegd met betrekking tot: • uitbesteding van het examen; • inkoop van examenproducten en -diensten. Door of namens het bevoegd gezag worden de afspraken met derden inzake uitbesteding van het examen of inkoop van examenproducten en -diensten in de vorm van een contract vastgelegd. Door of namens het bevoegd gezag wordt regelmatig gecontroleerd of de overeengekomen prestatie is geleverd.

nee

2.1.1

6

ja/nee

pagina 53

nee

ja

100 94

Deskundigheid Het bevoegd gezag waarborgt dat de medewerkers die betrokken zijn bij de organisatie van de examinering over de nodige deskundigheid beschikken om hun taken ten aanzien van het examen naar behoren te kunnen verrichten. Het bevoegd gezag waarborgt de deskundigheid van de medewerkers die betrokken zijn bij de organisatie van de examinering en verbetert deze, indien noodzakelijk.

ja

1.4.2

0

2.1

Domein 2: Samenwerking, inkoop en uitbesteding

n.v.t.

1.4.1

Exameninformatie Het bevoegd gezag waarborgt dat de deelnemer zich tijdig een goed beeld kan vormen van de inhoud en inrichting van het examen. Door of namens het bevoegd gezag wordt de informatie verstrekt met betrekking tot de inhoud en inrichting van het examen in overeenstemming met de vastgestelde processen. Door of namens het bevoegd gezag wordt tijdig de informatie verstrekt aan deelnemers over de uitslagen van de toetsen, examenonderdelen en het examen, in overeenstemming met de vastgestelde processen.


1.4

ja/nee

Domein 1: Het managen van het examen vervolg


n.v.t.

pagina 52


Bijlagen vervolg

100 79

21

22

78

96

4

23

77

68

32

3.2.1

3.2.2

3.2.3

3.2.4

Toetsvaststelling Het bevoegd gezag waarborgt dat de kwaliteit van de examenproducten wordt beoordeeld en dat deze examenproducten voor gebruik vastgesteld worden. In het proces van toetsvaststelling bestaat een duidelijke scheiding in persoon tussen toetsconstructie en toetsvaststelling. In het proces van toetsvaststelling zijn door of namens het bevoegd gezag toetstechnische eisen opgenomen. De toetsvaststellingscommissie werkt overeenkomstig het vastgestelde proces voor toetsvaststelling. Door of namens het bevoegd gezag wordt regelmatig de toetstechnische kwaliteit van de toetsopdrachten geëvalueerd en worden de resultaten, indien nodig, gebruikt voor verbetering van het proces voor toetsvaststelling en de toetstechnische eisen.

pagina 55

nee

ja

69

3.4.2

31

14

86

84

16

14

86

27

73

3.5

3.5.1

3.5.2

14

86

86

14

14

86

71

29

3.6

3.6.1 14

86

50

50 3.6.2

16

84

29

71 3.6.3

3.3

3.3.1

3.3.2

Zorgvuldigheid bij het afnemen van het examen De examencommissie waarborgt dat het afnemen van het examen zorgvuldig geschiedt. De betrokken medewerkers werken overeenkomstig de door of namens het bevoegd gezag vastgestelde processen voor het afnemen van het examen. Door of namens het bevoegd gezag wordt regelmatig het afnemen van de examens geëvalueerd en worden, indien nodig, de hieruit resulterende gegevens gebruikt voor verbetering van de processen.

3.6.4

1

99

96

4

2

98

61

39

Examenresultaten Het bevoegd gezag waarborgt dat vastgestelde werkwijze voor het verwerken en publiceren van de examenresultaten gehanteerd worden. De betrokken medewerkers werken overeenkomstig de door of namens het bevoegd gezag vastgestelde werkwijze voor het analyseren van de examenresultaten en gebruiken de resultaten, indien nodig, voor verbetering van de examens. De betrokken medewerkers werken overeenkomstig de vastgestelde werkwijze voor het verwerken en publiceren van de examenresultaten. Diplomering en certificering De examencommissie waarborgt dat de uitreiking en de registratie van certificaten en diploma’s zorgvuldig en deugdelijk verloopt. De betrokken medewerkers werken overeenkomstig de door de examencommissie vastgestelde werkwijze voor de uitreiking en de registratie van certificaten en diploma’s. De betrokken medewerkers werken overeenkomstig de door de examencommissie vastgestelde werkwijze voor de verstrekking van certificaten en diploma’s op basis van vrijstellingen. De examencommissie evalueert regelmatig of de uitreiking van certificaten en diploma’s in overeenstemming is met de OER. De examencommissie gebruikt, indien nodig, de resultaten van de evaluatie voor verbetering van de werkwijze voor de uitreiking van certificaten en diploma’s.

nee

3.2

86

3.4.1

Zorgvuldigheid van de beoordeling Het bevoegd gezag waarborgt dat de beoordeling van het afgelegde examen zorgvuldig wordt uitgevoerd. De betrokken medewerkers werken overeenkomstig de door of namens het bevoegd gezag vastgestelde processen voor beoordeling. Door of namens het bevoegd gezag wordt regelmatig de beoordeling van de examens geëvalueerd en worden deze gegevens, indien nodig, gebruikt voor verbetering van de processen.

ja

3.1.3

14

3.4

ja/nee

3.1.2

Domein 3: Examenproces vervolg

n.v.t.

3.1.1

Toetsconstructie Bij de constructie van de examenproducten wordt gebruik gemaakt van door of namens het bevoegd gezag vastgestelde instrumenten, waardoor de relatie tussen de eindtermen en de examenproducten herleidbaar is. De betrokken medewerkers werken overeenkomstig het vastgestelde proces voor toetsconstructie. De betrokken medewerkers maken gebruik van vastgestelde instrumenten voor toetsconstructie waarmee de relatie tussen de inhoud van de toets en de eindtermen kan worden aangegeven. Door of namens het bevoegd gezag worden regelmatig de dekkingsgraad en de moeilijkheidsgraad van de toetsopdrachten geëvalueerd en worden de resultaten, indien nodig, gebruikt voor de verbetering van het proces en de instrumenten voor toetsconstructie.


3.1

ja/nee

Domein 3: Examenproces


n.v.t.

pagina 54


Bijlagen vervolg

1

99

93

7

2

98

29

71

3

97

18

82

1

99

84

16

1

99

98

2

1

99

95

5

1

99

79

21

4

96

74

26

4.1.4

4.2

4.2.1

4.3

4.3.1

4.3.2

4.3.3

4.3.4

Moeilijkheidsgraad Het bevoegd gezag waarborgt dat het niveau van het examen overeenkomt met het beheersingsniveau zoals aangegeven in de eindtermen. De toetsvorm past bij het beheersingsniveau zoals omschreven in de eindtermen en het niveau van de deelkwalificatie. Toetstechnische kwaliteit Het bevoegd gezag waarborgt dat de examenonderdelen voldoen aan de vastgestelde eisen met betrekking tot de toetstechnische kwaliteiten en de volledigheid. De examenonderdelen voldoen aan de toetstechnische kwaliteiten die een eenduidig en correct afnemen waarborgen. De examenonderdelen voldoen aan de toetstechnische kwaliteiten die een eenduidig en correct beoordelen waarborgen. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen verwant afnemen waarborgt. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen verwant beoordelen waarborgt.

48

52

73

27

50

50

73

27

43

57

73

27

61

39

5.2

5.2.1 5.2.2

73

27

57

43

73

27

70

30

73

27

30

70

73

27

54

46

73

27

30

70

ja/nee

pagina 57

nee

ja

27

nee

4.1.3

73

5.1.1

ja

4.1.2

5.1

Domein 5: Verantwoording

n.v.t.

4.1.1

Dekkingsgraad Het bevoegd gezag waarborgt dat ieder examenonderdeel inhoudelijk representatief is voor de eindtermen die behoren tot de betreffende deelkwalificatie. 100% van de eindtermen van de deelkwalificatie is beschreven in een overzicht. 75% van de eindtermen is uitgewerkt in de examentoetsen. De inhoud van de examentoets(en) komt overeen met de verdeling in het overzicht. De aangegeven relatie tussen vraag/opdracht van de examentoetsen en de eindterm(en) is correct.


4.1

ja/nee

Domein 4: Examenproducten


n.v.t.

pagina 56


Bijlagen vervolg

Tevredenheidsonderzoek Het bevoegd gezag waarborgt dat regelmatig de tevredenheid over het examen bij de deelnemers en het beroepenveld onderzocht wordt. Door of namens het bevoegd gezag worden regelmatig tevredenheidsonderzoeken bij de deelnemers en het beroepenveld uitgevoerd.

0

100 94

6

0

100 95

5

0

100 83

17

Verantwoording Het bevoegd gezag maakt jaarlijks in een openbaar verslag de uitkomsten bekend van de evaluatie en het voorgenomen beleid betreffende de examinering. Het bevoegd gezag voert jaarlijks een zelfevaluatie uit en publiceert hiervan de resultaten. De betrokkenheid van het beroepenveld bij het examen maakt deel uit van de zelfevaluatie.

Normering productaudit (domein 4) Deze bijlage beschrijft aan de hand van een voorbeeld de manier waarop KCE de resultaten van één of meer productaudits die deel uitmaken van dezelfde kwalificatie en leerweg (beroepsopleidend (BOL) of beroepsbegeleidend (BBL) omzet in een resultaat per kwalificatie en leerweg.

Bij de bepaling van het gewogen gemiddelde per deelkwalificatie worden de beoordelingen eerst omgezet in percentages. ‘Ja’ staat voor 100%, ‘Nee’ voor 0%. Zo levert indicator 4.3.1 van deelkwalificatie 1 in onderstaande tabel een resultaat op van 50%: ‘Ja’ (100%) en ‘Nee’ (0%) gedeeld door 2 is 50%.

Voorbeeld Tijdens de productaudit wordt kwalificatie A van leerweg BBL onderzocht. Kwalificatie A van leerweg BBL bestaat uit 10 deelkwalificaties, waarvan KCE er volgens de vastgestelde steekproefomvang twee uitkiest: deelkwalificatie 1 en deelkwalificatie 2. Deelkwalificatie 1 wordt door de onderwijsinstelling geëxamineerd via twee examenvarianten, BBL1 en BBL2. Voor deelkwalificatie 2 bestaat er één examenvariant, BBL3. Omdat KCE alle varianten van een deelkwalificatie onderzoekt, onderzoekt het voor kwalificatie A van leerweg BBL in totaal 3 examenvarianten. Tijdens de productaudit beoordeelt KCE iedere examenvariant aan de hand van de volgende standaarden (4.1-4.3) en indicatoren (4.1.1-4.3.4): Dekkingsgraad (4.1) 1. 100% van de eindtermen van de deelkwalificatie is beschreven in een overzicht (4.1.1); 2. Ten minste 75% van de eindtermen is uitgewerkt in de examentoetsen (4.1.2); 3. De inhoud van de examentoets(en) komt overeen met de verdeling in het overzicht (4.1.3); 4. De aangegeven relatie tussen vraag/opdracht van de examentoetsen en de eindterm(en) is correct (4.1.4). Moeilijkheidsgraad (4.2) 1. De toetsvorm past bij het beheersingsniveau zoals omschreven in de eindtermen en het niveau van de deelkwalificatie (4.2.1). Toetskwaliteit (4.3) 1. De examenonderdelen voldoen aan de toetstechnische kwaliteiten die een eenduidig en correct afnemen waarborgen (4.3.1); 2. De examenonderdelen voldoen aan de toetstechnische kwaliteiten die een eenduidig en correct beoordelen waarborgen (4.3.2); 3. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen verwant afnemen waarborgt (4.3.3); 4. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen verwant beoordelen waarborgt (4.3.4). Voor het studiejaar 2004–2005 is de norm vastgesteld op 70%. Dat betekent dat 70% van de indicatoren voor elk domein moet voldoen. Voor domein 4 geldt dat het gewogen gemiddelde van de kwalificatie 70% of hoger moet zijn.

pagina 59



pagina 58


Bijlage 4

Bijlagen vervolg

Gemiddelde deelkwalificatie 1 Indicator 4.1.3 4.1.4 4.2.1 4.3.1 4.3.2 4.3.3 4.3.4

BBL1 Ja 100% 100% Ja Ja Ja Ja

BBL2 Ja 60% 50% Nee Nee Ja Ja

Gemiddelde 100% 80% 75% 50% 50% 100% 100%

De indicatoren 4.1.1 en 4.1.2 vragen een aparte behandeling, omdat zij als resultaat van de beoordeling een percentage aangeven. Indicator 4.1.1. heeft een absolute norm van 100%: de indicator voldoet wel, of hij voldoet niet. Op grond daarvan voldoet examenvariant BBL1 met een score van 100% wel aan de norm en examenvariant BBL2 met een score van 60% niet.

Nu kan ook voor deze indicator het gemiddelde worden berekend: Indicator 4.1.1

BBL1 Ja

BBL2 Nee

Gemiddelde 50%

Indicator 4.1.2 hanteert een norm van 75%. Omdat hier geen sprake is van een absolute norm is directe middeling wel mogelijk: Indicator 4.1.2

BBL1 100%

BBL2 50%

Gemiddelde 75%

Omdat deelkwalificatie 2 uit één examenvariant (BBL3) bestaat, hoeven de resultaten daarvan niet te worden gemiddeld. ‘Ja’ en ‘nee’ kunnen ineens worden omgezet in percentages.

De resultaten van deelkwalificatie 1 en 2 zijn: Indicator 4.1.1 4.1.2 4.1.3 4.1.4 4.2.1 4.3.1 4.3.2 4.3.3 4.3.4

Deelkwalificatie 1 (gemiddelde BBL1 & BBL2) 50% 75% 100% 80% 75% 50% 50% 100% 100%

Deelkwalificatie 2 (resultaten BBL3) 100% 75% 0% 100% 80% 100% 100% 100% 0%

50% 100% 80% 75% 50% 50% 100% 100%

Voldoet Voldoet niet Voldoet Voldoet Voldoet Voldoet Voldoet Voldoet niet

100% 0% 100% 80% 100% 100% 100% 0%

75% 50% 90% 78% 75% 75% 100% 50%

Domein 1: Het managen van het examen 1.1

1.1.1

pagina 61

1.1.2 Voor indicator 4.1.2 geldt een norm van 75%. Indien overigens één van de deelkwalificaties niet voldoet aan de norm, dan is het resultaat ‘ Voldoet niet’. Indicator 4.1.2

Deelkwalificatie 1 75% (≥ 75% voldoet)

Deelkwalificatie 2 75% (≥ 75% voldoet)

Resultaat Voldoet

Domein 4 bestaat uit negen indicatoren. Iedere indicator levert een bijdrage van 11,1% aan de gemiddelde score. Indien indicator 4.1.2 voldoet, dan levert dat 11,1% op. Bij niet voldoen is het resultaat 0%. Het gewogen gemiddelde van de kwalificatie bestaat uit het gemiddelde van indicator 4.1.1 en de indicatoren 4.1.3 tot en met 4.3.4, gedeeld door 9 en vermeerderd met het percentage van indicator 4.1.2.

1.1.3

1.2

1.2.1

1.3 De score van kwalificatie A is dus: 1.3.1 4.1.1 75%

4.1.3 50%

4.1.4 90%

4.2.1 78%

4.3.1 75%

4.3.2 75%

4.3.3 100%

4.3.4 50%

Gemiddeld: 65,9% Omdat indicator 4.1.2 voor kwalificatie A voldoet, wordt daar 11,1% bij opgeteld. Het eindresultaat van kwalificatie A is dus 65,9% + 11,1% = 77%. Omdat het eindresultaat van kwalificatie A boven de 70% ligt, voldoet de kwalificatie aan de norm voor Domein 4.

De organisatie van de examinering: De leverancier heeft de organisatie van de examinering zodanig ingericht dat de kwaliteitsdoelstellingen van de instelling ten aanzien van de examinering kunnen worden verwezenlijkt. Door of namens de leverancier is de organisatie van de examinering ingericht. De betrokkenen bij de organisatie van de examinering zijn op de hoogte van hun bevoegdheden met de daaruit voortvloeiende verantwoordelijkheden en taken. De betrokkenen bij de organisatie van de examinering werken in overeenstemming met vastgestelde processen. Het beroepenveld: De leverancier waarborgt dat het beroepenveld betrokken wordt bij de inhoud en uitvoering van de examinering. De leverancier waarborgt dat het beroepenveld betrokken is bij de inhoud en uitvoering van de examinering. Documenten: De leverancier heeft de organisatie van de examinering in documenten vastgelegd. De leverancier heeft de volgende documenten vastgesteld: • een document dat toetsplannen bevat, (profielen A en C) • een document dat toetsmatrijzen bevat, (profielen A en C) • een kwaliteitshandboek, (profielen A, B en C)

nee

4.1.1 4.1.3 4.1.4 4.2.1 4.3.1 4.3.2 4.3.3 4.3.4

deels

Resultaat

ja

DeelDeelGemiddelde kwalificatie 1 kwalificatie 2

Overzicht van de resultaten leveranciers 2004 In deze bijlage staan de resultaten van de leveranciers per standaard en indicator weergegeven. De kolom ‘n.v.t.’ geeft aan, op welk percentage leveranciers de desbetreffende indicator niet van toepassing was. De kolom ‘ja/nee’ geeft het percentage weer, waarop de indicator wel van toepassing was. De percentages in de kolommen ‘ja’, ‘deels’ en ‘nee’ geven de percentages aan van de leveranciers die respectievelijk wel, deels of niet voldeden aan de indicator. Door afrondingen naar hele procenten zijn de totalen overigens niet overal precies honderd.

ja/nee

Indicator

Bijlage 5

0

100 76

24

0

0

100 80

12

8

0

100 84

4

12

0

100 76

24

0

0

100 84

12

4

n.v.t.

Gemiddelde kwalificatie A



De resultaten voor kwalificatie A worden bepaald door de resultaten van het onderzoek van deelkwalificatie 1 en 2 te middelen. Dit gebeurt door het gemiddelde te nemen van de indicator 4.1.1 en de indicatoren 4.1.3 tot en met 4.3.4. Het gemiddelde per indicator dient te voldoen aan de norm van 70% die KCE hanteert voor het studiejaar 2004–2005.

pagina 60


Bijlagen vervolg

5

18

4

100

0

0

nee

Domein 2: Deskundigheid en levering

96

deels

1.7.1

Sectorspecifieke standaarden: De instelling voldoet aan de sectorspecifieke KCE-standaarden. De leverancier is op de hoogte van de voor hem relevante sectorspecifieke standaarden en handelt in overeenstemming met deze standaarden.

ja

1.7

ja/nee

3.1.3

3.2

3.2.1 3.2.2

2.1

2.1.1

2.2

2.2.1

Deskundigheid: De leverancier waarborgt dat de medewerkers die betrokken zijn bij de organisatie van de examinering over de nodige deskundigheid beschikken. De leverancier onderneemt planmatig actie om de deskundigheid van de medewerkers te bewaken en, indien noodzakelijk, te verbeteren met het oog op de toekomst.

3.2.3 3.2.4 0

Contractsluiting: De leverancier legt afspraken met de instelling vast met betrekking tot de levering van de examenproducten en -afname. De leverancier legt de afspraken met de instelling met betrekking tot de levering van examenproducten en -afname vast in de vorm van een contract. 4

100 60

36

4

3.3

3.3.1 96

75

21

4 3.3.2

Toetsvaststelling: De leverancier beoordeelt de kwaliteit van de examenproducten en stelt deze voor gebruik vast. Er bestaat een duidelijke scheiding tussen toetsconstructie en toetsvaststelling. In het proces van toetsvaststelling zijn door de examencommissie vastgestelde - door het bevoegd gezag goedgekeurde - toetstechnische eisen opgenomen. De examencommissie werkt overeenkomstig het vastgestelde proces voor toetsvaststelling. De leverancier evalueert regelmatig de toetstechnische kwaliteit van de toetsopdrachten en gebruikt de resultaten, indien nodig, voor verbetering van het proces voor toetsvaststelling en de toetstechnische eisen. Betrouwbaarheid van het afnemen van het examen: De leverancier waarborgt dat het afnemen van het examen betrouwbaar geschiedt. De betrokken medewerkers werken overeenkomstig de vastgestelde instructies voor het afnemen van het examen. De leverancier evalueert regelmatig het afnemen van de examens en gebruikt, indien nodig, de hieruit resulterende gegevens voor verbetering van de instructies.

nee

3.1.2

deels

3.1.1

Toetsconstructie: Tijdens de constructie van de examenproducten wordt gebruik gemaakt van vastgestelde instrumenten, waardoor de relatie tussen de eindtermen en de examenproducten herleidbaar is. De betrokken medewerkers werken overeenkomstig het vastgestelde proces voor toetsconstructie. De betrokken medewerkers maken gebruik van de door de examencommissie vastgestelde toetsplannen en -matrijzen. De examencommissie evalueert regelmatig de dekkingsgraad en de moeilijkheidsgraad van de toetsopdrachten en gebruikt de resultaten, indien nodig, voor de verbetering van het proces en de instrumenten voor toetsconstructie.

ja

pagina 63

deels

ja

ja/nee

nee

12

3.1

ja/nee

1.6.2

12

Domein 3: Examenproces

n.v.t.

1.6.1

Klachtenprocedure: De leverancier heeft - al dan niet in samenwerking met andere organisaties - een klachtencommissie, dan wel zich bij een dergelijke commissie aangesloten. De leverancier draagt er zorg voor dat een klachtenprocedure aanwezig is en bekend is bij de instellingen. 0 100 76 De leverancier draagt er zorg voor dat een klachtenprocedure aanwezig is en bekend is bij de instellingen. 12 88 77


1.6

n.v.t.

Domein 1: Het managen van het examen vervolg


n.v.t.

pagina 62


Bijlagen vervolg

4

96

71

29

0

4

96

88

13

0

4

96

33

46

21

4

96

79

21

0

4

96

79

8

13

4

96

71

25

4

8

92

52

22

26

36

64

81

13

6

40

60

73

13

13

20 4.3

3.5

3.5.1

3.5.2

Examenresultaten: De leverancier hanteert een vastgestelde en goedgekeurde werkwijze voor het verwerken en distribueren van de examenresultaten. De betrokken medewerkers werken overeenkomstig de vastgestelde werkwijze voor het verwerken en distribueren van de examenresultaten. De betrokken medewerkers werken overeenkomstig de vastgestelde werkwijze voor het analyseren van de examenresultaten en gebruiken de resultaten, indien nodig, voor verbetering van de examens.

4.3.1 44

56

71

7

21 4.3.2

48

52

77

8

15

4.1

4.1.1

4.1.2 4.1.3 4.1.4 4.1.5

Dekkingsgraad: De leverancier waarborgt dat ieder examenonderdeel inhoudelijk representatief is voor de eindtermen waaruit de deelkwalificatie bestaat door de toetsopdrachten en beoordelingscriteria te richten op de eindtermen van die deelkwalificatie. 100 procent van de eindtermen van de deelkwalificatie is uitgewerkt in het toetsplan. Of – indien de leverancier geen complete deelkwalificatie aanbiedt – worden bovenstaande indicatoren 4.1.1 en 4.1.2 vervangen door: 100 procent van de door de leverancier in de toetsmatrijs aangegeven eindtermen zijn uitgewerkt in de examentoetsen. 16 Ten minste 75 procent van de eindtermen is uitgewerkt in de examentoetsen. 16 De inhoud van de toetsmatrijs/toetsmatrijzen komt overeen met het toetsplan. 16 De inhoud van de examentoets(en) komt overeen met de verdeling volgens de toetsmatrijs/toetsmatrijzen. 16 In de examentoets(en) is de per vraag/opdracht aangegeven relatie met de eindterm(en) correct. 16

4.3.4

norm

nee

ja

Domein 4: Examenproducten

ja/nee

In de tabel van Domein 4 is een kolom ‘norm’ toegevoegd, waarin het percentage leveranciers is opgenomen, dat aan de norm voldoet. Bij indicator 4.1.1 is de norm 100%, bij indicator 4.1.2 is deze 75%. Voor de overige indicatoren geldt 70%.

4.3.3

5.1

5.1.1

5.2

5.2.1 84

78

22

19 5.2.2

84

80

20

81

84

78

22

81

84

71

29

52

84

78

22

76

norm

0

16

84

78

22

76

16

84

81

19

76

16

84

78

22

71

16

84

81

19

81

16

84

76

24

62

Toetskwaliteit: De examencommissie waarborgt dat de examenonderdelen voldoen aan de vastgestelde eisen met betrekking tot de toetstechnische kwaliteiten en de volledigheid. De examenonderdelen voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct afnemen waarborgen. De examenonderdelen voldoen aan de bij de gekozen toetsvorm passende toetstechnische kwaliteiten die een eenduidig en correct beoordelen waarborgen. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen verwant afnemen waarborgt. De examenonderdelen bevatten informatie die een eenduidig, correct en aan de eindtermen gerelateerd beoordelen waarborgt.

Domein 5: Verantwoording Tevredenheidsonderzoek: De leverancier onderzoekt regelmatig de tevredenheid over de examenproducten en -afname De leverancier voert regelmatig tevredenheidsonderzoeken uit over de examenproducten en -afname bij de instellingen en het beroepenveld.

0

Verantwoording: De leverancier maakt jaarlijks in een openbaar verslag de uitkomsten bekend van de evaluatie en het voorgenomen beleid betreffende de examinering. De leverancier voert jaarlijks een managementreview uit en publiceert de resultaten in een verslag. 0 De betrokkenheid van het beroepenveld is een vast onderdeel in het jaarlijkse verslag. 0

nee

80

nee

60

deels

40

4.2.1

ja

0

ja

13

ja/nee

87

Moeilijkheidsgraad: De examencommissie waarborgt dat het niveau van het examen overeenkomt met het niveau zoals aangegeven in de eindtermen. De toetsvorm past bij het beheersingsniveau zoals omschreven in de eindtermen en het niveau van de deelkwalificatie.

ja/nee

60

pagina 65

nee

deels

ja

ja/nee

40

n.v.t.

3.4.2

4.2

Domein 4: Examenproducten vervolg

n.v.t.

3.4.1

Betrouwbaarheid van de beoordeling: De leverancier waarborgt dat de beoordeling van het afgelegde examen betrouwbaar wordt uitgevoerd. De betrokken medewerkers werken overeenkomstig de vastgestelde instructies voor beoordeling. De leverancier evalueert regelmatig de beoordeling van de examens en gebruikt deze gegevens, indien nodig, voor verbetering van de instructies.


3.4

n.v.t.

Domein 3: Examenproces vervolg


n.v.t.

pagina 64


Bijlagen vervolg

100 32

40

28

100 36

28

36

100 20

12

68

Begrippenkader Beheersingsniveau De in een eindterm beschreven mate van beheersing van kennis, attitude en/of vaardigheden.

Diploma Een door een examencommissie uitgereikt bewijsstuk dat het examen met goed gevolg is afgelegd (zie WEB art. 7.4.6.).

Eindtermen Omschreven kwaliteiten op het gebied Beroepenveld van kennis, inzicht, vaardigheden Vertegenwoordigers van de branches en in voorkomende gevallen beroepsvan regionale, sectorale en/of landelijke organisaties van werkgevers houdingen, waarover degene die de opleiding voltooit met het oog op en/of werknemers. het maatschappelijk en beroepsmatig functioneren dient te beschikken, en Beroepsopleiding die in voorkomende gevallen betekenis De in het Centraal Register Beroepshebben voor de doorstroming naar opleidingen opgenomen opleidingen. vervolgonderwijs (zie WEB art. 7.1.3.). Commissie van Beroep voor de Examen examens Omvat een onderzoek naar de kennis, Een door het bevoegd gezag van het inzicht, de vaardigheden en in een instelling of exameninstelling, voorkomende gevallen, de beroepsal dan niet in samenwerking met een of meer bevoegde gezagsorganen houdingen die de deelnemer zich bij voltooiing van de opleiding eigen van andere instellingen, ingestelde moet hebben gemaakt, alsmede de onafhankelijke Commissie van Beroep voor het examen. Beslissingen beoordeling van de uitkomsten van dat onderzoek aan de hand van de van de examencommissie of van eindtermen. Het examen van een de examinatoren kunnen worden beroepsopleiding is met gunstig gevolg onderworpen aan het oordeel van afgelegd, indien alle examenonderdelen een Commissie van Beroep voor van die opleiding met gunstig gevolg het examen (zie WEB art. 7.5.1.). zijn afgelegd ( zie WEB art. 7.4.2-7.4.3). Deelnemer Examencommissie Een deelnemer is een persoon, Een door het bevoegd gezag van een die zich met het oog op het gebruik instelling of exameninstelling, al dan van de onderwijsvoorzieningen laat inschrijven bij een onderwijsinstelling niet in samenwerking met een of meer bevoegde gezagsorganen van andere (zie WEB art 8.1.1). instellingen, ingesteld orgaan ten behoeve van de organisatie en het Dekkingsgraad afnemen van de examens voor elke De mate waarin de eindtermen door de instelling verzorgde opleiding gedekt worden door het geheel of voor groepen van opleidingen. van toetsopdrachten behorende bij een deelkwalificatie. De examencommissie kan vrijstelling van het afleggen van een of meer Deugdelijkheid toetsen en examenonderdelen verlenen. De mate waarin de vormgeving van De examencommissie stelt, met een bepaald proces aan de hiervoor inachtneming van de Onderwijs- en geldende kwaliteitscriteria voldoet. examenregeling (OER), regels vast met betrekking tot de goede gang van zaken tijdens het afnemen van de toetsen, het examen of de examenonderdelen. De examencommissie kan de taken mandateren, doch blijft verantwoordelijk.

pagina 67

Bijlage 6



pagina 66


Bijlagen vervolg

Exameninformatie De door of namens het bevoegd gezag tijdig en vóór de aanvang van de opleiding gegeven informatie, die zodanig is vormgegeven dat de aanstaande deelnemer zich een goed beeld kan vormen van de inhoud en inrichting van de examens en de Onderwijs- en examenregeling (OER), evenals de informatie die de deelnemer nodig heeft voor een goede voorbereiding op een examentoets. Examentoets(en) Toetsopdracht(en) met de daarbij behorende examenproducten die onderdeel uitmaken van het examen. Exameninstelling Een exameninstelling voert het examen in opdracht van een onderwijsinstelling uit. Het gaat om een geclausuleerd recht. De onderwijsinstelling blijft, uit oogpunt van bescherming van de deelnemer, te allen tijde verantwoordelijk voor de uitgifte van het diploma of het certificaat. Het gaat om een vrijwillige of verplichte uitbesteding. Op het moment dat de onderwijsinstelling voor één of meer kwalificaties geen examenlicentie meer heeft, is er sprake van een verplichte uitbesteding. Indien een onderwijsinstelling, ondanks de examenlicentie, de examinering voor één of meer kwalificaties niet wil uitvoeren en deze uitbesteedt, is er sprake van een vrijwillige uitbesteding. Een exameninstelling heeft bij uitbesteding de bevoegdheid tot vaststelling van: • de examenregeling • de examenprocedure • de examenorganisatie • de examentoetsen • de afnamecondities • de beoordelingswijze • de uitslag van het examen.

Examenonderdeel Het geheel van examentoetsen waarmee een deelkwalificatie wordt afgesloten. Examenorganisatie Een zodanig geregeld geheel van personen betrokken bij examinering dat de doelstellingen van de instelling ten aanzien van examinering kunnen worden verwezenlijkt. Examenproducten Documenten die noodzakelijk zijn voor het in samenhang opstellen, afnemen en beoordelen van het examen of van de examenonderdelen. Examenproducten zijn bijvoorbeeld: • het toetsplan, • de toetsmatrijs, • de toetsopdracht aan de deelnemer inclusief instructie, • informatie over hulpmiddelen en beschikbare tijd, • de instructies voor afname van het bij de toetsopdracht behorend antwoordmodel, • de cesuur en de normering, • de instructie aan de beoordelaar, • de EVC-procedures, • de portfolio instructies, • de proeve van bekwaamheid, • het service document. Examinering Het uitoefenen van de bevoegdheden met betrekking tot beslissingen omtrent de inhoud en het niveau van examens van een beroepsopleiding, dan wel van de afzonderlijke leerwegen, in relatie tot de eindtermen, procedures en voorwaarden waaronder examens worden afgenomen, alsmede de bevoegdheid de uitslag van het examen vast te stellen. Inkoop van delen van het examen Het inkopen van examenproducten en of -afname voor een deel van het examen. De verantwoordelijkheid berust in zijn geheel bij het bevoegd gezag van de instelling die inkoopt.

pagina 68


Bijlagen vervolg

�� Instelling�� Uitbesteding Hieronder vallen: Het vrijwillig of verplicht uitbeste� opleidingencentra, �� den van de verantwoordelijkheid • regionale � opleidingencentra �� • regionale voor het examen van een of meer� in een �samenwerkingsverband, �� dere kwalificaties aan een instelling � �� • agrarische opleidingscentra, die wettelijk bevoegd is het � �� • niet uit� ’s Rijks kas bekostigde examen voor deze kwalificatie(s)� � �� instellingen, te organiseren en uit te voeren. � � �� • vakinstellingen, � �� • instellingen van een bepaalde Vrijstelling � �� richting. Een bewijs dat de deelnemer �� voldoet aan de eindtermen van�� Moeilijkheidsgraad een deelkwalificatie op basis van � �� De mate �waarin het beheersingsdocumentatie of EVC-procedure. � het geheel van toets� �� niveau van � behorend bij een �� opdrachten Zelfevaluatie examentoets overeenkomt met het Het systematisch verzamelen en � beheersingsniveau beschreven in �� vervolgens beoordelen van inform� �� de bijbehorende eindtermen. atie over de eigen examinering � �� binnen een school of instelling.�� en examenregeling (OER)�� OnderwijsEen door� of namens het bevoegd �� elke door de instelling � �� gezag voor � opleiding opgestelde �� verzorgde �� regeling,� met daarin de beschrijving� �� van de belangrijkste kenmerken van�� een opleiding, waaronder de toetsing en examinering. Samenwerking Er is sprake van samenwerking als �� instellingen gezamenlijk werken aan�� (een deel� van) de examentaken. � �� Toetsconstructie � �� Het ontwikkelen van examen� op basis van alle eind- �� producten � de deelkwalificatie. �� termen van � �� Toetsopdracht � opdracht(en) of werkwijze �� De vragen, � deelnemer worden voor-�� die aan een gelegd om te komen tot certificering. � �� NB: het betreft hier alle mogelijke �� examenvormen inclusief portfolio �� en EVC-procedures. � ��

��

��

��

��

��

��

��

��

��

�

��

��

��

�

��

Examenverslag KCE pagina 1. Examenverslag KCE examenverslag mbo

Recommend Documents