LANDSTEDE ONDERZOEK NAAR KWALITEITSVERBETERING EXAMINERING

LANDSTEDE ONDERZOEK NAAR KWALITEITSVERBETERING EXAMINERING 2007-2008

Amersfoort, juni 2008

Onderzoek naar kwaliteitsverbetering examinering Landstede 2007-2008 p.2 van 17

VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van examinering dat op 18 april plaatsvond bij Landstede. Het rapport is vastgesteld op 27 juni 2008. Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm.



INHOUDSOPGAVE SAMENVATTING 7 1

INLEIDING 9

2

KWALITEIT EXAMINERING BIJ LANDSTEDE HARDERWIJK A 11

3

CONCLUSIES 15 BIJLAGE 1: STANDAARDEN EN NORMERING 17



SAMENVATTING Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van de examinering van opleidingen waarvan eerder was vastgesteld, dat deze onvoldoende was. Tijdens het onderzoek bij Landstede waren het beoordelingskader en de normering van het Toezichtkader 2007-2008 van toepassing. Het onderzoek naar kwaliteitsverbetering van de examens bij Landstede vond plaats op 18 april 2008. De examinering van de volgende opleiding, heronderzocht na een verlengde verbetertermijn, is van onvoldoende kwaliteit: • Telecom ICT Engineer (10926) BOL. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. Van deze constatering van onvoldoende kwaliteit wordt melding gemaakt aan de minister van OCW. De examinering van de volgende opleiding is van voldoende kwaliteit: • Tegelzetter (10151) BBL Bij deze opleiding vindt geen nader onderzoek plaats. De opleiding kan overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden.



1

INLEIDING

De inspectie van het onderwijs voert onderzoek uit naar de kwaliteit van de examinering 2007-2008. Hierbij is sprake van de onderstaande onderzoeken met separate rapporten. a. Het heronderzoek bij de categorie van 285 opleidingen: • waarvan de examenkwaliteit 2005-2006 als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); • en waarvoor de staatssecretaris een voorgenomen besluit of verlengde verbetertijd heeft gegeven vanwege de onvoldoende examenkwaliteit 2005-2006; • en waarvan de examenkwaliteit 2006-2007 door de inspectie als onvoldoende is beoordeeld. b. Het onderzoek naar kwaliteitsverbetering bij de categorie opleidingen: • waarvan de examenkwaliteit 2005-2006 als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); • en waarvoor de staatssecretaris een waarschuwing heeft gegeven vanwege de onvoldoende examenkwaliteit 2005-2006. Op grond van de brief van de staatssecretaris d.d. 6 september 2007 is van deze categorie opleidingen het eerdere onderzoek naar de examinering 2006-2007 stopgezet en heeft de inspectie geen herbeoordeling van de examenkwaliteit 2006-2007 uitgevoerd. Bij deze opleidingen heeft de inspectie thans een onderzoek naar de examenkwaliteit 2007-2008 uitgevoerd. De staatssecretaris heeft voor deze groep opleidingen bepaald dat bij onvoldoende examenkwaliteit nogmaals een verbetertijd van een jaar geboden wordt. c. Het onderzoek bij een aselecte steekproef van overige opleidingen. Dit betreft een nulmeting. Van resultaten van dit onderzoek ontvangt de instelling een separaat rapport. Dit rapport heeft uitsluitend betrekking op de onder ad b. genoemde categorie opleidingen. Het onderzoek naar kwaliteitsverbetering van deze opleidingen is uitgevoerd in de periode april en mei 2008. In dit onderzoek betreft dit de opleiding(en): Crebo

Naam opleiding

Leerweg

Deelkwalificatie(s)

10151

Tegelzetter

BBL

Eigen product: 50562 Inkoop: 50631, 50632 Eigen product: 50849, 50858,

BBL 10926

Telecom ICT engineer (MK-

BOL

Exameneenheid en locatie Harderwijk A

Harderwijk A


Tel/ICT)

50859, 50860, 53263

Tijdens dit onderzoek waren de standaarden en de normering van het Toezichtkader examinering BVE 2007-2008 van toepassing. Opzet onderzoek naar kwaliteitsverbetering Uitgangspunt voor het onderzoek was de zelfbeoordeling van de instelling over de examenkwaliteit van de te onderzoeken opleidingen. Daarnaast vormden de bevindingen uit het onderzoek naar de kwaliteit van het exameninstrumentarium een belangrijke informatiebron. Er vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werden de voorlopige resultaten uit het onderzoek naar het exameninstrumentarium doorgenomen en werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur.


2

KWALITEIT EXAMINERING BIJ LANDSTEDE HARDERWIJK A

Vertrouwen beroepenveld

Tevredenheid deelnemer

Deskundigheid betrokkenen

Instrumentarium: uitstroomeisen

Instrumentarium: toetstechnisch

Transparantie processen

Borging processen

Wettelijke vereisten

1

2

3

4

5

6

7

8

Standaard

2.1. Beoordeling opleidingen bij Harderwijk A

V V

V V

V V

10151 Tegelzetter BBL V V 10926 Telecom ICT engineer (MKV V Tel/ICT) BOL O = onvoldoende/ V = voldoende/ G = goed

V O

V O

V O

2.2 Beschouwing Algemeen beeld De examinering van de opleiding Tegelzetter is van voldoende kwaliteit. Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. De examinering van de opleiding Telecom ICT engineer is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. De deskundigheid van toetsconstructeurs, vaststellers en beoordelaars is onvoldoende.


Toelichting beoordeling exameninstrumentarium Deelkwalificaties 50631 en 50632 worden ingekocht bij een door KCE erkende leverancier. De exameninstrumenten voldoen daarmee aan de gestelde eisen.

50562 Maatschappelijk culturele vorming A O = onvoldoende/ V = voldoende/ G = goed

Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen

4.

5.

Standaard

Beoordeling exameninstrumentarium Tegelzetter 10151 BBL

V

V

Het exameninstrumentarium van de deelkwalificatie Maatschappelijke culturele vorming A voldoet aan de inhoudelijke uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift is correct en volledig.


50849 Maatschappelijk culturele vorming 50858 Doorstroom HBO elektrotechniek 50859 Algemene vaardigheden middenkaderfunctionaris elektrotechniek 50860 Basisvaardigheden informatietechniek 53263 Onderhoud en beheer netwerken 4 O = onvoldoende/ V = voldoende/ G = goed

Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen

4.

5.

Standaard

Beoordeling exameninstrumentarium Telecom ICT engineer (MK-Tel/ICT)10926 BOL

V V

V V

V

V

V O

V O

Het exameninstrumentarium van de vier eerstgenoemde deelkwalificaties voldoet aan de uitstroomeisen. De inhoud en de toetsvorm van de toetsen passen bij de eindtermen. De cesuur van de deelkwalificatie ligt minimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het niveau van het kwalificatiedossier. Voor de deelkwalificatie 50849 Maatschappelijke culturele vorming geldt als aandachtspunt dat het beheersingsniveau bij 8 van de 24 eindtermen niet juist is. Het exameninstrumentarium van de vier eerstgenoemde deelkwalificaties voldoet eveneens aan de toetstechnische eisen. De instructie voor de deelnemer is duidelijk en volledig. De deelnemer weet waarop hij wordt beoordeeld, de deelnemer weet hoeveel tijd hij heeft om de gevraagde prestatie te leveren, en weet welke score er per opgave valt te behalen. De afnamecondities waarborgen een betrouwbare beoordeling van het examen omdat ze juist zijn omschreven. Het gebruikte antwoordmodel is correct en volledig. Het bevat de juiste antwoorden op de toetsvragen, het antwoordmodel vermeldt welke (deel)score er per opgave te behalen valt en geeft aan wanneer punten wel of niet worden toegekend. Het exameninstrumentarium van de deelkwalificatie Onderhoud en beheer netwerken voldoet niet aan de inhoudelijke uitstroomeisen. De gehanteerde cesuur doet geen recht aan de toetsen; de cesuur waarborgt niet dat de deelnemer de eindtermen in voldoende mate beheerst. Bij een cesuur van 55% bestaat de kans dat niet alle eindtermen voldoende worden beheerst.


Het exameninstrumentarium van deelkwalificatie Onderhoud en beheer netwerken voldoet niet aan de toetstechnische kwaliteitseisen. Bij de aangeleverde toetsen ontbreekt een duidelijk beoordelingsinstrument. De beoordelingsmodellen zijn te algemeen. Er wordt beoordeeld op algemene vaardigheden zoals verzorging, houding, niveau. Uitgewerkte beoordelingsmodellen met de onderwerpen van de eindtermen ontbreken. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering van de onderzochte opleidingen. Voor de opleiding Tegelzetter geldt dat op de MCV toets na, het gehele exameninstrumentarium inclusief afname wordt ingekocht bij Fundeon. Voor de opleiding Telecom ICT engineer geldt dat het beroepenveld op verschillende wijzen betrokken wordt bij de examinering en beoordeling, bijvoorbeeld door middel van een Branche Advies Raad en BPVinformatie avonden. De deelnemers zijn tevreden over de examinering. Dit blijkt uit het onderzoek dat instellingsbreed is uitgevoerd onder deelnemers. Ook voert de eenheid steekproefsgewijs evaluaties uit onder deelnemers na een proefperiode. Structurele analyse van de resultaten van deze onderzoeken is een aandachtspunt. Voor de opleiding Tegelzetter geldt dat betrokkenen bij examinering voldoende deskundig zijn. Op de MCV toets na wordt het gehele exameninstrumentarium, inclusief de afname, ingekocht bij Fundeon. In samenwerking met Fundeon hebben voor veranderingen in beoordeling van competentiegericht examineren voorlichtingssessies met leermeesters plaatsgevonden. Nieuw toetsmateriaal voor deze opleidingen wordt ontwikkeld door een consortium, waar docenten van Harderwijk A deel van uitmaken. Voor de opleiding Telecom ICT geldt dat betrokkenen bij examinering onvoldoende deskundig zijn. Voor deze opleiding geldt dat de deskundigheid van constructeurs, vaststellers en (praktijk)beoordelaars niet is vastgesteld en niet blijkt uit de productresultaten. De examineringsprocessen zijn voldoende transparant en voldoende geborgd. Het Handboek Examinering dat Landstede breed is ingevoerd, beschrijft taken en bevoegdheden van betrokkenen bij examinering en geeft een overzicht van de procedures. In de Oer-en van de opleidingen is de examinering voor de deelnemer inzichtelijk gemaakt. Er is sprake van regelmatige evaluatie van examinering en de bijbehorende examineringprocessen. Een aandachtspunt is dat de betrokken afdelingen evaluatieprocessen duidelijker beschrijft zodat de evaluatie als sturingsmiddel en analyse van examineringsprocessen meer praktisch bruikbaar wordt. Zodoende wordt het mogelijk knelpunten in toetsconstructie, vaststelling en deskundigheid van betrokkenen nader te analyseren. De examinering van de onderzochte opleidingen voldoet aan de wettelijke vereisten.


3

CONCLUSIES EN VERVOLGTOEZICHT

De examinering van de volgende opleiding is van onvoldoende kwaliteit: • Telecom ICT Engineer (10926) BOL. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. Van deze constatering van onvoldoende kwaliteit wordt melding gemaakt aan de minister van OCW. De examinering van de volgende opleiding is van voldoende kwaliteit: • Tegelzetter (10151) BBL Bij deze opleiding vindt geen nader onderzoek plaats. De opleiding kan overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden.



BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs 2007-2008, gepubliceerd in de staatscourant 29 april 2008. DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN· Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN· Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM· Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN· Standaard 6: De examineringsprocessen zijn transparant.· Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN· Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document ‘Toezichtkader examinering 2007-2008’ (te vinden op www.onderwijsinspectie.nl).


LANDSTEDE ONDERZOEK NAAR KWALITEITSVERBETERING EXAMINERING

Recommend Documents