LANDSTEDE ONDERZOEK KWALITEIT EXAMINERING

LANDSTEDE ONDERZOEK KWALITEIT EXAMINERING 2007-2008

Amersfoort, augustus 2008

Rapportage kwaliteit examinering Landstede 2007-2008

p.2 van 31

VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 7 en 10 april 2008 plaatsvond bij Landstede. Het rapport is vastgesteld op 1 augustus 2008. Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm.


p.3 van 31


p.4 van 31

INHOUDSOPGAVE SAMENVATTING 7 1

INLEIDING 9

2

KWALITEIT EXAMINERING BIJ ZWOLLE A 11

3

KWALITEIT EXAMINERING BIJ ZWOLLE C 13

4

KWALITEIT EXAMINERING BIJ ZWOLLE D 17

5

KWALITEIT EXAMINERING BIJ OFFICE EN MANAGEMENT 23

6

KWALITEIT EXAMINERING BIJ VRIJ EN GASTVRIJ 25

7

CONCLUSIES EN VERVOLGTOEZICHT 29 BIJLAGE 1: STANDAARDEN EN NORMERING 31


p.5 van 31


p.6 van 31

SAMENVATTING Het onderzoek naar de kwaliteit van de examens bij Landstede vond plaats op 7 en 10 april 2008. De examinering van de volgende opleidingen is van voldoende kwaliteit: Zwolle • • • •

C Sociaal dienstverlener (10744) BOL; Verkoopchef (10847) BOL; Medewerker toezicht en veiligheid (90560) BOL; Aankomend verkoopmedewerker (90910) BOL.

Zwolle D • Horeca-assistent (10403) BOL; ● Facilitair leidinggevende (10892) BOL. Vrij en Gastvrij • Commercieel medewerker reizen (90650) BOL. Office en Management • Secretaresse (90590) BOL. Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit: Zwolle A • Arbeidsmarktgekwalificeerd assistent (90440) BOL. Het exameninstrumentarium voldoet niet aan de uitstroom- en toetstechnische eisen. De tevredenheid van de deelnemers heeft de afdeling niet onderzocht. Er is geen concrete informatie beschikbaar over de deskundigheid van de betrokkenen bij examinering. De examineringsprocessen zijn niet geborgd. Zwolle D • Medewerker Recreatie (10396) BOL. De opleiding is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de uitstroomeisen en de toetstechnische eisen. Vrij en Gastvrij • Leisure & hospitality host (90670) BOL. De opleiding is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de uitstroomeisen en toetstechnische eisen.


p.7 van 31

Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Van deze constateringen van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van OCW.


p.8 van 31

1

INLEIDING

Opzet onderzoek Het onderzoek is gebaseerd op het Toezichtkader examinering BVE 2007-2008 en de hierin opgenomen standaarden en normering. Deze zijn opgenomen in de bijlage. Uitgangspunt voor het onderzoek bij Landstede was de zelfbeoordeling die de instelling had opgesteld voor de te onderzoeken opleidingen. Op locatie vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. Het exameninstrumentarium van de volgende opleidingen werd niet onderzocht, omdat het is ingekocht bij door KCE erkende leveranciers: de kwalificaties verkoopchef (10874) en Aankomend verkoopmedewerker (90910) worden ingekocht bij Kenniscentrum Handel, Medewerker toezicht en veiligheid (90560) en Secretaresse (90590) worden ingekocht bij de Stichting Praktijkleren, Leisure & hospitality host (90670) wordt ingekocht bij Kenwerk. Van de overige opleidingen is het exameninstrumentarium onderzocht. De voorlopige uitkomsten van de productbeoordeling zijn tijdens het bezoek besproken. Onderzochte eindtermgerichte opleidingen Crebo Naam opleiding Leerweg Deelkwalificatie(s) 10744

Sociaal dienstverlener

BOL

10847

Verkoopchef

BOL

10396

Medewerker recreatie

BOL

10403

Horeca-assistent

BOL

10892

Facilitair leidinggevende

BOL

Eigen product: 52844, 52846, 52863, 52865 Inkoop: 50028, 50029, 53105, 53108, 53176, 56039 Eigen product: 52884, 52885, 52886, 52887 Eigen product: 52884 Eigen product: 56076, 56077, 56080, 56083, 56085


Exameneenheid en locatie Zwolle C Zwolle C

Zwolle D

Zwolle D Zwolle D

p.9 van 31

Onderzochte competentiegerichte opleidingen Crebo Naam opleiding, naam Leerweg uitstroom 90440 Arbeidsmarktgekwalificeerd BOL assistent Eigen product 90560 Medewerker toezicht en BBL veiligheid Inkoop 90910 Aankomend BOL verkoopmedewerker Inkoop 90650 Commercieel medewerker BOL reizen Eigen product 90670 Leisure & hospitality host BOL Inkoop 90590 Secretaresse BOL Inkoop


Exameneenheid en locatie Zwolle A Zwolle C Zwolle C Vrij en Gastvrij Vrij en Gastvrij Office en Management

p.10 van 31

2

KWALITEIT EXAMINERING BIJ ZWOLLE A

Vertrouwen beroepenveld

Tevredenheid deelnemer

Deskundigheid betrokkenen

Instrumentarium: uitstroomeisen

Instrumentarium: toetstechnisch

Transparantie processen

Borging processen

Wettelijke vereisten

2

3

4

5

6

7

8

90440 Arbeidsmarktgekwalificeerd V O assistent BOL O = onvoldoende/ V = voldoende/ G = goed

O

O

O

V

O

V

Standaard

1

2.1. Beoordeling opleiding bij Zwolle A

2.2 Beschouwing Algemeen beeld De examinering van de opleiding Arbeidsmarktgekwalificeerd assistent is van onvoldoende kwaliteit. Toelichting beoordeling exameninstrumentarium Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen. Voor geen van de beroepscompetenties zijn beoordelingscriteria opgesteld. Hierdoor is niet te vast te stellen of de toetsing van de beroepscompetenties realistisch is. Zowel voor de kerncompetenties als de beroepscompetenties is geen cesuur opgesteld. Voor de kerncompetenties zijn wel beoordelingscriteria opgesteld. Het exameninstrumentarium voldoet niet aan de toetstechnische eisen. De instructie voor de deelnemer is niet volledig, aangezien er bij de beoordeling van de competenties geen beoordelingscriteria zijn vermeld en niet is vermeld hoe de totaalscore per competentie tot stand komt. Het beoordelingsmodel van de beroepscompetenties bevat geen invulling van de beoordelingscriteria en geen vermelding van de te behalen score voor voldoende resultaat.


p.11 van 31

Toelichting beoordeling examineringsprocessen Het vertrouwen van het beroepenveld in de examinering is voldoende. De leermeesters uit de stagebedrijven zijn betrokken bij de examinering. De praktijkopleiders bezoeken regelmatig de stagebedrijven en peilen de tevredenheid over examinering. De beoordeling van het vertrouwen van het beroepenveld in examinering is echter niet systematisch geïntegreerd in de interne kwaliteitszorg. De tevredenheid van de deelnemers over de kwaliteit van examinering is onvoldoende, aangezien de opleiding geen tevredenheidsonderzoek heeft uitgevoerd of op andere wijze de tevredenheid van haar deelnemers onderzoekt. Structurele evaluatie van de tevredenheid van de deelnemers maakt geen onderdeel uit van de procedures. De betrokkenen bij examinering zijn onvoldoende deskundig. Toetsconstructeurs en toetsvaststellers zijn onvoldoende toegerust in het toepassen en beoordelen van toetsinhoudelijke en toetstechnische kwaliteitseisen. De toetstechnische competenties van de beoordelaars uit de BPV wordt geacht aanwezig te zijn. Er wordt geen gerichte scholing/instructie voor examinatoren verzorgd. De transparantie van de examineringsprocessen is voldoende. De inrichting van de examenorganisatie in taken, verantwoordelijkheden en bevoegdheden is beschreven in het Handboek Examinering. De kwalificerende examinering is beschreven in de OER en in de Procedure Panelgesprek. Controlemomenten van kwalificerende examinering zijn echter niet in procedures ingebouwd. De borging van de examineringsprocessen is onvoldoende. Er zijn geen evaluaties van het examineringsproces uitgevoerd waaruit kan blijken dat er sprake is van borging. Controlemomenten op constructie, vaststelling, afname en beoordeling zijn niet beschreven en daardoor heeft de opleiding geen gegevens met betrekking tot genoemde examenprocessen. De opleiding voldoet aan de wettelijke eisen rondom examinering. Er is voor de opleiding een examencommissie en een Commissie van Beroep voor de examens ingericht. De verantwoording over de kwaliteit van examinering is beschreven in het Jaarverslag. De OER van de opleiding uit de steekproef is vastgesteld en voldoet aan de wettelijke eisen.


p.12 van 31

3

KWALITEIT EXAMINERING BIJ ZWOLLE C







Borging processen


1

2

3

4

5

6

7

8

Standaard

3.1 Beoordeling opleidingen bij Zwolle C

V V V

V V V

V V V

V V V

G G G

V V V

V V V

10744 Sociaal dienstverlener BOL V 10847 Verkoopchef BOL V 90560 Medewerker toezicht en veiligheid V BOL 90910 Aankomend verkoopmedewerker V BOL O = onvoldoende/ V = voldoende/ G = goed

V

V

V

V

G

V

V

3.2 Beschouwing Algemeen beeld De opleiding Sociaal dienstverlener is de enige opleiding van de steekproef waarvoor Zwolle C in eigen productie toetsproducten ontwikkelt. Deze producten voldoen inhoudelijk aan de uitstroomeisen en toetstechnische kwaliteitseisen. Voor de overige opleidingen van de steekproef koopt Zwolle C de toetsen in bij KCE erkend leverancier Kenniscentrum Handel en Stichting Praktijkleren. Het bedrijfsleven heeft voldoende vertrouwen in de examens en de deelnemers zijn tevreden over de kwaliteit van de examinering. Verder zijn de betrokkenen bij de examinering voldoende deskundig. Het examenproces is transparant en in voldoende mate geborgd. De opleidingen voldoen aan de wettelijke vereisten rondom examinering.


p.13 van 31

Toelichting beoordeling exameninstrumentarium Zwolle C koopt het volledige exameninstrumentarium van de opleidingen Verkoopchef, Medewerker toezicht en veiligheid en Aankomend verkoopmedewerker in bij erkende leverancier Kenniscentrum Handel en de Stichting Praktijkleren. Het exameninstrumentarium is van voldoende kwaliteit.

Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 5.

52844 Sociale vaardigheden 52846 Professionaliteit en kwaliteitszorg 52863 Begeleiden SD 52865 Informeren en adviseren O = onvoldoende/ V = voldoende/ G = goed

4.

Standaard

Beoordeling exameninstrumentarium Sociaal dienstverlener (10744) BOL

G V V G

V V V V

Deelkwalificatie: Sociale vaardigheden (52844) Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en toetstechnische eisen (100%). De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. Aandachtspunt is het beschrijven van de setting (afnamecondities) in de BPV. Doordat de opleiding een deelnemersversie en een praktijkbegeleidersversie hanteert die verschillen van elkaar, kan de deelnemer de norm voldoende/goed niet nalezen. Deelkwalificatie: Professionaliteit en kwaliteitszorg (52846) Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en toetstechnische eisen (100%). De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst.


p.14 van 31

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. De instructie voor de deelnemer in het beoordelingsmodel praktijkobservatie is een aandachtspunt. De criteria in het beoordelingsmodel voor praktijkobservatie kunnen specifieker worden beschreven. Deelkwalificatie: Begeleiden (52863) Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en toetstechnische eisen (100%). De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. Zes van de acht eindtermen voldoen aan beheersingsnorm. De eindtermen worden op het juiste niveau getoetst. Relevante aspecten rondom verantwoordelijkheid, complexiteit en transfer zijn afdoende beschreven in de niveaubepaling van de kwalificatiestructuur. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. Als aandachtspunt geldt dat de afspraken met de deelnemer niet helder genoeg worden verwoord. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig, met de opmerking dat het beoordelingsmodel voor de praktijkobservatie tekort schiet voor wat betreft de beoordelingscriteria. Deelkwalificatie: Informeren en adviseren (52865) Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen en toetstechnische eisen (100%). De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. De praktijkinformatie is onduidelijk over praktijkafspraken. De beoordelingscriteria zijn niet specifiek genoeg beschreven. Gelet op de grote differentiatie in afnamelocaties bij verschillende BPV-bedrijven is het oordeel op voldoende gewaardeerd, mede omdat er protocollen worden gehanteerd bij de bedrijven. Toelichting beoordeling examineringsprocessen Het vertrouwen van het beroepenveld in de examinering is voldoende. Zwolle C heeft Raden van Advies opgericht, waarin vertegenwoordigers uit het bedrijfsleven zitting hebben. De doelstelling van deze Raden van Advies is onder andere het vergroten van de betrokkenheid van het bedrijfsleven bij de inrichting, uitvoering en evaluatie van examinering. Bij alle opleidingen is het beroepenveld betrokken bij de afname van de examinering.


p.15 van 31

De tevredenheid van de deelnemers over de kwaliteit van de examinering is voldoende. Zwolle C heeft studentenpanels ingericht om zo structureel met de deelnemers o.a. de kwaliteit van de examinering te evalueren. Van de gehouden onderzoeken onder deelnemers naar tevredenheid van examinering laten de resultaten een positief beeld zien. De deskundigheid van de betrokkenen bij examinering is voldoende. Voor alle betrokkenen bij examinering zijn in het Handboek Examinering functie-eisen met daarbij behorende competenties gedefinieerd. Er is een scholingstraject gestart voor de beoordelaars van de competentiegerichte examinering. Het borgingsproces voor toetsconstructie en beoordeling van theorietoetsen levert direct informatie op over de mate waarin de medewerker voldoet aan de competenties voor deze taken. De borging van de beoordeling van praktijkopdrachten is nog niet zodanig ontwikkeld dat hierdoor ook zicht is op de desbetreffende competenties van de direct betrokkenen. De transparantie van de examineringsprocessen is goed. In het Handboek 3.3 en het Handboek Examenbureau zijn alle examineringsprocessen, taken en verantwoordelijkheden van de betrokkenen bij examinering helder omschreven. Voor de deelnemers, van zowel de eindtermgerichte- als de competentiegerichte opleidingen, is in de OER en de Studiegids duidelijk omschreven wanneer en op welke wijze geëxamineerd wordt. Uit de genoemde documenten wordt duidelijk op welke wijze het beroepenveld betrokken is bij de examinering. Uit de verslagen van de Examencommissie blijkt dat de beschrijvingen en procedures worden geëvalueerd en waar nodig worden bijgesteld. De borging van de examineringsprocessen is voldoende. Uit evaluatieverslagen blijkt dat de processen van toetsconstructie, vaststelling, afname en beoordeling van theorie examens regelmatig worden geëvalueerd. De afname en beoordeling van de praktijkexaminering maakt hier nog geen deel vanuit. De instelling voldoet aan de wettelijke eisen rondom examinering. De instelling heeft een examencommissie en een Commissie van Beroep ingericht. De verantwoording over de kwaliteit van examinering is beschreven in het Jaarverslag. De OER-en van de opleidingen uit de steekproef zijn vastgesteld en voldoen aan de wettelijke eisen.


p.16 van 31

4

KWALITEIT EXAMINERING BIJ ZWOLLE D







Borging processen


2

3

4

5

6

7

8

10396 Medewerker recreatie BOL V 10403 Horeca-assistent BOL V 10892 Facilitair leidinggevende BOL V O = onvoldoende/ V = voldoende/ G = goed

V V V

V V V

O V V

O V G

V V V

V V V

V V V

Standaard

1

4.1 Beoordeling opleidingen bij Zwolle D

4.2 Beschouwing Algemeen beeld De examinering van de opleiding Medewerker recreatie is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de uitstroomeisen en het voldoet niet aan de toetstechnische kwaliteitseisen. De examinering van de opleidingen Horeca-assistent en Facilitair leidinggevende is van voldoende kwaliteit.


p.17 van 31

Toelichting beoordeling exameninstrumentarium


Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen

4.

5.

Standaard

Beoordeling exameninstrumentarium Medewerker recreatie (10396) BOL

52884 Horeca-assistent 52885 Verkooptechniek 52886 Frontoffice 52887 Techniek en groen O = onvoldoende/ V = voldoende/ G = goed

O O O O

O O O V

Voor alle deelkwalificaties geldt dat het exameninstrumentarium niet voldoet aan de inhoudelijke uitstroomeisen. De examenonderzoeken passen inhoudelijk en qua niveau onvoldoende bij de uitstroomeisen zoals opgenomen in het eindtermendocument. Op de deelkwalificatie Horeca-assistent na, worden de meeste eindtermen niet of niet op het juiste beheersingsniveau getoetst. Binnen de toetsen is geen norm aangegeven voor het behalen van eindtermen. Hierdoor is niet vast te stellen of de cesuur minimaal op het niveau ligt dat de eindtermen in voldoende mate worden beheerst. De eindtermen van de deelkwalificaties Verkooptechniek en Frontoffice worden niet op het niveau van de opleiding getoetst. Het exameninstrumentarium van de deelkwalificatie Techniek en Groen voldoet aan de toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift is correct en volledig. Het exameninstrumentarium van de overige deelkwalificaties voldoet niet aan de toetstechnische kwaliteitseisen. In de instructie voor de deelnemer ontbreekt volledige informatie over de te leveren prestatie, de beoordeling van die prestatie, de te behalen resultaten per opdracht/vraag en het tijdsbestek waarbinnen de prestatie geleverd moet worden. Ook de afnamecondities en beoordelingsvoorschriften/beoordelingscriteria ontbreken, waardoor een betrouwbare beoordeling niet geborgd is.


p.18 van 31



4.

5.

Standaard

Beoordeling exameninstrumentarium Horeca-assistent (10403) BOL

52884 Horeca-assistent O = onvoldoende/ V = voldoende/ G = goed

V

V

Deelkwalificatie: Horeca-assistent (52884) Het exameninstrumentarium van de deelkwalificatie Horeca-assistent voldoet aan de inhoudelijke uitstroomeisen (86%). De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. In de toetsbundel is de cesuur niet opgenomen, maar deze is in de OER wel opgenomen. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. Overigens zijn de criteria waarop een deelnemer wordt beoordeeld niet altijd helder beschreven.


p.19 van 31



4.

5.

Standaard

Beoordeling exameninstrumentarium Facilitair leidinggevende (10892) BOL

56076 Engels 3 56077 Verwerken van interne poststukken en beheer van documenten 56080 Inplannen en controleren schoonmaakonderhoudswerkzaamheden en specifieke schoonmaakonderhoudswerkzaamheden 56083 Inkoopbeheer 56085 Schoonmaakbeheer O = onvoldoende/ V = voldoende/ G = goed

V

G

V

G

G

G

V V

G G

Het exameninstrumentarium van alle deelkwalificaties voldoet aan de inhoudelijke uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. Deelkwalificatie: Engels 3 (56076) Deze deelkwalificatie voldoet voor 100% aan de inhoudelijke uitstroomeisen. Bij deeltoets 3a (brief) is de cesuur ruim. In de toets ‘meetings’ is niet duidelijk omschreven welke mogelijkheden de deelnemer in de voorbereidingstijd heeft. Het niveau van de mondelinge examens vergaderen en presenteren is moeilijk te beoordelen en kan exacter worden omschreven. Deelkwalificatie: Verwerken van interne poststukken en beheer van documenten (56077) Deze deelkwalificatie voldoet voor 75% aan de inhoudelijke uitstroomeisen. Eindterm 6,7 en 8 zijn onvoldoende herkenbaar in de toetsen. De instructies, normering en cesuur zijn erg duidelijk. Bij de deelkwalificatie is eindterm 6 niet transparant uitgewerkt, maar wel opgenomen in het exameninstrumentarium. De laatste twee eindtermen zijn niet uitgewerkt in het instrumentarium.


p.20 van 31

Deelkwalificatie: Inplannen en controleren schoonmaakonderhoudswerkzaamheden en specifieke schoonmaakonderhoudswerkzaamheden (56080) Deze deelkwalificatie voldoet voor 100% aan de inhoudelijke uitstroomeisen. De taken in de BPV zijn uitstekend. De instructie voor de deelnemer is volledig en duidelijk. Het BPV bedrijf waarborgt een betrouwbare eenduidige afname. Het antwoordmodel is duidelijk. Deelkwalificatie: Inkoopbeheer (56083) Deze deelkwalificatie voldoet volledig (100%) aan de inhoudelijke uitstroomeisen. De cesuur ligt op het niveau van de eindtermen. Er wordt op het juiste niveau getoetst. Bij de toets ontbreekt echter een toetsmatrijs. De instructie voor de deelnemer is correct verantwoord. De afnamecondities waarborgen een betrouwbare beoordeling en het antwoordmodel is correct. Deelkwalificatie: Schoonmaakbeheer (56085) Deze deelkwalificatie voldoet voor 100% aan de inhoudelijke uitstroomeisen. De cesuur ligt op het niveau van de eindtermen. Er wordt op het juiste niveau getoetst. De toetsmatrijs ontbreekt. De instructie voor de deelnemer is correct verantwoord. De afnamecondities waarborgen een betrouwbare beoordeling en het antwoordmodel is correct. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. Dit blijkt uit een extern onderzoek dat Landstede heeft laten uitvoeren in 2006. Voor de opleidingen is met vertegenwoordigers uit het werkveld een Raad van Advies ingesteld die zich onder andere bezig houdt met examinering. Uit de gesprekken op locatie blijkt dat de relatie van Zwolle D met het beroepenveld de afgelopen jaren versterkt is. Hierbij is een kanttekening te maken: de bereidheid van het beroepenveld tot betrokkenheid bij de examinering (of onderwijs in het algemeen) verschilt per branche. De deelnemer is voldoende tevreden over de examinering. Dit blijkt uit het studentenonderzoek dat in 2006 is uitgevoerd. Na afname worden toetsen regelmatig door studenten geëvalueerd (middels evaluatieformulier). Hieruit blijkt dat studenten tevreden zijn. Eventuele verbeterpunten worden vertaald naar actiepunten. Betrokkenen bij examinering zijn voldoende deskundig. Docenten zijn getraind in constructie en vaststelling van toetsen. Deskundigheid binnen Zwolle D is aanwezig en is in kaart gebracht. Recent heeft een studiedag plaatsgevonden waarin de borging van examineringsprocessen aan de orde is geweest. Het in kaart brengen en borgen van deskundigheid van beoordelaars in de beroepspraktijk is een punt van aandacht. De examineringsprocessen zijn voldoende transparant en geborgd. De OER-en van de opleidingen en het handboek examinering maken de examinering voor respectievelijk de deelnemer en betrokkenen bij examinering inzichtelijk. Door middel van het Landstede Examen Volg Systeem (LEV) worden resultaten voor deelnemers inzichtelijk. Door het gebruik van LEV wordt tevens van docenten verwacht de examenprocessen zoals vastgelegd, te volgen. Hoewel niet geheel


p.21 van 31

gestructureerd, vindt evaluatie van verschillende processen plaats. Indien nodig worden maatregelen ter verbetering genomen. Structurele analyse van evaluatieresultaten is (nog) niet aan de orde. De examinering van de onderzochte opleidingen voldoet aan de wettelijke vereisten.


p.22 van 31

5

KWALITEIT EXAMINERING BIJ OFFICE EN MANAGEMENT







Borging processen


2

3

4

5

6

7

8

90590 Secretaresse BOL V O = onvoldoende/ V = voldoende/ G = goed

V

V

V

V

V

V

V

Standaard

1

5.1. Beoordeling opleiding bij Office en Management

5.2 Beschouwing Algemeen beeld De examinering van de opleiding Secretaresse is van voldoende kwaliteit. Toelichting beoordeling exameninstrumentarium Office en management koopt het volledige exameninstrumentarium van de opleiding Secretaresse in bij Stichting Praktijkleren. Het exameninstrumentarium is van voldoende kwaliteit. Toelichting beoordeling examineringsprocessen Het vertrouwen van het beroepenveld in de examinering is voldoende. Bij de opleiding is het beroepenveld betrokken bij de afname van de examinering. Het beroepenveld heeft vertrouwen in de examinering van de opleiding, kent een goede werkrelatie met de opleiding en is betrokken bij de constructie van examens van de Stichting Praktijkleren. De tevredenheid van de deelnemers over de kwaliteit van de examinering is voldoende. Office en Management heeft studentenpanels ingericht om via die weg structureel met de deelnemers o.a. de kwaliteit van de examinering te evalueren. Uit de gehouden onderzoeken blijkt dat de deelnemers tevreden zijn over de examinering.


p.23 van 31

De deskundigheid van de betrokkenen bij examinering is voldoende. De deskundigheid voor constructie wordt ingekocht. Voor alle betrokkenen bij examinering zijn in het Handboek Examinering functie-eisen met daarbij behorende competenties gedefinieerd. De opleiding is een scholingstraject gestart voor de beoordelaars van de competentiegerichte examinering. De transparantie van de examineringsprocessen is voldoende. In het Handboek 5.0 en het Handboek Examenbureau zijn alle examineringsprocessen, taken en verantwoordelijkheden van de betrokkenen bij examinering helder omschreven. Voor de deelnemers is in de OER en de Studiegids duidelijk omschreven wanneer en op welke wijze geëxamineerd wordt. Procedures zijn beschreven. Het is de deelnemers duidelijk wat er op welk moment van hen verwacht wordt. Examenprocessen worden regelmatig geëvalueerd. De examinering verloopt inzichtelijk toereikend. De verantwoording over de transparantie van de examinering vindt nog niet plaats voor examinering in de beroepspraktijk. De borging van de examineringsprocessen is voldoende. Uit evaluatieverslagen blijkt dat de processen van toetsconstructie, vaststelling, afname en beoordeling van theorie examens worden regelmatig geëvalueerd. De afname en beoordeling van de praktijkexaminering maakt hier nog geen deel van uit. De instelling voldoet aan de wettelijke eisen rondom examinering. De instelling heeft een examencommissie en een Commissie van Beroep ingericht. De verantwoording over de kwaliteit van examinering is beschreven in het Jaarverslag. De OER-en van de opleidingen uit de steekproef zijn vastgesteld en voldoen aan de wettelijke eisen.


p.24 van 31

6

KWALITEIT EXAMINERING BIJ VRIJ EN GASTVRIJ






Borging processen

2

3

4

5

6

7

8

V

V

V

V

V

V

V

V

V

O

O

V

V

V

6.2 Beschouwing Algemeen beeld De examinering van de opleiding Commercieel Medewerker Reizen (90650) is van voldoende kwaliteit. De inhoud en de toetsvorm van de examentoetsen passen bij de competenties. De cesuur ligt mimimaal op het niveau waarop een deelnemer de competenties in voldoende mate beheerst. De competenties worden op het juiste niveau getoetst. De examinering van de opleiding Leisure & Hospitality Host (90670) is van onvoldoende kwaliteit. Het exameninstrumentarium is nog in ontwikkeling waardoor het instrumentarium niet voldoet aan de uitstroomeisen en de toetstechnische kwaliteitseisen. Toelichting beoordeling exameninstrumentarium Commercieel medewerker reizen (90650) Het exameninstrumentarium van de opleiding Commercieel medewerker reizen voldoet aan de uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de competenties. De cesuur ligt mimimaal op het niveau waarop een deelnemer de competenties in voldoende mate beheerst. De competenties worden op het juiste niveau getoetst.


p.25 van 31



90650 Commercieel medewerker reizen V BOL 90670 Leisure & hospitality host BOL V O = onvoldoende/ V = voldoende/ G = goed

Standaard

1

6.1. Beoordeling opleidingen bij Vrij en Gastvrij

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. In het BPV werkboek ontbreekt een duidelijke rolomschrijving van de gast/klantrollen bij onderdeel B. Het BPV handboek maakt deel uit van de kwalificatie. Toelichting beoordeling Leisure & Hospitality Host (90670) Het exameninstrumentarium van de opleiding Leisure & Hospitality Host voldoet niet aan de uitstroomeisen en de toetstechnische kwaliteitseisen. Het materiaal is in ontwikkeling waardoor een beoordeling van het gehele materiaal, zoals dat wordt ingezet voor examinering, niet heeft kunnen plaatsvinden. Het materiaal dat is aangeleverd geeft het volgende beeld: de beoordelingscriteria zijn te weinig specifiek in het materiaal opgenomen. Hierdoor is niet duidelijk hoe de beoordelaar tot zijn oordeel komt en of de deelnemer de competenties in voldoende mate beheerst. Er is geen duidelijk onderscheid gemaakt tussen summatieve en formatieve toetsing. De examinering is voor de deelnemer niet voldoende inzichtelijk. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. Voor beide opleidingen is een Raad van Advies (met leden vanuit de beroepspraktijk) actief. Tijdens bijeenkomsten van de Raad komen verschillende zaken rondom examinering ter sprake. Het beroepenveld is betrokken bij de beoordeling in de BPV. De deelnemer heeft voldoende vertrouwen in de examinering. Dit blijkt uit het studentenonderzoek dat in 2006 is uitgevoerd. Momenteel wordt het JOBODIN studenttevredenheidsonderzoek uitgevoerd en zijn voorbereidingen getroffen voor een ‘landschapstudentenpanel’. Betrokkenen bij examinering zijn voldoende deskundig. Docenten hebben verschillende trainingen gevolgd voor het vaststellen van toetsen en beoordelen van deelnemers in de praktijk. Afdelingsbreed hebben intervisiemomenten plaatsgevonden waarin ervaringen met construeren van toetsen zijn uitgewisseld. Recent heeft een studiedag plaatsgevonden waarin de borging van examineringsprocessen aan de orde is geweest. Een punt van aandacht is het in kaart brengen en borgen van de deskundigheid van beoordelaars uit de beroepspraktijk. De examineringsprocessen zijn voldoende transparant en geborgd. De OER-en van de opleidingen en het handboek examinering maken de examinering voor respectievelijk de deelnemer en betrokkenen bij examinering inzichtelijk. Hoewel niet geheel gestructureerd, vindt evaluatie van verschillende processen plaats. Indien nodig worden maatregelen ter verbetering genomen. Structurele analyse van evaluatieresultaten is (nog) niet aan de orde.


p.26 van 31

De instelling voldoet aan de wettelijke eisen rondom examinering. De instelling heeft een examencommissie en een Commissie van Beroep ingericht. De verantwoording over de kwaliteit van examinering is beschreven in het Jaarverslag. De OER-en van de opleidingen uit de steekproef zijn vastgesteld en voldoen aan de wettelijke eisen.


p.27 van 31


p.28 van 31

7

CONCLUSIES EN VERVOLGTOEZICHT

Het onderzoek naar de kwaliteit van de examens bij Landstede vond plaats op 7 en 10 april 2008. De examinering van de volgende opleidingen is van voldoende kwaliteit: Zwolle • • • •

C Sociaal dienstverlener (10744) BOL Verkoopchef (10847) BOL Medewerker toezicht en veiligheid (90560) BOL Aankomend verkoopmedewerker (90910) BOL

Zwolle D • Horeca-assistent (10403) BOL ● Facilitair leidinggevende (10892) BOL Vrij en Gastvrij • Commercieel medewerker reizen (90650) BOL Office en Management • Secretaresse (90590) BOL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit: Zwolle A • Arbeidsmarktgekwalificeerd assistent (90440) BOL Het exameninstrumentarium voldoet niet aan de uitstroom- en toetstechnische eisen. De tevredenheid van de deelnemers heeft de afdeling niet onderzocht. Er is geen concrete informatie beschikbaar over de deskundigheid van de betrokkenen bij examinering. De examineringsprocessen zijn niet geborgd. Zwolle D • Medewerker Recreatie (10396) BOL De opleiding is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de uitstroomeisen en de toetstechnische eisen. Vrij en Gastvrij • Leisure & hospitality host (90670) BOL De opleiding is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de uitstroomeisen en toetstechnische eisen. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Van deze constateringen van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van OCW.


p.29 van 31


p.30 van 31

BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs 2007-2008, gepubliceerd in de staatscourant 29 april 2008. DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN· Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN· Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN· Standaard 6: De examineringsprocessen zijn transparant.· Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN· Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document ‘Toezichtkader examinering 2007-2008’ (te vinden op www.onderwijsinspectie.nl).


p.31 van 31

LANDSTEDE ONDERZOEK KWALITEIT EXAMINERING

Recommend Documents