HOLLAND College ONDERZOEK KWALITEIT EXAMINERING

HOLLAND College ONDERZOEK KWALITEIT EXAMINERING 2007-2008

Amersfoort, september 2008

Rapportage kwaliteit examinering Holland College 2007-2008

p.2 van 29

VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 9 en 11 april 2008 plaatsvond bij het Holland College. Het rapport is vastgesteld op 1 september 2008. Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm.


p.3 van 29


p.4 van 29

INHOUDSOPGAVE SAMENVATTING 7 1

INLEIDING 9

2

KWALITEIT EXAMINERING BIJ MBO GROEN 11

3

KWALITEIT EXAMINERING BIJ MBO VOEDING EN MILIEU 15

4

KWALITEIT EXAMINERING BIJ MBO DIER EN GROENE RUIMTE 21

5

CONCLUSIES EN VERVOLGTOEZICHT 27 BIJLAGE 1: STANDAARDEN EN NORMERING 29


p.5 van 29


p.6 van 29

SAMENVATTING Het onderzoek naar de kwaliteit van de examens bij het Holland College vond plaats op 9 en 11 april 2008. De examinering van de volgende opleidingen is van voldoende kwaliteit. MBO Groen, De Lier • Vakbekwaam medewerker en groothandel en logistiek (11061) BOL MBO Voeding en Milieu, Delft • Vakbekwaam medewerker voedingsmiddelentechnoloog 3 (11023) BBL • Milieufunctionaris (11058) BOL • Operator (operator voedingsindustrie Aequor) (97380) BOL MBO Dier en Groene Ruimte, Maasland • Bedrijfsleider/beheerder dierverzorging (11034) BOL • Bedrijfsleider/manager paardenhouderij (11035) BOL • Assistent medewerker voedsel en leefomgeving (natuur en leefomgeving) (97023) BBL • Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) (97140) BOL • Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) (97150) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleiding is van onvoldoende kwaliteit. MBO Groen, De Lier • Medewerker plantenteelt (11044) BBL. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Van deze constatering van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van LNV. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden.


p.7 van 29


p.8 van 29

1

INLEIDING

Opzet onderzoek Het onderzoek is gebaseerd op het Toezichtkader examinering BVE 2007-2008 en de hierin opgenomen standaarden en normering. Deze zijn opgenomen in de bijlage. Uitgangspunt voor het onderzoek bij het Holland College was de zelfbeoordeling die de instelling had opgesteld voor de te onderzoeken opleidingen. Op locatie vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. Het exameninstrumentarium van de opleidingen is onderzocht. De voorlopige uitkomsten van de productbeoordeling zijn tijdens het bezoek besproken. Crebo

Onderzochte eindtermgerichte opleidingen Naam opleiding Leerweg

11044

Medewerker plantenteelt

BBL

11061

Vakbekwaam medewerker en groothandel en logistiek

BOL

11023

Vakbekwaam medewerker voedingsmiddelentechnoloog 3

BBL

11058

Milieufunctionaris

BOL

11034

Bedrijfsleider/beheerder dierverzorging

BOL

11035

Bedrijfsleider/manager paardenhouderij

BOL

Deelkwalificatie(s) Eigen product: 57017, 57025, 57041 Eigen product: 57171, 57218, 57302 Eigen product: 57084, 57086, 57216, 57218, 57219, 57220 Eigen product: 57313 Eigen product: 57228, 57236, 57237, 57244, 57313, 57407 Eigen product: 57199, 57255, 57297, 57300, 57409, 57410


Exameneenheid en locatie MBO Groen, De Lier

MBO Voeding en Milieu, Delft

MBO Dier en Groene Ruimte, Maasland

p.9 van 29

Onderzochte competentiegerichte opleidingen Crebo Naam opleiding, naam Leerweg uitstroom 97380 Operator (operator Inkoop: BOL voedingsindustrie Aequor) 97023 Assistent medewerker voedsel Inkoop: BBL en leefomgeving (natuur en leefomgeving) 97140 97150

Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf)

Exameneenheid en locatie MBO Voeding en Milieu, Delft MBO Dier en Groene Ruimte, Maasland

Inkoop: BOL Inkoop: BBL


p.10 van 29

2

KWALITEIT EXAMINERING BIJ MBO GROEN

Vertrouwen beroepenveld

Tevredenheid deelnemer

Deskundigheid betrokkenen

Instrumentarium: uitstroomeisen

Instrumentarium: toetstechnisch

Transparantie processen

Borging processen

Wettelijke vereisten

2

3

4

5

6

7

8

11044 Medewerker plantenteelt BBL G 11061 Vakbekwaam medewerker G groothandel en logistiek BOL O = onvoldoende/ V = voldoende/ G = goed

G

V

V

O

G

V

G

G

V

V

V

G

V

G

Standaard

1

2.1. Beoordeling opleidingen bij MBO Groen

2.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Medewerker plantenteelt is onvoldoende omdat een deel van het exameninstrumentarium niet voldoet aan de toetstechnische eisen. De kwaliteit van de examinering van de opleiding Vakbekwaam medewerker groothandel en logistiek is voldoende. Voor beide onderzochte opleidingen geldt het volgende: het beroepenveld heeft vertrouwen in de examens, de deelnemers zijn tevreden over de examens, de betrokkenen bij de examinering zijn deskundig, het exameninstrumentarium voldoet aan de uitstroomeisen, de examenprocessen zijn transparant en geborgd en er wordt voldaan aan de wettelijke vereisten rondom examinering. Voor de opleiding Vakbekwaam medewerker groothandel en logistiek geldt aanvullend dat het exameninstrumentarium voldoet aan de toetstechnische eisen.


p.11 van 29

Toelichting beoordeling exameninstrumentarium

5.

Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen

4.

57017 Teeltvoorbereiding A: wisselen van teelten A 57025 Teelt A: glasteelt A 57041 Heftruck rijden O = onvoldoende/ V = voldoende/ G = goed

Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen

Standaard

Beoordeling exameninstrumentarium Medewerker plantenteelt (11044 BBL)

G

V

G V

V O

Toelichting beoordeling exameninstrumentarium Medewerker plantenteelt Deelkwalificatie: Teeltvoorbereiding A: wisselen van teelten A Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien alle eindtermen in de toetsen wat betreft inhoud en vorm volledig worden gedekt. Tevens blijkt dat de cesuur en de toetsing van de eindtermen op het juiste niveau liggen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Bij de beoordeling is echter wel geconstateerd dat de afnamecondities concreter moeten worden omschreven om een meer eenduidige afname te garanderen. Deelkwalificatie: Teelt A: glasteelt A Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien alle eindtermen in de toetsen wat betreft inhoud en vorm volledig worden gedekt. Tevens blijkt dat de cesuur en de toetsing van de eindtermen op het juiste niveau liggen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. In het schriftelijke examen is overigens wel geconstateerd dat de eindtermen minimaal worden getoetst, namelijk door middel van slechts 1 of 2 vragen. Deelkwalificatie: Heftruck rijden Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Hierbij wordt aangetekend dat de theorie toets vrij eenzijdig is samengesteld, aangezien de kennis over lastdiagrammen (weging 15 %) niet wordt bevraagd. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Bij de beoordeling van de praktijktoets Heftruck rijden is gebleken dat het beoordelingsformulier geen beoordelingscriteria bevat, waardoor een uniforme beoordeling niet is gewaarborgd. Tevens is in het instrumentarium niet


p.12 van 29

aangegeven aan welke voorwaarden de afnamelocatie van de praktijktoets Heftruck rijden moet voldoen. Hierdoor is de eenduidige afname van deze toets niet gegarandeerd.

5.


4.

57171 Logistieke processen 57218 Zorgsystemen 57302 Nederlands B O = onvoldoende/ V = voldoende/ G = goed


Standaard

Beoordeling exameninstrumentarium Vakbekwaam medewerker groothandel en logistiek (11061 BOL)

V V V

V V G

Toelichting beoordeling exameninstrumentarium Vakbekwaam medewerker groothandel en logistiek Deelkwalificatie: Logistieke processen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Wel is geconstateerd dat de toetsvragen en de opdrachten in een aantal gevallen niet voldoende concreet geformuleerd zijn. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Hierbij wordt wel opgemerkt dat voor het deel van de praktijktoets, dat in een gesimuleerde situatie in de beroepspraktijk wordt afgenomen, geldt dat de beoordelingscriteria niet concreet genoeg zijn geformuleerd. Hierdoor is een betrouwbare beoordeling van dat deel van de praktijktoets niet gegarandeerd. Deelkwalificatie: Zorgsystemen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. De omschrijving van de afnamecondities in de praktijkopdracht is echter niet duidelijk, aangezien niet specifiek wordt aangegeven dat de producten uit de voorbereiding in de opdracht worden meegenomen. Deelkwalificatie: Nederlands B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Bij de beoordeling van de exameninstrumenten is echter geconstateerd dat in de luistertoets een aantal eindtermen niet op het juiste niveau wordt getoetst.


p.13 van 29

Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, aangezien het antwoordmodel de gewenste invulling omvat en de instructies en de informatie goed passen bij het niveau van de deelkwalificatie. Toelichting beoordeling examineringsprocessen Het vertrouwen van het beroepenveld in de kwaliteit van de examinering is goed. Het vertrouwen is gebaseerd op samenwerking per sector met het beroepenveld in de beroepenveldcommissies. Het beroepenveld wordt betrokken bij de inhoud en organisatie van examens. Het beroepenveld wordt structureel betrokken bij de beoordeling van de examinering. Het resultaat van een enquête uit 2007 toont aan dat het beroepenveld tevreden tot zeer tevreden is over de kwaliteit van de examinering. Na evaluatie van het resultaat van de enquête worden de bevindingen vertaald naar actiepunten, die worden opgenomen in het activiteitenplan examinering van het volgende schooljaar. Dit activiteitenplan wordt ook voorgelegd aan de beroepenveldcommissies. De deelnemers zijn voldoende tevreden over de kernpunten van de examinering. De tevredenheid van deelnemers wordt regelmatig met een valide en betrouwbaar instrument gemeten. De laatste onderzoeken tonen voldoende tevredenheid. MBO Groen is in gesprek met de studenten via panelgesprekken en de leerlingenraad, in deze gesprekken worden ook de resultaten van de tevredenheidsonderzoeken teruggekoppeld. De betrokkenen bij examinering zijn voldoende deskundig op basis van scholing en ervaring. Het management voert consequent functioneringsgesprekken met de medewerkers op basis van competentieprofielen. De toetsconstructeurs worden ondersteund door een deskundige. Structurele evaluatie van de deskundigheid van de beoordelaars van de PvB’s wordt niet toegepast. De examineringsprocessen zijn zeer transparant. Er zijn heldere procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen. Het is voor de studenten, het werkveld en de examinatoren duidelijk wanneer en op welke wijze geëxamineerd wordt. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld. De examineringsprocessen zijn voldoende geborgd. Wel blijkt dat, gelet op de opmerkingen bij de exameninstrumenten, bij de vaststelling meer aandacht besteed dient te worden aan de juistheid en volledigheid van deze instrumenten. De eenheid evalueert de examinering regelmatig. Bij de borging zijn betrokken: een vaststellingscommissie met extern deskundige, een examencommissie en een examenbureau. Verantwoording vindt onder andere plaats via een jaarverslag. De examinering voldoet aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie.


p.14 van 29

3

KWALITEIT EXAMINERING BIJ MBO VOEDING EN MILIEU

Vertrouwen beroepenveld






Borging processen


1

2

3

4

5

6

7

8

Standaard

3.1 Beoordeling opleidingen bij MBO Voeding en Milieu

G

V

V

V

G

V

G

11023 Vakbekwaam medewerker V voedingsmiddelentechnoloog 3 BBL 11058 Milieufunctionaris BOL V 97380 Operator (operator V voedingsindustrie Aequor) BOL O = onvoldoende/ V = voldoende/ G = goed

G

V

V

V

G

V

G

G

V

V

V

G

V

G

3.2 Beschouwing Algemeen beeld De examinering van de opleidingen is van voldoende kwaliteit. Het representatieve beroepenveld heeft voldoende vertrouwen in de examinering van de opleidingen. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. Het exameninstrumentarium voldoet aan de uitstroomeisen en toetstechnische kwaliteitseisen. De examinering is zeer transparant en voldoende geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium MBO Voeding en Milieu koopt het volledige exameninstrumentarium van de opleiding Operator in bij de Groene Standaard. Het exameninstrumentarium is van voldoende kwaliteit.


p.15 van 29

5.


4.

57084 Bedienen van apparatuur 57086 Transport en opslag 57216 Product- en procescontroles 57218 Zorgsystemen 57219 Aansturen afdeling 57220 Producttechnologie O = onvoldoende/ V = voldoende/ G = goed


Standaard

Beoordeling exameninstrumentarium Vakbekwaam medewerker voedingsmiddelentechnoloog (11023 BBL)

G V V V G V

G V V V G V

Toelichting beoordeling exameninstrumentarium Vakbekwaam medewerker voedingsmiddelentechnoloog Deelkwalificatie: Bedienen van apparatuur Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Uit onderzoek blijkt namelijk dat beide toetsen duidelijk en afwisselend zijn en alle eindtermen afdekken op het juiste niveau. Tevens blijkt dat de te behalen scores per vraag geheel in overeenstemming zijn met het gewicht van de bijbehorende eindterm(en). Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Geconstaterd is dat de instructie aan de deelnemer zeer duidelijk omschreven staat op de deelnemersversie van beide toetsen. Ook blijkt dat het antwoordmodel van de theorietoets correct en volledig is en dat voor beide delen van de praktijtoets zeer duidelijke beoordelingscriteria zijn uitgewerkt. Deelkwalificatie: Transport en opslag Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Hierbij wordt wel opgemerkt dat 1 vraag uit de schriftelijke toets, met erg veel punten, erg bepalend voor het eindcijfer is. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt bij het inhoudelijk beoordelen van de praktijkopdracht dat de afname condities niet geheel concreet en volledig zijn omschreven. Deelkwalificatie: Product- en procescontroles Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt.


p.16 van 29

Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoets zitten. Deelkwalificatie: Zorgsystemen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Uit het productonderzoek blijkt echter wel dat de omschrijving van de afnamecondities in de praktijkopdracht niet duidelijk is, aangezien niet specifiek wordt aangegeven dat de producten uit de voorbereiding in de opdracht worden meegenomen. Deelkwalificatie: Aansturen afdeling Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien de eindtermen volledig worden afgedekt en veel creativiteit is gebruikt is om twee afwisselende toetsen samen te stellen. De vraagstelling en taalgebruik zijn helder. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, aangezien het antwoordmodel de gewenste invulling omvat en de instructies en de informatie zeer goed passen bij het niveau van de deelkwalificatie. Deelkwalificatie: Producttechnologie Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Aandachtpunt blijft echter wel de specifieke omschrijving van de praktijkopdracht, in combinatie met de beoordeling aan de hand van waarnemingen.

5.


4.

57313 Moderne vreemde taal Engels B O = onvoldoende/ V = voldoende/ G = goed


Standaard

Beoordeling exameninstrumentarium Milieufunctionaris (11058 BOL)

V

V


p.17 van 29

Toelichting beoordeling exameninstrumentarium Milieufunctionaris Deelkwalificatie: Moderne vreemde taal Engels B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Verder valt bij de beoordeling van de theorietoetsen op dat binnen de cesuur de nadruk ligt op vorm en minder op inhoud. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, maar de informatie over de toetstechnische specificaties van de luistervaardigheidtoets zijn niet uitgewerkt. Toelichting beoordeling examineringsprocessen Het vertrouwen in de kwaliteit van de examinering van de opleidingen, door het representatieve beroepenveld, is voldoende. Elke twee jaar wordt een enquête naar de tevredenheid over examinering onder het beroepenveld gehouden. Voor de examinering van de competentiegerichte opleidingen geldt dat de tevredenheid van het beroepenveld direct na afname van een Proeve van Bekwaamheid, middels een evaluatie op schrift, wordt gemeten. MBO Voeding en Milieu organiseert twee maal per jaar bedrijvendagen. Op deze bijeenkomsten komen vooral inhoud en uitvoering van examinering aan de orde. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit het resultaat van de laatst gehouden JOB- enquête die is voorgelegd aan de deelnemers. Deelnemers worden door middel van een info bulletin geïnformeerd over het resultaat van de tevredenheidmetingen. MBO Voeding en Milieu organiseert jaarlijks panelgesprekken met deelnemers. De betrokkenen bij de examinering zijn voldoende deskundig. Alle toetsconstructeurs worden door de interne beoordelingscommissie gecoacht op het construeren van kwalitatief goede exameninstrumenten. Het competentieprofiel van assessor is opgenomen in het handboek examinering CKS. Voor zowel de docenten die een rol krijgen bij de beoordeling van Proeven van Bekwaamheid als voor vertegenwoordigers vanuit het bedrijfsleven wordt een assessorentraining georganiseerd. Voor het beoordelen van Proeven van Bekwaamheid worden alleen getrainde assessoren ingezet. Structurele evaluatie van de deskundigheid van de beoordelaars van de PvB’s wordt niet toegepast. De examineringprocessen zijn zeer transparant. Er zijn heldere procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen. Het is voor de studenten, het werkveld en de examinatoren duidelijk wanneer en op welke wijze geëxamineerd wordt. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld.


p.18 van 29

De examineringsprocessen zijn voldoende geborgd. De opleidingsexamencommissie waarborgt zorgvuldige afname en beoordeling van de examens. De afname wordt met de controle van het protocolformulier in het verslag van de opleidingsexamencommissie aantoonbaar beheerst en gecontroleerd. Met een steekproefsgewijze tweede beoordeling wordt de beoordeling van de theorietoetsing geborgd. Een dergelijke structurele borging van de beoordeling van de praktijkexaminering is overigens niet aan de orde. De examinering voldoet aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of nog steeds aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie.


p.19 van 29


p.20 van 29

4

KWALITEIT EXAMINERING BIJ MBO DIER EN GROENE RUIMTE






Borging processen


3

4

5

6

7

8

11034 Bedrijfsleider/beheerder G dierverzorging BOL 11035 Bedrijfsleider/manager G paardenhouderij BOL 97023 Assistent medewerker voedsel G en leefomgeving (natuur en leefomgeving) BBL 97140 Vakfunctionaris natuur en G techniek (medewerker gemechaniseerd loonbedrijf) BOL 97150 Vakfunctionaris natuur en G techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) BBL O = onvoldoende/ V = voldoende/ G = goed

2

Vertrouwen beroepenveld 1

Standaard

4.1. Beoordeling opleidingen bij MBO Dier en Groene Ruimte

G

V

V

V

G

V

G

G

V

V

V

G

V

G

G

V

V

V

G

V

G

G

V

V

V

G

V

G

G

V

V

V

G

V

G

4.2 Beschouwing Algemeen beeld De examinering van de opleidingen is van voldoende kwaliteit. Het representatieve beroepenveld heeft veel vertrouwen in de examinering van de opleidingen. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. Het exameninstrumentarium voldoet aan de uitstroomeisen en toetstechnische kwaliteitseisen. De examinering is transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium MBO Dier en Groene Ruimte koopt het volledige exameninstrumentarium van de opleidingen Assistent medewerker voedsel en leefomgeving BBL, Vakfunctionaris natuur en techniek BOL en Vakfunctionaris natuur en techniek BBL in bij de Groene Standaard. Het exameninstrumentarium is van voldoende kwaliteit.


p.21 van 29

5.


4.

57228 Inrichten verkoopruimten B 57236 Voeren (gezelschap)dieren 57237 Verzorgen (gezelschap)dieren 57244 Verlenen eerste hulp bij dieren 57313 Moderne vreemde taal Engels B 57407 Managen inkoop O = onvoldoende/ V = voldoende/ G = goed


Standaard

Beoordeling exameninstrumentarium Bedrijfsleider/beheerder dierverzorging (11034 BOL)

G V G V V V

V V V V V V

Toelichting beoordeling exameninstrumentarium Deelkwalificatie: Inrichten verkoopruimten B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Uit onderzoek blijkt namelijk dat beide toetsen duidelijk en afwisselend zijn en alle eindtermen afdekken op het juiste niveau. Tevens blijkt dat de te behalen scores per vraag geheel in overeenstemming zijn met het gewicht van de bijbehorende eindterm(en). Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat de beschrijving van de afnamecondities van de BPV opdracht niet volledig is. Deelkwalificatie: Voeren (gezelschap)dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar de beoordeling bij toets 1 is niet helder en niet consequent en relateert niet voldoende aan verantwoordelijkheden voor het dier en het aansturen van medewerkers/vrijwilligers. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoetsen zitten. Deelkwalificatie: Verzorgen (gezelschap)dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Geconstateerd is dat de eindtermen allemaal gedekt en getoetst worden op een manier die recht doet aan het kwalificatieniveau en aan de aard van de eindtermen. Tussen de toetsen onderling is ook sprake van een evenwichtige weging.


p.22 van 29

Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat de afnamecondities niet geheel helder zijn omschreven. Deelkwalificatie: Verlenen eerste hulp bij dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt en niet alle eindtermen hebben de juiste toetsvorm. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoets zitten. Deelkwalificatie: Moderne vreemde taal Engels B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Het blijkt dat de informatie omtrent het afnameniveau niet geheel duidelijk is. Deelkwalificatie: Managen inkoop Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar de toetsvragen zijn heel kennisgericht en dan ook nog vooral op de te gebruiken systemen in het inkoopproces i.p.v. de dilemma's en argumenten (managen) van het inkoopproces zelf. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat een aantal vragen niet concreet genoeg is geformuleerd en de bijbehorende beoordelingscriteria niet objectief zijn weergegeven.


Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 5.

57199 Voeren dieren 57255 Mennen paarden 57297 MCK C 57300 Bedrijfshulpverlening 57409 Administreren van financiën 57410 Opstellen ondernemersplan O = onvoldoende/ V = voldoende/ G = goed

4.

Standaard

Beoordeling exameninstrumentarium Bedrijfsleider/manager paardenhouderij (11035 BOL)

V G V V G V

V V V V V V


p.23 van 29

Toelichting beoordeling exameninstrumentarium Bedrijfsleider/manager paardenhouderij Deelkwalificatie: Voeren dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Het blijkt dat een beperkt aantal eindtermen uit de toetsmatrijs niet door de toetsen wordt afgedekt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Deelkwalificatie: Mennen paarden Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Geconstateerd is dat de eindtermen allemaal gedekt en getoetst worden op een manier die recht doet aan het kwalificatieniveau en aan de aard van de eindtermen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Uit onderzoek blijkt dat het beoordelingsvoorschrift grotendeels duidelijke criteria bevat, maar het toetstechnische niveau kan worden verhoogd door deelscores aan te geven. Deelkwalificatie: MCK C Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar bij een beperkt aantal eindtermen komt de weging niet overeen met de te behalen punten voor de overeenkomstige vragen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel is de informatie omtrent de afnamecondities niet duidelijk genoeg. Deelkwalificatie: Bedrijfshulpverlening Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat de informatie omtrent de afnamecondities onvoldoende duidelijk is. Deelkwalificatie: Administreren van financiën Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Alle eindtermen worden in verhouding getoetst. Ook blijkt dat de toetsen een goed niveau hebben en de cesuur op een goed niveau ligt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Voor alle toetsen geldt dat het totaal aantal punten per onderdeel duidelijk is, maar niet transparant is hoe de score per onderdeel is opgebouwd. Deelkwalificatie: Opstellen ondernemersplan Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen. Wel blijkt dat het beoordelingsvoorschrift geen exacte weergave van de antwoorden op de examenvragen bevat. Er is geen uitgewerkt voorbeeld voorhanden.


p.24 van 29

Toelichting beoordeling examineringsprocessen Het vertrouwen in de kwaliteit van de examinering van de opleidingen, door het representatieve beroepenveld, is goed. Het beroepenveld is door de instelling van de bedrijfsadviescommissie en de bijbehorende vaktechnische commissies per sector niet alleen betrokken bij de uitvoering van de examens, maar ook bij de inhoudelijke kant van de examens. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit het resultaat van een enquête die is voorgelegd aan de deelnemers. In deze gesprekken worden de resultaten van de enquête aan de deelnemers teruggekoppeld. De betrokkenen bij de examinering zijn voldoende deskundig. De binnenschoolse beoordelaars hebben scholing gevolgd en doen aan intervisie. Voor zowel de docenten die een rol krijgen bij de beoordeling van Proeven van Bekwaamheid als voor vertegenwoordigers vanuit het bedrijfsleven wordt een assessorentraining georganiseerd. Structurele evaluatie van de deskundigheid van de beoordelaars van de praktijkexaminering wordt bij deze eenheid niet toegepast. De examinering is transparant en geborgd. De procedures, taken en verantwoordelijkheden zijn duidelijk. Alle betrokkenen bij de examinering werken conform de vastgestelde processen. Alle examenproducten zijn beoordeeld door de interne beoordelingscommissie en vastgesteld in de MBOvaststellingscommissie. De examinering van de opleidingen is geborgd conform de procedures uit het Handboek toetsing en examinering. Structurele borging van de beoordeling van de praktijkexaminering is hier geen onderdeel van. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie.


p.25 van 29


p.26 van 29

5

CONCLUSIES EN VERVOLGTOEZICHT

De examinering van de volgende opleidingen is van voldoende kwaliteit. MBO Groen, De Lier • Vakbekwaam medewerker en groothandel en logistiek (11061) BOL MBO Voeding en Milieu, Delft • Vakbekwaam medewerker voedingsmiddelentechnoloog 3 (11023) BBL • Milieufunctionaris (11058) BOL • Operator (operator voedingsindustrie Aequor) (97380) BOL MBO Dier en Groene Ruimte, Maasland • Bedrijfsleider/beheerder dierverzorging (11034) BOL • Bedrijfsleider/manager paardenhouderij (11035) BOL • Assistent medewerker voedsel en leefomgeving (natuur en leefomgeving) (97023) BBL • Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) (97140) BOL • Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) (97150) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleiding is van onvoldoende kwaliteit. MBO Groen, De Lier • Medewerker plantenteelt (11044) BBL. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Van deze constatering van onvoldoende examenkwaliteit 2007-2008 wordt melding gemaakt aan de minister van LNV. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden.


p.27 van 29


p.28 van 29

BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs 2007-2008, gepubliceerd in de staatscourant 29 april 2008 DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN· Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN· Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN· Standaard 6: De examineringsprocessen zijn transparant.· Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN· Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document ‘Toezichtkader examinering 2007-2008’ (te vinden op www.onderwijsinspectie.nl).


p.29 van 29

HOLLAND College ONDERZOEK KWALITEIT EXAMINERING

Recommend Documents