Naam Examenleverancier :



Naam Examenleverancier

In te vullen door de Organisatie auditor van Kiwa

:

Toetsing Organisatieaudit Product Dienst Indien er sprake is van het toetsen van een product: Naam Product : Crebonummer : Naar aanleiding van de resultaten van de uitgevoerde toetsing geeft Kiwa het volgende advies: Organisatieaudit: Positief: de getoetste dienst voldoet aan de gestelde eisen Negatief: de getoetste dienst voldoet niet aan de gestelde eisen Product: Positief: het getoetste product voldoet 100% aan de gestelde eisen Positief: het getoetste product voldoet tussen de 76% en 100% aan de gestelde eisen Negatief: het getoetste product voldoet voor minder dan 76% aan de gestelde eisen Dienst: Positief: de getoetste dienst voldoet aan de gestelde eisen Negatief: de getoetste dienst voldoet niet aan de gestelde eisen Datum:

R. van Oorschot Manager Kiwa Educatie

Auditrapport Keurmerk Examenleverancier versie 3.1 voor de auditoren (oktober 2013)

Pagina 1/17

Beoordeling audit examinering 2012 – 2013 Rapportage inkoopaudit examenproducten en diensten op examinering 2012 – 2013

Product Opleiding crebo Beroepsgerichte deel Indien wijziging (tweede toetsing product)

In te vullen door de IA (inhoudsauditor Kiwa)

Datum audit

In te vullen door de IA

Examenleverancier nr

In te vullen door de IA

Inhoudsauditor(en) Kiwa

In te vullen door de IA: achternaam en voorletters

Toetstechnische auditor

In te vullen door de TA (Toetstechnische auditor) : achternaam en voorletters

Organisatieauditor

In te vullen door de OA: achternaam en voorletters

Wijziging betreft: alleen in te vullen als er een tweede/derde toetsing plaatsvindt


Pagina 2/17

Aspect 2.1 Exameninstrumenten Examenstandaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen 2.1.1 Onderscheid tussen ontwikkelingsgerichte toetsingen en examinering Aangetoond Er is duidelijk kenbaar gemaakt dat het hier gaat om kwalificerende examenproducten Goed Onvoldoende Oordeel Kiwa Slecht Geen oordeel Te weinig informatie beschikbaar Anders Toelichting: [voor de uitgebreide tekst: zie Normenbundel Exameninstrumenten 2012 van de Inspectie, pagina 6] In het geleverde examenmateriaal moet duidelijk blijken dat het ook echt gaat om een examen dat kan leiden tot een diploma.

Bevindingen Inhoudsauditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar?

Tekortkomingen Aandachtpunten

Bevindingen Toetstechnische auditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar?

Tekortkomingen Aandachtpunten


Pagina 3/17

2.1.2 Dekking van het kwalificatiedossier Aangetoond Bij de inrichting van kwalificerende examens is sprake van volledigheid en passende complexiteit, om de beroepsuitoefening op het vereiste beheersingsniveau zoals omschreven in het kwalificatiedossier, te examineren. Dit betekent dat: voor opleidingen gericht op de beroepsgerichte kwalificatiestructuur de kwalificatie-eisen zijn opgenomen in de examens, waarbij meer dan 75% van de werkprocessen per kerntaak - de essentie van het beroep inbegrepen – wordt geëxamineerd. Hierbij zijn de inhoud en de toetsvorm zodanig afgestemd op de vereisten, dat kennis, vaardigheden en houding in een goede balans passend worden beoordeeld. wettelijke beroepsvereisten - indien van toepassing – volledig zijn geëxamineerd met examens die qua inhoud en toetsvorm passend zijn. Goed Voldoende Oordeel Kiwa Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders Toelichting: Ter informatie: Percentage Producten worden goedgekeurd indien de werkprocessen zijn gedekt in de range van de 76 en 100% van de werkprocessen per benoemen kerntaak van het desbetreffende kwalificatiedossier. De essentie van het beroep is hierin meegenomen. Het Keurmerk staat voor de bevinding/toetsing van 100% van alle producten en diensten van de examenleverancier. De IA dient het betreffende Kwalificatiedossier (KD) te vergelijken met het examenmateriaal. De IA dient gebruik te maken van het rapportmodel (bijlage). Eventuele afwijkingen dienen op het eerste blad van het rapport te worden vermeld. De TA hoeft deze standaard niet te toetsen.

Bevindingen van de Inhoudsauditoren n.a.v. hun tool werkprocessen Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar?

Tekortkomingen

Aandachtpunten


Pagina 4/17

2.1.3 Cesuur Aangetoond

Oordeel Kiwa

Toelichting:

Er is een verantwoorde procedure gevolgd voor het bepalen van de cesuur, zowel voor examenonderdelen als voor het examen als geheel. De cesuur van het exameninstrumentarium ligt op het niveau waarop de student voldoet aan de vereisten van een beginnend beroepsbeoefenaar. De cesuur is zodanig opgesteld dat de beoordeling (en daarmee de waardering van de kennis, vaardigheden en houding van de student) in totaal niet lager uitpakt dan voor de vakbekwaamheid voor het beroep noodzakelijk is. (waarde) Er is sprake van een evenwichtige, niet oneigenlijk puntentoekenning die recht doet aan het belang van de kerntaken en werkprocessen. (balans) Er is sprake van een weging van de examenopdrachten/-toetsen onderling , die geen afbreuk doet aan de genoemde cesuur. Goed Voldoende Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders  Cesuur: de toekenning van de punten moet reëel zijn. Voert de leerling een opdracht voldoende uit, dan moet dit ook matchen met de cesuur (dus niet dat als een opdracht voldoende wordt uitgevoerd er een 8 (op de schaal tot 10) wordt toegekend). Dus laten zien wat /waarom de waardebepaling zo gemaakt is.  Evenwichtig: de toekenning van de waarde moet in balans zijn. Voorbeeld: voor een steigerbouwer is het logisch dat de waarde van de toe te kennen punten voor het stabiel zetten van de steiger hoger ligt dan klantvriendelijk tegen een opdrachtgever te zijn.  Weging: Heeft met bovenstaande punt te maken maar dan ook verfijnd niveau (bijvoorbeeld dat er per opdracht aangegeven wordt hoe zwaar de opdracht weegt)

Bevindingen Inhoudsauditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (3, zie kolom aangetoond)

Tekortkomingen

Bevindingen Toetstechnische auditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (3, zie kolom aangetoond

Tekortkomingen


Aandachtpunten

Aandachtpunten

Pagina 5/17

2.1.4 Beoordelingswijze Aangetoond Het exameninstrumentarium is voorzien van een beoordelingsvoorschrift, dat een zo objectief mogelijke beoordeling waarborgt. Dit betekent dat: het beoordelingsvoorschrift is voorzien van richtlijnen die leiden tot een onafhankelijke beoordeling. de prestatie-indicatoren (of vergelijkbare beoordelingscriteria) herleidbaar in het beoordelingsvoorschrift zijn opgenomen en een correct antwoordmodel of beoordelingsschema beschikbaar is. de beoordelaar eruit kan opmaken welke (deel)waardering aan een prestatie van een student toegekend moet worden de beoordelaar eruit kan opmaken welke eindwaardering gegeven moet worden. de beoordelaar de gegeven waarderingen conform het beoordelingsvoorschrift herleidbaar kan onderbouwen.

Oordeel Kiwa

Toelichting:

Uit de beoordelingsrichtlijnen blijkt dat de uitslag plaatsvindt op het niveau van de kerntaken en werkprocessen. De beoordeling wordt gebaseerd op de prestatie-indicatoren (of vergelijkbare beoordelingscriteria) uit het kwalificatiedossier. Als een examen(onderdeel) niet wordt behaald , wordt op het niveau van de prestatie- indicator (of vergelijkbare beoordelingscriterium) verantwoord wat de oorzaak daarvan is. Goed Voldoende Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders Er dient dus een beoordelingsvoorschrift aanwezig te zijn waar bovenstaande 8 punten (zie kolom aangetoond) in opgenomen zijn.

Bevindingen Inhoudsauditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (8, zie kolom aangetoond) Bevindingen Toetstechnische auditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (8, zie kolom aangetoond)


Tekortkomingen Aandachtpunten Tekortkomingen Aandachtpunten

Pagina 6/17

2.1.5 Transparantie Aangetoond Het exameninstrumentarium geeft alle betrokkenen een helder beeld van hoe het examen (product of dienst) eruit ziet en hoe het wordt uitgevoerd en beoordeeld.. Er is opgenomen dat studenten en beoordelaars worden schriftelijk en tijdig geïnformeerd over de beoordelingscriteria en de wijze waarop het examen (product of dienst) zal plaatsvinden en de wijze van beoordeling. (beschreven) Het exameninstrumentarium is voorzien van afnamecondities ( locatie, middel, materiaal, tijdsduur e.d.) en aanwijzingen voor de beoordelaars en de studenten (tijdsduur) voor de uitvoering van het examen. Goed Voldoende Oordeel Kiwa Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders Toelichting:  Informatie: deze dient vooraf gegeven te zijn!  Afnamecondities: bij sommige examens dient de kandidaat zelf materiaal mee te nemen, vaak is het aanwezig.

Bevindingen Inhoudsauditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (2)

Tekortkomingen

Bevindingen Toetstechnische auditoren Let op dat in de bevinding wordt aangegeven of de standaard aanwezig is en zo ja: waar? Schrijf de bevinding per onderdeel op (2)

Tekortkomingen


Aandachtpunten

Aandachtpunten

Pagina 7/17

Oordeel Aspect 2.1 Exameninstrumenten Examenstandaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen Opmerkingen

Naam Inhoudsauditor:

Oordeel Aspect 2.1 Exameninstrumenten Examenstandaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen Opmerkingen

Naam Toetstechnische auditor:

Datum: Handtekening Positief: het getoetste product voldoet 100% aan de gestelde eisen Positief: het getoetste product voldoet tussen de 76% en 100% aan de gestelde eisen Negatief: het getoetste product voldoet voor minder dan 76% aan de gestelde eisen

Datum: Handtekening


Pagina 8/17

Aspect 2.2 Afname en beoordeling. Indien het een ingekochte dienst betreft (anders niet van toepassing) Examenstandaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk 2.2.1 Authentieke afname Het examen bevat tenminste activiteiten die de student als beginnend beroepsbeoefenaar in het toekomstige beroep uitvoert, Aangetoond afgestemd op het kwalificatiedossier. De werkomstandigheden en de sociale context tijdens de beoordeling van het examen komen zoveel mogelijk overeen met die in het toekomstige beroep; Het beroepenveld is betrokken bij de examinering en beoordeelt de afname en beoordeling als realistisch. Goed Voldoende Oordeel Kiwa Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders Toelichting:

Bevindingen van de Inhoudsauditoren

Tekortkomingen

GELDT DUS NIET VOOR PRODUCTAUDIT!

Aandachtpunten


Pagina 9/17

2.2.2 Betrouwbaarheid. Indien het een ingekochte dienst betreft (anders niet van toepassing) Aangetoond De afname en beoordeling zijn deugdelijk en verlopen zoals beoogd. In gelijke gevallen wordt gelijk geoordeeld. De beoordeling is zo objectief mogelijk. Voorzieningen die zijn getroffen om dat te bereiken worden adequaat toegepast. Examenopdrachten, afnamecondities en beoordelingen zijn voor alle studenten zodanig opgezet en toegepast dat geen afbreuk wordt gedaan aan de betrouwbaarheid van de uitkomsten van de examenopdracht of het examenprogramma als geheel, noch aan het niveau daarvan. Er is sprake van een deskundige beoordeling van studenten gericht op het vakinhoudelijk correct beoordelen van de vereiste kennis, houding en vaardigheden van de student. Goed Voldoende Oordeel Kiwa Onvoldoende Slecht Geen oordeel Te weinig informatie beschikbaar Anders Toelichting:

Bevindingen van de Inhoudsauditoren

Tekortkomingen

GELDT DUS NIET VOOR PRODUCTAUDIT!

Aandachtpunten


Pagina 10/17

Oordeel Aspect 2.2 Afname en beoordeling Examenstandaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk. opmerkingen

Kwaliteit van examinering bij de opleiding oordeel In te vullen door Kiwa organisatie

Naam Inhoudsauditor(en): GELDT DUS NIET VOOR PRODUCTAUDIT! Datum: Handtekening Positief: de getoetste dienst voldoet aan de gestelde eisen Negatief: de getoetste dienst voldoet niet aan de gestelde eisen

crebo en cohort invullen opmerkingen


Pagina 11/17

Overzicht van de beoordeling van producten en/of diensten door de OA van Kiwa1 Gebied 2: Examinering en diplomering

Standaard 2

2.2.1 Betrouwbaarheid

2..2.1 Authentieke afname

Standaard 2

Examenstandaard 2 Proces afname en beoordeling Indicatoren

2.1.5 Transparantie

2.1.4 Beoordelingswijze

2.1.3 Cesuur

2.2.2 Dekking

opleiding

2.1.1 Onderscheid ontwikkel en examinering

crebo

Product/ dienst

Examenstandaard 1 Aspect 2.1 Exameninstrumenten Indicatoren

P/D

Goed Onvoldoende Onvoldoende Slecht Geen oordeel

De examenkwaliteit is beoordeeld als Aan alle standaarden is voldaan, de elementen in het portret worden op een uitstekende wijze uitgevoerd Aan alle standaarden is voldaan. Er wordt voor een grootste deel aan de omschrijving van de portretten voldaan, waaronder de essentiële onderdelen Aan één standaard wordt niet voldaan Aan twee of drie standaarden wordt niet voldaan Te weinig informatie beschikbaar Anders

Normering: Binnen de audit geldt dat de examenkwaliteit van een opleiding voldoende is wanneer alle twee de standaarden voldoende zijn en per standaard aan alle indicatoren is voldaan. In artikel 7.4.4 van de WEB wordt gesproken over standaarden voor de kwaliteit van de examens. Deze standaarden en beoordelingsnorm zijn opgenomen in een ministeriele Regeling Examenstandaarden MBO en maken tegelijk integraal deel uit van het waarderingskader. Om deze reden worden de aspecten hier ook ‘standaarden’ genoemd. De wettelijke beroepsvereisten moeten in de examens zijn verwerkt. 1

Normenbundel Exameninstrumenten 2012 (Onderwijsinspectie)


Pagina 12/17

Voor de examenkwaliteit van een opleiding wordt een oordeel uitgesproken op een vijf puntschaal (goed – voldoende – onvoldoende – slecht- geen oordeel . Geen oordeel is een extra uitleg van slecht. De examenkwaliteit van een opleiding is voldoende of goed wanneer alle drie de standaarden voldoende zijn en er per standaard aan alle indicatoren is voldaan. Beoordeling product en dienstlevering – borging door de Organisatieauditor Examenstandaard 3 2.3 Diplomering Indicatoren

1. Levering examenproducten en of diensten is transparant en voldoet om de onderwijsinstellingen aan de formele eisen te laten voldoen 2.3.1 besluitvorming diplomering 2.3.2 Verantwoordelijkheid examencommissie Items Product Dienst Opmerkingen 1 De examenproducten zijn voor verspreiding x vastgesteld door de leverancier. 2 De onderwijsinstelling heeft op verzoek inzage x in het verslag van de uitslag van de vaststellingsvergadering met gespecificeerde kwaliteitscontrole. 3 De normering en cesuur worden ter beschikking x van de onderwijsinstelling gesteld. 4 De leverancier stelt het examenproduct (inclusief x verantwoordingsdocumentatie) tijdig beschikbaar ter vaststelling door de onderwijsinstelling. 5 Het beoordelingsvoorschrift is aanwezig x 6 Het beoordelingsvoorschrift is eenduidig voor x alle beoordelaars 7 De toets is voorzien van aanwijzingen voor de x uitvoering van de examens 8 De toets is op het gebied van de lay out conform x de lay out van de exameninstelling. 9 Er is vastgelegd hoe te handelen indien de x inspectie beoordeelt dat de examenproducten niet aan de criteria voldoen. 10 Kennis, vaardigheden en houding zijn vastgesteld x x en vastgelegd. Auditrapport Keurmerk Examenleverancier versie 3.1 voor de auditoren (oktober 2013)

Pagina 13/17

11

De uitslagen van de afgenomen toetsen/examens (producten en diensten) zijn vastgelegd. De adviezen aan de examencommissie van de onderwijsinstelling zijn vastgelegd.

12

Er is vastgelegd hoe te handelen bij geschillen over de uitslag product of dienst Er is vastgelegd hoe de student inzagerecht heeft in het gemaakte examen (product of dienst) Er is vastgelegd over de wijze waarop de studenten de toetsing (product of dienst) kunnen evalueren. Er is een formeel evaluatiemoment en procedure vastgelegd tussen de onderwijsinstelling en de examenleverancier.

13 14

15

Oordeel 1. Levering examenproducten is transparant en voldoet om de roc’s aan de formele eisen te laten voldoen

x

x

x

Advies de school om dit en hoe goed te regelen

x

Aan de school om dit en hoe goed te regelen

x

Aan aan de school om dit en hoe goed te regelen

x

Aan de school om dit en hoe goed te regelen

x

Naam Organisatieauditor(en): Datum: Handtekening

opmerkingen


Pagina 14/17

2. Het contract leverancier – afnemer is transparant en voldoet (door de Organisatieauditor) Items van een product en of dienst 1 De namen van de contractpartijen zijn vermeld. 2 De looptijd is in het contract opgenomen. 3 Het contract is voorzien van dagtekening en ondertekening van de contractpartijen. 4 Het contract bevat: een beschrijving/vermelding van: het (de) in te kopen examen(s). Indien van toepassing: het aantal versies en de aanlevering daarvan. het crebo-nummer en de kwalificatie. het cohort van het Kwalificatiedossier. een vermelding van de plaats van afname. de levering van hulpmiddelen en faciliteiten. Wie verantwoordelijk is voor: a. inrichting van de examenlocatie. b. aanwezigheid van deskundige beoordelaars. c. melding van onregelmatigheden tijdens de afname. d. de rapportage van de resultaten. 5 Per in te kopen examen is bekend of het examen voldoet aan de eisen conform het toezichtkader van de inspectie wat betreft: - uitstroomeisen . - toetstechnische eisen. 6 De wijze waarop geheimhouding wordt gewaarborgd is vermeld. 7 De aanlevertermijn van noodzakelijke bescheiden door de contractpartijen is vermeld. 8 In de overeenkomst is een verwijzing naar een bij de leverancier geldende klachtenprocedure opgenomen, waarin uitgewerkt is hoe moet worden gehandeld als de afnemer inhoudelijke en/of toetstechnische mankementen aan het (de) ingekochte examen(s) vaststelt voor, tijdens of na de afname van een examen.

Product x x x

Dienst x x x

x

x

x x

x x x x x

Opmerkingen

x

x

x

x

x

x


Pagina 15/17

9

10

11

In de overeenkomst is vastgelegd hoe de aansprakelijkheid van de leverancier is geregeld indien zij in gebreke blijft. In de overeenkomst is vastgelegd wanneer en op welke wijze het (de) ingekochte examen(s) worden geëvalueerd. In de overeenkomst is vastgelegd op welke manier afnemers van examens van de resultaten van de evaluatie op de hoogte worden gesteld.

Oordeel 2. Het contract leverancier – afnemer is transparant en voldoet

Opmerkingen

x

x

x

x

Naam Organisatieauditor(en) : Datum: Handtekening Product: Positief: het getoetste product voldoet 100% aan de gestelde eisen Negatief: het getoetste product voldoet niet 100% aan de eisen Dienst: Positief: de getoetste dienst voldoet aan de 100% gestelde eisen Negatief: de getoetste dienst voldoet niet aan de 100% gestelde eisen

Kwaliteit dienst - borging Oordeel In te vullen door de Kiwa organisatie

crebo en cohort invullen opmerkingen


Pagina 16/17

Eisen uit het Keurmerk Examenleverancier (door de Organisatieauditor) Artikel Items van een product en of dienst Product Verwijzing Keurmerk 1 2.2. De organisatie dient te beschikken over een X goedgekeurd verslag 2 2.3. Beschikbaar stellen van scholing X 3 2.3.1 Juridische status X 5 2.3.2. Vastleggen van het primaire proces X 6 2.3.3. Privacyreglement/geheimhouding medewerkers X 7 2.3.4. Klachtenprocedure/ klachtenmanagement X 8 2.3.5. Klanttevredenheid X 9 2.3.6. Beroepenveld X 10 2.4. Vaststellen deskundigheid medewerkers X 11 2.5. Interne audit X 13 3.2.4. Ontwikkelen/vaststellen beoordelingsinstrumenten X 14 3.2.5. Maatregelen zorgvuldig gebruik X 15 3.2.6 Leveringsvoorwaarden x 16 3.2.7 Evaluatie van het product /dienst x Oordeel Naam Organisatieauditor(en) : Overige criteria Keurmerk Examenleverancier Datum:

opmerkingen

Dienst

X X X X X X X X X X

x x

Handtekening Product: Positief: het getoetste product voldoet 100% aan de gestelde eisen Negatief: het getoetste product voldoet niet 100% aan de eisen Dienst: Positief: de getoetste dienst voldoet 100% aan de gestelde eisen Negatief: de getoetste dienst voldoet niet 100 %aan de gestelde eisen


Pagina 17/17

Naam Examenleverancier :

Recommend Documents