1 Onderzoek naar ervaringen met ingekochte examens in het mbo2 Colofon Titel : Onderzoek naar ervaringen met ingekochte examens in het mbo - conceptve...
Voorwoord Het Servicepunt examinering mbo heeft tot doel scholen te ondersteunen in het verbeteren van de kwaliteit van (beroepsgerichte) examinering. Naast allerlei bijeenkomsten en publicaties hebben wij een helpdeskfunctie en brengen wij verschillende betrokkenen bij examinering met elkaar in contact. Van examenleveranciers en –consortia, beleids- en stafmedewerkers examinering en kwaliteitszorg tot docenten en beoordelaars van examens. Met de toenemende aandacht voor exameninstrumenten merkten wij dat scholen zeer divers over ingekochte exameninstrumenten spreken: vol lof maar soms ook kritisch. Vanuit onze makelaarsrol was dit voor ons aanleiding een onafhankelijk onderzoek te starten naar de ervaringen met niet-zelfontwikkelde (en dus ingekochte) examens. Om op die manier het spanningsveld tussen (door leveranciers en consortia ontwikkelde) exameninstrumenten en de (door scholen georganiseerde) afname van examens te verkennen, en daarover met elkaar open in gesprek te gaan. Het Servicepunt examinering mbo bedankt alle respondenten hartelijk voor hun betrokkenheid bij het onderzoek. Daarnaast hopen wij op een open vervolgdiscussie om op die manier gezamenlijk, met examenleveranciers- en consortia en alle betrokkenen op de scholen, de kwaliteit van examinering verder te verbeteren. Na publicatie van de onderzoeksresultaten delen wij de conclusies en aanbevelingen in verschillende gremia en betrekken we deze bij onze activiteiten in studiejaar 2015-2016. Marleen van de Wiel projectleider Servicepunt examinering mbo 17 juni 2015
3
Samenvatting, conclusies en aanbevelingen Wat zijn de ervaringen van mbo-scholen en examenleveranciers met ingekochte beroepsgerichte examens in het mbo? Deze vraag stond centraal in een onderzoek dat ‘vanderburgt advies en samenwerking’ begin 2015 op initiatief van het Servicepunt examinering mbo heeft uitgevoerd. De doelen? Zicht krijgen op ervaringen bij de inkoop/levering en inzet van examens van mbo-scholen en examenleveranciers. En met elkaar op zoek gaan naar oplossingsrichtingen voor ervaren knelpunten. Om dit te achterhalen is gekozen voor een combinatie van een schriftelijke inventarisatie en een verdiepende bijeenkomst met mboscholen en examenleveranciers. Deze aanpak maakte tendensen zichtbaar. Op basis daarvan formuleerde de onderzoeker conclusies en aanbevelingen. Deze vindt u in dit document. De onderzoeksresultaten zijn vooral van indicatieve betekenis en niet per opleidingssector1 onderscheiden.
Conclusies Conclusies inkoop a. Een intern afgestemd inkoopproces versterkt draagvlak en uitvoering. Beleidsmedewerkers examinering en/of kwaliteitszorg die werken bij de centrale stafdienst van een mbo-school zijn vaak niet betrokken bij het besluit tot inkoop. Met als risico dat scholen te weinig meewegen of de in te kopen examens aansluiten bij de onderwijsvisie en de kwaliteitseisen. Het inkoopproces zo inrichten dat alle aspecten worden meegewogen, beperkt dit risico en versterkt het interne draagvlak voor het werken met ingekochte examens. b. Inkoopmogelijkheden vaak noodgedwongen beperkt tot één examenleverancier. Voor een aantal opleidingssectoren heeft slechts één examenleverancier aanbod. Mboscholen hebben dus geen keuze. Zeker als deze ene examenleverancier geen variatie aan exameninstrumenten biedt, en het aanbod niet aansluit bij de visie binnen de school, ervaren mbo-scholen dat als knelpunt.
1
Met (opleidings)sector bedoelen we Techniek, Zorg & Welzijn et cetera; in mbo-scholen ook wel afdeling genoemd.
4
Conclusies kwaliteit c. Mbo-scholen zijn tevreden over de kwaliteit van ingekochte examens. De mate hangt af van rol en taken in het examenproces. Binnen mbo-scholen is men op sectorniveau vaker en meer tevreden over de kwaliteit van ingekochte examens dan op centraal niveau. Verklaring: ze beoordelen de kwaliteit vanuit verschillende invalshoeken; op sectorniveau vooral vanuit uitvoerbaarheid in school en beroepspraktijk, op centraal niveau vooral vanuit visie en geldende kwaliteitseisen. d. Mbo-scholen vinden dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Ondanks dat controleren zij deze kwaliteit zelf opnieuw. Een ruime meerderheid van de respondenten uit mbo-scholen vindt dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Tegelijkertijd bestaat veel onduidelijkheid over wie nu precies in welke situaties verantwoordelijk is voor deze kwaliteit. Een reden waarom mbo-scholen in de meeste gevallen zelf (nogmaals) vaststellen of de examens aan de standaarden voldoen. Dit kost onnodig (te) veel tijd. Conclusies inzet en uitvoerbaarheid e. Uitvoerders in mbo-scholen hebben voldoende zicht op de werkwijze en het aanbod van examenleveranciers. Op centraal beleidsniveau en bij examenleveranciers is er weinig zicht op de inzet van ingekochte examens. Op sectorniveau zijn respondenten in ruime meerderheid tevreden over de mate waarin zij zicht hebben op de werkwijze en het aanbod van examenleveranciers. Voor zover zij informatie missen, gaat die vooral over de uitvoering en uitvoerbaarheid van de examens, waaronder die in de beroepspraktijk. De meerderheid van de examenleveranciers heeft weinig zicht op hoe scholen ingekochte examens inzetten. Hetzelfde geldt op centraal niveau in mbo-scholen als het gaat om de inzet van de examens in opleidingssectoren. f.
Ingekochte examens zijn voldoende uitvoerbaar. De tevredenheid neemt toe als de uitvoerbaarheid in de beroepspraktijk en van de beoordeling verbetert.
De meeste respondenten vanuit de opleidingssectoren vinden de uitvoerbaarheid van de afname en de beoordeling van ingekochte examens voldoende. Veel genoemde verbeterpunten: de uitvoerbaarheid in de beroepspraktijk, de beoordelingssystematiek en de rol en deskundigheid van beoordelaars. 5
g. Meer variatie in exameninstrumenten, goede communicatie en snelle actie na geconstateerde fouten voorkomen dat mbo-scholen examens wijzigen. De helft van de mbo-scholen geeft aan dat hun school/sector examens wijzigt. Examenleveranciers hebben daar niet altijd zicht op. Zij veronderstellen dat mbo-scholen vooral wijzigen vanwege een andere voorkeur of visie, terwijl mbo-scholen zelf relatief vaak ook gemis aan variatie en geconstateerde fouten als redenen noemen. Ook het niet (tijdig) aanpassen van fouten in examens voor eerdere cohorten leidt er toe dat mboscholen ingekochte examens wijzigen. Conclusie communicatie en afstemming h. Het eerder en vaker delen van knelpunten, wensen en expertise verbetert de kwaliteit en uitvoerbaarheid van ingekochte examens Scholen stellen zich richting examenleveranciers eerder afhankelijk op dan assertief. Bij examenleveranciers geldt het omgekeerde. Zo zijn examenleveranciers soms geneigd aanvullende dienstverlening aan te bieden zonder eerst met scholen verkend te hebben of de oplossing te vinden is in een betere afstemming van en communicatie over het exameninstrumentarium. Examenleveranciers en mbo-scholen communiceren weinig of ongericht met elkaar over ervaren knelpunten en oplossingsrichtingen. Hetzelfde geldt in mbo-scholen tussen centraal en sectorniveau. Examenleveranciers en mbo-scholen hebben zelf ideeën hoe zij de communicatie en afstemming kunnen verbeteren, en zijn bereid hierin te investeren.
Aanbevelingen Op grond van de conclusies komt de onderzoeker tot aanbevelingen voor zowel mboscholen, examenleveranciers als ministerie, inspectie en servicepunt. Aanbevelingen voor mbo-scholen Voor degenen die in een mbo-school beslissen over de inkoop van examens: •
Betrek de expertise van de centrale contactpersonen en de examencommissie(s) bij het inkoopproces zodat uw school een integrale afweging kan maken op basis van kosten, efficiency, kwaliteit en uitvoerbaarheid.
•
Maak u niet (te) afhankelijk van het huidige aanbod aan in te kopen examens; faciliteer en stimuleer de ervarings- en inhoudsdeskundigen in uw organisatie om actief te communiceren met examenleveranciers over kwaliteit, uitvoerbaarheid en variatie of (in een gebruikersgroep) deel te nemen in het constructie- of vaststellingsproces van de leverancier.
6
Voor examencommissies en centrale contactpersonen examinering in mbo-scholen: •
Investeer in interne kennisdeling met en tussen opleidingssectoren en centraal (staf) niveau.
•
Stem af wie centraal aanspreekpunt is voor examenleveranciers en voer intern overleg met experts van zowel centraal niveau als opleidings-/sectorniveau. Benut elkaars expertise.
•
Stimuleer intern dat bij de inkoop voldoende aandacht is voor de kwaliteit en uitvoerbaarheid van examens.
•
Voorkom dubbel werk door met de examenleverancier en andere gebruikers het vaststellingsproces af te stemmen.
Voor wie in opleidingssectoren betrokken is bij de inzet van examens: •
Wissel ervaringen en expertise uit met de examencommissie/centrale contactpersoon binnen uw school en met andere gebruikers.
•
Als de inkoopbevoegdheid op sectorniveau ligt: benut de expertise en het netwerk van de centrale contactpersoon en examencommissie.
•
Bij ontevredenheid over uitvoerbaarheid: geef dit (via of na afstemming met examencommissie of centrale contactpersoon) expliciet en tijdig door aan de examenleverancier.
Aanbevelingen voor examenleveranciers •
Maak expliciet zichtbaar voor scholen dat uw exameninstrumentarium voldoet aan de standaarden voor kwaliteit. Stem de vaststellingsprocedure af met scholen en maak deze inzichtelijk zodat scholen dit zelf niet opnieuw hoeven te doen.
•
Stel niet de eigen visie op examinering centraal, maar stem af met scholen (en hun leerbedrijven) op welke onderdelen variatie en/of bijstelling nodig is om te voorkomen dat scholen massaal gaan wijzigen of niet meer inkopen.
•
Benut het invullen van de interpretatieruimte in de herziene kwalificatiestructuur als een kans om de samenwerking en afstemming met mbo-scholen te versterken bij het ontwikkelen van exameninstrumenten.
•
Vergeet niet bij bijstelling van examens als gevolg van geconstateerde fouten ook de examens voor eerdere cohorten (tijdig) aan te passen en hierover eenduidig te communiceren met scholen.
•
Nodig mbo-scholen actief en regelmatig uit tot het geven van feedback. Niet alleen op de (tekst van) de instrumenten, maar ook op uitvoerbaarheid, communicatie, samenwerking en afstemming.
•
Communiceer tijdig en concreet wat u met feedback gaat doen en wanneer.
7
Aanbevelingen voor ministerie van OCW / Inspectie van het Onderwijs •
Communiceer eenduidig over kwaliteitseisen, wie waarvoor verantwoordelijk is en in welke situaties een mbo-school niet zelf hoeft te controleren of examinering en exameninstrumentarium aan de kwaliteitseisen voldoen.
•
Wijzig eisen en voorwaarden niet (te) vaak.
Aanbevelingen voor het Servicepunt examinering mbo •
Faciliteer de uitwisseling van ervaringen binnen mbo-scholen en tussen mbo-scholen en examenleveranciers, bijvoorbeeld via gebruikersgroepen.
•
Ondersteun mbo-scholen bij het vormgeven van een integraal inkoopproces.
•
Ondersteun de centrale contactpersonen bij het benutten van elkaars expertise en een goede examenorganisatie.
•
Informeer mbo-scholen actief over de formele verantwoordelijkheid voor het vaststellingsproces en adviseer hoe zij hierbij dubbel werk kunnen voorkomen.
8
Inhoudsopgave Samenvatting, conclusies en aanbevelingen ............................................................. 4 Conclusies ........................................................................................................ 4 Aanbevelingen ................................................................................................... 6 1 Inleiding....................................................................................................... 11 2 Opzet en verantwoording ................................................................................ 13 2.1 Doelen ................................................................................................... 13 2.2 Onderzoeksgroep ..................................................................................... 13 2.3 Aanpak ................................................................................................... 13 2.4 Deelnemers aan het onderzoek: omvang en kenmerken ................................ 15 3 Kiezen voor ingekochte examens? ................................................................... 23 3.1 Waarop is mening over ingekochte examens gebaseerd? ............................... 23 3.2 Persoonlijke voorkeur: ingekochte of zelf ontwikkelde examens? .................... 23 3.3 Wie beslist over werken met ingekochte examens? ....................................... 24 3.4 Argumenten van mbo-scholen om te kiezen voor ingekochte examens ............ 25 3.5 Meerwaarde ingekochte examens volgens examenleveranciers ....................... 27 3.6 Prijs en leveringsvoorwaarden ................................................................... 28 3.7 Deelconclusie .......................................................................................... 28 4 Welke examens kopen mbo-scholen in en van hoeveel examenleveranciers? ......... 29 4.1 Welke examens worden ingekocht c.q. geleverd? ......................................... 29 4.2 Per sector: van hoeveel examenleveranciers ingekochte examens? ................. 30 4.3 Deelconclusie .......................................................................................... 30 5 Kwaliteit van ingekochte examens ................................................................... 31 5.1 Kwaliteit: tevredenheid algemeen .............................................................. 31 5.2 Standaarden voor de examenkwaliteit in het mbo......................................... 32 5.3 Eisen kwalificatiedossier ............................................................................ 36 5.4 Deelconclusies ......................................................................................... 37 6 Zicht op inzet ingekochte examens .................................................................. 39 6.1 Inzagemogelijkheden ............................................................................... 39 6.2 Informatie over uitvoering examens ........................................................... 39 6.3 Zicht op inzet volgens voorschriften examenleverancier ................................ 40 6.4 Zicht op vaststellingsprocedure .................................................................. 43 6.5 Deelconclusies ......................................................................................... 44 7 Gebruik versie en wijzigen ingekochte examens ................................................. 45 7.1 Welke versie van ingekochte examens gebruiken mbo-scholen? ..................... 45 7.2 Wijzigen van ingekochte examens .............................................................. 45 7.3 Deelconclusies ......................................................................................... 49 8 Uitvoerbaarheid ingekochte examens ............................................................... 50 8.1 Uitvoerbaarheid afname ............................................................................ 50 8.2 Uitvoerbaarheid beoordeling ...................................................................... 52 9
8.3 Deelconclusie .......................................................................................... 54 9 Communicatie en implementatie ...................................................................... 56 9.1 Contacten tussen mbo-scholen en examenleveranciers ................................. 56 9.2 Communicatie tussen mbo-scholen en examenleveranciers ............................ 56 9.3 Implementatie ......................................................................................... 57 9.4 Deelconclusie .......................................................................................... 57 10 Feedback en evaluatie .................................................................................. 58 10.1 Mate van feedback en evaluatie ............................................................... 58 10.2 Wie neemt initiatief tot feedback of evaluatie?............................................ 59 10.3 Feedbackonderwerpen ............................................................................ 59 10.4 Wat doen examenleveranciers met feedback? ............................................ 61 10.5 Tevredenheid over wat examenleveranciers doen met feedback.................... 63 10.6 Deelconclusies ....................................................................................... 63 11 Standaardisering of variatie en maatwerk? ...................................................... 65 11.1 Deelconclusie......................................................................................... 66 Bijlagen ............................................................................................................ 67 Bijlage 1 Respondenten enquête ........................................................................ 67 Bijlage 2 Indeling opleidingssectoren .................................................................. 71 Bijlage 3 Begeleidende e-mail enquêtes .............................................................. 72 Bijlage 4 Vragenlijsten ...................................................................................... 78 Bijlage 5 Bijeenkomst 27 maart 2015 ................................................................ 100
10
1 Inleiding In dit onderzoeksrapport staan ervaringen centraal van mbo-scholen en examenleveranciers met ingekochte beroepsgerichte examens in het mbo. Het onderzoek is een initiatief van het Servicepunt examinering mbo en is uitgevoerd door ‘vanderburgt advies en samenwerking’. Ingekochte examens Met ‘ingekochte examens’ bedoelen we alle beroepsgerichte exameninstrumenten die een examenleverancier of examenconsortium heeft ontwikkeld en niet een school of opleiding zelf. De wijze waarop de ‘inkoop’ van de examens is georganiseerd kan verschillen. Zo kunnen exameninstrumenten daadwerkelijk worden ingekocht of kunnen scholen als lid van een consortium of stichting exameninstrumenten krijgen geleverd op basis van een licentie of lidmaatschapovereenkomst. Aanleiding In de visiebrief ‘Ruim baan voor vakmanschap: een toekomstgericht mbo’ van 2 juni 2014 schrijft minister Bussemaker dat de kwaliteit van examinering omhoog moet. Daarvoor gaat zij scholen verplichten om voor alle opleidingen gebruik te maken van: •
ingekochte examens bij gecertificeerde examenleveranciers; of
•
externe validering van gezamenlijk of individueel ontwikkelde examens.
Dit wordt een wettelijke verplichting per 1 augustus 2016. De voorgenomen wetgeving gaat er van uit dat de kwaliteit van examinering verbetert als scholen examens inkopen bij een gecertificeerde examenleverancier. Echter, kwaliteit van examinering is niet alleen afhankelijk van de kwaliteit van de exameninstrumenten zelf of van het proces van examenconstructie, maar wordt door een groot deel bepaald door de wijze waarop mbo-scholen de ingekochte examens (kunnen) inzetten. Welke factoren spelen een rol bij de inkoop en inzet van ingekochte examenproducten? Waar hebben scholen mee te maken, welke zaken knellen, waarover is men juist tevreden, waar mist men informatie? Welke problemen signaleren examenleveranciers wanneer scholen hun ingekochte examens inzetten? Het Servicepunt examinering mbo heeft in het najaar van 2014 tijdens een aantal bijeenkomsten gesproken met zowel zijn klankbordgroepleden (de door de cvb’s aangewezen contactpersonen van scholen) en met verschillende examenleveranciers tijdens een gezamenlijk overleg. Hieruit bleek dat scholen meerwaarde zien in het bundelen van expertise over constructie van exameninstrumenten en de inkoop van examens. Tegelijkertijd gaven scholen aan nog veel knelpunten te ervaren bij de inzet van ingekochte examens die het vertrouwen in en een optimale inzet hiervan
11
belemmeren. Ook examenleveranciers signaleerden knelpunten wanneer scholen ingekochte examens onjuist inzetten. Om de kwaliteit van examinering met ingekochte exameninstrumenten te optimaliseren, zijn in dit onderzoek ervaringen geïnventariseerd om in beeld te krijgen of en hoe breed de knelpunten worden ervaren. Ervaren knelpunten zijn gespecificeerd en onderbouwd. Bedoeling is dat deze inventarisatie zowel scholen, examenleveranciers als bedrijfstakgroepen helpt meer collectief de kwaliteit en bruikbaarheid van ingekochte examens te monitoren en waar nodig te verbeteren. Het Servicepunt examinering mbo speelt hierbij een ondersteunende en informerende rol. Leeswijzer De samenvatting, conclusies en aanbevelingen staan vooraan in het rapport. Wie meer wil weten over de doelen, opzet, respons en verantwoording van het onderzoek, vindt dat in hoofdstuk 2 en de bijlagen. Hoofdstuk 3 t/m 11 bevatten de uitkomsten van het onderzoek. Deze hoofdstukken sluiten steeds af met een of meer deelconclusies.
12
2 Opzet en verantwoording Dit hoofdstuk start met de beschrijving van de onderzoeksdoelen en onderzoeksgroep. Daarna volgen paragrafen over de aanpak van het onderzoek en de respons.
2.1
Doelen
De onderzoeker en initiatiefnemer Servicepunt examinering mbo (verder aangeduid als ‘servicepunt’) hebben in overleg de doelen van het onderzoek als volgt geformuleerd: •
mbo-scholen en examenleveranciers een actueel beeld geven van ervaringen bij de inkoop/levering van examens en de inzet daarvan;
•
grip krijgen op de aard en omvang van wederzijds ervaren knelpunten die een risico kunnen vormen voor de kwaliteit van examens en examinering in het mbo;
•
oplossingsrichtingen vinden voor het (collectief) oplossen van ervaren knelpunten;
•
aanknopingspunten vinden voor verdere monitoring.
2.2
Onderzoeksgroep
De onderzoeksgroep bestond uit: •
Centrale contactpersonen vanuit mbo-scholen van het servicepunt. De colleges van bestuur per mbo-school hebben deze centrale contactpersonen voor examinering aangewezen; veelal zijn het beleidsmedewerkers examinering en/of kwaliteitszorg die werken bij de centrale stafdienst van een mbo-school.
•
Medewerkers van mbo-scholen die in een of meer opleidingssectoren ervaring hebben met de inzet van beroepsgerichte examens.
•
2.3
Contactpersonen van examenleveranciers en –consortia.
Aanpak
Om de doelen te bereiken is gekozen voor een combinatie van een schriftelijke inventarisatie en verdiepende discussie met betrokken actoren. Hieronder een nadere toelichting op de aanpak. 2.3.1 Schriftelijke inventarisatie: drie verschillende enquêtes Voor de schriftelijke inventarisatie is gekozen voor online enquêtes. Vanwege de drie onderscheiden groepen in het onderzoek (centrale contactpersonen, vanuit opleidingssectoren en vanuit examenleveranciers) kende de schriftelijke inventarisatie drie enquêtevarianten. De onderzoeker heeft de enquêtevragen ontwikkeld. Concepten zijn voor feedback voorgelegd aan enkele medewerkers van het servicepunt en van examenleveranciers. De vragenlijsten staan in bijlage 4. De enquêtes zijn zodanig ingesteld dat naar eigen inzicht vragen overslaan niet mogelijk was. Wel konden respondenten tussentijds stoppen of, zolang zij de enquête nog niet volledig hadden ingevuld, eerder gegeven antwoorden wijzigen. 13
Na het technisch testen heeft het servicepunt de enquêtes op 10 maart 2015 verstuurd. Iedere onderzoeksgroep kreeg een eigen begeleidende e-mail met link naar de enquête, uitleg over het onderzoek, de omschrijving van ‘ingekochte examens’ en de sluitingsdatum. De 65 centrale contactpersonen ontvingen zowel de mail voor hun ‘eigen’ enquête als een mail voor de opleidingssectoren, met het verzoek de enquête voor de opleidingssectoren intern door te sturen. Voor de examenleveranciers heeft het servicepunt het adressenbestand gebruikt dat examenleveranciers zelf gebruiken voor hun bijeenkomsten. Daaruit zijn dertig personen aangeschreven. Zij werden uitgenodigd de enquête desgewenst (ook) door een collega in te laten vullen. De centrale contactpersonen hebben enkele weken voor verzending van de enquête een vooraankondiging ontvangen. Voor examenleveranciers is tijdens een (reguliere) bijeenkomst een nadere toelichting gegeven op het onderzoek en de enquête. In de introductietekst van de enquêtes stond dat in de bijlage van het rapport een opsomming zou komen van wie meewerkten aan het onderzoek. De uitkomsten van de enquêtes zijn in dit rapport geanonimiseerd verwerkt. Invullen van de enquêtes kon tot en met 20 maart 2015. Bijlage 3 bevat de teksten van de begeleidende e-mails, bijlage 2 de gehanteerde indeling in opleidingssectoren. 2.3.2 Verdiepende bijeenkomst met mbo-scholen en examenleveranciers Na de schriftelijke inventarisatie volgde op vrijdag 27 maart 2015 een bijeenkomst met vertegenwoordigers van mbo-scholen (centrale contactpersonen en vanuit opleidingssectoren) en examenleveranciers. Respondenten uit de drie groepen konden zich via een vraag in de enquête aanmelden voor deze bijeenkomst. Na een presentatie van de uitkomsten van de enquêtes, diepten de deelnemers, aan de hand van richtvragen, deze uitkomsten uit en gingen zij met elkaar op zoek naar oplossingsrichtingen voor ervaren knelpunten. Het ging hierbij om het algemene beeld; dus niet per sector de diepte in. Zie bijlage 5 voor de deelnemers aan de bijeenkomst, het programma en de richtvragen. 2.3.3 Van knelpunten naar oplossingen De ambitie voor dit onderzoek reikt verder dan inventariseren, analyseren en concluderen. Het gaat ook om het vinden en concretiseren van oplossingsrichtingen die mbo-scholen, examenleveranciers en bedrijfstakgroepen helpen de kwaliteit en 14
bruikbaarheid van ingekochte examens te verbeteren, waar nodig en gewenst met ondersteuning van het servicepunt. Daarom volgt op basis van de conclusies en aanbevelingen in dit rapport, op initiatief van het servicepunt, nader overleg met vertegenwoordigers van mbo-scholen en examenleveranciers. Vervolgens ook met andere organisaties die een bijdrage kunnen leveren aan het (collectief) oplossen van ervaren knelpunten.
2.4
Deelnemers aan het onderzoek: omvang en kenmerken
De resultaten van de drie afzonderlijke enquêtes zijn, gezien de respons, voornamelijk van indicatieve betekenis en niet per sector te onderscheiden. Hetzelfde geldt voor de resultaten uit de verdiepende bijeenkomst van 27 maart. De volgende subparagrafen gaan dieper in op de respons per enquête en de deelnemers aan de bijeenkomst. 2.4.1 Respons enquête centrale contactpersonen vanuit mbo-scholen Van de 65 aangeschreven centrale contactpersonen hebben 33 respondenten de enquête geopend. Daarvan vulden 24 respondenten de enquête volledig in; één respondent is gestopt vóór de eerste inhoudelijke vraag en om die reden niet meegenomen in de uitkomsten. Dit betekent een respons van 32 centrale contactpersonen. De respondenten zijn afkomstig van 25 verschillende mbo-scholen. Opvallend is dat van de 65 aangeschreven centrale contactpersonen veertig de enquête niet hebben ingevuld. Bij twee mbo-scholen hebben meerdere personen deze enquête ingevuld (1x vier personen en 1x vijf personen). Uit de enquêteresultaten valt niet op te maken of er een relatie is tussen de non-respons en de mate waarin een mbo-school examens inkoopt en/of de mate waarin de centrale contactpersonen voldoende zicht hebben op ervaringen met ingekochte examens. Wel heeft de onderzoeker enkele telefoontjes ontvangen van centrale contactpersonen die aangaven zelf niet voldoende op de hoogte te zijn om de enquête in te kunnen vullen. Eén van de respondenten vulde aan het eind van de enquête in het moeilijk te hebben gevonden de vragen te beantwoorden en dat deze beter aan de examencommissies op het niveau van de opleidingssectoren hadden kunnen worden gesteld. Uit de respons vanuit de opleidingssectoren blijkt verder dat een aantal centrale contactpersonen de enquête voor de opleidingssectoren heeft doorgestuurd, maar de eigen enquête (voor centrale contactpersonen) niet heeft ingevuld. Acht mbo-scholen vulden alleen de enquête voor de centrale contactpersonen in. De 32 centrale contactpersonen die de enquête invulden, werken allemaal in mboscholen die voor één of meer opleidingssectoren examens inkopen. Zie figuur 1.
15
Figuur 1 In welke opleidingssectoren gebruikt uw mbo-school ingekochte examens? n=31 centrale contactpersonen aantal respondenten (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel
15 13
Metaal, Elektrotechniek en Installatietechniek Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek
5
Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek
14
Zorg & Welzijn
14
Sport
13
Uiterlijke verzorging
8
Handel
21
Communicatie, Media, Reclame en Presentatie
6
Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening
16
Groen
4
Zakelijke dienstverlening, Veiligheid en ICT
18
Gezondheidstechnische beroepen en Ambachten
3
Figuur 2 maakt zichtbaar welke functies de respondenten hebben. De meerderheid vervult een beleidsmatige functie, ook als we de open antwoorden op ‘anders’ meenemen.
16
Figuur 2 Wat is uw functie? n=32 centrale contactpersonen 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
Anders, namelijk: Hier zijn voor een deel rol of taak in het examenproces ingevuld: examensecretaris (4x) en hoofd examinering (1x). Andere functies: docent (1x), leertrajectvoorzitter en docent (1x).
Als het gaat om de rol die centrale contactpersonen vervullen in het examenproces valt op dat geen van de respondenten de rol van inkoper heeft en dat bijna een kwart van de contactpersonen (22%) zelf geen rol/taak vervult in het examenproces (figuur 3).
Figuur 3 Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) n=32 centrale contactpersonen 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
lid of voorzitter (centrale of decentrale) examencommissie
examenconstructeur
62,5%
9,4%
examenvaststeller
examinator/ beoordelaar/ assessor
medewerker examenbureau / examensecretariaat
(centraal) inkoper
geen rol/ taak in het examenproces
21,9%
12,5%
18,8%
0,0%
21,9%
17
2.4.2 Respons enquête voor opleidingssectoren 91 personen openden de enquête voor opleidingssectoren. 73 daarvan vulden de enquête volledig in. Alle opleidingssectoren zijn vertegenwoordigd, met als bandbreedte tussen de één en negentien respondenten (figuur 4).
Figuur 4 In welke opleidingssector bent u (het meest) betrokken bij de inzet van ingekochte examens? n=89 vanuit opleidingssectoren aantal respondenten (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel
13
Metaal, Elektrotechniek en Installatietechniek
9
Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek
3
Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek
6 19
Zorg & Welzijn 8
Sport Uiterlijke verzorging
4
Handel
14
Communicatie, Media, Reclame en Presentatie
2
Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening
19
Groen
5
Zakelijke dienstverlening, Veiligheid en ICT Gezondheidstechnische beroepen en Ambachten
11 1
In geen van bovenstaande sectoren
2
De respondenten zijn afkomstig van dertig verschillende mbo-scholen (twee respondenten vulden geen schoolnaam in). Zeventien daarvan zijn scholen van waaruit ook respons is ontvangen op de enquête voor centrale contactpersonen. Het aantal respondenten vanuit opleidingssectoren varieert sterk per mbo-school: 12x één respondent, 5x twee respondenten, 5x drie respondenten, 2x vier respondenten, 1x vijf respondenten, 1x zes respondenten, 2x negen respondenten en 1x elf respondenten. Dit betekent dat bijna een kwart van de uitkomsten is bepaald door respondenten uit twee mbo-scholen. 18
94% van de respondenten is zelf betrokken bij de inzet van ingekochte examens bij een of meer opleidingen binnen een opleidingssector. De overige 6% is na het invullen van deze vraag doorgeleid naar het einde van de enquête. Zeven respondenten hebben de enquête ook nog voor een tweede opleidingssector ingevuld. Bij de vraag naar de eigen functie koos 28,6% van de respondenten voor de antwoordcategorie ‘anders, namelijk’ en vulde daar voornamelijk de eigen rol binnen het examenproces in plaats van de (formele) functie. Dit kan ertoe hebben geleid dat figuur 5 een wat vertekend beeld geeft.
Figuur 5 Wat is uw functie? n=91 vanuit opleidingssectoren 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0%
Anders, namelijk: hier zijn vooral rollen/taken in het examenproces genoemd, zoals secretaris examencommissie (7x) en adviseur/medewerker of hoofd examinering (3x). Overige genoemde functies: docent bpv (1x), onderwijskundige (1), kwaliteitsmedewerker (1).
Als het gaat om de rol/taak in het examenproces is bijna 70% van de respondenten vanuit de opleidingssectoren lid of voorzitter van een examencommissie. Zie figuur 6. Opvallend is dat enkele respondenten aangeven geen rol/taak te hebben in het examenproces, aangezien zij eerder in de enquête invulden wel betrokken te zijn bij de inzet van ingekochte examens.
19
Figuur 6 Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) n=89 vanuit opleidingssectoren 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
lid of voorzitter (centrale of decentrale) examencommissie
examenconstructeur
examenvast-steller
69,7%
12,4%
32,6%
medewerker examinator/ examenbeoordelaar/ bureau / assessor examensecretariaat 37,1%
28,1%
(centraal) inkoper
geen rol/ taak in het examenproces
2,2%
4,5%
2.4.3 Respons enquête voor examenleveranciers Vanuit het servicepunt is de enquête voor examenleveranciers naar dertig personen gestuurd, afkomstig van 24 verschillende examenleveranciers. Zestien personen openden de enquête, waarvan vijftien personen de enquête volledig invulden. Samen vertegenwoordigen zij op drie na alle opleidingssectoren (figuur 7).
20
Figuur 7 In welke mbo opleidingssector(en) is uw organisatie examenleverancier? (meerdere antwoorden mogelijk) n=16 vanuit examenleveranciers responsaantal (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel
2
Metaal, Elektrotechniek en Installatietechniek
2
Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek
0
Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek
3
Zorg & Welzijn
3
Sport Uiterlijke verzorging
1 0
Handel
2
Communicatie, Media, Reclame en Presentatie
1
Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening
De zestien respondenten zijn afkomstig van twaalf verschillende examenleveranciers. Dit betekent dat ongeveer de helft van de aangeschreven examenleveranciers is vertegenwoordigd in de enquêteresultaten. De respondenten vanuit de examenleveranciers hebben in meerderheid een leidinggevende/coördinerende functie (figuur 8).
21
Figuur 8 Wat is uw functie? n=16 vanuit examenleveranciers 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0%
2.4.4 Deelname verdiepende bijeenkomst Via de enquêtes hebben 25 respondenten zich aangemeld voor de verdiepende bijeenkomst op 27 maart; tien centrale contactpersonen, acht vanuit opleidingssectoren en zeven vanuit examenleveranciers. Tussen aanmelding via de enquête en de bijeenkomst op 27 maart zijn vanuit de mboscholen meerdere afmeldingen ontvangen. Uiteindelijk kende de bijeenkomst zestien deelnemers (vijf centrale contactpersonen, vier vanuit opleidingssectoren en zeven vanuit examenleveranciers). Bijlage 5a bevat de deelnemerslijst.
22
3 Kiezen voor ingekochte examens? In dit hoofdstuk komt aan bod waarop de respondenten vanuit de mbo-scholen hun mening over ingekochte examens baseren en of zij persoonlijk de voorkeur geven aan ingekochte examens of aan zelf ontwikkelde examens. Daarna volgen de argumenten van mbo-scholen en examenleveranciers om te kiezen voor ingekochte examens.
3.1
Waarop is mening over ingekochte examens gebaseerd?
Aan de centrale contactpersonen en de respondenten vanuit opleidingssectoren is gevraagd waarop zij hun mening over ingekochte examens baseren. Figuur 9 maakt zichtbaar dat de meeste respondenten zich baseren op eigen ervaringen en ervaringen van collega’s.
Figuur 9 Waarop baseert u uw mening over ingekochte examens? (meerdere antwoorden mogelijk) vanuit opleidingssectoren (n=82)
centrale contactpersonen (n=31)
76,8% 71,0%
op mijn eigen ervaring
67,1%
op ervaringen van collega's op ervaringen van andere mbo-scholen
16,1%
30,5% 29,3% 25,8%
op keurmerk examenleveranciers
40,2% 32,3%
op inspectierapporten anders, namelijk:
83,9%
9,8% 6,5%
Anders, namelijk: Centrale contactpersonen: was lid van inkooponderzoekscommissie (1x) geen aanvulling (1x) Vanuit opleidingssectoren: bijeenkomsten van examenleveranciers (2x), uitslagen en feedback studenten (1x), eigen achtergrond (1x), waarom men voor- of tegenstander is van ingekochte examens (4x).
3.2
Persoonlijke voorkeur: ingekochte of zelf ontwikkelde examens?
Uit figuur 10 blijkt dat 43,8% van de centrale personen de voorkeur geeft aan zelf ontwikkelde examens. Dit percentage is aanzienlijk hoger dan bij de respondenten vanuit de opleidingssectoren (12,0%). Wanneer men wel voorkeur geeft aan inkoop van examens, geeft men vaker de voorkeur aan theorie- en uitgewerkte examens dan aan kaderexamens.
23
Figuur 10 In het algemeen: hebben ingekochte examens uw voorkeur boven zelf ontwikkelde examens? (meerdere antwoorden mogelijk) centrale contactpersonen (n=32)
In de enquête konden respondenten (extra) knelpunten en suggesties onder de aandacht brengen of toelichten. Vanuit de opleidingssectoren kwam een aantal respondenten met een toelichting die verband houdt met het al of niet voorstander zijn van ingekochte examens: •
Ingekochte examens zijn niet per se beter dan zelf ontwikkelde examens. Er wordt ten onrechte door scholen (en overheid) een kwaliteitslabel aangehangen.
•
We zijn in het verleden al herhaaldelijk teleurgesteld in de kwaliteit van ingekochte toetsen. Zelfontwikkelde examens zijn in de laatste jaren al regelmatig onderwerp van onderzoek geweest door de Onderwijsinspectie en nog nimmer afgekeurd.
•
Iemand met verstand van zaken moet examens ontwikkelen. Waarom zou die kwaliteit extern wel aanwezig zijn en intern niet? Externe toetsconstructeurs zijn bovendien vaak docenten van andere scholen (dus ook interne medewerkers, maar dan van een andere organisatie), die zelf ook vaak tot inkoop overgaan, omdat dat meer garantie op kwaliteit zou geven?
•
Een algemene tendens is ook dat er meer van wordt gemaakt dan het feitelijk is. De constructie van een goede proeve van bekwaamheid is helemaal niet zo moeilijk.
•
Bij het maken van de keuze voor inkoop en leverancier onderzoeken we de vraag welke producten bij ons model passen. We zijn voor een aantal onderdelen nog met dit proces bezig.
3.3
Wie beslist over werken met ingekochte examens?
Deze vraag is alleen gesteld aan de centrale contactpersonen. 31% noemt de examencommissie als beslisser over het al of niet werken met ingekochte examens. Zie figuur 11. Bij de eerdere enquêtevraag over de eigen rol/taak in het examenproces 24
(figuur 3) gaf 62,5% van de centrale contactpersonen aan zelf lid of voorzitter te zijn van een examencommissie.
Figuur 11 Wie beslist binnen uw mbo-school over het al of niet werken met ingekochte examens? n=32 centrale contactpersonen 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0%
Argumenten van mbo-scholen om te kiezen voor ingekochte
examens Figuur 12 laat zien wat de argumenten zijn van mbo-scholen (centraal en decentraal) om te kiezen voor ingekochte examens. 7,1% van de respondenten vanuit opleidingssectoren vulde in dit niet te weten. Deze antwoordoptie ‘weet niet’ werd door geen van de centrale contactpersonen gekozen.
25
Figuur 12 Waarom heeft uw mbo-school/sector (voor één of meer opleidingen) gekozen voor ingekochte examens? (meerdere antwoorden mogeijk)
vanuit opleidingssectoren (n=85)
centrale contactpersonen (n=31)
de reden varieert per opleidingssector
45,2%
vanwege gebrek aan deskundigheid om examens te ontwikkelen
24,7% 29,0%
vanwege gebrek aan tijd om zelf examens te ontwikkelen
47,1% 54,8%
vanwege de prijs (‘zelf ontwikkelen te duur’)
25,8%
vanwege de kwaliteit van de exameninstrumenten
35,3% 54,1%
32,3%
omdat Inspectie de ingekochte examens al heeft ‘goedgekeurd’
45,9%
58,1%
31,8% 32,3%
omdat dit aansluit bij onze visie 17,6% 16,1%
anders, namelijk:
Anders, namelijk: Centrale contactpersonen: •
Uitsluitend inkoop met onderliggend contract.
•
Moet per 1-8-20152 als deze een keurmerk hebben.
•
Externe validering is belangrijkste reden: garantie voor (verbetering) examenkwaliteit.
•
Tegenwoordig maken we zelf veel examens omdat we niet tevreden zijn met aantal ingekochte examens Centraal alleen afspraken over de generieke onderdelen van instellingsexamens.
•
Bepalend was een uniforme en methode onafhankelijke examinering.
•
De proeves worden beschikbaar gesteld.
Vanuit opleidingssectoren: •
Beleid van roc. (2x)
•
Bij sommige examenleveranciers is samenwerking met andere roc’s mogelijk
•
Wens van de minister.
•
Uniformiteit in het land.
•
Convenantafspraak in de regio tussen roc’s en werkveld.
•
Omdat je mag verwachten dat ingekochte examens op alle fronten goed zijn.
•
Samenwerking met examenleverancier.
•
Omdat de branche vindt dat dat de beste producten zijn, zelf ben ik niet tevreden.
•
Volgen van het landelijk model in onze sector: iedereen koopt in bij zelfde leverancier.
•
Komt voort uit het Masterplan in branche.
•
Samenwerkingsverband met andere roc’s.
Tijdens de bijeenkomst op 27 maart gingen de centrale contactpersonen dieper in op de argumenten om als mbo-school voor- of tegenstander te zijn van ingekochte examens. Zij constateerden dat argumenten op centraal niveau anders zijn dan argumenten op decentraal niveau. Zie tabel 1. 2
Vermoedelijk bedoelt de respondent 2016.
26
Volgens centrale
Argumenten op centraal niveau
Argumenten op decentraal niveau
contactpersonen Argumenten
•
efficiency en kosten;
voorstanders
•
mee sturing kunnen geven aan
ingekochte examens
•
goedgekeurd;
aanbod examenleveranciers door
•
gemak;
actief mee te denken en mee te
•
niet over nadenken; kwestie van
werken.
kopen en gebruiken.
Argumenten
•
kwaliteit ontbreekt;
tegenstanders
•
sluit niet aan op visie en behoefte
ingekochte examens
•
aanbod examenleveranciers sluit niet aan bij ‘unieke’ kenmerken van
aan expertise; •
omdat examenproduct al is
school;
inkoop kaderexamens/
•
proeven heeft geen meerwaarde.
graag zelf examens willen ontwikkelen.
Tabel 1
Daarnaast is tijdens de bijeenkomst aan de deelnemende centrale contactpersonen de vraag gesteld wat volgens hen over het algemeen de belangrijkste redenen van mboscholen zijn om geen voorstander te zijn van ingekochte examens. Zij formuleerden met elkaar een top vier van redenen: 1. Onderwijsvisie wijkt af. 2. Kwaliteit van eigen examenproducten is beter. 3. Betrokkenheid van mensen op school is groter. 4. Aanbod examenleveranciers is te beperkt.
3.5
Meerwaarde ingekochte examens volgens examenleveranciers
Bijna alle zestien respondenten vanuit examenleveranciers kozen voor minimaal vier antwoordopties bij de vraag wat de meerwaarde is van ingekochte examens t.o.v. door mbo-scholen zelf ontwikkelde examens. In volgorde van percentages: •
93,8% minder tijdrovend voor scholen
•
87,5% betere kwaliteit
•
81,3% gecertificeerde producten / goedgekeurd door de Inspectie
•
81,3% goedkoper voor mbo-scholen
•
75 % up-to-date (sluit aan bij het laatste cohort)
•
6,3% anders, namelijk: standaardisering (n=1)
•
0% weet niet
27
3.6
Prijs en leveringsvoorwaarden
Alleen aan de centrale contactpersonen is een vraag gesteld over de mate van tevredenheid over de prijs en leveringsvoorwaarden, onderscheiden per sector en per soort examen. De meeste respondenten geven aan niet te weten wat examens kosten. Ook op de vraag ‘Per sector: Bent u tevreden over de inkoop- en leveringsvoorwaarden?’ gaf voor iedere sector het merendeel van de 28 centrale contactpersonen aan dit niet te weten. In totaal werd, verdeeld over de dertien sectoren, ‘weet niet’ 224 aangekruist, ‘ja’ achttien keer en ‘nee’ vijf keer. Bij de onderwerpen waarover het afgelopen jaar feedback is gegeven c.q. ontvangen (paragraaf 10.3), zijn prijs en leveringsvoorwaarden relatief weinig genoemd. Dit geldt voor alle drie de responsgroepen. Eén van de respondenten vanuit opleidingssectoren meldde als knelpunt het ontbreken van heldere klantrelatie: “Examenleverancier xxx werkt vanuit uitgangspunt dat e.e.a. een samenwerkingsverband is met een samenwerkingscontract. Dit moet veranderen in een contract als leverancier van diensten en producten, waarbij de leverancier in gebreke gesteld kan worden bij wanprestatie.”
3.7
Deelconclusie
Centrale inhoudsdeskundigen zijn niet de beslissers bij inkoop Voor centrale contactpersonen is hun oordeel over de kwaliteit van ingekochte examens een belangrijk argument om voor of tegen ingekochte examens te zijn. Het besluit tot inkoop wordt met name door management en lijnfunctionarissen genomen. Daarbij lijken tegenargumenten van de centrale contactpersonen niet doorslaggevend. Alle centrale contactpersonen, inclusief de ruim 40% die geen voorstander is van ingekochte examens, zijn namelijk afkomstig van mbo-scholen die (in een of meer opleidingssectoren) werken met ingekochte examens.
28
4 Welke examens kopen mbo-scholen in en van hoeveel examenleveranciers? In dit hoofdstuk staat centraal met welke soorten ingekochte examens mbo-scholen werken en van hoeveel examenleveranciers.
4.1
Welke examens worden ingekocht c.q. geleverd?
In alle drie de enquêtes is gevraagd naar de soorten examens die worden ingekocht c.q. geleverd. De centrale contactpersonen moesten dit per sector aangeven. Een ruime meerderheid gaf aan dit niet te weten. De respondenten vanuit examenleveranciers en vanuit opleidingssectoren zijn het met elkaar eens dat praktijkexamens met uitgewerkte opdracht in verhouding het meest worden ingekocht. (figuur 13):
Figuur 13 Wat voor soort examens levert u aan mbo-scholen? Wat voor soort examens koopt uw sector in? (meerdere antwoorden mogelijk) 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% theorieexamens
praktijkexamens (kaderexamens)
praktijkexamens (met uitgewerkte opdracht)
anders, namelijk:
examenleveranciers (n=16)
68,8%
56,3%
75,0%
43,8%
opleidingssectoren (n=85)
56,5%
43,5%
74,1%
5,9%
Anders (vanuit examenleveranciers): proeve van bekwaamheid (3x), bpv-beoordelingsinstrumenten (2x), ontwikkelingsgerichte meet- en beoordelingsinstrumenten (1x), kennistoetsenbank (1x). Anders (vanuit opleidingssectoren): taal en rekenen (2x), Engels (1x) naast theorie- mogelijk ook praktijkexamens (1x), proeve van bekwaamheid (1x) opmerking dat kaderexamens anders/breder zijn dan praktijkexamens (1x).
29
Uit de toelichtende antwoorden blijkt dat niet alle respondenten hebben begrepen dat het onderzoek zich richt op beroepsgerichte examens: •
In de vragen wordt geen onderscheid gemaakt tussen beroepsgerichte examinering en examinering van Nederlands en MVT (en nu nog even rekenen).
•
Taal- en rekentoetsen zijn nog niet ontwikkeld door de huidige examenleverancier.
•
Mogelijk kunnen de taal- en rekentoetsen op termijn worden aangeleverd door de examenleverancier.
•
Geen knelpunt, maar wellicht goed om te weten: Bij ons wordt alleen gebruik gemaakt van ingekochte examens voor de generieke vakken. Voor het beroepspecifieke gedeelte van de opleidingen bestaat geen examenleverancier.
4.2
Per sector: van hoeveel examenleveranciers ingekochte examens?
Deze vraag is zowel aan de centrale contactpersonen gesteld als aan respondenten vanuit de opleidingssectoren. Veel centrale contactpersonen weten dit niet. Degenen die het wel weten, antwoordden over het geheel genomen in lijn met de respondenten uit de opleidingssectoren. In bijna twee derde van de sectoren werkt men dus met ingekochte examens van één examenleverancier. 17,6 % van de respondenten antwoordt dat in hun sector van twee examenleveranciers wordt ingekocht; 12,9% van drie. 5,9% weet het niet. Aan het eind van de enquête meldden enkele respondenten als knelpunt het beperkte aanbod aan examenleveranciers: •
Het zou fijn zijn als je meer keus zou hebben. Vaak maar één aanbieder.
•
We zijn te vaak afhankelijk van één leverancier, dus de macht ligt bij de leverancier, vooral bij kleine opleidingen en in de techniek.
•
Voor de herziene kwalificatiestructuur kunnen we kiezen uit één leverancier. Dat is geen keuze en dat is erg jammer. Onze huidige leverancier is pas een jaar later klaar. Goede keuze is dus niet mogelijk, je bent gebonden aan de enige leverancier die er is.
4.3
Deelconclusie
Inkoop vaak noodgedwongen bij één examenleverancier De meeste opleidingssectoren werken met één examenleverancier. Voor een aantal opleidingssectoren heeft slechts één examenleverancier aanbod. Als deze ene examenleverancier geen variatie aan exameninstrumenten biedt en sterk vanuit eigen visie ontwikkelt, ervaren respondenten dit als knelpunt, zo blijkt ook in volgende hoofdstukken.
30
5 Kwaliteit van ingekochte examens Dit hoofdstuk start met de mate van tevredenheid over de kwaliteit van de ingekochte examens. Daarna wordt ingezoomd op de standaarden voor examenkwaliteit in het mbo. Gevolgd door een paragraaf over de eisen vanuit de kwalificatiedossiers.
5.1
Kwaliteit: tevredenheid algemeen
Uit figuur 14 blijkt dat de respondenten vanuit de opleidingssectoren vaker tevreden of heel tevreden zijn over de kwaliteit van ingekochte examens (63,5%) dan de centrale contactpersonen (29,1% tevreden of heel tevreden). Verder valt op dat niemand heel ontevreden is.
Figuur 14 Hoe tevreden bent u over het geheel genomen over de kwaliteit van ingekochte examens? 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
niet tevreden heel onheel on/ niet tevreden weet niet tevreden tevreden tevreden ontevreden
centrale contactpersonen (n=31)
6,5%
22,6%
41,9%
22,6%
0,0%
6,5%
vanuit opleidingssectoren (n=85)
8,2%
55,3%
23,5%
11,8%
0,0%
1,2%
In de bijeenkomst is aan vertegenwoordigers van alle drie de responsgroepen gevraagd wat het verschil in tevredenheid over de kwaliteit zou kunnen verklaren. De centrale contactpersonen geven als verklaring dat zij zich minder eigenaar voelen van ingekochte examens dan van door de mbo-school zelf ontwikkelde examens. Dat kleurt voor een deel hoe zij als centrale contactpersonen naar de kwaliteit van ingekochte examens kijken. De deelnemers vanuit de opleidingssectoren en de examenleveranciers geven als verklaring dat op centraal niveau anders wordt gekeken naar ingekochte examens dan door degenen die er in opleidingssectoren mee werken: •
Op centraal niveau gaat het om zaken als visie, eenduidigheid, kosten, tijd, standaarden examenkwaliteit, verantwoordingsinformatie. 31
•
In de opleidingssectoren ligt het accent meer op uitvoerbaarheid, herkenbaarheid, gemak, aansluiting op onderwijs, betrokkenheid.
5.2
Standaarden voor de examenkwaliteit in het mbo
5.2.1 Voldoen ingekochte examens aan de standaarden? Aan de centrale contactpersonen is in de enquête op twee manieren gevraagd of de ingekochte examens volgens hen voldoen aan de standaarden voor de examenkwaliteit in het mbo: eerst in algemene zin en vervolgens per opleidingssector. 77,4% van de centrale contactpersonen is van mening dat de ingekochte examens in het algemeen voldoen (16,1%) of grotendeels voldoen (61,3%) aan de standaarden. Een meerderheid van de centrale contactpersonen weet dit niet per opleidingssector. Aan het eind van de enquête maakten meerdere respondenten, op twee na centrale contactpersonen, opmerkingen over (het voldoen aan) de standaarden: •
Vanuit de centrale examencommissie is geen zicht op het proces van inkoop op de clusters. We constateren wel dat op het moment dat we vaststellen, examens niet voldoen aan de normen, gebaseerd op het toezichtskader van de Inspectie, die wij daar aan stellen. Onze vraag is dan ook hoe het kan dat exameninstellingen beschikken over vastgestelde examens.
•
De procedure van het keurmerk gaat op proces van vaststelling, ik zou graag de toetstechnische eisen daarin meegenomen zien worden. Bijvoorbeeld door één centrale vaststellingslijst voor toetstechnische eisen.
•
Je kunt je afvragen waarom er zoveel fouten in examens staan die officieel zijn vastgesteld. Vaststellen is veel werk, ieder roc doet het opnieuw en het zou wenselijk zijn als er centrale examens zouden zijn die voldoen aan de kwaliteitscriteria.
•
Ontwikkeling en bijstelling van de examens inzichtelijk maken in de vaststelling door leverancier zou helpen.
•
De standaarden die de inspectie hanteert kunnen belemmerend werken voor de kwaliteit van de examinering. Ik bedoel dan dat het gaat om ‘alles’ laten zien op alle werkprocessen (beetje afhankelijk van het toevallige (?) aantal werkprocessen en prestatie-indicatoren onder een kerntaak), terwijl ik denk dat als de examenkandidaat kan laten zien dat hij/zij op een bepaald niveau in een specifieke context kan functioneren dat dat goed genoeg is en dat dat ook betekent dat op andere werkprocessen op een bepaald niveau gepresteerd kan worden.
•
Pas het toezichtkader aan. Laat scholen de vrijheid om hun examinering zo in te richten dat zij zelf vinden (kunnen onderbouwen) dat ze de goede dingen doen. Dat betekent dus dat het losgekoppeld moet zijn van eisen aan werkprocessen.
•
Over het algemeen voldoen de examens niet aan de toetstechnische norm. Er ontbreekt nog wel eens wat in de cesuur, het beoordelingsmodel, of het instrument zelf. Deze fouten maken, ondanks dat het instrument valide is, dat het kwalitatief 32
niet op orde is volgens de examenstandaarden. Hier zou meer inzet op gepleegd moeten worden. •
Scholing van examenleveranciers, met name de kenniscentra zijn niet altijd goed op de hoogte van de examenstandaarden en wetgeving rondom examinering, waardoor producten niet altijd correct worden gemaakt, maar ook regelmatig verkeerd wordt geïnformeerd.
•
Transparant maken kwaliteit instrumentarium in databanken of publicaties.
•
Verdere stappen in uitvoerbaarheid, eenduidigheid en transparantie zijn nodig, maar we moeten ons ook realiseren dat praktijkexamens om een ander kwaliteitskader vragen dan theoretische examens; we hechten daarbij meer belang aan validiteit en authenticiteit; dat gaat soms ten koste van betrouwbaarheid. In zekere mate moeten we dat ook accepteren.
•
De controle vanuit inspectie is teveel gericht op het proces. Zouden ze de diepte ingaan, dan zullen ze constateren dat er veel tekortkomingen zijn te benoemen bij de toetsen en examens. Met name de eenduidigheid van de beoordeling en cesuur.
•
Certificering van de examenleverancier geeft kostenverhoging en niet altijd kwaliteitsverhoging.
•
Examenleveranciers moeten meer samenwerken en elkaars examens beoordelen.
Op de vraag hoe centrale contactpersonen weten of de ingekochte examens aan de standaarden voldoen, geeft 80,6% aan dit zelf (of via vaststellingscommissie) te controleren. Zie figuur 15.
33
Figuur 15 Hoe weet u in welke mate de ingekochte examens (in uw sector) voldoen aan de standaarden voor de examenkwaliteit in het mbo? (meerdere antwoorden mogelijk) 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
centrale contactpersonen (n=31)
vanuit opleidingssectoren (n=85)
Tijdens de bijeenkomst op 27 maart kwamen de volgende suggesties naar voren om te voorkomen dat mbo-scholen alsnog zelf gaan controleren of ingekochte examens aan de standaarden voldoen: •
werken met gecertificeerde examenleveranciers;
•
examenleveranciers verplichten om vaststellingsdocumenten mee te leveren;
•
examenleveranciers moeten scholen als serieuze partner/expert zien voor de afname, duidelijke rol geven in het examenproces;
•
als examenleverancier samen met scholen en bedrijven de kwaliteit vaststellen, bijvoorbeeld met goede, geborgde procedure waar steekproef uit scholen bij betrokken is;
•
algemeen: transparantie, betrouwbaarheid en vertrouwen zijn de sleutelwoorden.
34
5.2.2 Verantwoordelijkheid bij ongewijzigde inzet De meningen zijn verdeeld als het gaat over wie verantwoordelijk is als ingekocht exameninstrumentarium, bij ongewijzigde inzet, niet voldoet aan de kwaliteitsstandaarden. De meeste examenleveranciers vulden in dat zij dat zelf zijn; de meeste respondenten vanuit mbo-scholen zijn van mening dat de mbo-school verantwoordelijk is. Zie figuur 16.
Figuur 16 Wie is volgens u verantwoordelijk als ingekocht exameninstrumentarium, bij ongewijzigde inzet, niet voldoet aan de kwaliteitstandaarden? 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% de mboschool
de examenleverancier
gedeelde verantwoorde -lijkheid van mbo-school en examenleverancier
anders, namelijk:
centrale contactpersonen (n=31)
67,7%
3,2%
19,4%
9,7%
vanuit opleidingssectoren (n=82)
46,3%
13,4%
36,6%
3,7%
examenleveranciers (n=16)
18,8%
50,0%
25,0%
6,3%
Tijdens de verdiepende bijeenkomst werd een mogelijke verklaring gegeven voor dit verschil, namelijk dat een deel van de respondenten deze vraag beantwoordde vanuit wie zich verantwoordelijk voelt of zou moeten voelen, en een ander deel vanuit wie formeel (eind)verantwoordelijk is. Dit interpretatieverschil van de vraag is ook zichtbaar in de reacties van de respondenten die kozen voor de antwoordoptie ‘anders, namelijk’: Centrale contactpersonen: •
Het is natuurlijk vreemd als je iets inkoopt wat niet voldoet aan de kwaliteitstandaarden, uiteindelijk blijft de school natuurlijk wel verantwoordelijk voor het vaststellen.
•
In principe is de school dat. Maar degene die het maakt, zou verantwoordelijk moeten zijn.
•
Is onderwerp van discussie binnen de examencommissie.
35
Vanuit opleidingssectoren: •
Examenleverancier is verantwoordelijk voor de kwaliteit van de producten, school voor de kwaliteit van de uitvoering.
•
Examencommissie.
•
Formeel de school, maar gevoelsmatig de leverancier wanneer: 1. het instrument de goedkeuring van de inspectie heeft, en 2 het ongewijzigd is ingezet.
Vanuit examenleveranciers: •
Is afhankelijk van de reden. Om welke kwaliteitsstandaard gaat het?
Aan het eind van de enquête kwamen drie respondenten met een suggestie om op een andere manier inhoud te geven aan de verantwoordelijkheid te voldoen aan de standaarden: •
Verantwoordelijkheid voor kwaliteit exameninstrumenten bij examenleveranciers neerleggen. En consequenties aan verbinden bij onjuiste toetstechnische eisen.
•
Er is behoefte aan onafhankelijk onderzoek naar kwaliteit van het instrumentarium waarmee de kwaliteit inzichtelijk wordt gemaakt voor onderwijsinstellingen. Het is niet efficiënt als elke onderwijsinstelling dezelfde instrumenten moet beoordelen.
•
Voor de branches in techniek wil ik een loskoppeling van het valideren van producten en het leveren van producten.
•
Meer samenwerkingsverbanden van scholen mogelijk maken en stimuleren.
5.3
Eisen kwalificatiedossier
Aan de respondenten vanuit de opleidingssectoren is gevraagd of de ingekochte examens aansluiten bij de eisen uit het kwalificatiedossier. 97,6% beantwoordt deze vraag bevestigend (‘ja’ of ‘grotendeels wel’.). Aan het eind van de enquête signaleerde een aantal respondenten knelpunten in relatie tot de eisen in kwalificatiedossiers: •
Kwalificatiedossiers zijn nogal rigide en sluiten niet aan bij het individu en werken daarmee belemmerend voor de ontwikkeling van het talent van dat individu en ook ingekochte examens houden daar geen rekening mee.
•
Betere afstemming tussen crebo's en duidelijkere richtlijnen welke theorie relevant is.
•
Geen levering van in de proeve geïntegreerde of aparte beroepsgerichte mvtexamens door de examenleverancier terwijl dit wel bij een aantal kwalificatiedossiers in de werkprocessen deel c is opgenomen.
•
Zou liever een wat bredere opzet van examens willen hebben zodat deze voor meerdere opleidingen geschikt zijn. Bijvoorbeeld ‘leidinggeven’ is nu per crebo een speciaal examen, dit zou veel algemener kunnen. Examinering sluit dan meer aan bij efficiënter onderwijs. Daarnaast zitten er nog al eens stokpaardjes in. 36
•
In de kwalificatiedossiers zijn de kwalificatie-eisen op redelijk abstract niveau geformuleerd. Dat laat nog heel wat interpretatieruimte over bij de vertaalslag naar exameninstrumenten. Het lastigste is om daarover consensus bij de scholen te krijgen. Elke school heeft immers zo zijn eigen stokpaardjes, vaak ook afhankelijk van de expertise van de docenten.
Tijdens de bijeenkomst op 27 maart is gesproken over hoe bij examinering goed ingespeeld kan worden op de interpretatieruimte in de kwalificatiedossiers: •
Werk meer samen als scholen en examenleveranciers.
•
Probeer als examenleverancier tot consensus te komen met de grote meerderheid van de scholen voor wie je leverancier bent.
•
Stem af met uitgevers van leermiddelen.
•
Door inzet van technologie kun je meer variatie bieden en tegemoet komen aan scholen met verschillende wensen.
•
Zoek de oplossing niet in het ‘dichttimmeren’ van kwalificatiedossiers; een zekere interpretatieruimte is logisch en goed. Om te examineren moet je interpreteren en piketpaaltjes slaan en keuzes maken.
5.4
Deelconclusies
Binnen opleidingssectoren is er meer tevredenheid over de kwaliteit van ingekochte examens dan op centraal niveau In algemene zin is er binnen mbo-scholen op sectorniveau meer tevredenheid over de kwaliteit van ingekochte examens dan op centraal niveau. Verklaring: de verschillende invalshoeken van waaruit de kwaliteit wordt beoordeeld; op sectorniveau vooral vanuit uitvoerbaarheid in school en beroepspraktijk, op centraal niveau vooral vanuit visie en geldende kwaliteitseisen. Mbo-scholen vinden dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Ondanks dat controleren zij deze kwaliteit vaak zelf. Een ruime meerderheid van de respondenten uit mbo-scholen vindt dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Tegelijkertijd bestaat veel onduidelijkheid over wie nu precies waarvoor verantwoordelijk is als het gaat over het voldoen aan de standaarden, en controleren mbo-scholen in de meeste gevallen zelf of aan de standaarden wordt voldaan. Tijdige afstemming nodig voor examens op basis van herziene kwalificatiedossiers Hoewel bijna alle respondenten vanuit de opleidingssectoren van mening zijn dat ingekochte examens voldoen aan de eisen uit de kwalificatiedossiers, is tijdige 37
afstemming tussen mbo-scholen en examenleveranciers over de invulling van de interpretatieruimte in de herziene kwalificatiedossiers een aandachtspunt.
38
6 Zicht op inzet ingekochte examens In dit hoofdstuk staat centraal in welke mate mbo-scholen en examenleveranciers zicht hebben op elkaars werk en werkwijze.
6.1
Inzagemogelijkheden
Van de respondenten vanuit de opleidingssectoren geeft 68,8% aan tevreden (51,3%) of heel tevreden (17,5%) te zijn over de inzagemogelijkheden. 16,3% is niet tevreden/niet ontevreden, 6,8% is ontevreden en niemand is heel ontevreden. 8,8% weet het niet. De centrale contactpersonen konden in meerderheid geen antwoord op geven op de vraag in hoeverre zij per sector tevreden zijn over de inzagemogelijkheden. Twee van hen meldden aan het eind van de enquête een algemeen knelpunt bij de inzagemogelijkheden: •
Het vooraf inzien van wat je koopt is niet altijd mogelijk i.v.m. de geheimhouding. Daardoor is het onmogelijk om de kwaliteit van het exameninstrument te beoordelen. Sommige examens zitten samen met het onderwijsmateriaal achter slot en grendel bij de examenleverancier. Vanwege de examinering/beveiliging heeft vaak maar één persoon een inlog. Hierdoor kunnen docenten niet vrij beschikken over het onderwijsmateriaal en loopt dat altijd via de contactpersoon.
•
6.2
Meer openheid over toetsmatrijzen nodig.
Informatie over uitvoering examens
Op de vraag of het ingekochte exameninstrumentarium voldoende informatie geeft over hoe het examen moet worden uitgevoerd, antwoordt 91,6% van de respondenten vanuit opleidingssectoren bevestigend. 7,2% vindt de informatie onvoldoende en 1,2% weet het niet. Deze vraag is niet gesteld aan de centrale contactpersonen. Toelichtende antwoorden vanuit opleidingssectoren: •
Informatie over het 'wat', hoe is aan de school
•
We werken nu nog met deels eigen producten
•
Er staan beschrijvingen bij van de afnamecondities.
•
De eisen die aan de uitwerking van opdrachten worden gesteld zijn vaag.
•
Gezien de diversiteit in uitstroomrichtingen is de proeve van bekwaamheid nogal ’open’ gedefinieerd. Nadere afspraken, context, et cetera moet de opleiding aangeven.
•
Mede ontwikkeld.
•
Het betreffende examen liet wel veel ruimte aan de praktijkbegeleider en deelnemer om zelf (los van school) het examen te plannen en uit te voeren.
•
Niet altijd. Het is lastig de vertaalslag te maken naar een bedrijf waar het examen plaats vindt. Hierdoor heeft de examencommissie besloten om een betere mix te maken tussen examineren in het bedrijfsleven en in school. 39
•
Meestal praktijk, is dat niet mogelijk dan simulatie op school. Echter kan de school niet bij elk examen in de praktijk aanwezig zijn. Ook duren de meeste examens geen dag, maar een langere tijdsperiode, waardoor het voor de examinatoren niet haalbaar is.
•
Na de verbeterslag wel. Vóór de verbeterslag naar aanleiding van de afkeuring door de inspectie, zijn de examens door ons bekritiseerd. Zowel de systematiek als de feitelijke examenproducten kenden tekortkomingen.
•
De beoordeling is niet geheel transparant (hoe men tot een waardering per beoordelingscriteria komt - 0-5 punten - heeft te maken met vakdeskundigheid op detailniveau wat niet in het examen beschreven is, maar wat de inkopende school zelf moet vastleggen/uitwerken).
6.3
Zicht op inzet volgens voorschriften examenleverancier
Van de examenleveranciers geeft 33,3% aan voldoende zicht te hebben op hoe mboscholen hun examens inzetten. Van de 66,7% die antwoordt onvoldoende zicht te hebben, koos 46,7% voor ‘nee, helaas niet’ en 20% voor ‘nee, maar dat hoeft ook niet’. Vervolgens konden de examenleveranciers een toelichting geven op hun antwoord. Elf respondenten deden dat: Toelichting op antwoord ‘ja’ (2x): •
In samenwerkingsovereenkomst met school is overeengekomen dat zij examens uitsluitend kwalificerend inzet en dat zij uiterste zorgvuldigheid betrachten.
•
Scholen gaan wel steeds zorgvuldiger om met de examens, maar toch hebben we regelmatig incidenten dat er m.n. kennisexamens uitlekken. De scholen moeten dit zelf ook als probleem ervaren, anders kun je er als examenleverancier niet zo veel aan doen.
Toelichting op antwoord ‘nee, maar dat hoeft ook niet’ (3x): •
Uitvoering is de verantwoordelijkheid van de mbo-scholen. De afstand is ook te groot; het gebeurt buiten het gezichtsveld van de examenleverancier.
•
Scholen maken zelf de keus hoe ze de producten inzetten en dragen hier ook de verantwoording voor.
•
Wij leveren de examens aan maar de scholen kunnen ook eigen producten gebruiken.
Toelichting op antwoord ‘nee, helaas niet’ (7x): •
Wanneer duidelijk is waarom en op welke wijze scholen de examens aanpassen en inzetten, kan een leverancier daarop inspelen. Mogelijk kunnen gewijzigde examens ook voordeel opleveren voor collega-scholen.
40
•
Bij de uitvoering zijn we er helaas nooit bij. We bieden scholen aan mee te kijken in hun proces (ook om te bekijken of zij de examens op de juiste wijze toepassen), maar daar gaan ze vrijwel nooit op in.
•
Zeer wisselend, de ene school koppelt veel terug, een ander weinig. Het zicht op het gebruik zou beter kunnen
•
We hebben zicht op de wijze waarop de scholen onze examens inzetten, maar het kan nog veel beter. Wij hebben zicht op de inzet door de evaluatieformulieren die de scholen insturen na afloop van een examen, door de terugkoppeling in de jaarlijkse panelgesprekken en door tussentijdse terugkoppeling in verschillende bijeenkomsten (docentendagen, bijeenkomsten examencommissieleden, regiobijeenkomsten, onderwijsclusters btg etc.). Maar we weten niet exact wanneer welke scholen welke examens voor hoeveel kandidaten gebruiken. Dat komt omdat we werken met een licentiemodel en een school dus niet afzonderlijke producten bij ons aanschaft.
•
We proberen in de exameninstrumenten voor te schrijven, tips en advies te geven hoe een exameninstrument op een goede wijze moet worden ingezet. Vanuit feedback en vragen blijkt dat scholen de exameninstrumenten niet altijd op de juiste wijze inzetten. Het doel van de exameninstrumenten is een goed kwalificerend moment voor de student te zijn wat hem verder helpt naar zijn diploma. Als exameninstrumenten niet goed worden ingezet, kan de student hier de dupe van zijn of krijgen de scholen een negatief beeld van de exameninstrumenten. Dit bevordert niet het juiste gebruik. Het is van belang dat scholen hun ervaringen goed terugkoppelen zodat wij er van kunnen leren hoe wij instructies in de exameninstrumenten opnemen, scholen kunnen adviseren in het juiste gebruik.
•
Om beter te kunnen achterhalen wat de wensen van de onderwijsinstellingen zijn. Hier zou vervolgens dan de examinering op aangepast kunnen worden.
•
Met meer zicht kunnen we als examenleverancier beter inspelen op de wensen en verwachtingen van scholen of verduidelijken waarom we voor een bepaalde opzet / aanpak hebben gekozen.
Een aanzienlijk deel van de examenleveranciers geeft aan het belangrijk te vinden meer zicht te krijgen op hoe mbo-scholen examens inzetten. Meer zicht zou volgens hen de kwaliteit en bruikbaarheid van zowel de exameninstrumenten kunnen verbeteren als de inzet van de exameninstrumenten door mbo-scholen. Op hun beurt hebben mbo-scholen behoefte aan goed zicht op het aanbod en de werkwijze van examenleveranciers. Tijdens de bijeenkomst op 27 maart kwamen de aanwezigen met de volgende suggesties voor examenleveranciers: •
meekijken bij uitvoering (letterlijk);
•
klankbordgroep;
•
praktijkbeoordelaars leveren;
•
trainingen voor mbo-scholen die aansluiten bij de ervaringen met examinering; 41
•
onderlinge uitwisseling van ervaringen faciliteren, bijvoorbeeld in regiobijeenkomsten met scholen of relatiedagen van examenleveranciers;
•
inzet/inhuur constructeurs vanuit scholen en (leer)bedrijven;
•
meer services bieden;
•
ondersteuning op scholen.
In breder perspectief: •
Als alle examenleveranciers zich zouden conformeren aan gestandaardiseerde procedures rondom vaststelling, klachtenafhandeling en dergelijke, schept dat duidelijkheid bij scholen.
•
Oproep aan OCW/Onderwijsinspectie: zorg ervoor dat eisen en procedures niet te vaak veranderen. Dat voorkomt verwarring bij scholen en examenleveranciers.
•
Oproep aan het servicepunt: streef naar een eenduidig begrippenkader. Dat helpt scholen en leveranciers elkaar beter te begrijpen.
•
Belangrijk dat scholen hun eigen visie en uitgangspunten helder hebben vóórdat zij inkopen.
Er was tijdens de bijeenkomst ook een tegengeluid: scholen hoeven niet te weten hoe leveranciers te werk gaan, als het product maar goed is. In de enquête voor examenleveranciers werd ook gevraagd of examenleveranciers actie ondernemen als zij constateren dat een mbo-school de examens niet volgens de voorschriften inzet. 33,3 antwoordt ‘altijd’. Eveneens 33% ‘meestal wel. 6,7% koos voor ‘meestal niet’. De overige 26,7% geeft aan niet te constateren dat een mbo-school de examens niet volgens de voorschriften inzet. Toelichtende antwoorden waarom actie wordt ondernomen of gewenst is: •
Wij horen als leverancier graag waarom en op welke wijze de school een instrument aanpast. Examens worden in overleg met de scholen ontwikkeld. Aanpassingen vanuit een school aan de opgeleverde examens zouden een kwaliteitsslag kunnen betekenen (of een variant) die ten goede zou kunnen komen aan de overige inkopende scholen.
•
Indien het bekend is, altijd met als doel de inzet te verbeteren en te bespreken of we kunnen ondersteunen.
•
Als we constateren dat een school een examenproduct niet volgens de voorschriften inzet, ondernemen we actie, maar in de meeste gevallen constateren we het niet omdat wij niet betrokken zijn bij de afname van de examens.
•
Als wij signalen of vragen krijgen waaruit blijkt dat de inzet van exameninstrumenten niet juist is, nemen wij contact op met de school. We bieden aan om mee te denken of advies te geven hoe zij de examens wel goed kunnen inzetten. Dit contact loopt vanuit de opleidingscoördinator. 42
•
Wij zijn veel in gesprek met vertegenwoordigers op school en geven advies.
•
Als examenleverancier attenderen wij de afnemer erop dat de examenleverancier niet verantwoordelijk is voor een examen waarbij de afnemer aanpassingen doet of zelfs in de beroepspraktijkvorming.
•
We treden in overleg met een mbo-school, is op zich geen bezwaar, mits het alternatief goed onderbouwd en vastgesteld is.
•
Wij zeggen steeds weer dat men de producten altijd zelf moeten laten vaststellen.
Toelichtende antwoorden waarom men geen actie onderneemt: •
Uitvoering is de verantwoordelijkheid van de school.
•
Zelf als wij dit wel zouden constateren, staat het de onderwijsinstelling vrij om af te wijken van onze voorschriften.
6.4
Zicht op vaststellingsprocedure
66,3% van de respondenten vanuit opleidingssectoren heeft voldoende zicht op de gevolgde vaststellingsprocedure, 12,3% vindt van niet en 12,5% weet het niet. Toelichtende antwoorden bij ‘voldoende zicht’: •
Officieel is alles afgedekt, maar in de praktijk ondoorgrondelijk.
•
Leverancier heeft een constructiegroep en een vaststellingsgroep met verschillende bemensing.
•
Vaststelling wordt gebaseerd op criteria uit waarderingskader, en wordt in een verslag vastgelegd en verantwoord.
•
Wij stellen alle examens zelf vast. Deze examens zijn volgens de leverancier goedgekeurd door de inspectie. Dat verbaast ons omdat we toch regelmatig fouten vinden in de vragen. De technische vaststelling is wel okay. Inhoudelijk gaat het wel eens mis.
•
Er is ook nog een panelgesprek geweest.
•
Mede ontwikkeld.
•
Voor zover het vaststelling door onze eigen centrale vaststelcommissie betreft. Niet op de beoordeling door de inspectie.
•
De leverancier onderhoudt een nauwe band met de ontwikkelaars die deels afkomstig zijn uit onze school. Er is een vaststellingscommissie die de examens keurt.
•
Examenleverancier hanteert strikte regels over hoe de examens eruit mogen zien. Ik vind dat ze zich daarin te rigide opstellen, omdat de docenten die daar ontwikkelen sterk beïnvloed zijn en hun eigen visie lijken te verliezen op wat kwaliteit is.
•
Onze school is vertegenwoordigd in de landelijke vaststellingscommissie.
•
Een medewerker van onze school heeft zitting in de vaststellingscommissie.
•
Procedure ziet er zorgvuldig uit. Leden van valideringscommissies worden geworven vanuit aangesloten scholen. 43
•
De leverancier levert bij elke kadertoets het vaststellingsdocument. De procedure is ook bekend.
Toelichtende antwoorden bij ‘onvoldoende zicht’: •
Vaststelling gebeurt op de instellingsniveau.
•
Vaststelling gebeurt binnen de instelling (vaststellingscommissie).
•
Bij twee van de drie examenleveranciers zijn de vaststellingverslagen niet beschikbaar.
•
In dit geval van inkoop in grote lijnen wel wie betrokken waren bij de ontwikkeling van de examens, maar niet op de vaststellingsprocedure.
•
We staan geen inzage vooraf toe.
Toelichtende antwoorden bij ‘weet niet’: •
Gaat het hier om de school zelf die het examenmateriaal vaststelt of om de vaststellingsprocedure van de examenleverancier?
De vraag over de gevolgde vaststellingsprocedure is per sector ook gesteld aan de centrale contactpersonen, maar een meerderheid gaf aan dit niet te weten.
6.5
Deelconclusies
In opleidingssectoren is er voldoende zicht op de werkwijze en het aanbod van examenleveranciers. Op centraal niveau en bij examenleveranciers weinig zicht op inzet ingekochte examens Op sectorniveau zijn respondenten over het geheel genomen in ruime meerderheid tevreden over de mate waarin zij zicht hebben op de werkwijze en het aanbod van examenleveranciers. Voor zover zij informatie missen, gaat die vooral over de uitvoering en de uitvoerbaarheid van de examens, waaronder die in de beroepspraktijk. Meer hierover in het hoofdstuk over uitvoerbaarheid. De meerderheid van de examenleveranciers heeft weinig zicht op hoe scholen ingekochte examens inzetten. Hetzelfde geldt voor de centrale contactpersonen als het gaat om de inzet in opleidingssectoren. Eenduidige communicatie en meer ontmoeting verbeteren zicht op inzet Zowel examenleveranciers als mbo-scholen hebben concrete ideeën over hoe zij het zicht op elkaars werkwijze en aanbod kunnen verbeteren. Veel suggesties liggen op het vlak van communicatie, elkaar ontmoeten, in elkaars keuken kijken. Ook het servicepunt en OCW/inspectie kunnen een positieve bijdrage leveren; het servicepunt door een eenduidig begrippenkader te communiceren en OCW/inspectie door eisen en procedures niet (te) vaak te wijzigen.
44
7 Gebruik versie en wijzigen ingekochte examens In dit hoofdstuk gaat het over welke versie van ingekochte examens mbo-scholen gebruiken en vervolgens of en zo ja, in welke zin en waarom mbo-scholen ingekochte examens wijzigen.
7.1
Welke versie van ingekochte examens gebruiken mbo-scholen?
60,8% van de respondenten vanuit opleidingssectoren geeft aan altijd de meest recente ingekochte examens te gebruiken. 35,4% antwoordt ‘meestal wel’; de overige 3,8% ‘soms niet’. Geen enkele respondent koos voor de antwoordopties ‘meestal niet’ en ‘nooit’. Aan het eind van de enquête meldden enkele respondenten vanuit opleidingssectoren de volgende knelpunten over de versies van examens. •
Een aantal examenplannen schijnt nu door de examenleverancier (met terugwerkende kracht) te worden bijgesteld voor beroepsgericht mvt. Dit kan ons als school problemen opleveren.
•
Aanpassingen, voortvloeiend uit de jaarlijkse gebruikersbijeenkomsten worden alleen gedaan in de nieuwste examens voor de nieuw gestarte cohorten. Terwijl voor examinering vaak examens worden gebruikt voor iets oudere cohorten. Ook in de oudere examens moeten de aanpassingen doorgevoerd worden. Onze examens kopen we in bij xxx; wellicht wordt uit commercieel oogpunt niet meer tijd besteed aan het aanpassen van al eerder ontwikkelde examenversies. Dat is erg jammer!
•
Alle nog in gebruik zijnde examenversies aanpassen met de nieuwste inzichten; niet alleen de nieuwste versie aanpassen.
7.2
Wijzigen van ingekochte examens
Aan alle drie de responsgroepen is gevraagd in welke mate mbo-scholen ingekochte examens wijzigen. De centrale contactpersonen konden kiezen tussen ‘ja’ (42,5%) ‘nee’ (46,2%) en ‘weet niet’ (11,5%). Hoewel de vraag aan de respondenten vanuit de opleidingssectoren iets anders is gesteld, is het percentage dat aangeeft ingekochte examens nooit te wijzigen (49,4%) in lijn met het percentage bij de centrale contactpersonen (46,2%). Het beeld bij de examenleveranciers is anders: 6,7% gaat er van uit dat mbo-scholen ingekochte examens nooit wijzigen. 20% weet het niet. Zie figuur 17.
45
Figuur 17 Wijzigt uw sector ingekochte examens? / Wijzigen mbo-scholen examens die door u geleverd zijn? 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
altijd
meestal
soms
nooit
weet niet
opleidingssectoren (n=79)
6,3%
5,1%
34,2%
49,4%
5,1%
examenleveranciers (n=15)
0,0%
6,7%
66,7%
6,7%
20,0%
Respondenten vanuit opleidingssectoren geven relatief vaker dan examenleveranciers aan dat geconstateerde fouten de reden zijn voor het wijzigen van exameninstrumenten. De centrale contactpersonen hebben er te weinig zicht op. Zie figuur 18 en 19.
Figuur 18 Wat zijn volgens u redenen voor mbo-scholen om uw exameninstrumentarium te wijzigen? (ongeacht of u het daar mee eens bent) (meerdere antwoorden mogelijk) n=11 vanuit examenleveranciers 100,0% 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% %
geconstateerde fouten
andere voorkeur/visie
weet niet
anders, namelijk:
18,2%
90,9%
0,0%
36,4%
Anders: onwetendheid (2x) aanpassing aan lay-out, format-indeling (1x), niet goed lezen (1x), ze willen dan vaak de uitvoering op een andere wijze regelen i.v.m. uitvoeringskosten, (onvoldoende) beschikbaarheid praktijklocaties, uitvoeringsinstructies die niet helemaal passen (1x).
46
Figuur 19 Om wat voor soort wijzigingen gaat het en waarom? (meerdere antwoorden mogelijk) n=31 vanuit opleidingssectoren 25
Aantal respondenten (ex 'geen wijzigingen')
20 15 10 5 0
terminologie
spelling, formulering
(vak)inhoud
procedureel (instructie, afnamecondities)
weet niet waarom
2
2
4
3
2
6
4
andere voorkeur
6
5
6
20
9
1
2
geconstateerde fouten
8
9
9
4
6
3
2
cesuur, beoordeling
gebruik oudere versie
weet niet
Als het gaat om soort wijzigingen noemen zowel de examenleveranciers als de respondenten vanuit opleidingssectoren ‘procedureel’ het meest (figuur 20).
Figuur 20 Om wat voor soort wijzigingen gaat het? (meerdere antwoorden mogelijk) n=11 vanuit examenleveranciers
Twee centrale contactpersonen maakten aan het eind van de enquête een opmerking over het wijzigen van ingekochte examens: •
We willen graag sommige examens wijzigen, maar het mag niet van de leverancier!
•
Knelpunt: de inflexibiliteit van de leverancier om (tijdig) aanpassingen te doen.
Daarnaast deed een respondent vanuit de opleidingssectoren een suggestie: pdfbestanden vrij geven zodat scholen die kunnen bewerken. Aan de examenleveranciers is gevraagd wat zij in het algemeen vinden van de wijzigingen door mbo-scholen. Voor zover zij menen dat de wijzigingen een effect op de kwaliteit van examens hebben, kwalificeren vijf van de zes respondenten dat effect als negatief. Zie figuur 21.
Figuur 21 Wat vindt u in het algemeen van de wijzigingen door mbo-scholen? (meerdere antwoorden mogelijk) n=11 vanuit examenleveranciers
het is niet aan ons daar een mening over te hebben ongewenst overbodig begrijpelijk, maar mbo-scholen realiseren zich onvoldoende wat dit betekent begrijpelijk, maar niet toegestaan prima positief effect op kwaliteit examens geen effect op kwaliteit examens negatief effect op kwaliteit examens 0
1
2
3
4
5
Aantal respondenten
Drie examenleveranciers gaven (nog) een andere mening: varieert per school (1x), minder eenduidig/transparant (1x), begrijpelijk (1x). Op de vraag aan de examenleveranciers of, en zo ja hoe, zij mbo-scholen informeren over de gevolgen van gewijzigde inzet was de reactie als volgt (figuur 22): 48
6
Figuur 22 Informeert u de mbo-scholen over de gevolgen van gewijzigd inzetten? n=15 vanuit examenleveranciers 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
ja, schriftelijk met een mondelinge toelichting 53,3%
ja, alleen schriftelijk
nee, wij staan daar niet bewust bij stil
nee, daarvoor is de mboschool zelf verantwoordelijk
weet niet
anders, namelijk:
26,7%
0,0%
6,7%
0,0%
13,3%
Anders, namelijk: • Scholen weten zelf wat consequenties zijn en het staat op onze producten (namelijk zelf het gewijzigde product verantwoorden).
• 7.3
Ja, via toetsplan (model examenplan)
Deelconclusies
Helft mbo-scholen wijzigt ingekochte examens, over nut en noodzaak verschillen de meningen Bijna de helft van de respondenten vanuit mbo-scholen geeft aan dat binnen hun school/sector examens worden gewijzigd. Examenleveranciers hebben daar niet altijd zicht op. Examenleveranciers veronderstellen dat het wijzigen door mbo-scholen vooral is ingegeven vanuit een andere voorkeur of visie, terwijl de respondenten vanuit de opleidingssectoren relatief vaak ook geconstateerde fouten als reden noemen. Volgens de meerderheid van de examenleveranciers kleven er vooral nadelen aan het wijzigen van examens, en vragen zij zich af of scholen zich voldoende realiseren wat de consequenties zijn. Meer en tijdige afstemming en versiebeheer kunnen het wijzigen van examens beperken of voorkomen Examenleveranciers en respondenten vanuit opleidingssectoren zijn het er over eens dat de meeste wijzigingen de instructie en afnamecondities betreffen. De centrale contactpersonen hebben in meerderheid geen zicht op de aard en redenen van de wijzigingen. Niet alle mbo-scholen zetten de meest recente ingekochte examens in. Dit vraagt om tijdige communicatie tussen examenleverancier en scholen als examens voor eerdere cohorten bijgesteld (moeten) worden. 49
8 Uitvoerbaarheid ingekochte examens In dit hoofdstuk staat centraal hoe mbo-scholen de uitvoerbaarheid ervaren van afname en beoordeling van ingekochte examens.
8.1
Uitvoerbaarheid afname
De respondenten vanuit opleidingssectoren werd gevraagd of afname van de examens, volgens de voorschriften van de examenleverancier, voldoende uitvoerbaar is. 80% vindt van wel, 13,8% vindt van niet. De overige 6,2% weet het niet. Vervolgens kregen de respondenten de gelegenheid hun antwoord toe te lichten. Toelichtende antwoorden bij ‘ja’: •
Afname pvb is en blijft een kostbare kwestie, gaat nogal wat formatie in op.
•
Maar niet volgens voorwaarden roc.
•
Aan de examensituatie worden haalbare eisen gesteld.
•
De zelfstandigheid van de kandidaat bij voorbereiding en uitvoering kan concreter benoemd worden.
•
Niet altijd. Vooral bij praktijkexamens.
•
Steeds moeilijker vanwege de tijdsinvestering per student per examenonderdeel. Om aan alle voorwaarden te moeten voldoen rondom examens naast de reguliere lessen / centrale examens i.v.m. vaste planning.
•
Mede ontwikkeld.
•
Echter wel zeer tijdrovend en daardoor kostbaar. In die zin moeilijk inpasbaar.
•
Uitvoerbaarheid staat wel onder druk: afname volgens vier ogen principe is in de bpv moeilijk uitvoerbaar.
•
Af en toe wat problemen met bpv-opdrachten.
•
Niet geheel, doordat er niet voldoende schoolcapaciteit is om bemensing te leveren tijdens de examens in de bpv. Ongeveer 50%.
•
In samenwerking met het beroepenveld.
Toelichtende antwoorden bij ‘nee’: •
Lastig om alle examens door twee beoordelaars te laten beoordelen
•
In sommige gevallen is het moeilijk om volgens de aangegeven afnameprocedure te examineren.
•
Met name als het een goed omschreven examenopdracht is die in de praktijk moet worden uitgevoerd en dit in de regio niet of nauwelijks voorkomt. Het moet dan gesimuleerd, en dat doet afbreuk aan authenticiteit en de omschreven afnameprocedure.
•
Sommige examens zijn te tijdrovend en vragen veel inzet van beoordelaars 50
•
Bij de praktijkexamens moet er regelmatig naar creatieve oplossingen gezocht worden.
•
Bij grotere aantallen kandidaten staat de uitvoerbaarheid onder druk omdat de examens uitgevoerd worden in de praktijk en de praktijk nogal weerbarstig kan zijn.
•
Diversiteit uitstroom
•
Beoordeling door twee onafhankelijke beoordelaars is in de praktijk meestal niet mogelijk.
•
Het uitvoeren in de beroepspraktijk is haast niet haalbaar en dat wil de praktijk (grotendeels) ook niet.
Toelichtende antwoorden bij ‘weet niet’: •
Ligt aan het examen en de voorwaarden die gegeven worden. Soms wel, soms niet.
•
Geen zicht op.
Ook aan het eind van de enquête en tijdens de bijeenkomst op 27 maart kwamen respondenten met knelpunten, suggesties en overige opmerkingen over de uitvoerbaarheid van de afname: •
De te grote variatie tussen examenleveranciers als het gaat om duur examens.
•
De te grote variatie tussen examenleveranciers als het gaat om scheiding onderwijs – examinering.
•
Te vaak zijn examens gekoppeld aan een bepaalde onderwijsmethode.
•
Examenleveranciers zouden keuzemogelijkheden moeten kunnen bieden in gelijkwaardige examens maar passend bij diverse onderwijsmodellen en regionale/sectorale verschillen.
•
De examens zijn te kort!
•
Er is binnen de examenproducten voor de beroepsgerichte examinering geen onderscheid gemaakt richting de niveaus van de opleidingen. In mijn beleving is er wel een groot verschil in de manier waarop je moet examineren binnen een niveau 1/entree- of een niveau 4-opleiding.
•
Ik denk dat als een student laat zien dat hij/zij op een bepaald niveau kan functioneren, hij/zij dat ook op een ander punt zou kunnen.
•
Daarnaast zijn docenten ook zeer verschillend, met allerlei kwaliteiten die belangrijk zijn om een student te laten leren/ontwikkelen, maar die daarbij niet altijd oog/gevoel hebben voor kwaliteit van examinering. In de huidige manier van kijken naar kwaliteit van examinering kan het beperkt aanwezig zijn van kwaliteit van examinering bij de een niet gecompenseerd worden door een collega die daar wel gevoel voor heeft.
•
Bij één leverancier van ingekochte taalexamens de onvolledigheid en beperkte versies.
51
•
Er is een grote diversiteit in opleidingssystematieken binnen de scholen. Scholen zijn zich er vaak niet van bewust dat gemaakte keuzes gevolgen (zouden moeten) hebben voor de examinering.
•
Exameninstellingen ontwikkelen en bieden producten aan die aansluiten bij meerdere visies. Of leveren maatwerk.
•
Bij de praktijk een realistischer beeld wat daar wel en niet mogelijk is. Voor wat niet mogelijk is simulatieopdrachten met duidelijke waarderingskaders.
•
Eenvoudiger woordgebruik.
•
Context voor afname van examens bijstellen, zodat niet in een authentieke situatie de afname plaatsvindt, maar in een gesimuleerde situatie. Niet altijd op leerbedrijven, maar ook afname vanuit/op school, inclusief het criteriumgericht interview.
•
Minder examens op papier, vooral kennisexamens digitaal afnemen.
•
De uitvoering van praktijkexamens in de beroepspraktijk is ook zonder doorgevoerde wijzigingen in de producten al een hele klus. Over het algemeen vind ik dat we daar met zijn allen de afgelopen jaren flinke stappen in hebben gezet.
•
Afhankelijk van examenproduct, als examenleverancier niet te veel voorschrijvend zijn in het afnameproces
8.2
Uitvoerbaarheid beoordeling
Over de uitvoerbaarheid van de beoordeling zijn twee vragen gesteld aan de respondenten vanuit opleidingssectoren. De eerste vraag was of het ingekochte exameninstrumentarium voldoende duidelijkheid geeft over hoe moet worden beoordeeld. 83,8% vindt van wel, 13,8% vindt van niet, en 2,5% weet het niet. Toelichtende antwoorden bij ‘ja’: •
Er is soms verschil van mening over de beoordeling, maar we sluiten ons wel aan bij de afspraken die de leverancier heeft gemaakt. Er is altijd de mogelijkheid om evaluaties in te vullen over de afgenomen examens en die op te sturen naar de leverancier.
•
Meestal wel, maar soms niet duidelijk / eenduidig genoeg.
•
Heel duidelijk, al is het lastig om op werkbegeleidersniveau iedereen goed te instrueren.
•
Geldt voor generieke instellingsexamens TOA (Ne, Engels, rekenen).
•
Wel complex.
•
Is duidelijk genoeg. Meningen van beoordelaars kunnen toch een nadelige invloed hebben.
•
Bevat uitgebreide instructies en protocollen.
•
Duidelijke instructie.
•
Er is een instructiemodel beoordelaar aanwezig. 52
Toelichtende antwoorden bij ‘nee’: •
Voorschriften voor objectiviteit en vier ogen principe kunnen concreter en voorschrijvend. Nu is enkel voorkeur beschreven waar scholen vanaf kunnen wijken. Daardoor is afstemming nodig tussen de opleidingen in een roc.
•
Ook hier is de uitwerking van de opdrachten vaag.
•
Correctiemodellen zijn nogal vaag en voor meer interpretaties uit te leggen.
•
Hier zijn wel trainingen voor, maar ook deze trainingen roepen geregeld vragen op.
•
Bij de kaderexamens van examenleverancier is een nadere omschrijving nodig van opdrachten en de beoordelingswijze om te voldoen aan het toezichtkader.
•
De beoordeling op een schaal per beoordelingscriterium (0-5 onvoldoende tot zeer bekwaam) is afhankelijk van assessors. Door meerdere assessors (waaronder iemand uit het beroepenveld) wordt een zo objectief mogelijk eindoordeel bepaald. Dit is niet volledig transparant of objectief, maar ook afhankelijk van bijvoorbeeld de normering en de vakdeskundigheid van o.a. de assessor uit het beroepenveld.
•
Beroepsgericht Engels en Duits is wel opgenomen in een aantal werkprocessen in de kwalificatiedossiers maar niet opgenomen in het examen en wordt ook niet als apart examen geleverd door de examenleverancier.
•
Het werd aan de vakdeskundigheid van beoordelaar overgelaten wanneer een beoordeling van een indicator/werkproces voldoende of goed is.
Toelichtende antwoorden bij ‘weet niet’: •
We starten volgend jaar met nieuw materiaal, we moeten hiermee nog ervaring op doen.
•
Deze vragen passen niet bij de geheel andere structuur van examenleveranciers waarbij producten worden gevalideerd in groepen van onderwijs en bedrijfsleven. Deze enquête is alleen geschikt voor traditionele examenleveranciers.
De tweede vraag over beoordeling luidde als volgt: Is het ingekochte exameninstrumentarium in uw sector geschikt voor een zo objectief mogelijke beoordeling? 87,6% antwoordt met ‘ja’ of ‘grotendeels wel’; 11,3% met ‘grotendeels niet’ of ‘nee’. Eén respondent weet het niet. Toelichtende antwoorden: •
Omschrijving normering is voor verbetering vatbaar; onvoldoende concreet. Deze past de school aan en de vaststellingscommissie stelt deze vervolgens vast.
•
Meerdere manieren van direct beoordelen en meerdere beoordelaars.
•
Gecombineerd met een goede scholing van de beoordelaars.
•
Door puntensysteem en concrete kwaliteitscriteria is er voldoende houvast voor beoordelaar. 53
•
Scheiding begeleiden - beoordelen zou concreet genoemd kunnen worden, evenals het vier ogen principe.
•
Met name de praktijkexamens zijn moeilijk objectief te beoordelen.
•
Meer ogen principe.
•
Mede ontwikkeld.
•
Is ook afhankelijk van de beoordelaars.
•
Persoonlijke inkleuring van beoordelingscriteria speelt altijd een rol.
•
Deze vragen passen niet bij de geheel andere structuur van onze examenleverancier, waarbij producten worden gevalideerd in groepen van onderwijs en bedrijfsleven. Deze enquête is alleen geschikt voor traditionele examenleveranciers.
•
De beoordelingsformulieren waren uitgebreid en dekkend, maar bij de beoordeling (wat is voldoende/ wat is goed) had de vakdeskundigheid van de beoordelaar een grote rol.
•
Als het op de goede manier ingezet wordt en niet volledig in het bedrijfsleven wordt afgenomen.
•
Vaak is begeleider op stageplaats ook examinator (vaak het geval bij kleinere stageplaatsen) en is de mentor ook de examinator van school. Voor scholen is dit vaak uit praktisch oogpunt niet haalbaar (afstemming stagedagen, werkdagen docenten, lesroosters, etc.)
•
Twee beoordelaars: bedrijf en school.
Ook aan het eind van de enquête en tijdens de bijeenkomst op 27 mei kwamen respondenten met knelpunten en verbeterpunten bij beoordeling: •
Soms zijn beoordelingssystematieken onnodig ingewikkeld en weinig transparant.
•
Soms bevatten beoordelingsmodellen fouten.
•
Het examen geeft niet over alle beoordeling voldoende transparantie/houvast/duidelijkheid.
•
Er zijn geen beoordelingscriteria voor de onderliggende opdrachten.
•
Er zijn examenleveranciers die de examens leveren zonder cesuur. Zou fijn zijn als de cesuur of enkele te kiezen cesuren er bij zitten.
•
Maken omzettingstabel.
•
Er is meer eenduidigheid nodig in beoordelingssystematiek (o-v-g en/of cijfers).
•
Cesuur vereenvoudigen.
8.3
Deelconclusie
Mbo-scholen vinden ingekochte examens voldoende uitvoerbaar. Wel zijn er verbeterpunten Hoewel ruim 80% van de respondenten vanuit de opleidingssectoren van mening is dat de uitvoerbaarheid van de afname en de beoordeling voldoende is, signaleren zij tegelijkertijd een aantal knelpunten en verbeterpunten. 54
Met name de uitvoerbaarheid in de beroepspraktijk, de beoordelingssystematiek en de rol en deskundigheid van beoordelaars zijn veel genoemd.
55
9
Communicatie en implementatie
Dit hoofdstuk gaat over de communicatielijnen tussen mbo-scholen en examenleveranciers en verbeterpunten bij de implementatie.
9.1
Contacten tussen mbo-scholen en examenleveranciers
Aan de examenleveranciers is gevraagd wie binnen mbo-scholen hun belangrijkste contact is en vervolgens met wie zij het meest frequent contact hebben. In figuur 23 zijn de uitkomsten van deze twee vragen samengevoegd. Figuur 23 Wie is bnnen een mbo-school in het algemeen uw belangrijkste / meest frequente contact? n=16 vanuit examenleveranciers 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% directeur college (sector/ opleivan ding/ bestuur afdeling /unit)
beleidsmedeexamen werker commis- examen (cen(examitraal) sie (lid secretanering of voorinkoper riaat of zitter) kwaliteit s-zorg)
(vak) docent
weet niet
anders, namelijk :
belangrijkste
6,3%
37,5%
0,0%
12,5%
6,3%
6,3%
6,3%
0,0%
25,0%
meeste
0,0%
18,8%
0,0%
18,8%
18,8%
6,3%
25,0%
0,0%
12,5%
Anders, namelijk: Belangrijkste: n.v.t. (1x), praktijkleerconsulent (1x), opleidingsmanager (1x) verschilt per mbo-school (1x). Meest frequent: praktijklerenconsulent (1x), opleidingsmanager (1x)
9.2
Communicatie tussen mbo-scholen en examenleveranciers
Aan het eind van de enquête noemde een aantal respondenten communicatie expliciet als aandachtspunt: •
Rechtstreeks kunnen communiceren met de constructeur van de examenvragen.
•
Goed contact met examenleverancier belangrijk.
•
Meer overleg met scholen wat er nodig is.
•
In gesprek gaan met de scholen. Zijn we op dit moment volop mee bezig.
•
In gesprek gaan en uitleg geven waarom zaken zo zijn opgesteld. Welke visie en dergelijke.
•
Vooral goed in contact blijven tussen examenleveranciers en scholen.
56
Tijdens de bijeenkomst op 27 maart kwamen de examenleveranciers met een aantal suggesties om de communicatie tussen scholen en examenleveranciers te verbeteren: •
Vaste contactpersonen vanuit scholen, zowel centraal als decentraal.
•
Meer respons op evaluaties gewenst (nu bij bijeenkomsten vaak dezelfde mensen)
•
Meer gebruik maken van digitale communicatiemiddelen (bijv. community of practice) om ook docenten te bereiken die niet altijd in de gelegenheid zijn bijeenkomsten te bezoeken.
•
Inzet sociale media.
•
Meer zicht krijgen op inzet van ingekochte examens.
•
Eerder en meer contact/overleg tussen examenleveranciers en scholen over uitvoerbaarheid en organiseerbaarheid, en bereidheid zo nodig producten (snel) bij te stellen.
9.3
Implementatie
Enkele respondenten signaleerden knelpunten en/of kwamen met verbetersuggesties voor implementatie: •
Er is vaak te weinig tijd/gelegenheid/geld om de implementatie binnen de scholen te begeleiden.
•
Scholen meer ondersteuning bieden in het organiseren en afnemen van examens door het inzetten van examencoaches.
•
Als leveranciers gezamenlijk afspreken dat levering altijd vergezeld moet gaan met een workshop hoe om te gaan met de producten, en daarnaast een helpdesk.
•
Goede examens kunnen het beste voortkomen uit een coproductie tussen leverancier en mbo-scholen.
9.4
Deelconclusie
Meer en tijdige communicatie nodig tussen mbo-scholen en examenleveranciers en binnen mbo-scholen Het verbeteren van de communicatie is volgens de respondenten en de deelnemers aan de bijeenkomst een belangrijk aandachtspunt. Bij veel van de onderwerpen in het onderzoek komt (gebrek aan) communicatie direct of indirect naar voren, overigens niet alleen tussen examenleveranciers en mbo-scholen maar ook tussen centraal en decentraal niveau binnen mbo-scholen en met de beroepspraktijk. Het gaat dan om voldoende en tijdige communicatie, zowel bij de ontwikkeling, de vaststelling als bij de uitvoering van ingekochte examens.
57
10 Feedback en evaluatie In dit hoofdstuk staan het proces en de inhoud van feedback en evaluatie centraal.
10.1 Mate van feedback en evaluatie 48% van de centrale contactpersonen heeft het afgelopen jaar wel eens zelf feedback gegeven op het ingekochte exameninstrumentarium. Een zelfde percentage heeft dat (ook) via een collega gedaan. 28% heeft, om verschillende redenen, geen feedback gegeven. Zie figuur 24.
Figuur 24 Heeft u examenleverancier(s) het afgelopen jaar wel eens feedback gegeven op het ingekochte exameninstrumentarium? (meerdere antwoorden mogelijk) n=25 centrale contactpersonen 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
ja, rechtstreeks aan examenleverancier(s)
ja, via een collega
48,0%
48,0%
ja, via iemand nee, omdat we buiten mijn tevreden zijn school 0,0%
12,0%
nee, hoewel we niet tevreden zijn
nee, om een andere reden
8,0%
8,0%
Aan de respondenten vanuit opleidingssectoren is gevraagd of hun sector afgelopen jaar feedback heeft gegeven aan examenleveranciers. Volgens 79,4% van de respondenten is dat het geval, 9,6% geeft aan dat dit niet is gebeurd, 11% weet het niet. Van de zeven respondenten vanuit de opleidingssectoren die ‘nee’ invulden gaven vier daarvoor als reden ‘omdat we tevreden zijn’. De overige drie gaven de volgende antwoorden: •
Komt nog.
•
Niet wetende hoe te bereiken.
•
Wij hebben in het verleden, vóór de afkeuring, stevige kritiek geuit op de examenproducten en de -procedure. Vervolgens heeft ook afkeuring door de inspectie plaatsgevonden en daarna is e.e.a. aangepast. Momenteel voldoen de producten aan de eisen.
58
10.2 Wie neemt initiatief tot feedback of evaluatie? Zowel de centrale contactpersonen als de examenleveranciers is gevraagd wie meestal het initiatief neemt tot evaluatie van of feedback op het ingekochte exameninstrumentarium. In beide responsgroepen zijn in verhouding de meeste respondenten van mening dat zij dat zelf zijn (als mbo-school of examenleverancier), zij het dat de examenleveranciers zichzelf wat vaker als initiatiefnemer beschouwen dan dat de mbo-scholen dat doen. Zie figuur 25.
Figuur 25 Wie neemt meestal het initiatief als het gaat om evaluatie van of feedback op het ingekochte exameninstrumentarium? 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% volgens centrale contactpersonen (n=18) volgens examenleveranciers (n=15)
mboschool
examenleverancier
dat varieert
weet niet
anders, namelijk
33,3%
11,1%
27,8%
11,1%
16,7%
6,7%
53,3%
20,0%
0,0%
20,0%
Anders volgens centrale contactpersonen: •
Als een opleiding feedback heeft, communiceert de opleiding dat zelf met de examenleverancier.
•
Onze vaststellers nemen contact op met de leverancier.
•
Verantwoordelijkheid sector.
Anders volgens examenleveranciers: •
Achter ieder examen zit een evaluatieformulier. Hierop kan feedback op het examen gegeven worden. Jaarlijks vindt een tevredenheidsonderzoek plaats, waarbij iedere inkopende school wordt bevraagd en de vragenlijst wordt besproken met de school.
•
Zowel initiatief vanuit ons als vanuit de scholen. Vaststaande evaluatierondes (panelgesprekken), daarnaast terugkoppeling vanuit de scholen.
•
Ook nog wat vroeg.
10.3 Feedbackonderwerpen Aan de responsgroepen vanuit mbo-scholen is gevraagd waarover zij afgelopen jaar meer dan eens feedback hebben gegeven aan een examenleverancier. De examenleveranciers kregen een vergelijkbare vraag, namelijk waarover zij afgelopen jaar van meerdere mbo-scholen feedback ontvingen. 59
In figuur 26 valt op dat examenleveranciers ‘behoefte aan maatwerk’ en ‘tijdsinvestering’ vaker als feedbackonderwerp noemen dan dat de respondenten uit de mbo-scholen dat doen. In vergelijking met de examenleveranciers en de respondenten vanuit opleidingssectoren kozen de centrale contactpersonen vaker voor ‘cesuur’. Verder is opvallend dat examenleveranciers aangeven geen feedback te hebben ontvangen over ‘afstemming met leerbedrijven/bedrijfsleven’ en ‘afstemming/samenwerking school-leverancier’. De mbo-scholen noemen dit wel als onderwerpen waarover zij het afgelopen jaar meer dan eens feedback hebben gegeven.
Figuur 26 Waarover heeft u afgelopen jaar meer dan eens feedback gegeven / van meerdere mbo-scholen feedback ontvangen in de zin van commentaar en/of verbeterpunten? (meerdere antwoorden mogelijk) afstemming met leerbedrijven/bedrijfsleven afstemming/samenwerking school - leverancier behoefte aan maatwerk tijdsinvestering prijs leveringsvoorwaarden leveringstermijnen aansluiting bij toezichtskader aansluiting bij / dekking van kwalificatiedossier vakinhoud inzage cesuur beoordeling instructie tekst examens (spelling, formuleringen) tekst examens (terminologie) 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% examenleveranciers (n=15)
opleidingssectoren (n=58)
centrale contactpersonen (n=18)
In aanvulling op figuur 26: 8,6% van de respondenten vanuit opleidingssectoren koos voor de antwoordoptie ‘n.v.t.; we hebben afgelopen jaar maximaal één keer commentaar gegeven en/of verbetervoorstellen gedaan’. Bij de centrale contactpersonen kruiste niemand deze antwoordoptie aan.
60
Daarnaast was het mogelijk ‘anders, namelijk’ aan te kruisen. Dat deden zes examenleveranciers, zeven respondenten vanuit opleidingssectoren en drie centrale contactpersonen. Hieronder hun toelichtende antwoorden daarop. Examenleveranciers: •
Op de behoefte aan maatwerk spelen we in. Wanneer een school behoefte heeft aan maatwerk, dan pakken we dit samen met de school op.
•
Digitalisering van formulieren; extra voorbeeldexamenopdrachten.
•
We krijgen ook terugkoppeling van scholen als er fouten staan in het examen, m.n. in het antwoordmodel. En scholen koppelen over vakinhoud terug dat ze een examen te makkelijk of te moeilijk vinden.
•
Uitvoerbaarheid en uitvoeringskosten.
•
Uitvoering pvb.
•
Voor ons komt deze vraag te vroeg.
Vanuit opleidingssectoren: •
Uitvoerbaarheid.
•
Verzoek om meer versies van theorie-examens (er zijn nu maar drie versies) vanwege gebruik van examens in meer jaren.
•
Omzetting van o/v/g/ naar cijfers.
•
Cohesie tussen opdracht student - instructie student - instructie beoordelaar.
•
Dat er de afgelopen jaren veel bezuinigingen in de sectoren hebben plaatsgevonden en dat sommige opdrachten zo specifiek beschreven worden, dat deze niet uitvoerbaar zijn in de praktijk.
•
Juiste vermelding van examens in examenbank.
•
Wij hadden geen opmerkingen.
Centrale contactpersonen: •
Dat weet ik niet, ik doe dat niet zelf, weet alleen dat het gebeurt.
•
Verantwoordelijkheid sector.
•
Ik weet dat er regelmatig gereageerd wordt, maar de exacte inhoud is mij niet bekend.
10.4 Wat doen examenleveranciers met feedback? Uit figuur 27 en 28 blijkt dat respondenten vanuit opleidingssectoren en examenleveranciers een redelijk vergelijkbaar beeld hebben als het gaat over wat examenleveranciers doen met feedback vanuit mbo-scholen. Wel is er verschil van mening over de mate waarin dit gebeurt.
61
Figuur 27 Wat doet u meestal met feedback die u ontvangt van mbo-scholen? (meerdere antwoorden mogelijk) n=15 vanuit examenleveranciers 100,0% 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
terugkopuitleggen pelen aan verwerken dat en in mbowaarom school wat volgende we de we er mee versie van feedback het doen/ niet hebben kunnen examen gedaan overnemen 93,3%
93,3%
geef ik door aan collega
niets
13,3%
0,0%
60,0%
weet niet
wij ontvangen geen feedback
anders, namelijk:
0,0%
0,0%
13,3%
Anders, namelijk: •
Kleine zaken verwerken we direct; grotere zaken vragen om aanpassing van examenplannen of examenmodel en dat willen scholen ook niet te vaak. Die blijven dus soms lang liggen.
•
Voorleggen aan toetsvaststellingscommissie.
Figuur 28 Wat doet de examenleverancier over het algemeen met feedback vanuit uw sector? (meerdere antwoorden mogelijk) n=57 vanuit opleidingssectoren 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%
%
terugkoppelen wat ze er mee doen/hebben gedaan
verwerken in volgende versie van het examen
uitleggen dat en waarom ze de feedback niet kunnen overnemen
niets
weet niet
anders, namelijk:
57,9%
66,7%
29,8%
7,0%
8,8%
3,5%
Anders, namelijk: •
Voor een deel is nu altijd duidelijk (op welke termijn) er iets met de feedback gebeurt.
•
Het wordt aan alle partijen van de sector voorgelegd, er is geen inkooprelatie overleg.
62
10.5 Tevredenheid over wat examenleveranciers doen met feedback De centrale contactpersonen verschillen onderling van mening als het gaat over het al of niet tevreden zijn over wat examenleveranciers doen met feedback vanuit hun mboschool. Zie figuur 29. Figuur 29 Hoe tevreden bent u in het algemeen over wat examenleveranciers met feedback vanuit uw mbo-school doen? n=18 centrale contactpersonen 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0%
%
heel tevreden
tevreden
niet tevreden – niet ontevreden
ontevreden
heel ontevreden
ik weet niet wat ze met onze feedback doen
5,6%
22,2%
33,3%
16,7%
0,0%
22,2%
Enkele respondenten geven een toelichting: •
Het is mij niet duidelijk hoe snel een examenleverancier na feedback examens bijstelt. Zouden ze een richtlijnen voor moeten maken. Met name als het gaat om toetstechnische eisen (cesuur, antwoordmodel, etc.).
•
In een van de sectoren is er ontevredenheid bij assessoren over feedback die niet of beperkt verwerkt is.
10.6 Deelconclusies Feedback gaat vaker over exameninstrumenten dan over communicatie, afstemming, uitvoerbaarheid en samenwerking De onderwerpen waarover de meeste feedback wordt gegeven en ontvangen is, zijn voor een deel herleidbaar naar de knelpunten zoals respondenten vanuit mbo-scholen die volgens de overige uitkomsten van de enquête ervaren: teksten, beoordeling, cesuur en vakinhoud. Opvallend, gezien de overige uitkomsten van de enquête, is dat samenwerking/afstemming tussen examenleverancier en mbo-school relatief minder vaak als feedbackonderwerp wordt genoemd. Hetzelfde geldt voor de afstemming met (leer)bedrijven en de behoefte aan maatwerk. Hieruit kan worden geconcludeerd dat examenleveranciers en mbo-scholen over een belangrijk deel van de ervaren knelpunten te weinig communiceren. 63
Meer afstemming nodig over proces van evaluatie en feedback Als het gaat om evaluatie en feedback is er meer contact vanuit opleidingssectoren met examenleveranciers dan vanuit de centrale contactpersonen. Het is de vraag of mboscholen hun ervaringen met ingekochte examens en hun feedback intern voldoende delen en afstemmen. Opmerkelijk is dat examenleveranciers en centrale contactpersonen allebei veronderstellen dat zij zelf degenen zijn die meestal het initiatief nemen tot het vragen om c.q. het geven van feedback.
64
11 Standaardisering of variatie en maatwerk? De enquêtes bevatten geen expliciete vragen over standaardisering, variatie en maatwerk. De reden dat hier een hoofdstuk aan is gewijd, is omdat een deel van de respondenten in de open vragen pleitte voor meer standaardisering en een ander deel juist voor meer variatie en maatwerk. Opmerkingen over standaardisering •
Ik mis een standaard voor leveranciers waarbinnen zij hun aanbod kunnen vormgeven.
•
Mbo-breed een standaard ontwikkelen waaraan leveranciers zich moeten houden. Die standaard moet uitspraken doen over beoordelingssystematiek, duur en omvang, scheiding examen – onderwijsproces, kosten uitvoering; kader versus concrete opdrachten, etc.
•
Een beperkt aantal formats vaststellen per examenvorm waar examenleveranciers uit kunnen kiezen. Het examenformat (voldoet aan examenstandaard 1).
•
Standaardisering en misschien zelfs afstemmen van examenmomenten kan helpen tegen het uitlekken van examens.
Opmerkingen over maatwerk •
Elke school en zelfs elke locatie of afdeling kan een eigen examenplanning maken. Daardoor vragen de scholen om veel varianten van examens. Met de beperkte middelen is het niet mogelijk om daar volledig aan tegemoet te komen.
•
Meer maatwerk leveren indien mogelijk/ breder aanbod .
•
Niet vaker examineren maar meer keuze van soorten en vormen van examens.
•
Meerdere versies maken en zorgen dat voor alle sectoren alle examens beschikbaar zijn.
Tijdens de bijeenkomst op 27 maart is dieper op dit onderwerp ingegaan. Eerst afzonderlijk met de centrale contactpersonen en de deelnemers vanuit opleidingssectoren, daarna in gemengde subgroepen ook met de examenleveranciers. De centrale contactpersonen gaven antwoord op de vragen welke knelpunten standaardisering dan wel maatwerk zouden kunnen oplossen: Wat verbetert door standaardisering? •
aantal examens per kwalificatiedossier (nu variatie tussen één en veertig examens per kwalificatiedossier);
•
beoordelingssystematiek;
•
terminologie;
•
communicatie tussen leverancier en school;
•
vergelijkbaarheid. 65
Wat verbetert door maatwerk? •
Match tussen mbo-school en examenleverancier (aantrekkelijker, meer betrokkenheid).
De aanwezigen vanuit opleidingssectoren kozen een iets andere insteek. Voor praktijkexamens pleiten zij voor standaardisering per sector, en maatwerk per branche/school/regio. Daarbij geven zij de voorkeur aan kaderexamens, zodat een school zelf opdrachten kan ontwikkelen die passen bij het leerbedrijf. En die opdrachten laten valideren door examenleveranciers. Of dat de examenleverancier (in samenspraak met scholen) een set van opdrachten ontwikkelt waaruit je kan kiezen. Theorie-examens zouden ook per branche kunnen worden gestandaardiseerd. In gemengde groepen is gesproken over mogelijke oplossingsrichtingen voor het ervaren knelpunt dat het aanbod aan in te kopen examens te beperkt is. Suggesties: •
Meer leveranciers/aanbieders (met name per sector).
•
Meer varianten van examens.
•
Meer keuzevrijheid voor scholen: in beroepspraktijk of simulatie, verschillende versies van opdrachten.
•
Als scholen behoeften formuleren en doorgeven aan examenleveranciers.
•
Als examenleveranciers meer ‘ophalen’ bij scholen en daarbij als trekker optreden.
•
Voor consortia die zo groot zijn (geworden) dat ze te ver afstaan van de teams: meerdere varianten of kleinere teams op basis van verschillende visies. Helpt ook om scholen meer betrokken te laten zijn/voelen.
Overige opmerkingen in relatie tot verbreding van het aanbod: Meer variatie in aanbod kan leiden tot hogere kosten dan bij standaardisatie en (vooraf) onderlinge afstemming.
11.1 Deelconclusie Standaardisering en meer variatie in aanbod examenleveranciers kunnen samen opgaan In mbo-scholen is er vooral op uitvoerend niveau behoefte aan variatie en maatwerk. Dit kan deels worden opgevat als signaal dat mbo-scholen zich onvoldoende herkennen in het bestaande aanbod en dat de uitvoerbaarheid verbetering behoeft. Daarnaast kan meer variatie voorkomen dat mbo-scholen ingekochte examens wijzigen. Standaardisering kan volgens de deelnemers van het onderzoek dienen als voertuig richting meer transparantie, meer duidelijkheid, minder kosten en meer wederzijds begrip.
Bijlage 1b Respondenten enquête voor opleidingssectoren Gert van Amerongen
Groenhorst Barneveld
Peter Bakker
Arcus te Heerlen
Sjef de Beer
ROC West-Brabant, Cingel College
Mirjam Beuten
Arcus
Morten Billum
Rijn IJssel
Dagmar Blom
Graafschap College
Warner Boer
ROC Midden Nederland
E. Boer
ROC Mondriaan
Kees Born
Koning Willem I College
Ingeborg Bosgraaf
ROC Leiden
Annette Bour - Geurts
Arcus
A. Bout
SOMA College
Mari Brok
Koning Willem I College
Joost Brouwer
ROC Mondriaan
Jan Buijserd
Aventus
Konra Buls
ROC Mondriaan, school voor bouw en Infra
Danielle van de Burgt
ROC Nijmegen
Aart-Jan Dobken
ROC Da Vinci College
Evelyne van Dongen
Groenhorst
Hugo Evers
Summa Automotive Eindhoven
Jan Eversdijk
Scalda, CIOS Goes-Breda
Bert Faassen
Summa College Eindhoven
John Flierman
ROC van Amsterdam & ROC van Flevoland
Gerdien Griffioen
ROC Midden Nederland
Kristel Gubbels
Gilde Opleidingen
Liesbeth Hagenaars
ROC West-Brabant, Vitalis college
Saskia Hein
Nordwin College
Math Hirsch
Beleidsadviseur (geen naam mbo-school ingevuld)
Koos van Houten
ROC Nijmegen
Willy Ickenroth
Summa Zorg
Kiki Janik
Arcus
Martin Jansen
Friesland College
Claudia Jansen
ROC de Leijgraaf
Robert Kamper
Koning Willem I College afd MTS
Bertie van de Kandelaar
Koning Willem I College
Hans Kaspersen
ROC van Amsterdam en ROC van Flevoland
Marlies Kluit
ROC Midden Nederland
Josée König
ROC Da Vinci College 68
GS Konings
Noorderpoort
Mourad Krekorian
ROC Midden Nederland
Yvonne van der Linden
Horizoncollege
Ad Lobert
ROC A12
Lalta Mangre
Noorderpoort
Nina Moust
Arcus
René Nelis
ROC Da Vinci College
Joke van der Neut
ROC van Amsterdam
Folkert Nijhof
Arcus
Shanta Nokhai-Kienno
ROC Mondriaan
L.H. Olierook
ROC Leiden
J.F. Oostenbrink
Alfa-college
Peter OpHey
Arcus Heerlen
Jan Otto
ROC Leiden
Claudy Poppelaars
SUMMA college
Minke Posthuma de Boer
ROC Ter AA
Theo Prinssen
Koning Willem I College
Hans van de Putte
ROC Leiden
Marc Raaijmakers
Koning Willem I College
Janet Ringnalda
ROC Mondriaan
Gerold Ritfeld
ROC Leiden
Diet Roberts-Leilis
Entree opleiding Zuidlarenstraat
Ben Schiefer
Arcus College
David van der Schoor
Zadkine
R.J. Simonis
ROC Mondriaan , school voor Handel
Marije Sloetjes
Groenhorst Almere
René Smit
SOMA College
Koen van Spaandonk
Scalda
Simone Speklé
ROC Leiden, LMS
Nellie van Steenbergen
ROC Nijmegen
Marleen Stein
ROC Midden Nederland
Bert van Strien
Koning Willem I College
Martijn Teunissen
ROC West-Brabant, Prinsentuin College
René van Uden
Koning Willem I College
Vaststellingscommissie
Arcus unit Techniek
Frits Valk
ROC Nijmegen
Arnold van de Velde
Zadkine
Jan van der Velden
Scalda
Ellen van de Ven
ROC Mondriaan
Gabriëlle v.d. Ven-Zewald
ROC A12 69
Frans-Bart Visser
ROC van Amsterdam College Zuid
Yvette Vliegenthart
SVO vakopleiding food
Jan Voortman
Alfa-college
Regien de Vries
Graafschap College
Linda Wesseling
ROC A12
Arlette van Wijhe
Graafschap College
Peter van Wingerden
Zadkine
xxx (anoniem)
(anoniem)
Bijlage 1c Respondenten enquête voor examenleveranciers Margreet Arlar
De groene standaard
Marijke Backx
ESS examenservices Handel en Mode
E.J.M. van Groen
STeAG
Jane Groenendijk
Prove2Move
Wim Grooters
De Groene Standaard
M.D. van Kooij
Fundeon, Examenleverancier voor Bouw en Infra
Hetty van Luijk
Stichting Praktijkleren
Marianne Pieterse
Exameninstelling Savantis
Jim Schouten
Stichting ESTEL (“en nog een aantal andere”)
Jessica Spithoven
Stichting Examens Mobiliteitsbranche (Stem)
Joke Steenbruggen
Stichting Examenservice MEI
Peter Stokvisch
Edu'Actief
Sylvia Verrips
ESS examenservices
Andre van Voorst
Examenwerk
Maria Wessels
Stichting Praktijkleren
xxx (anoniem)
(anoniem)
70
Bijlage 2 Indeling opleidingssectoren b. Bouw, Infra en Beschermingstechnieken, Hout en Meubel c. Metaal, Elektrotechniek en Installatietechniek d. Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek e. Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek f.
Zorg & Welzijn
g. Sport h. Uiterlijke verzorging i.
Handel
j.
Communicatie, Media, Reclame en Presentatie
k. Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening l.
Groen
m. Zakelijke dienstverlening, Veiligheid en ICT n. Gezondheidstechnische beroepen en Ambachten
71
Bijlage 3 Begeleidende e-mail enquêtes Bijlage 3a Begeleidende e-mail enquête centrale contactpersonen Beste contactpersoon examinering, Het Servicepunt examinering mbo nodigt u uit deel te nemen aan een schriftelijke inventarisatie (enquête) over uw ervaringen met ingekochte examens. U ontvangt deze uitnodiging omdat u vanuit uw organisatie contactpersoon bent van het servicepunt. Wij stellen uw medewerking zeer op prijs. Onderaan deze e-mail vindt u een link naar de vragenlijst. Het invullen duurt ongeveer vijftien minuten en kan tot en met vrijdag 20 maart. Verzoek om collega’s te betrekken Naast uw ervaring willen we graag ook dieper inzoomen op ervaringen van uw collega’s met de inzet van ingekochte examens bij de verschillende opleidingen in uw mbo-school. U ontvangt hiervoor een aparte e-mail. Wij vragen u die mail door te sturen naar uw collega’s die werkzaam zijn bij de opleidingssectoren (Techniek, Zorg & Welzijn etc.) en ervaring hebben met de inzet van ingekochte examens. De bedoeling is per sector/afdeling naar één persoon. Als u zelf degene bent met ervaring in een bepaalde opleidingssector, mag u die vragenlijst ook zelf invullen. In dat geval vult u dus twee verschillende vragenlijsten in. Waarom dit onderzoek en wat levert deelname u op? De schriftelijke inventarisatie kent verschillende vragenlijsten, voor mbo-scholen en examenleveranciers, en is een onderdeel van een onderzoek naar ervaringen van deze organisaties met ingekochte examens. Het onderzoek is een initiatief van het Servicepunt examinering mbo en wordt uitgevoerd door ‘vanderburgt advies en samenwerking’. Het onderzoek is bedoeld om: - mbo-scholen en examenleveranciers een actueel beeld te geven van ervaringen bij de inkoop/levering van examens en de inzet daarvan; - grip te krijgen op de aard en omvang van wederzijds ervaren knelpunten die een risico kunnen vormen voor de kwaliteit van examens en examinering in het mbo; - oplossingsrichtingen te vinden voor het (collectief) oplossen van ervaren knelpunten; - aanknopingspunten te vinden voor verdere monitoring. Wat bedoelen we met ‘ingekochte examens’? Deze enquête gaat over ‘ingekochte examens’. Hiermee worden alle exameninstrumenten bedoeld die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. De wijze waarop de ‘inkoop’ van de examens is georganiseerd kan verschillen. Zo kunnen 72
exameninstrumenten daadwerkelijk worden ingekocht of kunnen scholen als lid van een consortium of stichting exameninstrumenten krijgen geleverd op basis van een licentie of lidmaatschapovereenkomst. In de enquête wordt enkel gesproken over ‘ingekochte examens’. Bijeenkomst op 27 maart Na de schriftelijke inventarisatie volgt op vrijdag 27 maart van 10.00 tot 13.00 uur een bijeenkomst bij de MBO Raad in Woerden. Vertegenwoordigers van mbo-scholen en examenleveranciers diepen de uitkomsten van de schriftelijke inventarisatie uit en analyseren deze. Wilt u bij deze bijeenkomst zijn? Geef dit aan het eind van de vragenlijst aan. Van knelpunten naar oplossingen De ambitie voor dit onderzoek reikt verder dan inventariseren, analyseren en concluderen. Na de enquête en bijeenkomst volgt daarom een overleg met sleutelfiguren uit organisaties die een bijdrage kunnen leveren aan het (collectief) oplossen van ervaren knelpunten. Oplossingsrichtingen die mbo-scholen, examenleveranciers en bedrijfstakgroepen helpen de kwaliteit en bruikbaarheid van ingekochte examens verder te verbeteren, waar nodig en gewenst met ondersteuning van het Servicepunt examinering mbo. Rapportage Het onderzoek resulteert in een rapportage met uitkomsten, oplossingsrichtingen en aanbevelingen. Iedere deelnemer ontvangt na afloop van het onderzoek per e-mail de rapportage. Meer weten? Heeft u vragen over de schriftelijke inventarisatie of bijeenkomst op 27 maart? Neem contact op met Karin van der Burgt van ‘vanderburgt advies en samenwerking’ via [email protected] of 06 20 95 81 38. Voor algemene vragen over het onderzoek of activiteiten van het Servicepunt examinering mbo kunt u terecht bij ondergetekende. Alvast hartelijk dank voor uw medewerking! Denkt u eraan de andere mail naar uw collega’s te sturen? Klik voor de vragenlijst op de volgende link:
Met vriendelijke groet, Marleen van de Wiel Servicepunt examinering mbo
73
Bijlage 3b Begeleidende e-mail enquête opleidingssectoren Deze mail is bedoeld voor wie op school ervaring hebben met de inzet van ingekochte examens (maximaal één persoon per opleidingssector/afdeling).
Geachte mevrouw, mijnheer, Het Servicepunt examinering mbo nodigt u uit deel te nemen aan een schriftelijke inventarisatie (enquête) over ingekochte examens. U ontvangt deze uitnodiging via uw collega die namens uw mbo-school contactpersoon is voor het servicepunt. Zo kunnen we ook specifieke ervaringen per opleidingssector of afdeling betrekken bij het onderzoek. Wij stellen uw medewerking zeer op prijs! Onderaan deze e-mail vindt u een link naar de vragenlijst. Het invullen van de vragenlijst duurt ongeveer vijftien minuten en kan tot en met vrijdag 20 maart. Waarom dit onderzoek en wat levert deelname u op? De schriftelijke inventarisatie kent verschillende vragenlijsten, voor mbo-scholen en examenleveranciers, en is een onderdeel van een onderzoek naar ervaringen van deze organisaties met ingekochte examens. Het onderzoek is een initiatief van het Servicepunt examinering mbo en wordt uitgevoerd door ‘vanderburgt advies en samenwerking’. Het onderzoek is bedoeld om: - mbo-scholen en examenleveranciers een actueel beeld te geven van ervaringen bij de inkoop/levering van examens en de inzet daarvan; - grip te krijgen op de aard en omvang van wederzijds ervaren knelpunten die een risico kunnen vormen voor de kwaliteit van examens en examinering in het mbo; - oplossingsrichtingen te vinden voor het (collectief) oplossen van ervaren knelpunten; - aanknopingspunten te vinden voor verdere monitoring. Ingekochte examens Deze enquête gaat over ‘ingekochte examens’. Hiermee worden alle exameninstrumenten bedoeld die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. De wijze waarop de ‘inkoop’ van de examens is georganiseerd kan verschillen. Zo kunnen exameninstrumenten daadwerkelijk worden ingekocht of kunnen scholen als lid van een consortium of stichting exameninstrumenten krijgen geleverd op basis van een licentie of lidmaatschapovereenkomst. In de enquête wordt enkel gesproken over ‘ingekochte examens’.
74
Bijeenkomst op 27 maart Na de schriftelijke inventarisatie volgt op vrijdag 27 maart van 10.00 tot 13.00 uur een bijeenkomst bij de MBO Raad in Woerden. Vertegenwoordigers van mbo-scholen en examenleveranciers diepen de uitkomsten van de schriftelijke inventarisatie uit en analyseren deze. Wilt u bij deze bijeenkomst zijn? Geef dit aan het eind van de vragenlijst aan. Van knelpunten naar oplossingen De ambitie voor dit onderzoek reikt verder dan inventariseren, analyseren en concluderen. Na de enquête en bijeenkomst volgt daarom een overleg met sleutelfiguren uit organisaties die een bijdrage kunnen leveren aan het (collectief) oplossen van ervaren knelpunten. Oplossingsrichtingen die mbo-scholen, examenleveranciers en bedrijfstakgroepen helpen de kwaliteit en bruikbaarheid van ingekochte examens te verbeteren, waar nodig en gewenst met ondersteuning van het Servicepunt examinering mbo. Rapportage Het onderzoek resulteert in een rapportage met uitkomsten, oplossingsrichtingen en aanbevelingen. Iedere deelnemer ontvangt na afloop van het onderzoek per e-mail de rapportage. Meer weten? Heeft u vragen over de schriftelijke inventarisatie of de bijeenkomst op 27 maart? Neem contact op met Karin van der Burgt van ‘vanderburgt advies en samenwerking’ via [email protected] of 06 20 95 81 38. Voor algemene vragen over het onderzoek of activiteiten van het Servicepunt examinering mbo kunt u terecht bij ondergetekende. Alvast hartelijk dank voor uw medewerking! Klik voor de vragenlijst op de volgende link:
Met vriendelijke groet, Marleen van de Wiel Servicepunt examinering mbo
75
Bijlage 3c Begeleidende e-mail enquête examenleveranciers Beste mensen van examenleveranciers, examenconsortia ed., Het Servicepunt examinering mbo nodigt u uit deel te nemen aan een schriftelijke inventarisatie (enquête) over uw ervaringen als examenleverancier. U ontvangt deze uitnodiging omdat u vanuit uw organisatie contactpersoon bent van het servicepunt. Wij stellen uw medewerking zeer op prijs. Onderaan deze e-mail vindt u een link naar de vragenlijst. Het invullen van de vragenlijst duurt ongeveer vijftien minuten en kan tot en met vrijdag 20 maart. Waarom dit onderzoek en wat levert deelname u op? De schriftelijke inventarisatie kent verschillende vragenlijsten, voor examenleveranciers en mbo-scholen, en is een onderdeel van een onderzoek naar ervaringen van deze organisaties met ingekochte examens. Het onderzoek is een initiatief van het Servicepunt examinering mbo en wordt uitgevoerd door ‘vanderburgt advies en samenwerking’. Het onderzoek is bedoeld om: - mbo-scholen en examenleveranciers een actueel beeld te geven van ervaringen bij de inkoop/levering van examens en de inzet daarvan; - grip te krijgen op de aard en omvang van wederzijds ervaren knelpunten die een risico kunnen vormen voor de kwaliteit van examens en examinering in het mbo; - oplossingsrichtingen te vinden voor het (collectief) oplossen van ervaren knelpunten; - aanknopingspunten te vinden voor verdere monitoring. Ingekochte examens Deze enquête gaat over ‘ingekochte examens’. Hiermee worden alle exameninstrumenten bedoeld die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. De wijze waarop de ‘inkoop’ van de examens is georganiseerd kan verschillen. Zo kunnen exameninstrumenten daadwerkelijk worden ingekocht of kunnen scholen als lid van een consortium of stichting exameninstrumenten krijgen geleverd op basis van een licentie of lidmaatschapovereenkomst. In de enquête wordt enkel gesproken over ‘ingekochte examens’. Bijeenkomst op 27 maart Na de schriftelijke inventarisatie volgt op vrijdag 27 maart een bijeenkomst van 10.00 tot 13.00 uur bij de MBO Raad. Vertegenwoordigers van mbo-scholen en examenleveranciers diepen de uitkomsten van de schriftelijke inventarisatie uit en analyseren deze. Wilt u bij deze bijeenkomst zijn? Geef dit aan het eind van de vragenlijst aan.
76
Van knelpunten naar oplossingen De ambitie voor dit onderzoek reikt verder dan inventariseren, analyseren en concluderen. Na de enquête en bijeenkomst volgt daarom een overleg met sleutelfiguren uit organisaties die een bijdrage kunnen leveren aan het (collectief) oplossen van ervaren knelpunten. Oplossingsrichtingen die mbo-scholen, examenleveranciers en bedrijfstakgroepen helpen de kwaliteit en bruikbaarheid van ingekochte examens te verbeteren, waar nodig en gewenst met ondersteuning van het Servicepunt examinering mbo. Rapportage Het onderzoek resulteert in een rapportage met uitkomsten, oplossingsrichtingen en aanbevelingen. Iedere deelnemer ontvangt na afloop van het onderzoek per e-mail de rapportage. Meer weten? Heeft u vragen over de schriftelijke inventarisatie of de bijeenkomst op 27 maart? Neem contact op met Karin van der Burgt van ‘vanderburgt advies en samenwerking’ via [email protected] en 06 20 95 81 38. Voor algemene vragen over het onderzoek of activiteiten van het Servicepunt examinering mbo kunt u terecht bij ondergetekende. Alvast hartelijk dank voor uw medewerking! Bent u van mening dat een collega van u deze vragenlijst beter (ook) kan invullen? Wilt u deze e-mail aan hem/haar doorsturen? Klik voor de vragenlijst op de volgende link: Met vriendelijke groet, Marleen van de Wiel Servicepunt examinering mbo
77
Bijlage 4 Vragenlijsten Bijlage 4a Vragenlijst centrale contactpersonen Titel Ervaringen met ingekochte examens – versie voor contactpersonen examinering van Servicepunt examinering mbo Introductie Fijn dat u meewerkt aan het inventariserend overzoek naar ingekochte examens in het mbo. Met 'ingekochte examens' bedoelen we alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. Deze vragenlijst is alleen bedoeld voor de contactpersonen van het Servicepunt examinering mbo. Het invullen kost u ongeveer vijftien minuten. De vragenlijst start met enkele vragen over uzelf en uw organisatie. Deze gegevens gebruiken wij alleen om zicht te krijgen op representativiteit en om u na afloop te informeren over de uitkomsten van het onderzoek. In de rapportage zijn antwoorden uit deze schriftelijke inventarisatie niet te herleiden naar personen of organisaties. Wel komt in de bijlage een opsomming van wie meewerkten aan het onderzoek. Uw gegevens 1. 2. 3. 4. 5.
Voornaam: Tussenvoegsel (optioneel): Achternaam: Werkzaam bij mbo-school (naam invullen): E-mailadres waarop u de rapportage wilt ontvangen:
6. o o o o o
Wat is uw functie? directeur/manager (sector/opleiding/afdeling/unit) teamleider/opleidingscoördinator (senior)docent beleidsmedewerker anders, namelijk……
78
7. o o o o o o o
Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) lid of voorzitter (centrale of decentrale) examencommissie examenconstructeur examenvaststeller examinator/beoordelaar/assessor medewerker examenbureau / examensecretariaat (centraal) inkoper geen rol/taak in het examenproces
Nu volgt een aantal algemene vragen over ingekochte examens. Met 'ingekochte examens' bedoelen we alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. 8. In het algemeen: hebben ingekochte examens uw voorkeur boven zelf ontwikkelde examens? (meerdere antwoorden mogelijk) o ja, theorie-examens o ja, praktijkexamens (kaderexamens) o ja, praktijkexamens (met uitgewerkte opdracht) o nee o weet niet 9. Wie beslist binnen uw mbo-school over het al of niet werken met ingekochte examens? o college van bestuur o directeur/manager (sector/opleiding/afdeling/unit) o teamleider/opleidingscoördinator o (centrale of decentrale) examencommissie o anders, namelijk…. 10. Gebruikt uw mbo-school ingekochte examens? o ja o nee, maar voorheen wel -> naar vraag 11: waarom niet meer, daarna einde vragenlijst met dank en opmerking over dat deelname bijeenkomst niet relevant is. o nee, ook voorheen niet -> naar vraag 11: vervolgvraag: waarom niet meer, daarna einde vragenlijst met dank en opmerking over dat deelname bijeenkomst niet relevant is. o weet niet -> einde vragenlijst met dank en opmerking over dat deelname bijeenkomst niet relevant is. 12. Waarom heeft uw mbo-school (voor één of meer opleidingen) gekozen voor ingekochte examens? (meerdere antwoorden mogelijk) o
omdat dit aansluit bij onze visie
o
omdat de Inspectie van het Onderwijs de ingekochte examens al heeft ‘goedgekeurd’ 79
o
vanwege de kwaliteit van de exameninstrumenten
o
vanwege de prijs (‘zelf ontwikkelen te duur’)
o
vanwege gebrek aan tijd om zelf examens te ontwikkelen
o
vanwege gebrek aan deskundigheid om examens te ontwikkelen
o
de reden varieert per opleidingssector
o
anders, namelijk…..
o
weet niet
13. Waarop baseert u uw mening over ingekochte examens? (meerdere antwoorden mogelijk) o op mijn eigen ervaring o op ervaringen van collega’s o op ervaringen van andere mbo-scholen o op keurmerk examenleveranciers o op inspectierapporten o anders, namelijk 14. Hoe tevreden bent u over het geheel genomen over de kwaliteit van ingekochte examens? o heel tevreden o
tevreden
o
niet tevreden/niet ontevreden
o
ontevreden
o
heel ontevreden
o
weet niet
15. In het algemeen: voldoen ingekochte examens volgens u aan de standaarden voor de examenkwaliteit in het mbo? o ja o grotendeels wel o grotendeels niet o nee o weet niet 16. Hoe weet u in welke mate ingekochte examens voldoen aan de standaarden voor de examenkwaliteit in het mbo? (meerdere antwoorden mogelijk) o ik ga af op de examenleverancier o ik ga af op keurmerk examenleveranciers o ik ga af op inspectierapporten o ik controleer dat zelf (of laat dit controleren in een vaststellingscommissie) o ik ga af op het oordeel van collega’s o anders, namelijk o dat weet ik niet 80
17. Wie is volgens u verantwoordelijk als het ingekochte exameninstrumentarium. bij ongewijzigde inzet, niet voldoet aan de kwaliteitstandaarden? o de mbo-school o de examenleverancier o gedeelde verantwoordelijkheid van mbo-school en examenleverancier o anders, namelijk…. o weet niet 18. In welke opleidingssectoren gebruikt uw mbo-school ingekochte examens? NB Kruis de (totale) sector ook aan wanneer u slechts één of enkele opleidingen verzorgt in deze sector. Als u niet weet of in een sector ingekochte examens worden gebruikt, vult u bij die sector niets in. o Bouw, Infra en Beschermingstechnieken, Hout en Meubel o Metaal, Elektrotechniek en Installatietechniek o Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek o Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek o Zorg & Welzijn o Sport o Uiterlijke verzorging o Handel o Communicatie, Media, Reclame en Presentatie o Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening o Groen o Zakelijke dienstverlening, Veiligheid en ICT o Gezondheidstechnische beroepen en Ambachten Vragen per sector De volgende vragen gaan over de opleidingssectoren waarbij u heeft aangegeven dat uw school examens inkoopt. Bij de overige sectoren kruist u steeds 'geen ingekochte examens' aan. 19. Per sector: Welke ingekochte examens gebruikt uw mbo-school? (per sector meerdere antwoorden mogelijk) o theorie-examens o praktijkexamens (kaderexamens) o praktijk examens (met uitgewerkte opdracht) o nee o weet niet o geen ingekochte examens 81
20. Per sector: Van hoeveel examenleveranciers koopt uw school examens in? 1 – 2 – 3 - weet niet Nu volgen enkele vragen over de prijs van ingekochte examens. 21. Per sector: Wat is uw oordeel over de prijs van theorie-examens? o al met al goedkoper dan zelf examens ontwikkelen o
al met al duurder dan zelf examens ontwikkelen
o
ik weet niet wat deze examens kosten
o
geen mening
o
geen ingekochte examens
22. Per sector: Wat is uw oordeel over de prijs van praktijkexamens (kaderexamens)? o al met al goedkoper dan zelf examens ontwikkelen o
al met al duurder dan zelf examens ontwikkelen
o
ik weet niet wat deze examens kosten
o
geen mening
o
geen ingekochte examens
23. Per sector: Wat is uw oordeel over de prijs van praktijkexamens (met uitgewerkte opdracht)? o al met al goedkoper dan zelf examens ontwikkelen o
al met al duurder dan zelf examens ontwikkelen
o
ik weet niet wat deze examens kosten
o
geen mening
o
geen ingekochte examens
24. Per sector: Bent u tevreden over de inkoop- en leveringsvoorwaarden? o ja o
nee
o
weet niet
o
geen ingekochte examens
25. Per sector: Voldoen de ingekochte examens volgens u aan de standaarden voor de examenkwaliteit in het mbo? o ja o
nee
o
verschilt per examenleverancier
o
weet niet
o
geen ingekochte examens 82
26. Per sector: Is afname van de examens volgens de voorwaarden van de examenleverancier voldoende uitvoerbaar? (per sector aankruisen: voldoende uitvoerbaar – onvoldoende uitvoerbaar - verschilt per examenleverancier - weet niet - geen ingekochte examens) 27. Per sector: Bent u tevreden over de inzagemogelijkheden? (per sector aankruisen: ja – nee – verschilt per examenleverancier – weet niet – geen ingekochte examens) 28. Per sector: Heeft u voldoende zicht op de gevolgde vaststellingsprocedure? (per sector aankruisen: ja – nee – verschilt per examenleverancier – weet niet – geen ingekochte examens) 29. Wijzigt uw mbo-school (wel eens) ingekochte examens? o
ja
o
nee -> naar vraag 33
o
weet niet -> naar vraag 33
30. Per sector: In welke MATE wijzigt uw mbo-school ingekochte examens? (per sector aankruisen: altijd – meestal – soms – nooit - verschilt per examenleverancier - weet niet – geen ingekochte examens) 31. Per sector: Om wat voor soort wijzigingen gaat het? (per sector meerdere antwoorden mogelijk) per sector aankruisen: o
terminologie
o
spelling, formulering
o
(vak)inhoud
o
procedureel (instructie / afnamecondities)
o
cesuur / beoordeling
o
gebruik oudere versie
o
anders, namelijk….
o
weet niet
o
geen ingekochte examens
32. Per sector: Wat zijn redenen om ingekochte examens te wijzigen? (per sector meerdere antwoorden mogelijk) (per sector de volgende antwoordopties: geconstateerde fouten – onze voorkeur/visie – anders – weet niet - geen ingekochte examens) 83
Tot zover de vragen per sector. Nu volgen enkele algemene vragen over uw ervaring met evaluatie en feedback bij ingekochte examens. 33. Heeft u examenleverancier(s) het afgelopen jaar wel eens feedback gegeven op het ingekochte exameninstrumentarium? (meerdere antwoorden mogelijk) o
ja, rechtstreeks aan examenleverancier(s)
o
ja, via een collega
o
ja, via iemand buiten mijn school
o
nee, omdat we tevreden zijn
o
nee, hoewel we niet tevreden zijn
o
nee, om een andere reden
34. Waarover heeft u afgelopen jaar meer dan eens feedback gegeven in de zin van commentaar en/of verbetervoorstellen? (meerdere antwoorden mogelijk) o tekst examens (terminologie) o tekst examens (spelling, formulering) o instructie o beoordeling o cesuur o inzage o vakinhoud o aansluiting bij / dekking van kwalificatiedossier o aansluiting bij toezichtskader o leveringstermijnen o leveringsvoorwaarden o prijs o behoefte aan maatwerk o afstemming/samenwerking met ons als mbo-school o afstemming met leerbedrijven/bedrijfsleven o n.v.t.; we hebben afgelopen jaar maximaal één keer commentaar gegeven en/of verbetervoorstellen gedaan o anders, namelijk 35. Hoe tevreden bent u in het algemeen over wat examenleveranciers met feedback vanuit uw mbo-school doen? o heel tevreden o tevreden o niet tevreden – niet ontevreden o ontevreden o heel ontevreden o ik weet niet wat ze met onze feedback doen 84
36. Wie neemt meestal het initiatief als het gaat om evaluatie van of feedback op het ingekochte exameninstrumentarium? o
de mbo-school
o
examenleveranciers
o
dat varieert
o
weet niet
o
anders, namelijk…
37. Ervaart of signaleert u knelpunten bij ingekochte examens die u nog niet heeft vermeld of extra onder de aandacht wilt brengen in dit onderzoek? o
nee, ik heb alles wat ik kwijt wilde bij vorige vragen vermeld
o
nee, ik ervaar/signaleer geen knelpunten -> vraag 37 overslaan
o
ja, namelijk….
38. Heeft u suggesties voor het oplossen van de door u ervaren knelpunten? o
nee
o
ja, namelijk….
U bent bijna aan het eind van de vragenlijst! In de begeleidende mail bij deze vragenlijst las u over de bijeenkomst op 27 maart van 10.00 tot 13.00 uur bij de MBO Raad in Woerden. Samen met vertegenwoordigers van examenleveranciers en mbo-scholen verdiepen en analyseren we de uitkomsten van de schriftelijke inventarisatie. 39. Wilt u deelnemen aan de bijeenkomst op 27 maart? o
ja -> Hartelijk dank voor uw aanmelding voor de bijeenkomst. U ontvangt rond 24 maart een bevestiging met nadere informatie. Mochten er te veel belangstellenden zijn, worden er twee groepen samengesteld of een (willekeurige) selectie gemaakt.
o
ik wil wel, maar ben verhinderd op 27 maart
o
ik heb geen belangstelling om deel te nemen
o
anders, namelijk…..
Hartelijk dank voor uw medewerking!
85
Bijlage 4b Vragenlijst opleidingssectoren Titel Ervaringen met de inzet van ingekochte examens – versie opleidingssectoren mbo Introductie Fijn dat u meewerkt aan het inventariserend onderzoek naar ingekochte examens in het mbo. Zo kunnen we ook specifieke ervaringen per opleidingssector betrekken bij het onderzoek. Met 'ingekochte examens' bedoelen we alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. Het invullen kost u ongeveer vijftien minuten. De vragenlijst start met enkele vragen over uzelf en uw organisatie. Deze gegevens gebruiken wij alleen om zicht te krijgen op representativiteit en om u na afloop te informeren over de uitkomsten van het onderzoek. In de rapportage zijn antwoorden uit deze schriftelijke inventarisatie niet te herleiden naar personen of organisaties. Wel komt in de bijlage een opsomming van wie meewerkten aan het onderzoek. 1. 2. 3. 4. 5.
Voornaam:… Tussenvoegsel (optioneel):… Achternaam: ….. Werkzaam bij mbo-school (naam invullen):…. E-mailadres waarop u de rapportage wilt ontvangen:…
6. o o o o o
Wat is uw functie? directeur/manager (sector/opleiding/afdeling/unit) teamleider/opleidingscoördinator (senior)docent beleidsmedewerker anders, namelijk……
7. o o o o o o o
Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) lid of voorzitter (centrale of decentrale) examencommissie examenconstructeur examenvaststeller examinator/beoordelaar/assessor medewerker examenbureau / examensecretariaat (centraal) inkoper geen rol/taak in het examenproces 86
8. Bent u in uw mbo-school betrokken bij de inzet van ingekochte examens? o ja o nee, maar voorheen wel -> einde vragenlijst met dank en opmerking over dat deelname bijeenkomst niet relevant is. o nee, ook voorheen niet -> einde vragenlijst met dank en opmerking over dat deelname bijeenkomst niet relevant is. Nu volgen enkele algemene vragen over ingekochte examens. Met 'ingekochte examens' bedoelen we alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. 9. In het algemeen: hebben ingekochte examens uw voorkeur boven zelf ontwikkelde examens? (meerdere antwoorden mogelijk) o Ja, theorie-examens o Ja, praktijkexamens (kaderexamens) o Ja, praktijkexamens (met uitgewerkte opdracht) o Nee o Weet niet 10. Waarop baseert u uw mening over ingekochte examens? (meerdere antwoorden mogelijk) o op mijn eigen ervaring o op ervaringen van collega’s o op ervaringen van andere mbo-scholen o op keurmerk examenleveranciers o op inspectierapporten o anders, namelijk 11. Wie is volgens u verantwoordelijk als het ingekochte exameninstrumentarium, bij ongewijzigde inzet, niet voldoet aan de kwaliteitstandaarden? o de mbo-school o de examenleverancier o gedeelde verantwoordelijkheid van mbo-school en examenleverancier o weet niet o anders, namelijk…. De volgende vragen gaan over de ingekochte examens in de opleidingssector waarbij u (het meest) betrokken bent. Aan het eind van de vragenlijst kunt u aangeven of u de sectorspecifieke vragen ook nog voor een andere opleidingssector wilt invullen. 87
12. In welke sector bent u (het meest) betrokken bij de inzet van ingekochte examens? (maximaal 1 sector aankruisen) NB Kruis de sector ook aan wanneer u slechts één of enkele opleidingen in deze sector verzorgt. o Bouw, Infra en Beschermingstechnieken, Hout en Meubel o Metaal, Elektrotechniek en Installatietechniek o Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek o Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek o Zorg & Welzijn o Sport o Uiterlijke verzorging o Handel o Communicatie, Media, Reclame en Presentatie o Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening o Groen o Zakelijke dienstverlening, Veiligheid en ICT o Gezondheidstechnische beroepen en Ambachten o In geen van bovenstaande sectoren -> einde vragenlijst 13. Van hoeveel examenleveranciers koopt uw school in deze sector examens in? o 1 o 2 o 3 o weet niet NB Als uw school in deze sector van meerdere examenleveranciers examens inkoopt, baseer uw antwoorden op de volgende vragen op de examenleverancier met wie u de meeste ervaring heeft. 14. Waarom is in deze sector gekozen voor ingekochte examens? (meerdere antwoorden mogelijk) o
omdat dit aansluit bij onze visie
o
omdat de Inspectie van het Onderwijs ingekochte examens al heeft ‘goedgekeurd’
o
vanwege de kwaliteit van de exameninstrumenten
o
vanwege de prijs (‘zelf ontwikkelen te duur’)
o
vanwege gebrek aan tijd om zelf examens te ontwikkelen
o
vanwege gebrek aan deskundigheid om examens te ontwikkelen
o
weet niet
o
anders, namelijk….. 88
15. Wat voor soort examens koopt uw sector in? (meerdere antwoorden mogelijk) o
theorie-examens
o
praktijkexamens (kaderexamens)
o
praktijkexamens (met uitgewerkte opdracht)
o
weet niet
o
anders, namelijk
16. Hoe tevreden bent u over het geheel genomen over de kwaliteit van de ingekochte examens in uw sector? o heel tevreden o
tevreden
o
niet tevreden/niet ontevreden
o
ontevreden
o
heel ontevreden
o
weet niet
17. Hoe weet u in welke mate de ingekochte examens in uw sector voldoen aan de standaarden voor de examenkwaliteit in het mbo? (meerdere antwoorden mogelijk) o ik ga af op de examenleverancier o ik ga af op keurmerk examenleveranciers o ik ga af op inspectierapporten o ik controleer dat zelf (of laat dit controleren in een vaststellingscommissie) o ik ga af op het oordeel van collega’s o dat weet ik niet o anders, namelijk 18. Sluiten de ingekochte examens in uw sector aan bij de eisen uit het kwalificatiedossier? o o o o o
ja grotendeels wel grotendeels niet nee weet niet
19. Geeft het ingekochte exameninstrumentarium in uw sector voldoende informatie over hoe het examen moet worden uitgevoerd? o
ja
o
nee
o
weet niet
Toelichting op uw antwoord… 89
20. Geeft het ingekochte exameninstrumentarium in uw sector voldoende duidelijkheid over hoe moet worden beoordeeld? o
ja
o
nee
o
weet niet
Toelichting op uw antwoord… 21. Is het ingekochte exameninstrumentarium in uw sector geschikt voor een zo objectief mogelijke beoordeling? o ja o grotendeels wel o grotendeels niet o nee o weet niet Toelichting op uw antwoord… 22. Is afname van de examens, volgens de voorwaarden van de examenleverancier, in uw sector voldoende uitvoerbaar? o
ja
o
nee
o
weet niet
Toelichting op uw antwoord… 23. Bent u in uw sector tevreden over de inzagemogelijkheden? o
heel tevreden
o
tevreden
o
niet tevreden/niet ontevreden
o
ontevreden
o
heel ontevreden
o
weet niet
24. Heeft u in uw sector voldoende zicht op de gevolgde vaststellingsprocedure? o
ja
o
nee
o
weet niet
Toelichting op uw antwoord… 25. Gebruikt u in uw sector de meest recent ingekochte examens? o
ja, altijd
o
meestal wel 90
o
soms niet
o
meestal niet
o
nee, nooit
o
weet niet
26. Wijzigt uw sector ingekochte examens? o
altijd
o
meestal
o
soms
o
nooit -> naar vraag 28
o
weet niet -> naar vraag 28
27. Om wat voor soort wijzigingen gaat het en waarom? (meerdere antwoorden mogelijk) Matrixvraag. Rijen: o
terminologie
o
spelling, formulering
o
(vak)inhoud
o
procedureel (instructie, afnamecondities)
o
cesuur, beoordeling
o
gebruik oudere versie
o
weet niet
anders, namelijk…. Kolommen: geconstateerde fouten – andere voorkeur – weet niet waarom – geen wijzigingen 28. Heeft uw sector de examenleverancier AFGELOPEN JAAR wel eens feedback gegeven op het ingekochte exameninstrumentarium? o
ja -> naar vraag 30
o
nee
o
weet niet -> naar vraag 33
29. Waarom heeft uw sector het afgelopen jaar GEEN feedback gegeven? (meerdere antwoorden mogelijk) o
omdat we tevreden zijn
o
anders, namelijk…….
-> naar vraag 33
91
30. Wie heeft vanuit uw sector de examenleverancier feedback gegeven? (meerdere antwoorden mogelijk) o
dat heb ik zelf gedaan
o
dat heeft een collega in de sector gedaan
o
dat heeft iemand anders in onze mbo-school gedaan
o
anders, namelijk……
31. Waarover heeft uw sector afgelopen jaar meer dan eens feedback gegeven in de zin van commentaar en/of verbetervoorstellen? (meerdere antwoorden mogelijk) o tekst examens (terminologie) o tekst examens (spelling, formulering) o instructie o beoordeling o cesuur o inzage o vakinhoud o aansluiting bij / dekking van kwalificatiedossier o aansluiting bij toezichtskader o leveringstermijnen o leveringsvoorwaarden o prijs o tijdsinvestering o behoefte aan maatwerk o afstemming/samenwerking met ons als mbo-school o afstemming met leerbedrijven/bedrijfsleven o n.v.t.; we hebben afgelopen jaar maximaal één keer commentaar gegeven en/of verbetervoorstellen gedaan o anders, namelijk…. 32. Wat doet de examenleverancier over het algemeen met feedback vanuit uw sector? (meerdere antwoorden mogelijk) o
terugkoppelen wat ze er mee doen/hebben gedaan
o
verwerken in volgende versie van het examen
o
uitleggen dat en waarom ze de feedback niet kunnen overnemen
o
niets
o
weet niet
o
anders, namelijk….
Tot zover de sectorspecifieke vragen voor de sector waarbij u het meest betrokken bent.
92
33. Wilt u de sectorspecifieke vragen ook nog voor een andere opleidingssector invullen? o
ja -> naar sectorschema en tweede sector laten invullen, daarna herhaling van de sectorspecifieke vragen. (vraag 34 t/m 54)
o
nee
55. Ervaart of signaleert u knelpunten bij ingekochte examens die u nog niet heeft vermeld of extra onder de aandacht wilt brengen in dit onderzoek? o
nee, ik heb alles wat ik kwijt wilde bij vorige vragen vermeld
o
nee, ik ervaar/signaleer geen knelpunten -> naar slotvraag
o
ja, namelijk….
56. Heeft u suggesties voor het oplossen van de door u ervaren knelpunten? o
nee
o
ja, namelijk….
U bent bijna aan het eind van de vragenlijst! In de begeleidende mail bij deze vragenlijst las u over de bijeenkomst op 27 maart van 10.00 tot 13.00 uur bij de MBO Raad in Woerden. Samen met vertegenwoordigers van examenleveranciers en mbo-scholen verdiepen en analyseren we de uitkomsten van de schriftelijke inventarisatie. 37. Wilt u deelnemen aan de bijeenkomst op 27 maart? o
ja -> U ontvangt rond 24 maart een bevestiging met nadere informatie. Mochten er te veel belangstellenden zijn, worden er twee groepen samengesteld of een (willekeurige) selectie gemaakt.
o
ik wil wel, maar ben verhinderd op 27 maart
o
ik heb geen belangstelling om deel te nemen
o
anders, namelijk…..
Hartelijk dank voor uw medewerking!
93
Bijlage 4c Vragenlijst examenleveranciers Titel Ervaringen met ingekochte examens in het mbo – versie voor examenleveranciers Introductie Fijn dat u meewerkt aan het inventariserend onderzoek naar ingekochte examens in het mbo. Met 'ingekochte examens' bedoelen we alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. Deze vragenlijst is bedoeld voor examenleveranciers. Het invullen kost u ongeveer vijftien minuten. De vragenlijst start met enkele vragen over uzelf en uw organisatie. Deze gegevens gebruiken wij om zicht te krijgen op representativiteit en om u na afloop te informeren over de onderzoeksresultaten. In de rapportage zijn antwoorden uit deze schriftelijke inventarisatie niet te herleiden naar personen of organisaties. Wel komt in de bijlage een opsomming van wie meewerkten aan het onderzoek. 1. 2. 3. 4. 5.
Voornaam: Tussenvoegsel (optioneel): Achternaam: Werkzaam bij examenleverancier (naam invullen):…. E-mailadres waarop u de rapportage wilt ontvangen:…
6. o o o o o o o
Wat is uw functie? directeur (team)manager accountmanager examenconstructeur onderwijskundige / toetsdeskundige beleidsmedewerker anders, namelijk……
7. o o o o o o o
In welke opleidingssector(en) is uw organisatie examenleverancier? Bouw, Infra en Beschermingstechnieken, Hout en Meubel Metaal, Elektrotechniek en Installatietechniek Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek Zorg & Welzijn Sport Uiterlijke verzorging 94
o o o o o o o
Handel Communicatie, Media, Reclame en Presentatie Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening Groen Zakelijke dienstverlening, Veiligheid en ICT Gezondheidstechnische beroepen en Ambachten Anders, namelijk…….
8. Wat voor soort examens levert uw organisatie aan mbo-scholen? (meerdere antwoorden mogelijk) o
theorie-examens
o
praktijkexamens (kaderexamens)
o
praktijkexamens (met uitgewerkte opdracht)
o
anders, namelijk….
9. o o o o o o o o o
Wie is binnen een mbo-school in het algemeen uw BELANGRIJKSTE contact? college van bestuur directeur (sector/opleiding/afdeling/unit) (centraal) inkoper beleidsmedewerker (examinering of kwaliteitszorg) examencommissie (lid of voorzitter) examensecretariaat (vak)docent weet niet anders, namelijk….
10. Met wie heeft u binnen een mbo-school het MEEST FREQUENT contact? o college van bestuur o directeur (sector/opleiding/afdeling/unit) o (centraal) inkoper o beleidsmedewerker (examinering of kwaliteitszorg) o examencommissie (lid of voorzitter) o examensecretariaat o (vak)docent o weet niet o anders, namelijk…. Nu volgen enkele algemene vragen over het aanbod van examenleveranciers. 11. In het algemeen: wat vindt u de meerwaarde van het aanbod van examenleveranciers ten opzichte van door mbo-scholen zelf ontwikkelde examens? (meerdere antwoorden mogelijk) o goedkoper voor mbo-scholen 95
o o o o o o
minder tijdrovend voor mbo-scholen betere kwaliteit gecertificeerde producten / goedgekeurd door de inspectie up-to-date (sluit aan bij het laatste cohort) weet niet anders, namelijk…..
12. Wie is volgens u verantwoordelijk als ingekocht exameninstrumentarium, bij ongewijzigde inzet, niet voldoet aan de kwaliteitstandaarden? o de examenleverancier o de mbo-school o gedeelde verantwoordelijkheid van examenleverancier en mbo-school o weet niet o anders, namelijk….. Nu volgen enkele vragen over uw ervaringen met door u geleverde examens. 13. Heeft u voldoende zicht op de wijze waarop mbo-scholen uw examens inzetten? o
ja
o
nee, maar dat hoeft ook niet (geef hieronder een korte toelichting waarom dit volgens u niet nodig is)
o
helaas niet (geef hieronder een korte toelichting waarom u voldoende zicht nodig heeft)
o
weet niet
14. Onderneemt u actie als u constateert dat een mbo-school de examens niet volgens de voorschriften inzet? o
altijd
o
meestal wel
o
meestal niet
o
wij constateren dat niet
Toelichting op uw antwoord….. Nu volgt een aantal vragen over evaluatie, feedback en wijzigingen van door u geleverde examens. 15. Waarover heeft u het afgelopen jaar van meerdere mbo-scholen feedback ontvangen in de zin van commentaar of verbetervoorstellen? (meerdere antwoorden mogelijk) o terminologie o spelling, formulering 96
o o o o o o o o o o o o o o o o o
instructie beoordeling cesuur inzage vakinhoud aansluiting bij / dekking van het kwalificatiedossier aansluiting bij toezichtskader leveringstermijnen leveringsvoorwaarden prijs tijdsinvestering behoefte aan maatwerk afstemming/samenwerking met mbo-school afstemming met leerbedrijven/bedrijfsleven n.v.t.; we hebben het afgelopen jaar van maximaal één mbo-school commentaar en/of verbetervoorstellen ontvangen over deze onderwerpen weet niet anders, namelijk…
16. Wat doet u meestal met de feedback die u ontvangt van mbo-scholen? (meerdere antwoorden mogelijk) o
terugkoppelen aan mbo-school wat we er mee doen/hebben gedaan
o
verwerken in volgende versie van het examen
o
uitleggen dat en waarom we de feedback niet kunnen overnemen
o
geef ik door aan collega
o
niets
o
weet niet
o
anders, namelijk….
17. Wie neemt meestal het initiatief als het gaat om evaluatie van of feedback op het door u geleverde exameninstrumentarium? o
wij als examenleverancier
o
de mbo-scholen
o
dat varieert
o
weet niet
o
anders, namelijk…..
18. Informeert u de mbo-scholen over de gevolgen van gewijzigd inzetten? o
ja, schriftelijk met een mondelinge toelichting
o
ja, alleen schriftelijk
o
nee, wij staan daar niet bewust bij stil
o
nee, daarvoor is de mbo-school zelf verantwoordelijk 97
o
weet niet
o
anders, namelijk…
19. In welke mate wijzigen mbo-scholen examens die door u geleverd zijn? o
altijd
o
meestal
o
soms
o
nooit -> volgende vragen over wijzigingen overslaan
o
weet niet -> volgende vragen over wijzigingen overslaan
20. Om wat voor soort wijzigingen gaat het? (meerdere antwoorden mogelijk) o
terminologie
o
spelling, formulering
o
(vak)inhoud
o
procedureel (instructie / afnamecondities)
o
cesuur / beoordeling
o
gebruik oudere versie
o
anders, namelijk….
o
weet niet
21. Wat zijn volgens u redenen voor mbo-scholen om uw exameninstrumentarium te wijzigen? (ongeacht of u het daar mee eens bent) (antwoordopties: geconstateerde fouten – andere voorkeur/visie – weet niet – anders, namelijk….) 22. Wat vindt u in het algemeen van de wijzigingen door mbo-scholen? (meerdere antwoorden mogelijk) o
de wijzigingen hebben een negatief effect op de kwaliteit van de examens
o
de wijzigingen hebben geen effect op de kwaliteit van de examens
o
de wijzigingen hebben een positief effect op de kwaliteit van de examens
o
prima
o
begrijpelijk, maar niet toegestaan volgens de huidige standaarden en procedures
o
begrijpelijk, maar mbo-scholen realiseren zich onvoldoende wat dit betekent voor de vaststelling
o
overbodig
o
ongewenst
o
het is niet aan ons daar een mening over te hebben
o
weet niet
o
anders, namelijk….
98
23. Ervaart of signaleert u knelpunten bij de levering en/of inzet van uw examens die u nog niet heeft vermeld of extra onder de aandacht wilt brengen in dit onderzoek? o
nee, ik heb alles wat ik kwijt wilde bij vorige vragen vermeld.
o
nee, ik ervaar/signaleer geen knelpunten. -> volgende vraag overslaan
o
ja, namelijk…
24. Heeft u suggesties voor het oplossen van de door u ervaren knelpunten? o
nee
o
ja, namelijk….
U bent bijna aan het eind van de vragenlijst! In de begeleidende mail bij deze vragenlijst las u over de bijeenkomst op 27 maart van 10.00 tot 13.00 uur bij de MBO Raad in Woerden. Samen met vertegenwoordigers van examenleveranciers en mbo-scholen verdiepen en analyseren we de uitkomsten van de schriftelijke inventarisatie. 25. Wilt u deelnemen aan de bijeenkomst op 27 maart? o
ja -> Hartelijk dank voor uw aanmelding voor de bijeenkomst. U ontvangt rond 24 maart een bevestiging met nadere informatie. Mochten er te veel belangstellenden zijn, worden er twee groepen samengesteld of een (willekeurige) selectie gemaakt.
o
ik wil wel, maar ben verhinderd op 27 maart
o
ik heb geen belangstelling om deel te nemen
o
anders, namelijk…..
Hartelijk dank voor uw medewerking!
99
Bijlage 5 Bijeenkomst 27 maart 2015 Bijlage 5a Deelnemers Centrale contactpersonen mbo-scholen Elvira Bijster
Rijn IJssel
Martine van Eek
ROC ter AA
Albert Jan Hoeve
Deltion College
Martin Jansen
ROC Friesland College
Vanuit opleidingssectoren Koos van Houten
ROC Nijmegen
Hans Kaspersen
ROC van Amsterdam en ROC van Flevoland
Josée König
ROC Da Vinci College
René Nelis
ROC Da Vinci College
Examenleveranciers Marijke Backx
ESS examenservices Handel en Mode
Wim Grooters
De Groene Standaard
Robert Otten
Stichting Praktijkleren
Irma Rabelink
Consortium Beroepsonderwijs
Jim Schouten
Stichting Estel
Joke Steenbrugggen
Stichting Examenservices MEI
Peter Stokvisch
Edu'Actief
Sylvia Verrips
ESS examenservices
Begeleiding en ondersteuning Begeleiding algemeen Karin van der Burgt
vanderburgt advies en samenwerking
Begeleiding subgroepen Annet Feijen
Servicepunt examinering mbo
Jacqueline de Schutter
MBO diensten
Marleen van de Wiel
Servicepunt examinering mbo
Secretariële en facilitaire ondersteuning Kitty Dolman
Servicepunt examinering mbo
100
Bijlage 5b Bevestiging deelname Beste mensen van mbo-scholen, examenleveranciers, examenconsortia ed., Graag bevestigen we uw deelname aan de bijeenkomst op 27 maart in het kader van het onderzoek naar ervaringen van mbo-scholen en examenleveranciers met ingekochte examens. Zoals u al in de begeleidende mail bij de schriftelijke inventarisatie (enquête) kon lezen, bedoelen we met ‘ingekochte examens’ alle exameninstrumenten die zijn ontwikkeld door een examenleverancier of examenconsortium en die niet door een school of opleiding zelf zijn ontwikkeld. Doel van de bijeenkomst op 27 maart is dat vertegenwoordigers van mbo-scholen en examenleveranciers met elkaar de uitkomsten van de schriftelijke inventarisatie uitdiepen en analyseren. Het gaat hierbij om het algemene beeld; dus niet per sector de diepte in. De bijeenkomst wordt geleid door onderzoeker Karin van der Burgt. Hieronder het programma en de nodige praktische informatie. Programma 1. Opening en kennismaking 2. Presentatie van de uitkomsten van de schriftelijke inventarisatie 3. Uitkomsten uitdiepen en analyseren 4. Voorlopige conclusies formuleren 5. Bespreken welke organisaties en/of sleutelfiguren een bijdrage kunnen leveren aan het oplossen van ervaren knelpunten bij ingekochte examens 6. Rondvraag en sluiting. Praktische informatie De bijeenkomst vindt plaats op vrijdag 27 maart van 10.00 tot 13.00 uur bij de MBO Raad, Houttuinlaan 6 in Woerden. Vanaf 9.30 uur staat de koffie/thee klaar en als lunch zijn er broodjes. Meer weten? Heeft u vragen over de bijeenkomst? Neem contact op met Karin van der Burgt van ‘vanderburgt advies en samenwerking’ via [email protected] of 06 20 95 81 38. Voor algemene vragen over het onderzoek of activiteiten van het Servicepunt examinering mbo kunt u terecht bij ondergetekende Marleen van de Wiel. Tot ziens op 27 maart!
101
Bijlage 5c Programma 1. Opening en welkomstwoord door Marleen van de Wiel, Servicepunt Examinering mbo 2. Doel en aanpak onderzoek door Karin van der Burgt o. algemeen p. aanpak vandaag: presentatie uitkomsten, daarna in subgroepen de diepte in, plenair afsluiten. q. vandaag worden uitkomsten niet uitgereikt, want nog concept, iedereen ontvangt aan het eind van het onderzoek (een link naar) de rapportage. 3. Presentatie uitkomsten schriftelijke inventarisatie door onderzoeker Karin van der Burgt 4. Eerste subronde: uitkomsten uitdiepen en analyseren aan de hand van richtvragen 5. Plenaire terugkoppeling bevindingen eerste subronde 6. Tweede subronde: oplossingsrichtingen voor ervaren knelpunten (aan de hand van richtvragen) 7. Plenaire afronding
102
Bijlage 5d Richtvragen bijeenkomst 27 maart Richtvragen eerste subronde centrale contactpersonen vanuit mbo-scholen VRAAG 1 Bij de respondenten uit de opleidingssectoren ligt het percentage dat voorstander is van ingekochte examens een stuk hoger dan in uw responsgroep. Wat zou een verklaring kunnen zijn voor dit verschil? VRAAG 2 Wat zijn volgens u over het algemeen de belangrijkste redenen van mbo-scholen om geen voorstander te zijn van ingekochte examens? Formuleer met elkaar een top 3. VRAAG 3 Sommigen uit uw responsgroep pleiten voor meer standaardisering van ingekochte examens, anderen juist voor meer ruimte voor maatwerk. a. Welke knelpunten zou standaardisering kunnen oplossen? b. Welke knelpunten zou meer maatwerk kunnen oplossen? NB Het gaat bij deze vraag dus niet om de nadelen of om wat uw voorkeur heeft. VRAAG 4 Bij de respondenten uit de opleidingssectoren is 63% over het algemeen tevreden of heel tevreden over de kwaliteit van ingekochte examens. In uw responsgroep ligt dat anders: 29% is tevreden of heel tevreden. Wat zou dit verschil tussen de responsgroepen kunnen verklaren? VRAAG 5 Uit de enquête blijkt dat veel respondenten uit uw responsgroep de vragen over inzet en kwaliteit van ingekochte examens niet per sector konden beantwoorden. Is dat erg volgens u? Zo ja, wat zijn mogelijke oplossingen? Richtvragen eerste subronde deelnemers vanuit opleidingssectoren VRAAG 1 In uw responsgroep ligt het percentage dat voorstander is van ingekochte examens een stuk hoger dan bij de responsgroep centrale contactpersonen vanuit het mbo. Wat zou een verklaring kunnen zijn voor dit verschil? VRAAG 2 Sommigen in uw responsgroep pleiten voor meer standaardisering van ingekochte examens, anderen juist voor meer ruimte voor maatwerk. a. Welke knelpunten zou standaardisering kunnen oplossen? 103
b. Welke knelpunten zou meer maatwerk kunnen oplossen? NB Het gaat bij deze vraag dus niet om de nadelen of om uw voorkeur. VRAAG 3 In uw responsgroep is 63% over het algemeen tevreden of heel tevreden over de kwaliteit van ingekochte examens. Bij de centrale contactpersonen vanuit het mbo ligt dat anders: 29% is tevreden of heel tevreden. Wat zou dit verschil tussen deze responsgroepen kunnen verklaren? VRAAG 4 Sommigen in uw responsgroep willen zelf kunnen beslissen of je een ingekocht examen in de beroepspraktijk inzet of gesimuleerd op school. Voor welke knelpunten zou dit een oplossing kunnen zijn? VRAAG 5 Uit de enquête blijkt dat veel centrale contactpersonen vanuit het mbo de vragen over inzet en kwaliteit van ingekochte examens niet per sector konden beantwoorden. Is dat erg volgens u? Zo ja, wat zijn mogelijke oplossingen? Richtvragen eerste subronde examenleveranciers VRAAG 1 Bij de respondenten uit de opleidingssectoren is 63% over het algemeen tevreden of heel tevreden over de kwaliteit van ingekochte examens. Bij de centrale contactpersonen vanuit het mbo ligt dat anders: 29% is tevreden of heel tevreden. Wat zou dit verschil tussen de responsgroepen kunnen verklaren? VRAAG 2 Veel examenleveranciers geven aan dat zij te weinig zicht hebben op hoe mbo-scholen examens inzetten. Wat zouden hiervoor oplossingen kunnen zijn? VRAAG 3 Enkele examenleveranciers geven aan dat de interpretatieruimte in de kwalificatiedossiers het lastig maakt consensus te krijgen met scholen over de exameninstrumenten. Herkent u dat? Zo ja, wat zouden oplossingen kunnen zijn?
104
VRAAG 4 Enkele examenleveranciers geven aan dat praktijkexamens om een ander kwaliteitskader vragen dan theorie-examens. Bent u het daar mee eens? Zo ja, wat zouden verschillen moeten zijn? VRAAG 5 Veel examenleveranciers geven aan dat de communicatie met scholen verbeterd moet worden. Welke suggesties heeft u daarvoor? Richtvragen tweede subronde (gemengde groepen) VRAAG 1 Een aantal respondenten noemt als knelpunt dat het aanbod aan in te kopen examens te beperkt is. Wat zouden oplossingsrichtingen kunnen zijn voor dit knelpunt en wie zijn daarbij nodig? VRAAG 2 Veel respondenten vinden dat mbo-scholen en examenleveranciers te weinig zicht hebben op elkaars werk en werkwijze. Wat zouden hiervoor oplossingsrichtingen kunnen zijn en wie zijn daarbij nodig? VRAAG 3 Uit de enquête blijkt dat mbo-scholen vaak zelf controleren in welke mate de ingekochte examens voldoen aan de standaarden voor de examenkwaliteit in het mbo. Slechts een minderheid van de respondenten gaat af inspectierapporten, keurmerk of examenleveranciers. Wat zouden oplossingen kunnen zijn om dit dubbele werk te voorkomen of te verminderen? En wie zijn nodig om die oplossingen te realiseren? VRAAG 4 N.a.v. de enquêtevraag wie verantwoordelijk is als ingekochte exameninstrumentarium, bij ongewijzigde inzet, niet voldoet aan de kwaliteitsstandaarden: Wat is er nodig en van wie om te zorgen dat zowel examenleveranciers als mbo-scholen weten hoe de verantwoordelijkheid formeel is geregeld?
