Examencommissies in de Spotlight Een handreiking voor examencommissies met betrekking tot uitvoering van de nieuwe wet
Technische Universiteit Delft
versterking bestuur hoger onderwijs.
1
Examencommissies in de Spotlight Een handreiking voor examencommissies met betrekking tot uitvoering van de nieuwe wet versterking bestuur hoger onderwijs. (2011 - 2012)
Renate Klaassen
Dit document bevat een beschouwing op twee impliciete taken van examencommissies in het WO, die onder invloed van de Wet versterkt bestuur en de aanscherping met betrekking tot de accreditatiecriteria rondom toetsing van de NVAO, zijn geëxpliciteerd. Het betreft de onafhankelijkheid en de deskundigheid van examencommissies.
INHOUD
H.3 PRAKTIJK
25
Processtappen m.b.t. monitoring van de kwaliteit van het toetssysteem
25
Samenvatting
7
Pro-actieve rol examencommissies
27
Leeswijzer
8
De rol van de voorzitter en zijn/haar afgevaardigden
28
Quickscan; 16 Indicatoren voor takenpakket examencommissies
30
Communicatie rondom de taakstructuur van examencommissies
32
De examencommissie is belast met de organisatie en coördinatie van
33
H.1 INTRODUCTIE: EXAMENCOMMISSIES EN DE
10
TOEKOMST
de tentamens
De huidige NVAO accreditatiestandaard m.b.t. toetsen
10
Opleidingsaccreditatie
11
Instellingsaccreditatie
12
H4. ONAFHANKELIJKHEID VAN DE
WHW: Wet versterkingbesturing
13
EXAMENCOMMISSIES
35
Inleiding
35
H.2 DESKUNDIGHEID VAN DE EXAMENCOMMISSIES
16
Onafhankelijkheid borging feit/fictie
35
Deskundigheid in de huidige wet
16
Centrale rol/taakbeschrijving examencommissies
36
Profiel Examencommissie (-leden)
16
Onafhankelijkheid examencommissie
37
Handreiking HBO-raad
16
Conclusies
43
In het WO
18
Aanbevelingen onafhankelijkheid examencommissies
45
Een ander perspectief
18
Scenario’s ‘Monitoren toetskwaliteit’ aan de TU Delft
19
Bijlage 1. Punten Strategie Nota Halbe Zijlstra
46
Conclusie deskundigheidsbevordering
22
Bijlage 2. Wet versterking besturing per 1 september 2010
47
Uitgangspunten
22
Bijlage 3. Profiel Examencommissie lid
52
Aanbevelingen deskundigheid examencommissies
23
Bijlage 4. QANU richtlijn voor het schrijven zelfstudierapport voor
56
de beperkte opleidingstoets Referenties
4
59
5
Samenvatting Doel document: Handreiking examencommissies ten behoeve van de invulling van de nieuwe rol in het kader van de Wet versterking besturing (zie bijlage 2). Dit document is vooral geschreven vanuit een adviserend perspectief. Doelgroep: Examencommissies.
Kernstatements • Deskundigheid op het gebied van toetsing en onafhankelijkheid zijn de twee aangescherpte kernwaarden voor examencommissies • Mobilisering van toetsdeskundigheid is een voorwaarde voor realisering van toetskwaliteit. Dit wordt zichtbaar in een systeem van transparante, betrouwbare en valide toetsing • Onafhankelijkheid van de examencommissies is
bepalend
voor
de
invloed
van
de
examencommissies op de toetskwaliteit. Deze onafhankelijkheid wordt bepaald door de interne cultuur van een instellings/facultair opleidingssysteem
7
Leeswijzer Als gevolg van veranderde wetgeving en aanscherping rondom de NVAO accreditatiekaders met betrekking tot toetsing heeft een verschuiving plaatsgevonden in de rollen en taken van examencommissies in het WO. In het onderstaande stuk wordt inzicht gegeven in: •H oe de nieuwe rol/taak van examencommissies in formele stukken (NVAO, QANU, WHW) beschreven is. •E n welke maatregelen er kunnen worden genomen door de decaan en de examencommissie op de twee hoofdpunten, deskundigheid en onafhankelijkheid, van de examencommissies.
Deskundigheid toetsing en onafhankelijkheid zijn de twee aangescherpte kernwaarden voor examencommissies
De sub-paragrafen deskundigheid/onafhankelijkheid worden gevolgd door een oplegvel met de meest essentiële aanbevelingen die voortvloeien uit een analyse van de taak/rol binnen de nieuwe kaders. Dit stuk is adviserend van aard en heeft niet tot doel beleid te formuleren. Het is aan de decaan en de examencommissie om vanuit hun eigen deskundigheid een zelfstandige keuze te maken uit de aangereikte richtlijnen1. Het uitgangspunt is dat dit document leidt tot gedachtevorming over de nieuw in te vullen taak en rol van de examencommissies. Hoofdstuk 1 is een context-schets. Hoofdstuk 2 is een pragmatisch stuk over de deskundigheid van examencommissies. Hoofdstuk 3 is vooral gericht op realisatie van toetskwaliteit in de praktijk. Tot slot volgt in Hoofdstuk 4 een beschouwend schrijven over de onafhankelijkheid van examencommissies en de invulling daarvan. Voor de lezer die weinig tijd heeft raden we aan tenminste kennis te nemen van de richtlijnen en aanbevelingen.
1
8
F acilitering/financiering vanuit de instelling om vorm te geven aan de vernieuwde rol van de examencommissies vallen buiten bestek van dit document. 9
H.1 Introductie: Examencommissies en de toekomst Door verschillende maatschappelijke ontwikkelingen is er meer nadruk komen te liggen op meetbaarheid en transparantie van prestaties door instellingen en studenten. De overheid heeft ervoor gekozen via wetgeving meer controle te krijgen op de kwaliteit van instellingen en maakt via de NVAO een koppeling naar prestatiebeoordeling op instellings- en opleidingsniveau.
van de instelling als geheel. Vooral standaard 3 is van belang voor examencommissies omdat zij mede eindverantwoordelijk wordt geacht voor de kwaliteit van het systeem van toetsing, naast de directeur onderwijs en de decaan.
Opleidingsaccreditatie In standaard 3 voor de beperkte opleidingsaccreditatie staat het volgende: Standaard 3: Toetsing en gerealiseerde eindkwalificaties De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.
Dit gebeurt o.a. door de examencommissies een grotere verantwoordelijkheid te geven voor de kwaliteit van toetsing en door toetsing een prominenter onderdeel te laten zijn van de accreditatie. In de volgende paragrafen zullen we kijken naar wat deze aanscherping is en wat de mogelijke interpretatie en vertaalslag van de nieuwe wetgevings- en accreditatie-eisen zijn voor de rol en taakuitvoering van examencommissies in het hoger onderwijs en specifiek aan de TU Delft. Voordat we de diepte ingaan is het van belang te weten dat de huidige staatssecretaris van onderwijs Halbe Zijlstra in zijn strategienota een aantal voorstellen heeft gedaan ter verscherping van toezicht op het hoger onderwijs. De belangrijkste punten die hierin genoemd worden zijn opgenomen in bijlage 1. Hoewel deze maatregelen nog niet van kracht zijn, werpen zij hun schaduw vooruit en dient er bij de herbezinning op de rollen en taken van de examencommissie terdege rekening mee te worden gehouden.
Toelichting: Het gerealiseerde niveau blijkt uit de tussentijdse en afsluitende toetsen, de afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk.
Standaard 3. NVAO kader opleidingsaccreditatie
Er wordt gekeken naar toetskwaliteit, toepassing van toetsvormen, de relatie leerdoelen - werkvormen- toetsing en eindtermen en beoordelingen. Bovendien wordt er gekeken naar het gehele systeem van de toetsing en de borging daarvan. Specifiek wordt aangegeven in de QANU2 handleiding:
De huidige NVAO accreditatiestandaard m.b.t. toetsen In het huidige NVAO kader zijn twee standaarden opgenomen die van toepassing zijn op toetsing. De eerste, standaard 3, heeft betrekking op de opleidingsaccreditatie en valt onder de verantwoordelijkheid van de faculteit. De tweede betreft standaard 5 en heeft betrekking op de instellingsaccreditatie en valt onder de verantwoordelijkheid QANU; Quality Assurance Netherlands Universities geeft advies aan de NVAO over het voldoen aan accreditatiecriteria van een opleiding
2
10
11
“QANU vraagt opleidingen om in de beschrijving van het systeem van toetsing en beoordeling expliciet in te gaan op de manier waarop zij de kwaliteit van de toetsing bewaakt en op de rol daarin van de examencommissie en om waar mogelijk te verwijzen naar regelingen of procedures voor bijvoorbeeld het beoordelen van opdrachten, werkstukken, presentaties of scripties.” (zie bijlage 3) De rol van de examencommissies wordt in deze standaard en in de toelichting expliciet onder de loep genomen. Die rol is in andere woorden ook vastgelegd in de WHW waar we zo op terug zullen komen.
Instellingsaccreditatie Voor de instellingsaccreditatie is standaard 5 over kwaliteitszorg in de organisatie specifiek van belang. Standaard 5: Organisatie- en beslissingsstructuur De instelling heeft een effectieve organisatie- en beslissingsstructuur met betrekking tot de kwaliteit van haar opleidingen, waarin de taken, bevoegdheden en verantwoordelijkheden duidelijk zijn afgebakend en waarvan de inspraak van studenten en medewerkers deel uitmaakt. In de toelichting staat: Bij de beoordeling van deze standaard worden ook de taakstelling en de positionering van examenen opleidingscommissies betrokken.
Standaard 5. NVAO kader opleidingsaccreditatie
Het gaat bij standaard 5 meer over de inbedding en positie van de examencommissie in de organisatie, zodanig dat zij tot een adequate functie-uitvoering kan komen. Tot slot is het van belang te melden dat visitatiecommissies de stelregel hanteren dat zowel op instellings- als op opleidingsniveau zal worden uitgegaan van ‘gerechtvaardigd vertrouwen’ in de deskundigheid, organisatie en monitoring van het hele toetsproces door examencommissies3.
WHW: Wet versterking besturing4 De officiële wettekst van de Wet versterking bestuur heeft zijn beslag gekregen per 1 september 2010 en is opgenomen in de bijlage. In verkorte vorm houdt de Wet versterking besturing in dat er een aantal extra bepalingen in de Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) zijn opgenomen waarin taken expliciet zijn toebedeeld aan de examencommissies, waar deze impliciet al verantwoordelijk voor waren. Deze geëxpliciteerde en uit te voeren wettelijke taken zijn: •O p objectieve wijze vaststellen of een student voldoet aan de voorwaarden OER t.a.v. kennis, inzicht en vaardigheden • Borgen kwaliteit tentamens en examens • Ontnemen rechten ingeval van fraude • Vaststellen van regels en richtlijnen • Jaarlijks een verslag van werkzaamheden opstellen Dit heeft invloed op de taken en rollen van de examencommissie in het WO. De intentie van de Wet versterking besturing is om de examencommissie een meer onafhankelijke rol toe te kennen ten opzichte van het bestuur (met name de decaan, directeur onderwijs, managementteams faculteiten, en CvB.). 3
4
12
D e stukken en indrukken van een visitatiecommissie vormen een momentopname; als blijkt uit deze momentopname dat de kwaliteit van toetsing, de monitoring van toetsing etc. goed georganiseerd is, dan gaat men uit van ‘gerechtvaardigd vertrouwen’, ofwel in alle redelijkheid en billijkheid wordt aangenomen dat het goed is. Zie ook bijlage 1 voor de volledige Wet versterking besturing 2010. 13
Nog explicieter dan nu zal de examencommissie volgens de beoogde wetgeving het gezaghebbende orgaan zijn dat de kwaliteit van examens en daarmee het eindniveau van studenten garandeert. (uit Boekhouder of wakend oog). Uit ‘Boekhouder of wakend oog’, onderwijsinspectie 2009
Dit heeft tot gevolg dat in verschillende reflecterende documenten over de rol van de examencommissie vragen zijn gesteld met betrekking tot de samenstelling van de examencommissie en of deze in staat is zich garant te stellen voor het behaalde eindniveau van de student. Zoals in het document ‘Boekhouder of wakend oog’: twee kernissues daarbij zijn de deskundigheid en onafhankelijkheid van de leden van examencommissies. In de hierna volgende paragrafen zullen we deze twee issues bespreken. Het veronderstelt dat een examencommissie op de twee punten ‘deskundigheid en onafhankelijkheid’ boven alle twijfel verheven is. De controle op het functioneren van het systeem als geheel ligt, zoals eerder gezegd, bij het NVAO als controlerend orgaan en tussentijds bij de onderwijsinspectie.
Mobilisering van toetsdeskundigheid is een voorwaarde voor realisering van toetskwaliteit. Dit wordt zichtbaar in een systeem van een transparante, betrouwbare en valide toetsing.
14
15
H.2 Deskundigheid van de examencommissies Deskundigheid in de huidige wet In de WHW art. 7.12a is vastgelegd dat de examencommissie wordt vastgesteld door het instellingsbestuur. De benoeming van de leden vindt plaats op basis van: 1. deskundigheid op het terrein van een opleiding of groep opleidingen 2. tenminste 1 lid is docent aan de opleiding 3. oude leden worden gehoord bij installatie nieuw lid 4. bestuur waakt over de onafhankelijkheid en deskundig functioneren.
Opvallend bij deze punten is dat de deskundigheid die op
tot opstelling van een profiel voor examencommissieleden. Er is daarbij niet alleen gekeken naar het aspect toetsdeskundigheid, maar wat men als examencommissielid zou moeten kunnen om al haar wettelijke taken naar behoren uit te kunnen voeren. Samenvattend en vrij vertaald zijn de belangrijkste kennis, vaardigheden en eigenschappen in deze HBOprofielschets benoemt in het volgende lijstje. De examencommissie(leden) is/zijn5: • Toetsdeskundig • Opleidingsdeskundig • Organisatiedeskundig (met name de onderwijsorganisatie) • Adviesvaardig • Heeft/hebben kennis van relevante wet- en regelgeving • Heeft/hebben communicatieve en sociale vaardigheden
de examencommissie leden betrekking heeft, een opleiding of groep van opleidingen betreft. Deskundigheid op het terrein van toetsen wordt niet als voorwaarde genoemd voor zitting name in een examencommissie. In dit hoofdstuk wordt specifiek gekeken naar wat de toetsdeskundigheid zou moeten inhouden en op welke manier deze georganiseerd kan worden.
Profiel Examencommissie (-leden) In de volgende alinea’s wordt kort gekeken naar profielen van examencommissie leden. De HBO-raad heeft een compleet profiel gegeven van ieder lid van een examencommissie. In het WO kiest men een meer pragmatische invulling van het thema deskundigheid.
Handreiking HBO-raad De HBO-raad heeft beschreven waar de deskundigheid van een examencommissielid aan moet voldoen. Het idee is dat de leden van de examencommissie voldoende deskundigheid in huis hebben om kwaliteitsborging van toetsen te realiseren. Dat heeft in het HBO geleid
Een eerste gedachte die opkomt is dat wel erg veel wordt verlangd van een examencommissie(lid). Het HBO profiel roept daarom ook vragen op, zoals: •D ient elk commissielid aan het gehele profiel te voldoen of is het voldoende als de betreffende competenties vertegenwoordigd zijn in de examencommissie? •D ienen zittende commissieleden een training te krijgen of dienen commissieleden voordat ze zitting mogen nemen de betreffende competenties te verwerven? •H et profiel is dusdanig veel omvattend dat er nauwelijks ruimte over is voor andere taken dan de taken van de examencommissie. Hoe wordt hier mee omgegaan? o Een ophoging van het aantal te besteden fte’s? o Meer leden? oM eer delegeren naar andere gelederen binnen de universiteit? • I ndien een commissielid niet functioneert, kan hij/zij dan uit zijn/ haar functie ontheven worden? 5
16
Dit HBO-profiel opgesteld door Jan Adema van het CITO is opgenomen in de bijlage. 17
•D it profiel is opgesteld voor het HBO. Zijn er specifieke eisen die voor het WO wel of juist niet relevant zijn? Is een aangepast profiel wenselijk?
In het WO In het wetenschappelijk onderwijs gaat men veeleer uit van het feit dat de “docent” die zitting heeft in een examencommissie al de nodige deskundigheid heeft (doc. toetsbeleid Wageningen). Zo hebben de meeste leden van een examencommissie deskundigheid met betrekking tot de inhoud van een opleiding. Ze zijn echter niet per definitie deskundig op het gebied van toetsen. Toetsdeskundig zijn op opleidingsniveau houdt in dat een examencommissie de kennis en vaardigheden op de volgende terreinen in haar commissie heeft: •e indtermen en examenprogramma’s • toetsing inhoudelijk: afstemming leerdoelen/werkvormen/ toetsvormen • toetsing logistiek: procedures rondom toetsafname • k waliteitsverbetering: toetskwaliteit in constructie/analyse •b orgen kwaliteit van de tentamens •d e reglementaire basis voor haar activiteiten (Instituutsreglement, OER, RRvE en (de strekking van) de WHW)6
Een ander perspectief De vraag is ook of deze toetsdeskundigheid, qua uitvoering, dient te liggen bij de examencommissie of dat de examencommissie de toetsdeskundigheid inschakelt die in het hoger onderwijs beschikbaar is. Immers, binnen onderwijsadviesdiensten en/of bij vakgroepen met deskundige docenten is voldoende expertise en/of zijn voldoende instrumenten beschikbaar om een goed beeld te krijgen van de toetskwaliteit van een opleiding. Dat daarbij een of twee leden van de examencommissie geschoold zijn of worden om te beoordelen of de rapportages van docent/ kwaliteitszorgmedewerkers/ onderwijsadviseurs voldoende zijn, is een pré. 6
18
Deze verandering in perspectief, waarbij examencommissies deskundigheid inschakelen, leidt tot een andere benadering, namelijk tot het “monitoren van toetskwaliteit”. Oplossingen liggen veelal binnen de bestaande structuren van de universitaire organisatie. Zo hebben de faculteiten aan de TU Delft zelf al verschillende benaderingen aangedragen die in de praktijk hun waarde moeten bewijzen.
Scenario’s ‘Monitoren toetskwaliteit’ aan de TU Delft Uit de concept toetsbeleidsplannen van de faculteiten aan de TU Delft blijkt dat er verschillende maatregelen genomen worden om tegemoet te komen aan de nieuwe eisen voor het monitoren van de toetskwaliteit. Hieronder wordt een aantal voorbeelden aangedragen die wellicht ter inspiratie kunnen dienen voor de invulling van ‘het monitoren van de toetskwaliteit’. De voor- en nadelen zijn door de auteur toegevoegd. Voorbeeld BK - monitoring binnen een vakgroep Toetsdeskundige docent controleert toetsen van de eigen vakgroep ad random en brengt halfjaarlijks rapport uit aan de examencommissie over de stand van zaken. (BK) Voordelen • I ngebed in de organisatiestructuur onder de afdelingsvoorzitter of hoogleraar. De afdeling blijft verantwoordelijk voor inhoud/kwaliteit toetsing •D e betreffende docent kent zowel het vakgebied als de voorwaarden voor goed toetsen •B etrokken docent kan de aansluiting van de toets op het vak beter inschatten •V erantwoording naar onafhankelijk orgaan over kwaliteit toetsing door de vakgroep •E erder kans op deskundigheidsbevordering over (kwaliteit van) toetsen binnen vakgroep
Met dank aan Esther Schoen, Erasmus Universiteit 19
Nadelen •D ocenten dienen geschoold te zijn en kennis voortdurend bij te houden (een voordeel omdat de kwaliteit van onderwijs omhoog gaat, maar er hangt ook een prijskaartje aan). • Extra taakverzwaring voor docenten •A cceptatie in vakgroep dat betreffende docent kwaliteit van collega’s beoordeelt en daarover rapporteert. Dit kan frictie opleveren. •B elang van vakgroep voor kwaliteit van toetsen binnen de opleiding is niet verankerd. •D e eigen collega’s beoordelen verzwakt de onafhankelijkheid Voorbeeld EWI - ontwikkelgerichte kwaliteitskring Wisselende kwaliteitskringen van docenten checken ad random elke twee jaar de toetskwaliteit van collega’s en geven adviezen aan de examencommissies over de knelpunten/verbeterpunten van de toetskwaliteit. Voordelen • Docenten voelen zich meer betrokken en verantwoordelijk •E r vindt een indirecte professionaliseringslag plaats bij docenten die zitting nemen in de kwaliteitskring • Een cultuur van peerfeedback wordt bevorderd •T oetsverbetering is niet per se individueel gericht maar op verbetering van het systeem en op ontwikkeling van de docent •D ocent blijft individueel aanspreekbaar via het reguliere signaleringsysteem van vakevaluaties. Nadelen (indien niet goed uitgevoerd) •D e toetskwaliteit wordt niet geborgd. Er is veel vrijblijvendheid in het systeem •E en cultuuromslag vraagt veel inzet over een langere periode; als het niet bijgehouden wordt zakt de kwaliteit •W orden adviezen van de kwaliteitskring ook omgezet in concrete actieplannen? • Vrijblijvend, met veel ontsnappingsmogelijkheden
20
Voorbeeld LR - examencommissie neemt verantwoordelijkheid met behulp van externe deskundigheid Onder verantwoordelijkheid van de examencommissie wordt de BSc toetsing periodiek (eens per 4 jaar?) geëvalueerd door experts werkzaam aan buitenlandse Aerospace faculteiten. Evaluatie vindt plaats per semester, waarbij van één studiejaar de tentamens en hertentamens beoordeeld worden. Daarbij moet beoordeeld worden of de Final Qualifications van het programma en de leerdoelen van de opleidingsonderdelen (uit studiegids) voldoende aansluiten en getoetst worden. Slagingspercentages dienen hierbij ook beoordeeld te worden. Leden van de commissie moeten aantoonbaar professioneel zijn op het gebied van toetsing. Eindverantwoordelijkheid ligt bij examencommissie. Voordelen • Vreemde ogen dwingen principe • Professionele peerfeedback (inhoud en toetsdeskundigheid) • Bevorderend voor samenwerking met het disciplinaire veld • Benchmarking t.o.v. het disciplinaire veld • Objectieve feedback bevorderd Nadelen • Grotere kwetsbaarheid wanneer de zaken niet op orde zijn • Frequentie is cruciaal voor borging • Logistiek complex en niet verankerd in de staande organisatie • Kwaliteiten van beoordelaars lastig vast te stellen Monitoring toetskwaliteit kan dus op verschillende plaatsen belegd worden.
21
Conclusie deskundigheidsbevordering Uit deze discussie kan een aantal aanbevelingen worden afgeleid. Deze zijn opgenomen in de richtlijn hiernaast.
Aanbevelingen deskundigheid examencommissies Richtlijn voor decaan
Uitgangspunten voor een examencommissie zullen ‘moeten’ zijn: •d at de borging van toetsing belegd wordt in de staande praktijk •d at
de
rolverdeling
tussen
uitvoerders,
verantwoordelijken en beslissingsbevoegdheden moet worden gedocumenteerd en zijn beslag moet krijgen in de onderwijspraktijk (matrix met uitvoerings- en beslissingsbevoegdheid) •d at
de
keuze
voor
monitoring
van
de
kwaliteit gemaakt wordt aan de hand van de deskundigheid van de examencommissieleden m.b.t. toetsen en toetsing in relatie tot het gehele onderwijsprogramma •d at toetskwaliteit primair gerealiseerd wordt door de docent/examinator; deze zal gefaciliteerd dienen te worden in het op pijl brengen van de toetsdeskundigheid
22
•Z org dat er bij aanstelling van examencommissieleden een duidelijk profiel wordt gehanteerd van de kwaliteiten van de leden • Zorg voor deskundigheidsbevordering binnen de examencommissies •M aak de examencommissie verantwoordelijk voor de rapportage over toetsing in de accreditatierondes •B esluit welke externe leden aan een examencommissie kunnen worden toegevoegd •G eef examencommissieleden een rol in de kwaliteitszorg-cyclus van een faculteit •O verweeg een periodieke audit over het functioneren van de examencommissie.
Richtlijn voor examencommissies • L ever een profielschets aan de decaan van een examencommissie en haar afzonderlijke leden qua rolbeschrijving (inhoud) en deskundigheid • Zorg dat tenminste twee van de leden toetsdeskundig zijn •Z org voor periodieke professionalisering en bijeenkomsten van alle examencommissies; waarin een bijscholingselement is opgenomen o Bijv. BKO module toetsing o Leergang voor examencommissies centraal aangeboden. •B epaal welke externe leden betrokken zullen worden in specifieke taken/rollen binnen de examencommissie •M aak een matrix van de rollen/taken/bevoegdheden/belegde uitvoering bij derden, van alle betrokkenen bij het toetsproces. •S tel een duidelijke handelingsprocedure/protocol op waar alle examencommissie leden zich aan houden bij het uitvoeren van de verschillende taken •Z org voor een duidelijke rol van de examencommissies bij de borging van de kwaliteit van de toetsing
23
Organogram examencommissies Hoofdstuk 3. Praktijk In dit hoofdstuk wordt een aantal pragmatische handreikingen gedaan die betrekking hebben op •h et veranderproces op weg naar monitoring toetskwaliteit aan de TU Delft; •d e rol van de examencommissies zoals deze zijn beslag zou kunnen krijgen; •e en quickscan ter beoordeling van de inbedding van de monitoring toetskwaliteit; •d e communicatie over de taken van de examencommissie aan de gemeenschap.
Processtappen met betrekking tot monitoring van de kwaliteit van het toetssysteem Hieronder staan maatregelen die eventueel kunnen worden genomen ter versterking van de kwaliteit van het toetssysteem. Uitgangspunt is hier de verschillende niveaus waarop een kwaliteitsslag gemaakt kan worden. Toetsing in schema: Facultair niveau
Kwaliteitsmonitoring
Toetsbeleid (voor/achteraf)
Opleidingsniveau
Eindkwalificaties/
Toetsactieplan (voor/
curriculumplanning
achteraf)
Leerdoelen/
Toetsschema (vooraf)
Vakniveau
werkvormen/ toetsvorm Toetsniveau
Constructie/
Toetsmatrijs/
peerfeedback/
beoordelingscriteria (vooraf)/
analyse
toetsanalyse (achteraf)
Aangepast van document Centraal Toetsbeleid UTwente.
24
25
Het huidige toetsbeleid van de TU Delft voorziet in een Plan, Do, Check en Act cyclus. Deze cyclus is prima in te vullen voor de bovenstaande verschillende niveaus. Uitgangspunt bij het opstellen van een stappenplan kunnen de volgende vragen zijn: •W at kan men op elk van deze niveaus realiseren om de toetsing te borgen? • Welk kwaliteitsmanagementsysteem kan hiervoor worden ingezet? • Hoe en welke aspecten worden vastgelegd in het toetsbeleid? •W elke identificeerbare risico’s kunnen worden voorkomen door passende maatregelen? •H oe legt men de activiteiten voor de uitvoer vast (jaarplan of in andere relevante documenten)? •H oe krijgen we de mensen die het moeten uitvoeren er in mee (hoe zorgen we dat zij de urgentie gaan zien)
Voorbeeld toetsniveau We doorlopen de Plan, Do, Check, Act cyclus eenmaal op toetsniveau. Bijvoorbeeld als examencommissie willen we de betrouwbaarheid van een toets waarborgen. Dit doen we door een gemaakte toetsstandaard door een collega te laten controleren voordat deze wordt afgenomen. We laten de toets afnemen en vragen de docent een betrouwbaarheidsanalyse en een itemresponse-analyse te laten doen, en een toelichting te geven aan de examencommissie. Op vakniveau worden alle toelichtingen verzameld en per cluster van vakken worden de meest voorkomende valkuilen gesignaleerd. Er wordt een actieplan gemaakt voor wat er de volgende keer anders moet. Het evaluatiesysteem en het slagingspercentage van de vakken worden ingezet om de conclusies die getrokken zijn op toetsniveau te onderbouwen. Indien de regel goed uitpakt, kan men overwegen deze maatregelen standaard op te nemen in het toetsbeleid. Zo niet dan volgt er een nieuwe cyclus met een andere aanpak. Jaarlijks worden de bevindingen vastgelegd. Er moet besloten worden op welk detailniveau men verslaglegging wil doen in het jaarverslag. Als de maatregelen
26
standaard in het toetsbeleid komen, is er dan professionalisering nodig van de betrokken docenten en/of hoe houden we iedereen als examencommissie bij de les? De rol van de examencommissie zit dan veel meer in de pro-activiteit van de examencommissie en het initiatief van de voorzitter en zijn/ haar afgevaardigden ten aanzien van de kwaliteitszorg.
Pro-actieve rol examencommissies De rol van de examencommissie wordt pro-actiever. Het volgen van ontwikkelingen binnen en buiten de organisatie die de kwaliteit van de examinering kunnen verbeteren, wordt belangrijker naarmate er
27
meer maatschappelijke restricties worden doorgevoerd. Het korten op budgetten, grotere groepen studenten, studierendementseisen, compensatoire toetsen en de strengere beoordeling van de toetskwaliteit, vragen om een actieve benadering van de examencommissie. Immers, er wordt ondanks de druk op het onderwijs wel verwacht dat de kwaliteit van de toetsing hetzelfde blijft of zelfs verbetert. Dit kan alleen als er ook actief gezocht wordt naar nieuwe manieren van inrichting van het hele toetssysteem.
•m ede beleid vormen n.a.v. bijzondere studentverzoeken o.a. door concept-uitspraken te bespreken; •w aarnemen van de voorzitter bij afwezigheid (voor het ondertekenen van diploma’s, overleggen en besluiten omtrent individuele studentverzoeken; • in zitting behandelen plagiaat en fraude. In geval van beroepszaken bij College van Beroep voor Examens (CBE): zitting met de student tot onderzoek van mogelijke minnelijke schikking en, indien deze niet overeen wordt gekomen, de hierop volgende zitting bij het CBE.
Dit houdt in dat de examencommissie actief signaleert welke risico’s en bedreigingen met betrekking tot de toetskwaliteit (inhoud en organisatie) ontstaan. De examencommissies zullen worden geacht initiatieven te nemen ter verbetering op beleids- en uitvoeringsniveau. Daartoe zal zij via seminars en andere activiteiten de kennis van toetsing en de maatschappelijke ontwikkelingen rondom toetsing voortdurend moeten scholen.
De rol van de voorzitter en zijn/haar afgevaardigden De voorzitter is eindverantwoordelijk voor uitvoer van examencommissietaken en het door de commissie als geheel vormgeven van beleid. In beginsel vertegenwoordigt de voorzitter de commissie, echter ieder lid van de examencommissie wordt bereid geacht te acteren als schakel met de sectie en/of de opleiding waarbinnen wordt gedoceerd, hetgeen positief kan bijdragen aan: •o rganisatiebrede bekendheid van de examencommissie en haar procedures; • c reëren van bewustzijn van nut en noodzaak rondom kwaliteitsmanagement van toetsing; • beleidsontwikkeling geschoeid op kennis van de huidige situatie; • mede vormgeven aan een jaarverslag examencommissie; • mede vormgeven aan een jaarplan examencommissie; •p rojectmatig, volgens jaarplan, mede vormgeven aan het kwaliteitsmanagmentsysteem rondom toetsinhoud en -organisatie;
28
29
Quickscan; 16 Indicatoren voor takenpakket examencommissies In hoofdstuk 1 werd aangegeven dat een belangrijke taak van de examencommissies is na te gaan of zij voldoende is toegerust om de eindkwaliteit van de diploma’s te waarborgen. De inspectie van het onderwijs heeft een overzicht vastgesteld van 16 indicatoren waarmee wordt gekeken of de examencommissies in HO/WO aannemelijk kunnen maken of zij toegerust zijn om de eindkwaliteit van diploma’s te waarborgen. De 16 indicatoren zijn uitgezet in een onderzoek in het hoger onderwijs. De indicatoren zijn de volgende: 1. Er is toetsbeleid dat wordt uitgevoerd (en geëvalueerd). 2. Er zijn richtlijnen en procedures voor beoordeling en normering. Ze worden uitgevoerd. 3. De kwaliteit van toetsen wordt onderzocht. 4. In de examencommissie is in ruime mate kennis over het eindniveau en de weg daar naar toe (toetsen). Er wordt hier gekeken naar Dublin descriptoren, inhoud en toetsvormen. 5. In de examencommissie is in ruime mate kennis aanwezig over het toetsen (valide, betrouwbaar, transparant en efficiënt). 6. In de examencommissie is in ruime mate kennis aanwezig van het wettelijk kader. 7. De examencommissies neemt besluiten zonder druk van het opleidingsmanagement. 8. De examencommissie zorgt ervoor dat er geen druk wordt uitgeoefend op examinatoren om een bepaald oordeel te geven. 9. De examencommissie treft maatregelen om fraude te voorkomen. 10. De examencommissie staat garant voor de validiteit van de toetsen, zij meet kennis, vaardigheden en competenties. 11. De examencommissie staat garant voor de betrouwbaarheid van de toetsen (consistent en nauwkeurig). 12. De examencommissie gaat na of docenten competent zijn op het gebied van toetsen (samenstellen, afnemen en beoordelen). 13. Taken en verantwoordelijkheden van de examencommissies zijn vastgelegd in de OER.
30
14. D e examencommissie verleent vrijstelling op basis van een vaste procedure. 15. De examencommissie brengt regelmatig verslag uit van haar werkzaamheden aan betrokkenen. 16. De examencommissie heeft voldoende tijd om haar taken uit te voeren. In het hoger onderwijs blijkt dat indicatoren 3, 5, 6, 10, 11 en 12 vaak onvoldoende worden gescoord. Dat betekent dat de kwaliteit van toetsen in het algemeen en op betrouwbaarheid/validiteit niet of nauwelijks wordt onderzocht. Men is niet op de hoogte van de professionaliteit van docenten t.a.v. toetsen. Er is bovendien te weinig kennis in de examencommissie zelf om de professionaliteit en de kwaliteit van toetsing te kunnen beoordelen.
31
Communicatie rondom de taakstructuur van examencommissies
Een algemene omschrijving zou als volgt kunnen zijn:
Opmerkelijk is dat de communicatie (hoewel in grote lijnen hetzelfde) naar studenten rondom de taken van de examencommissies niet eenduidig worden weergegeven op de websites van de TU Delft. Het zou de transparantie van de examencommissietaken vergroten als er een overkoepelende beschrijving zou zijn voor alle examencommissies aan de TU Delft. Immers haar rol verschilt niet per faculteit, wel de invulling die eraan wordt gegeven in samenhang met het toetssysteem van de faculteit of opleiding.
De examencommissie is belast met de organisatie en coördinatie van de tentamens.
Nemen we kennis van huidige websites dan blijkt bijvoorbeeld dat er bij TNW en EWI voor elke opleiding een sub-examencommissie onder verantwoordelijkheid van de examencommissie is, belast met de organisatie en de coördinatie van de tentamens en examens. Voor het afnemen van tentamens wijst de sub-examencommissie examinatoren aan. Bij IO regelt een sub-examencommissie technische en procedurele kwesties rondom afstuderen en individuele vragen van studenten en docenten rondom examenprogramma’s en regelgeving. Bij CT zijn de sub-examencommissies louter voor het vaststellen van de BSc en MSc examens ingesteld. Het kan zijn dat het in de praktijk op hetzelfde neer komt, maar dit blijkt niet direct uit de beschrijving. Daarom stellen we centrale stroomlijning voor rondom de communicatie met betrekking tot de taken die een examencommissie wettelijk dient uit te voeren. De uiteindelijke realisatie blijft natuurlijk bij de faculteit.
Realiseer een eenduidige TU brede communicatie over de rollen/taken van examencommissies
32
Dit betekent dat zij: • r ichtlijnen opstelt voor de beoordeling en de vaststelling van de tentamens; • z ak- en slaagregelingen vaststelt voor de examens; •d e uitslagen van de verschillende examens vaststelt aan de hand van de geldende zak- en slaagregelingen; •d e regels vaststelt voor de goede gang van zaken tijdens de tentamens en de in dat verband te nemen maatregelen; • r egels vaststelt met betrekking tot het verlenen van het predicaat ‘met lof’; • k lachten over onderwijs en tentamens (met inbegrip van gevallen van fraude of plagiaat) behandelt; • v erzoeken om vrijstelling behandelt en verzoeken van studenten die in aanmerking denken te komen voor een afwijking van de regels behandelt (bijvoorbeeld een extra herkansingstentamen door ziekte, overmacht of bijzondere familieomstandigheden, of een afwijkende afstudeercommissie); •e xaminatoren jaarlijks aanwijst en benoemt; •b eslist of een student in aanmerking komt voor een of meer vrijstellingen; •b eslist over de waardering van vakken die aan een buitenlandse universiteit zijn behaald (in studiepunten en in cijferwaardering) alsmede over de waardering van een buitenlandse stage; •b eslist op individuele verzoeken tot afwijken van het in de Uitvoeringsregeling opgenomen examenprogramma.
33
H4. Onafhankelijkheid van de examencommissies Inleiding De wet schrijft voor dat de examencommissie (functioneel) onafhankelijk en deskundig is. Vanuit het oogpunt van transparantie, onafhankelijkheid en professionalisering is het aan te bevelen dat gebruik wordt gemaakt van externe deskundigheid.
Onafhankelijkheid borging feit/fictie
Onafhankelijkheid van de examencommissies is bepalend voor de invloed van de examencommissies op de toetskwaliteit. Deze onafhankelijkheid wordt bepaald door de interne cultuur van een instellings-/facultair/opleidingssysteem
34
In juni 2011 gehouden discussie onder onderwijsdirecteuren, examencommissies en andere betrokkenen bij het formuleren van toetsbeleid is gevraagd naar een drietal stellingen. Deze hebben te maken met de onafhankelijkheid van de examencommissie en haar rol ten opzichte van verantwoordelijke collega’s zoals decaan en directeur onderwijs7. De stellingen bieden inzicht in wat de onafhankelijkheid van de examencommissie in zou kunnen houden. Deze drie stellingen waren: 1. Als gevolg van de wetswijziging Wet Versterking Bestuur dient de functie, organisatie en structuur van examencommissies centraal geregeld te worden. 2. Directeur onderwijs is verantwoordelijk voor de kwaliteit van het onderwijsprogramma en de examencommissie is verantwoordelijk voor de kwaliteit van toetsen: dit matcht in de praktijk niet. 3. Na de decaan heeft de directeur onderwijs ten aanzien van toetsbeleid altijd het laatste woord. De stellingen konden beantwoord worden met eens/oneens/weet niet.
7 Het betrof hier een bijeenkomst met onderwijsdirecteuren, facultaire contactpersonen toetsbeleid, examencommissieleden en CvB–lid Paul Rullmann. Totaal 25 personen. Het ging in deze discussie niet om het gelijk hebben, maar om te illustreren wat de kern van de discussie is.
35
Centrale rol/taakbeschrijving examencommissies Als
gevolg
van
de
wetswijziging
Wet
Onafhankelijkheid examencommissie
versterking
besturing dient de functie, organisatie en structuur van examencommissies centraal geregeld te worden. (stelling 1) De eerste stelling gaat uit van het idee, dat centraal wordt vastgelegd wat de organisatie/structuur is van een examencommissie (wie mogen er zitting hebben in sub-examencommissies) en en wat de functie (welke taken dienen zij te vervullen). 48%, dat is 12 van de 25 stemmers was het hier mee eens, mits de invulling van de uitvoering decentraal blijft. Een profiel waarop examencommissieleden worden gekozen voor hun geschiktheid zou helpen om centraal invulling te geven aan de organisatie/structuur van de examencommissies. Een globale omschrijving van de taken/verantwoordelijkheden van (sub)examencommissies kan helpen een meer TU Delft-achtig systeem t.a.v. toetsbeleid te ontwikkelen.
Directeur onderwijs is verantwoordelijk voor de kwaliteit van het onderwijs en de examencommissie is verantwoordelijk voor de kwaliteit van de toetsen: dit matcht in de praktijk niet (multiple choice). (stelling 2) Stelling 2 riep de nodige discussie op, omdat de stelling niet geheel duidelijk is. Eens en oneens zijn hier 39 respectievelijk 35 procent. Toch is de vraag relevant. Een directeur onderwijs is belast met het realiseren van een goed programma, toetsen is daar een integraal en essentieel onderdeel van.
Tegelijkertijd
wordt
de
examencommissie
gevraagd
de kwaliteit van de toetsing te monitoren en is zij medeverantwoordelijk voor het realiseren van “goed toetsbeleid”, kwaliteit van de certificering, etc. Hoe liggen nu de onderlinge verhoudingen?
36
37
Er was geen heldere gedachte over de onafhankelijkheid van de examencommissies daar er verschillende rollen en belangen door elkaar heen lopen. Bij IO was de directeur onderwijs een tijdlang voorzitter van de examencommissie8. In het kader van goede en efficiënte afstemming lijkt dit op het eerste gezicht handig. Echter tegelijkertijd leidt dit tot frictie met betrekking tot de Wet versterking besturing, omdat onafhankelijkheid niet gewaarborgd kan worden in een en dezelfde persoon. Bij 3mE bleek een examencommissielid ook verantwoordelijk voor de uitvoering van de BSA, ook hier ontstaat rolverstrengeling. Bij de faculteit Bouwkunde werd gezegd; ‘nee, de hoogleraar is eindverantwoordelijk voor de inhoud van het onderwijs van zijn vakgroep en dus ook voor de kwaliteit van de toetsing’. Daar lijkt een duidelijker formele scheiding te ontstaan tussen rollen en verantwoordelijkheden. Paul Rullmann heeft echter scherp neergezet in de discussie wat het essentieel verschil is tussen de verschillende partijen (examencommissies, directeur onderwijs, decaan, hoogleraren). Hij maakte een vergelijking met de 1e en 2e kamer der Staten Generaal. De 2e kamer is verantwoordelijk voor wetgeving samen met de regering. De 1e kamer heeft beperktere bevoegdheden; zij • let op of ingediende wetsvoorstellen technisch functioneren; • kan interpelleren op de inhoud van beleid en in het ergste geval; • een motie van wantrouwen indienen; • tot slot heeft zij altijd het recht op informatie. Het benadrukt de rol van de examencommissie die men met de Wet versterking besturing helder heeft willen maken. Namelijk dat de examencommissie borgt dat toegekende studiepunten en/of getuigschriften een openbare verklaring vormen voor de waarde van het diploma dat een instelling uitgeeft. Deze veronderstelling is gebaseerd op integriteit. Volgens de onderwijsinspectie kan deze alleen worden gerealiseerd door twee kernwaarden: deskundigheid van de examinator en belangeloosheid. Let wel de directeur onderwijs is op het moment van publiceren van dit document niet langer voorzitter van de examencommissie, als gevolg van de invoering van de nieuwe W.H.W.
8
38
Het systeem van checks and balances waarin de betrouwbaarheid van een oordeel wordt toevertrouwd aan een deskundig docentexaminator en de examencommissie de collegiale controle uitvoert, wordt achterhaald door de huidige ontwikkelingen in de samenleving. Enerzijds is de betrouwbaarheid en validiteit niet voldoende transparant (denk aan de invloed van internet en “nieuwe” didactische werkvormen zoals projectonderwijs) en anderzijds is door de financiële structuur van het hoger onderwijs de belangeloosheid steeds meer onder druk komen te staan. In de wet heeft men geprobeerd dit te repareren met maatregelen9 waarin de: • transparantie van een opererende examencommissie is gewaarborgd •w et en regelgeving met name omtrent de samenstelling van de examencommissies beter worden nageleefd. • rol en bevoegdheid van examencommissies geïntensiveerd zijn • v erantwoording van de werkzaamheden van de examencommissie in een jaarverslag wordt vastgelegd, inclusief maatregelen die de waarde van het getuigschrift borgen • v erantwoording wordt afgelegd aan de bestuursorganen en in het jaarverslag van de instelling •e xamencommissie een intensievere rol krijgt toegekend in de toezicht cyclus rondom toetskwaliteit. De keuze voor een externe deskundige als objectief beoordelaar van de kwaliteit van toetsing kan een extra impuls geven om juist de verantwoording omtrent de waarde van een getuigschrift beter te onderbouwen met objectieve feedback. Zoals eerder aangegeven heeft de faculteit Luchtvaart- en Ruimtevaarttechniek hier al een aanzet gegeven. Ook in het HBO definieert men de onafhankelijkheidals objectieve beoordeling van de toetskwaliteit; met andere woorden daar gaat men uit dat per definitie externe deskundigen betrokken zijn om te controleren of toetsen van voldoende kwaliteit zijn.
9
Rapport onderwijsinspectie 39
De directeur onderwijs heeft ten aanzien van toetsbeleid altijd het laatste woord. (stelling 3)
Tot slot de laatste stelling ‘Na de decaan heeft de directeur onderwijs ten aanzien van toetsbeleid altijd het laatste woord’. 67% is het hier mee oneens. In het volgende voorbeeld van de faculteit bouwkunde spreekt de examencommissie haar oordeel uit over drie wezenlijke aspecten van toetsen zoals aangegeven in het bouwkunde toetsbeleid. Voorbeeld stroomschema toetsbeleid faculteit bouwkunde (Marieke Brink)
Is de examencommissiemedeverantwoordelijk voor: • kwaliteitsbewaking toetsbeleid • kwaliteitsbewaking toetsen • regels en richtlijnen voor toetsing? Zij doet hierover ‘voldoende geïnformeerd’ een uitspraak, maakt een rapportage en geeft een oordeel aan de hand van een aantal relevante instrumenten. In onderstaand schema (met dank aan Marike Brink) wordt aangegeven op basis van welke informatie een oordeel tot stand komt.
40
Wat meteen opvalt, is dat de examencommissie het recht heeft van advies en beoordeling over het programma dat is opgesteld door de opleidingsdirecteur, directeur onderwijs en decaan. Maar wat zijn haar middelen wanneer een bepaald type toetsbeleid/RRvE niet nageleefd wordt? Kan zij dwingend stellen dat de maatregelen die zij voorstelt ook uitgevoerd dienen te worden? Kan zij bij een curriculumprogrammering de voorgestelde toetsing blokkeren omdat de kwaliteit onvoldoende is? Kan zij examinatoren weigeren? Kortom, formeel gezien zou de examencommissie hier het laatste woord moeten hebben.
41
En dat heeft zij ook wanneer: • de naleving van de kwaliteitseisen worden vastgelegd in de regels en richtlijnen voor examens, • examinatoren worden geweigerd bij herhaaldelijk falen op toetskwaliteit aspecten,
Rollen in de examencommissie: • De voorzitter • De waarnemend voorzitter • Leden (meestal docenten, UD/hoogleraar) • Adviseurs (zonder recht op stemming/inspraak) • Een ambtelijk secretaris
• een examencommissie weigert een cijfer toe te kennen aan een tentamen dat van onvoldoende kwaliteit is en waarbij een eerlijke afname van het examen niet geborgd is. In de praktijk wordt de soep gelukkig niet zo heet gegeten. Informeel zal de examencommissie in goed overleg met de directeur onderwijs/ decaan en/of de hoogleraar in de lijn een antwoord moeten zoeken bij problematische kwaliteit van toetsing en het toetssysteem. Toch is het belangrijk een helder protocol te hebben over hoe een examencommissie kan/mag ingrijpen bij situaties waar een conflict optreedt.
Tegen de achtergrond van de belangeloosheid bij het toekennen van studiepunten of een diploma zou het goed zijn als alleen de blauwe gearceerde rollen in onderstaand lijstje een permanente adviesrol hebben in de examencommissie en de andere adviseurs bij specifieke situaties worden gevraagd deel te nemen aan de vergadering. Het is UITDRUKKELIJK ONGEWENST dat een opleidingsdirecteur, onderwijsdirecteur, decaan, manager O&S, onderwijsadviseur lid is van de examencommissie9.
De (sub-)examencommissies worden vaak versterkt door verschillende adviseurs: • Een opleidingsdirecteur • (Een) studieadviseur(s) • De manager O&S • Onderwijsdirecteur/adviseur • Een student • Administratieve ondersteuning/secretaresse De aanstellingsperiode van de (sub-)examencommissieleden is wisselend van 2 jaar tot 6 jaar tot oneindig (geen afspraak). In het laatste geval is er geen formele mogelijkheid een examencommissielid uit zijn functie te zetten bij disfunctioneren in de examencommissie10.
Conclusies Uit bovenstaande beschouwing blijkt vooral hoe belangrijk het is om de rol van de examencommissie nog meer zichtbaar en transparant te maken binnen de instelling. De examencommissie dient te zorgen dat een opleiding intern als kwalitatief hoogwaardig wordt gezien en de decaan, directeur onderwijs, opleidingsdirecteur en het managementteam te voorzien van relevante informatie rondom de toetskwaliteit en de waarde van het diploma. Dit kan zij alleen als het systeem ruimte geeft voor onafhankelijkheid van de examencommissie voor een valide, betrouwbare en transparante uitvoering van haar taken.
De examencommissieleden zijn NU in het algemeen onderwijsgevenden uit de opleiding variërend van hoogleraar tot UD. 10 ‘Onderzoek naar het functioneren van examencommissies in het hoger onderwijs: rapportage van de belangrijkste resultaten, Inspectie van het onderwijs, februari 2002’
42
43
Aanbevelingen onafhankelijkheid examencommissies Richtlijn voor de decaan •E r kunnen geen financieel verantwoordelijken zitting nemen in de examencommissies. •B orging onafhankelijkheid van de examencommissies is ook een taak van de decaan. •Z org dat er externe deskundigen betrokken zijn bij de beoordeling van de toetskwaliteit. •Z org voor voldoende facilitering voor het uitvoeren van de wettelijke taken van de examencommissie.
Richtlijn voor examencommissies •D efinieer de status van de leden van de commissie, welke rollen vervullen zij? Interfereren deze rollen met de taken van de examencommissie volgens de nieuwe wetgeving? •V raag bij de directeur onderwijs/opleidingsdirecteur een matrix met duidelijk overzicht van beslissingsbevoegdheid m.b.t. toetsing.
44
45
46
Bijlage 1. Punten Strategie Nota Halbe Zijlstra
Bijlage 2. Wet versterking besturing per 1 september 2010
•V isitatie panels worden door de NVAO benoemd en leggen lesbezoek af, waarbij het onderwijsconcept (eindtermen, leerdoelen, onderwijsvorm, toetsing) wordt beoordeeld •D e onderdelen “gerealiseerd eindniveau” en “ wijze van examinering” zullen in de toekomst 2 prestatie indicatoren zijn in de accreditatie en beide zullen voldoende moeten scoren. •E r wordt door de visitatiecommissie gekozen uit een lijst met beschikbare afstudeerwerken •D e geldigheidsduur van de beperkte opleidingstoets wordt alleen toegekend bij verdiend vertrouwen in de kwaliteitszorg van betrokken instelling. •D e inspectie krijgt een extra rol toegekend bij de wettelijke waarborgen voor kwaliteit van onderwijs en de toekenning diploma’s, zoals; het OER, de examencommissies, de interne kwaliteitszorg en de werking van medezeggenschap. De informatie uit een inspectieonderzoek (tussen twee accreditatieperiodes) zullen input vormen voor de visitatie ronde. Bij ernstige twijfel kan de toegekende accreditatie worden ingetrokken. •B ij niet naleven van wet en regelgeving kunnen bekostiging sancties worden getroffen (belangrijk voor wet versterking bestuur hoger onderwijs) • I n elke examencommissie moeten externe deskundigen participeren. Managers met financiële verantwoordelijkheden mogen geen lid zijn van de examencommissie.
Artikel 7.12. Examencommissie 1. Elke opleiding of groep van opleidingen aan de instelling heeft een examencommissie. 2. De examencommissie is het orgaan dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs- en examenregeling stelt ten aanzien van kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad. Artikel 7.12a. Benoeming en samenstelling examencommissie 1. Het instellingsbestuur stelt de examencommissie in en benoemt de leden op basis van hun deskundigheid op het terrein van de desbetreffende opleiding of groep van opleidingen. Ten minste één lid is als docent verbonden aan de opleiding of aan een van de opleidingen die tot de groep van opleidingen behoort. 2. Het instellingsbestuur draagt er zorg voor dat het onafhankelijk en deskundig functioneren van de examencommissie voldoende wordt gewaarborgd. 3. Alvorens tot benoeming van een lid over te gaan, hoort het instellingsbestuur de leden van de desbetreffende examencommissie. Artikel 7.12b. Taken en bevoegdheden examencommissie 1. Naast de taken en bevoegdheden, bedoeld in de artikelen 7.11 en 7.12, tweede lid, heeft een examencommissie de volgende taken en bevoegdheden: a. het borgen van de kwaliteit van de tentamens en examens onverminderd artikel 7.12c, b. het vaststellen van richtlijnen en aanwijzingen binnen het kader van de onderwijs- en examenregeling, bedoeld in artikel 7.13, om de uitslag van tentamens en examens te beoordelen en vast te stellen, c. het door de meest daarvoor in aanmerking komende
47
2.
3.
4.
5.
examencommissie verlenen van toestemming aan een student om een door die student samengesteld programma als bedoeld in artikel 7.3d te volgen, waarvan het examen leidt tot het verkrijgen van een graad, waarbij de examencommissie tevens aangeeft tot welke opleiding van de instelling dat programma wordt geacht te behoren voor de toepassing van deze wet, en d. h et verlenen van vrijstelling voor het afleggen van één of meer tentamens. Indien een student of extraneus fraudeert, kan de examencommissie de betrokkene het recht ontnemen één of meer door de examencommissie aan te wijzen tentamens of examens af te leggen, gedurende een door de examencommissie te bepalen termijn van ten hoogste een jaar. Bij ernstige fraude kan het instellingsbestuur op voorstel van de examencommissie de inschrijving voor de opleiding van de betrokkene definitief beëindigen. De examencommissie stelt regels vast over de uitvoering van de taken en bevoegdheden, bedoeld in het eerste lid, onderdelen a, b en d, en het tweede lid, en over de maatregelen die zij in dat verband kan nemen. De examencommissie kan onder door haar te stellen voorwaarden bepalen dat niet ieder tentamen met goed gevolg afgelegd hoeft te zijn om vast te stellen dat het examen met goed gevolg is afgelegd. Indien een student bij de examencommissie een verzoek of een klacht indient waarbij een examinator betrokken is die lid is van de examencommissie, neemt de betrokken examinator geen deel aan de behandeling van het verzoek of de klacht. De examencommissie stelt jaarlijks een verslag op van haar werkzaamheden. De examencommissie verstrekt het verslag aan het instellingsbestuur of de decaan.
Artikel 7.12c. Examinatoren 1. Voor het afnemen van tentamens en het vaststellen van de uitslag daarvan wijst de examencommissie examinatoren aan.
48
2. De examinatoren verstrekken de examencommissie de gevraagde inlichtingen. Artikel 7.13. Onderwijs- en examenregeling 1. Het instellingsbestuur stelt voor elke door de instelling aangeboden opleiding of groep van opleidingen een onderwijs- en examenregeling vast. De onderwijs- en examenregeling bevat adequate en heldere informatie over de opleiding of groep van opleidingen. 2. In de onderwijs- en examenregeling worden, onverminderd het overigens in deze wet ter zake bepaalde, per opleiding of groep van opleidingen de geldende procedures en rechten en plichten vastgelegd met betrekking tot het onderwijs en de examens. Daaronder worden ten minste begrepen: a. de inhoud van de opleiding en van de daaraan verbonden examens, b. de inhoud van de afstudeerrichtingen binnen een opleiding, c. de kwaliteiten op het gebied van kennis, inzicht en vaardigheden die een student zich bij beëindiging van de opleiding moet hebben verworven, d. waar nodig, de inrichting van praktische oefeningen, e. de studielast van de opleiding en van elk van de daarvan deel uitmakende onderwijseenheden, f. de nadere regels, bedoeld in de artikelen 7.8b, zesde lid, en 7.9, vijfde lid, g. ten aanzien van welke masteropleidingen toepassing is gegeven aan artikel 7.4a, achtste lid, h. het aantal en de volgtijdelijkheid van de tentamens alsmede de momenten waarop deze afgelegd kunnen worden, i. de voltijdse, deeltijdse of duale inrichting van de opleiding, j. waar nodig, de volgorde waarin, de tijdvakken waarbinnen en het aantal malen per studiejaar dat de gelegenheid wordt geboden tot het afleggen van de tentamens en examens, k. waar nodig, de geldigheidsduur van met goed gevolg
49
50
afgelegde tentamens, behoudens de bevoegdheid van de examencommissie die geldigheidsduur te verlengen, l. o f de tentamens mondeling, schriftelijk of op een andere wijze worden afgelegd, behoudens de bevoegdheid van de examencommissie in bijzondere gevallen anders te bepalen, m. de wijze waarop lichamelijk of zintuiglijk gehandicapte studenten redelijkerwijs in de gelegenheid worden gesteld de tentamens af te leggen, n. de openbaarheid van mondeling af te nemen tentamens, behoudens de bevoegdheid van de examencommissie in bijzondere gevallen anders te bepalen, o. de termijn waarbinnen de uitslag van een tentamen bekend wordt gemaakt alsmede of en op welke wijze van deze termijn kan worden afgeweken, p. de wijze waarop en de termijn gedurende welke degene die een schriftelijk tentamen heeft afgelegd, inzage verkrijgt in zijn beoordeelde werk, q. de wijze waarop en de termijn gedurende welke kennis genomen kan worden van vragen en opdrachten, gesteld of gegeven in het kader van een schriftelijk afgenomen tentamen en van de normen aan de hand waarvan de beoordeling heeft plaatsgevonden, r. de gronden waarop de examencommissie voor eerder met goed gevolg afgelegde tentamens of examens in het hoger onderwijs, dan wel voor buiten het hoger onderwijs opgedane kennis of vaardigheden, vrijstelling kan verlenen van het afleggen van een of meer tentamens, s. waar nodig, dat het met goed gevolg afgelegd hebben van tentamens voorwaarde is voor de toelating tot het afleggen van andere tentamens, t. waar nodig, de verplichting tot het deelnemen aan praktische oefeningen met het oog op de toelating tot het afleggen van het desbetreffende tentamen, behoudens de bevoegdheid van de examencommissie vrijstelling van die
verplichting te verlenen, al dan niet onder oplegging van vervangende eisen, u. de bewaking van studievoortgang en de individuele studiebegeleiding. 3. In de onderwijs- en examenregeling wordt met het oog op de doorstroming van personen aan wie een graad als bedoeld in artikel 7.10a, eerste lid, is verleend, voor elke bacheloropleiding in het wetenschappelijk onderwijs of in een voorkomend geval voor een afstudeerrichting binnen een bacheloropleiding ten minste een masteropleiding aangewezen die aansluit op die bacheloropleiding of die afstudeerrichting. 4. De in het derde lid bedoelde masteropleiding wordt aan de desbetreffende universiteit aangeboden, tenzij er uitzonderlijke redenen zijn waardoor dit niet mogelijk is. In dat geval kan het instellingsbestuur van deze universiteit met een andere universiteit overeenkomen dat de betreffende masteropleiding aan die andere universiteit wordt aangeboden. De desbetreffende overeenkomst regelt de wijze waarop de doorstroming van personen, bedoeld in het derde lid, wordt gewaarborgd. De overeenkomst behoeft de voorafgaande instemming van de medezeggenschapsorganen van de betrokken universiteiten. Artikel 7.14. Beoordeling onderwijs- en examenregeling Het instellingsbestuur draagt zorg voor een regelmatige beoordeling van de onderwijs- en examenregeling en weegt daarbij, ten behoeve van de bewaking en zo nodig bijstelling van de studielast, het tijdsbeslag dat daaruit voor de studenten voortvloeit.
51
Bijlage 3
Profiel Examencommissielid
Functieprofiel Examencommissielid Pagina 1 van 3 Functieprofiel Examencommissielid
Doel van de functie Het Examencommissielid is samen met zijn medecommissieleden verantwoordelijk voor de borging van de kwaliteit van de examinering. De examencommissie geeft aan die verantwoordelijkheid inhoud door: •H et signaleren van risico’s die de kwaliteit van de examinering bedreigen en voorstellen te doen aan het bevoegd gezag om die risico’s te beperken. •H et volgen van ontwikkelingen binnen en buiten de organisatie die de kwaliteit van de examinering kunnen verbeteren. •V ast te stellen of een examendeelnemer voldoet aan de voorwaarden voor het verkrijgen van een diploma.
Plaats van de functie in de organisatie De Examencommissie is een adviesorgaan van het bevoegd gezag van een organisatie die gerechtigd is examens af te nemen en diploma’s te verstrekken. Het bevoegd gezag stelt de beleidskaders vast waarbinnen het examencommissielid zijn werkzaamheden uitvoert. De samenstelling en werkwijze van de examencommissie staan borg voor de onafhankelijkheid van het examencommissielid. De examencommissie legt over diens bevindingen ten aanzien van de kwaliteit van de examinering verantwoording af aan het bevoegd gezag en andere belanghebbenden. De examencommissie is eindverantwoordelijk voor de kwaliteit van de examens waarbij het vaststellen van die kwaliteit veelal gedelegeerd is aan een vaststellingscommissie. De examencommissie evalueert de deskundigheid van de bij de examinering betrokkenen* en de kwaliteit van hun werkzaamheden.
52
Kennis, vaardigheden en eigenschappen Kennis •H eeft kennis van de wet- en regelgeving geldende voor de (onderwijs)organisatie, het bedrijf of de branche waarvoor het examencommissielid zijn werkzaamheden uitvoert. •H eeft kennis van de onderwijsvisie, de didactische werkvormen, de inhoud en het niveau van het onderwijs of de opleiding(en) waarvoor het examencommissielid zijn werkzaamheden uitvoert. *B ij de examinering betrokkenen: examencommissieleden, constructeurs, toetsvaststellers, examinatoren/assessoren, surveillanten en medewerkers examenbureau Functieprofiel Examencommissielid Pagina 2 van 3 •H eeft kennis van de kerndoelen, examenprogramma’s of kwalificatiedossiers van het onderwijs of de opleiding(en) waarvoor het examencommissielid zijn werkzaamheden uitvoert. •H eeft inhoudelijke kennis van beoordelingssystemen voor de kwaliteit van toetsen en examens, zoals de systemen van Cotan en de Inspectie van het Onderwijs, die door een beroepsgroep en/of overheden onderschreven worden. •H eeft kennis van de meest gebruikte vraag- en examenvormen. •H eeft kennis van de constructie van examens door toetsconstructeurs. •H eeft kennis van het vaststellen van examens door toetsvaststellers. •H eeft kennis van het plannen en afnemen van examens. •H eeft kennis van het corrigeren/beoordelen van examens. •H eeft kennis van het beheer van persoonlijke gegevens en examenresultaten van examendeelnemers. •H eeft kennis van de door de organisatie gehanteerde regels en procedures met betrekking tot diplomering. •H eeft kennis van de functieprofielen van de bij examinering betrokkenen*. •H eeft kennis van statistische analyses van examens •H eeft kennis van klachtenprocedures.
53
•H eeft kennis van fraudepreventie. •H eeft, als extern lid, bij voorkeur specifieke kennis op een gebied (bijvoorbeeld onderwijskunde, rechten, organisatiekunde.)
in het Nederlands en mogelijk in een andere taal indien de werkzaamheden dat vereisen. •K an effectief vergaderen.
Beroepsvaardigheden •K an bepalen of het examen (of het totaal aan toetsen) wat betreft inhoud en complexiteit representatief is voor de kerndoelen, examenprogramma’s of kwalificatiedossiers •K an beoordelen of het examen voldoet aan de criteria van het gehanteerde beoordelingssysteem voor de kwaliteit van examens. •K an de werkzaamheden van de examencommissie prioriteren, plannen, uitvoeren, evalueren en verbetervoorstellen doen. •K an regels en procedures met betrekking tot examinering. opstellen, implementeren, evalueren en verbetervoorstellen doen. •K an adviseren bij het maken van afwegingen tussen kwaliteit en kostenbeheersing. (bijvoorbeeld examens inkopen versus zelf ontwikkelen, korte versus lange examens) •K an de deskundigheid en werkwijze van de bij de examinering betrokkenen* evalueren. Kan n.a.v. bedoelde evaluatie verbeteracties voorstellen en feedback geven aan de betrokkenen. •K an verantwoorden dat de beslissing tot diplomeren op terechte gronden is/wordt genomen. •K an gemandateerde beslissingen nemen bij fraude, klachten, overmachtsituaties, verzoeken tot vrijstelling of alternatieve examinering en andere onvoorziene situaties rondom de examinering.
Sociale vaardigheden •K an functioneren in teamverband in een examencommissie. •K an opdrachtgevers adviseren Persoonlijke eigenschappen •K an zijn werkzaamheden n.a.v. zelfreflectie aanpassen. •K an zijn werkzaamheden n.a.v. feedback, kritiek en scholing aanpassen. •K an zijn werkzaamheden n.a.v. veranderende onderwijsvisies aanpassen. •K an zijn standpunt beargumenteren en desgewenst verdedigen •K an vertrouwelijk omgaan met persoonlijke gegevens van examendeelnemers en zaken met betrekking tot de examinering. Functieprofiel Examencommissielid 01-mrt-2011 Cito, J.J. Adema Researchcentrum voor Examinering en Certificering, Dr. P.F. Sanders De Groene Campus / Helicon Opleidingen, Ir. J. Jacobs Provex Examens & Audits, A.M.H.M. de Ponti
Functieprofiel Examencommissielid Pagina 3 van 3 Communicatieve vaardigheden •K an eenduidig en genuanceerd communiceren en overleg voeren met het management van de organisatie, de onderwijsinspectie, examendeelnemers (en hun ouders/ verzorgers), en andere belanghebbenden en betrokkenen*. •K an op een correcte wijze mondeling en schriftelijk communiceren
54
55
Bijlage 4 QANU richtlijn voor het schrijven zelfstudierapport voor de beperkte opleidingstoets Standaard 3 Toetsing en gerealiseerde eindkwalificaties Standaard 3: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd. Toelichting: Het gerealiseerde niveau blijkt uit de tussentijdse en afsluitende toetsen, de afstudeerwerken en de wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren. De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijkt.
Algemeen Om een oordeel te kunnen geven over het systeem van toetsing heeft een visitatiecommissie inzicht nodig in de toetsen en toetsvormen die een opleiding hanteert en in de procedures, richtlijnen, criteria en eisen die gelden voor de beoordeling en toetsing. Een opleiding moet daarom volgens het Beoordelingskader voor de beperkte opleidingsbeoordeling de Onderwijs- en Examenregeling als bijlage bij het zelfevaluatierapport voegen en in de informatie over het programma vermelden welke toetsvormen zij gebruikt. Tijdens het bezoek zal de visitatiecommissie andere documenten bestuderen waarin de opleiding beschrijft hoe de toetsing en beoordeling verloopt en welke procedures en richtlijnen zij hanteert. Een visitatiecommissie zal daarnaast een aantal afstudeerwerkstukken (scripties, theses) van recent afgestudeerden
56
bestuderen om zich een beeld te vormen van de daadwerkelijk gerealiseerde eindkwalificaties. Volgens het Beoordelingskader voor de beperkte opleidingsbeoordeling nemen opleidingen een lijst in het zelfevaluatierapport op met de 25 meest recente afstudeerwerkstukken of, wanneer er in die periode minder dan 25 werden voltooid, van alle afstudeerwerkstukken van de afgelopen twee jaar. Die lijst bevat voor elk werkstuk de naam van de student, de titel, de specialisatie of afstudeerrichting van de student (indien van toepassing), de naam van de eerste begeleider, de maand en het jaar waarin het werkstuk werd voltooid en het cijfer. Het systeem van toetsing en beoordeling Het systeem van toetsing en beoordeling dat een opleiding hanteert is zo ingericht dat de opleiding kan vaststellen of studenten de kennis en vaardigheden die in een onderdeel aan de orde kwamen hebben verworven en of ze zich daarmee het deel van de eindkwalificaties die in dat onderdeel aan de orde komen, eigen hebben gemaakt. De toetsvormen zijn dus afgestemd op de leerdoelen en de werkvormen van de verschillende programmaonderdelen. Bij het beantwoorden van de vraag of studenten de leerdoelen van een onderdeel hebben bereikt, is niet alleen de toetsing als zodanig van belang, maar ook de manier waarop de toetsen beoordeeld worden. De beoordeling is consistent en transparant, gebaseerd op duidelijke, vooraf vastgelegde criteria en dus inzichtelijk, ook voor studenten. Ook de organisatie van de toetsing is van belang: de regelingen voor herkansingen en de spreiding van toetsen zijn direct van invloed op de doelmatigheid van het systeem van toetsing en beoordeling. QANU vraagt opleidingen om in de beschrijving van het systeem van toetsing en beoordeling expliciet in te gaan op de manier waarop zij de kwaliteit van de toetsing bewaakt en op de rol daarin van de Examencommissie en om waar mogelijk te verwijzen naar regelingen of procedures voor bijvoorbeeld het beoordelen van opdrachten, werkstukken, presentaties of scripties.
57
De gerealiseerde eindkwalificaties De toetsing en de beoordeling van het afsluitende onderdeel van een programma nemen een bijzondere plaats in, omdat studenten daarin het eindniveau van de opleiding als geheel bereiken. Daarom bestudeert een visitatiecommissie voorafgaand aan een bezoek een aantal recente afstudeerwerkstukken en besteedt zij expliciet aandacht aan de manier waarop zo’n afsluitend onderdeel wordt getoetst en beoordeeld. Een opleiding beschrijft in haar zelfevaluatierapport hoe zij de kwaliteit van afstudeerwerkstukken bewaakt, welke inhoudelijke en formele eisen zij daaraan stelt en welke criteria en procedures zij hanteert bij het beoordelen ervan. Dat studenten die de opleiding hebben afgerond de eindkwalificaties hebben verworven, blijkt ook uit de mate waarin zij voorbereid zijn op de beroepspraktijk. Opleidingen kunnen in hun zelfevaluatierapport beschrijven in welke mate afgestudeerden voorbereid zijn op de arbeidsmarkt, of zij in staat zijn om op korte termijn een functie te vinden die aansluit bij de inhoud en het niveau van de opleiding.
Referenties Een aantal aanvullende documenten zijn ter beschikking voor de officieuze invulling van de wet versterking besturing: •B oekhouder of wakend oog; een reflectie geschreven door de onderwijs inspectie in 2009 •C ommissie Leers/ tussenrapportage inspectie over de taken en bevoegdheden van de examencommissie 2010 • Handreiking examencommissie; HBO raad. 2011 • ‘Onderzoek naar het functioneren van examencommissies in het hoger onderwijs: rapportage van de belangrijkste resultaten’, Inspectie van het onderwijs, februari 2002 • Toetsbeleids Landbouw Universiteit Wageningen (intern document) •T oetsbeleid EUR faculteit bedrijfskunde door Esther Schoen (intern document) Samenvattend geven deze documenten elk vanuit een ander perspectief een invulling aan de taken en bevoegdheden van de examencommissie
Wanneer een opleiding het systeem van toetsing en beoordeling zo heeft ingericht dat bepaalde eindkwalificaties niet in het afsluitende onderdeel, maar al in onderdelen in een eerdere fase voor het laatst worden getoetst, kan zij in haar zelfevaluatierapport aan die onderdelen extra aandacht besteden. Zo stelt zij een visitatiecommissie in staat om zich een compleet beeld te vormen van de manier waarop alle eindkwalificaties van de opleiding worden getoetst en beoordeeld. Een visitatiecommissie kan in zo’n geval naast een aantal afstudeerwerkstukken ook andere toetsen (papers, verslagen, opdrachten) opvragen om zich al voor haar bezoek een goed beeld te kunnen vormen van de gerealiseerde eindkwalificaties.
58
59
Dr. R.G. Klaassen TU Delft, OC Focus Jaffalaan 9a 2628 BX Delft www.ocfocus.tudelft.nl
60
