Kwaliteitsborging van toetsing en beoordeling

Kwaliteitsborging van toetsing en beoordeling Door de examencommissies en toetscommissie FSW

Augustus 2012 Vastgesteld door de examencommissies van de Faculteit Sociale Wetenschappen

Kwaliteitsborging van toetsing en beoordeling FSW

2

Inhoudsopgave Inleiding

3

1.

Het wettelijk kader

4

2.

Examencommissies en toetscommissie binnen FSW

7

2.1 2.2 2.3 2.4

3.

7 8 11 14

Kwaliteitsborging van toetsing en beoordeling: beoordelingskader

16

3.1

17

3.2

4

Naar een nieuwe organisatiestructuur Samenstelling en benoeming van examencommissies en toetscommissie Afbakening van taken en verantwoordelijkheden Reglementering

Toezicht op curriculumniveau: toetsbeleid, toetsplan; studieresultaten en evaluaties Toezicht op cursusniveau: een beoordelingssysteem voor de kwaliteit van toetsen

18

Het toezicht door de examen- en toetscommissie: plan van aanpak

25

4.1 4.2 4.3 4.4

25 26 29 31

Toezicht op curriculumniveau Toezicht op het niveau van de individuele toetsen: steekproeven Toezicht op het niveau van de individuele toetsen: meerjarenplan Toezicht naar aanleiding van klachten van studenten

Bijlagen

32

1.

32

2. 3. 4. 5.

Bepalingen Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) inzake de examencommissie Format voor jaarverslag examencommissies Reglement examencommissies FSW 2011-2012 Functieprofiel leden van examencommissies RCEC Beoordelingssysteem voor toetsen en examens: bepaling van het eindoordeel

34 36 43 45


3

Inleiding Per 1 september 2010 is een – voor het functioneren van examencommissies ingrijpende – wijziging in de Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) van kracht geworden. Deze wijziging heeft onder meer betrekking op de borging van het eindniveau van studenten die gediplomeerd de opleiding verlaten en op de kwaliteit van de toetsing en beoordeling. Daarnaast zijn er wijzigingen in het stelsel van accreditatie en heraccreditatie. De kwaliteit van de toetsingen en examens die een opleiding hanteert en beantwoording van de vraag of afgestudeerden voldoen aan de eindtermen van het programma (of onderdelen daarvan) heeft een veel nadrukkelijker plaats gekregen. Als de kwaliteit van toetsing en beoordeling onder de maat is kan geen accreditatie worden verleend of wordt een bestaande accreditatie ingetrokken. Deze notitie geeft weer op welke manier de examencommissies en toetscommissie (onder verantwoordelijkheid en in opdracht van de examencommissies) van de Faculteit Sociale Wetenschappen (FSW) denken de kwaliteitsborging van toetsing en beoordeling te kunnen en te moeten aanpakken. Openheid en duidelijkheid daarover zijn van belang, niet in de laatste plaats omdat vermoedelijk alleen daarvan al een kwaliteitsverhogende impuls uitgaat. Belangrijk bovendien, omdat op deze manier alle betrokkenen (van studenten en docenten tot bachelordirecteuren, masterprogrammacoördinatoren en Boards of Studies, vicedecanen en decaan) weten waar ze aan toe zijn en wat er, voor zover van toepassing, van ze verwacht wordt. Om die reden is gekozen voor een brede aanpak: de notitie probeert niet alleen inzicht te geven in de kwaliteitscriteria die de examencommissies hanteren, maar ook in de wettelijke achtergronden, de bestuurlijke organisatie en de daarmee samenhangende verhoudingen. De notitie kent de volgende opbouw. In hoofdstuk 1 wordt het wettelijk kader besproken en de wijzigingen die daarin zijn aangebracht. Daarbij wordt aandacht besteed aan de consequenties hiervan voor de bestuurlijke verhoudingen. Vervolgens wordt in hoofdstuk 2 beschreven hoe binnen FSW de organisatie is ingericht en toegesneden op de uitvoering van de wet. De aanpassingen in het wettelijk kader waren voor zowel universiteit als faculteit aanleiding om de inrichting van de examencommissies opnieuw tegen het licht te houden. Binnen FSW werd de herinrichting van de examencommissies gekoppeld aan noodzakelijke veranderingen die voortvloeiden uit de organisatorische herinrichting van de faculteit waarbij de indeling van het onderwijs naar graduate en undergraduate niveau leidend werd. Er werden drie examencommissies gevormd. Daarnaast werd een toetscommissie ingesteld die opereert vanuit en onder verantwoordelijkheid van deze examencommissies. De toetscommissie is belast met een groot deel van de boven aangeduide ‘nieuwe wettelijke taken’ op het gebied van de kwaliteitsborging van toetsing en beoordeling. In dit hoofdstuk wordt uitvoerig aandacht besteed aan de onderscheiden taken en verantwoordelijkheden van examencommissies en toetscommissie enerzijds en Boards of Studies, bachelordirecteuren en programmacoördinatoren anderzijds. Hetzelfde geldt voor de rol van decaan en vice-decanen. Hoofdstuk 1 en 2 moeten worden beschouwd als het (gegeven) kader waarbinnen examencommissies en toetscommissie functioneren. In hoofdstuk 3 komt de kwaliteit van toetsing en beoordeling zelf aan bod. We bespreken welke kwaliteitscriteria men zou kunnen toepassen en welke beoordelingssystemen voor kwaliteit mogelijk bruikbaar zijn. Hieruit resulteert de keuze voor een beoordelingskader op het niveau van de afzonderlijke toetsen. Daarnaast gaan we in op de explicitering van toetsbeleid op curriculumniveau dat – van de kant van het opleidingsmanagement – zou kunnen en moeten resulteren in een toetsplan. Hoofdstuk 4 vormt de kern van deze notitie. We lichten toe hoe de examencommissies en de toetscommissie te werk denken te gaan en hoe zij, door uitoefening van haar taak, ook een kwaliteitsbevorderend effect denken te sorteren waar het de toetsing en beoordeling betreft. Aansluitend bij het beoordelingskader dat in hoofdstuk 3 is geschetst, wordt in de werkwijze onderscheid gemaakt tussen toezicht op curriculumniveau en toezicht op het niveau van individuele toetsen. Een steekproefsgewijze benadering en een meerjarenplan worden uitgewerkt. Ten slotte is er aandacht voor de behandeling van klachten door individuele of groepen studenten.


1.

4

Het wettelijk kader

De Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) regelt al sinds juli 1993 de functie en positie van de examencommissie in het wetenschappelijk onderwijs (toen werd de wet van kracht voor deze vorm van onderwijs). De examencommissie reikt de getuigschriften uit en baseert zijn besluiten op de oordelen van examinatoren die de examencommissie overigens in principe zelf aanwijst. Zij zorgt verder voor een goede gang van zaken tijdens examens en tentamens, en regelt belangrijke zaken als klachten, vrijstellingen en fraudegevallen. Wat betreft de rol van de examencommissie is weliswaar bij tijd en wijle discussie geweest over met name de status en de onafhankelijkheid ervan, maar dit heeft eerder nooit tot wetsaanpassingen geleid. Ook ten aanzien van de accreditatie was er betrekkelijke rust. Sinds het verschijnen van de HOAK-nota (‘Hoger Onderwijs, Autonomie en Kwaliteit’) in 1985, de inrichting van een visitatiestelsel in het hoger onderwijs en vervolgens de (her)accreditatie door de Nederlands-Vlaamse Accreditatie Organisatie (NVAO), zijn de rol van de examencommissie en de eisen die er aan het functioneren van deze commissie worden gesteld nauwelijks veranderd 1. Het afgelopen decennium is de situatie echter ingrijpend gewijzigd. De maatschappelijke druk om het toezicht op de examens te versterken is aanzienlijk toegenomen. Tussen 2002 en 2006 verscheen een aantal kritische rapportages door de Onderwijsraad en de Inspectie van het Onderwijs. Visitaties zoals die van de PABO’s in 2003 (waarin het niveau van basisvaardigheden rekenen en taal bij afgestudeerde leerkrachten onder de maat bleek te zijn) waren niet alleen effectief in termen van de maatregelen waartoe zij hebben geleid, maar hebben ook nadrukkelijk de aandacht gevestigd op de noodzaak van een aangescherpte niveaubewaking van diploma’s in het hoger onderwijs. Jaarverslagen van de NVAO speelden hierbij een signalerende rol. Doorslaggevend was waarschijnlijk het onderzoek door de Inspectie van het Onderwijs onder examencommissies zelf. Dit resulteerde in 2009 in het rapport ‘Boekhouder of wakend oog’. Het onderzoek was opgezet aan de hand van een 16-tal indicatoren voor good practice en examencommissies werd gevraagd om zichzelf op deze indicatoren te beoordelen. De resultaten van deze zelfinschattingen waren wisselend. Opvallend waren de tegenvallende resultaten op indicatoren zoals het voorschrijven en bewaken van richtlijnen en procedures met betrekking tot toetsing, onderzoek naar de kwaliteit van toetsen, de deskundigheid met betrekking tot toetsing, garantie voor de betrouwbaarheid en validiteit van de toetsing en voor de toetscompetentie van docenten. Examencommissies concludeerden dat zij te weinig expertise hadden op het gebied van toetsing en toetskwaliteit. De conclusie van het onderzoek was dan ook dat examencommissies maar gedeeltelijk garant konden staan voor het eindniveau van gediplomeerden en ook onvoldoende toegerust leken voor een gezaghebbende positie in dezen. Op het moment van verschijnen van ‘Boekhouder of wakend oog’ lag het wetsvoorstel ‘Versterking Besturing’ voor. Het betreft een wet die beoogde de WHW (en enkele andere wetten) op een aantal punten ingrijpend te wijzigen. De wet werd van kracht op 1 september 2010. Artikel 7.12 in de vernieuwde WHW (zie bijlage 1) regelt de rol en positie van de examencommissie. Deze krijgt een onafhankelijke positie en een extra opdracht om de kwaliteit van de examens te bewaken. Volgens Plasterk, indiener van de wet ‘Versterking Besturing’, zijn kernelementen in de nieuwe wet onafhankelijkheid en deskundigheid (zie met name artikel 7.12a, lid 2). Hij kenschetst de examencommissie als “gezaghebbend, duidelijk geprofileerd en dus ook bekend bij de student, en met opvattingen over het toetsbeleid” 2. Wat betreft onafhankelijkheid zegt de Memorie van Toelichting op de wet 3: “De functionele onafhankelijkheid van de examencommissie ten opzichte van het college van bestuur betekent dat 1

De informatie in deze alinea is ontleend aan een lezing van Rick Steur, hoofdinspecteur voortgezet onderwijs, beroepsonderwijs en volwasseneneducatie en hoger onderwijs bij de Inspectie van het Onderwijs bij gelegenheid van de conferentie ‘Examencommissies en examenkwaliteit’ op 25 november 2009. 2 In een lezing bij gelegenheid van dezelfde conferentie ‘Examencommissies en examenkwaliteit’ op 25 november 2009. 3 TK 2008-2009, 31821, nr. 3, p. 28 e.v.


5

de examencommissie weliswaar wordt ingesteld door het college van bestuur, maar dat de instelling moet zorgen dat de examencommissies binnen de instelling onafhankelijk hun werk kunnen verrichten. Dat betekent bijvoorbeeld dat het college van bestuur geen verplichtingen kan opleggen aan examencommissies inzake de beoordeling van studenten. Het college blijft wel eindverantwoordelijk voor de kwaliteit van het onderwijs en de graadverlening; een examencommissie moet handelen binnen de grenzen van de onderwijs- en examenregeling. Hierdoor is tevens geborgd dat de wijze van examinering past in het kader van de opleiding”. Naast een onafhankelijke positie krijgt de examencommissie, op basis van (veronderstelde) deskundigheid, sterkere inhoudelijke taken en verantwoordelijkheden dan in het verleden toen het accent meer op procedurele aspecten lag. Belangrijke elementen zijn: o het objectief vaststellen of een student voldoet aan de voorwaarden die de OER stelt ten aanzien van kennis, inzicht en vaardigheden van afgestudeerden; o het borgen van de kwaliteit van tentamens en examens; o het vaststellen van richtlijnen en aanwijzingen binnen het kader van de OER voor de beoordeling en vaststelling van uitslagen van examens en tentamens; o het vaststellen van regels over de uitvoering van de (in lid 1a, b en d en in lid 2) bedoelde taken en bevoegdheden en over de maatregelen die zij in dat verband kan nemen. Ten slotte is er ook meer transparantie doordat de examencommissie jaarlijks verslag doet van haar werkzaamheden. Nog explicieter dan voorheen is de examencommissie hiermee volgens de wet “het gezaghebbend orgaan dat de kwaliteit van examens en daarmee het eindniveau van studenten garandeert” 4. Ook in het toezicht van de NVAO heeft de kwaliteit van de examinering structureel een prominentere plaats dan voorheen gekregen. Examencommissies zullen als vaste gesprekspartners worden gehoord tijdens visitaties. Het nieuwe accreditatiestelsel dat per 1 januari 2011 van start is gegaan, kan beschouwd worden als een reactie op een advies van de Onderwijsraad 5 en is een mengvorm van een instellingstoets enerzijds en een meer inhoudelijke opleidingsaccreditatie anderzijds. Wanneer de instellingstoets (van de UU) leidt tot een positief NVAO-besluit, houdt dat onder meer in dat alle opleidingen (van de UU) vanuit een beperkt beoordelingskader worden beoordeeld. In dat beperkte beoordelingskader worden drie ‘standaarden’ genoemd 6: o Beoogde eindkwalificaties; o Onderwijsleeromgeving; o Toetsing en gerealiseerd niveau. Ten aanzien van laatstgenoemde standaard dient de opleiding aan te tonen dat zij beschikt over een adequaat systeem van toetsing en dat de beoogde eindkwalificaties ook daadwerkelijk worden gerealiseerd. De examencommissie is intern toezichthouder op de kwaliteit van de toetsing en beoordeling en staat daarmee garant voor het eindniveau van de afgestudeerden. Dit betekent dat opleidingen onder meer moeten laten zien hoe hun toetsing inzichtelijk wordt gemaakt voor studenten, hoe de toetsing aansluit bij leerdoelen en niveaus en dat de toetsing voldoet aan kwaliteitseisen zoals validiteit en betrouwbaarheid. Ook eisen als transparantie en eerlijkheid zijn belangrijk geworden binnen het nieuwe accreditatiestelsel 7. Beoordeling van de standaard ‘Toetsing en gerealiseerd niveau’ als onvoldoende heeft bovendien een ‘knock out’-karakter: het oordeel kan niet worden gecompenseerd (zoals voorheen tot op zekere hoogte nog wel het geval was) en de opleiding wordt dan niet geaccrediteerd of opnieuw geaccrediteerd. Bovengenoemde wijzigingen in de wet en in het toezichtskader maken duidelijk welk belang er anno 2012 wordt gehecht aan kwaliteitsbewaking van toetsing en beoordeling, aan het garanderen van 4

Mariska Phielix in een interne notitie voor de UU over de nieuwe rol van de examencommissies (april 2010). Onderwijsraad (2007) Examinering, draagvlak en toegankelijkheid 6 Beoordelingskaders NVAO 2010 7 Zie Asha Dijkstra en Liesbeth Baartman (2011). Zelfevaluatie van de kwaliteit van assessment. Onderwijsinnovatie, maart 2011, p. 17 e.v. 5


6

het beoogde eindniveau van de afgestudeerden en aan de rol die de examencommissie daarbij is toegedacht. Zaken zoals de geruchtmakende InHolland-affaire van zomer 2010 moeten op deze manier voorkomen worden. De wijzingen hebben belangrijke consequenties voor de wijze waarop de positie van de examencommissie in een opleiding voor hoger onderwijs wordt vormgegeven. In het volgende hoofdstuk wordt ingegaan op de wijze waarop dat binnen FSW is gebeurd.


2.

Examencommissies en toetscommissie binnen FSW

2.1

Naar een nieuwe organisatiestructuur

7

In de periode dat het wetenschappelijk onderwijs werd verzorgd in de vorm van doctoraalopleidingen, leidend tot een doctoraaldiploma, kende elke opleiding binnen de Faculteit Sociale Wetenschappen zijn eigen examencommissie. Bij de invoering van de bachelormasterstructuur veranderde dat, zij het niet wezenlijk. In principe hadden een bacheloropleiding en een masteropleiding met een gemeenschappelijke oorsprong (in termen van de doctoraalopleiding waar zij uit voortkwamen) beide een examencommissie, maar in de praktijk bestonden deze examencommissies veelal uit dezelfde personen. In 2010 werd de organisatiestructuur van de faculteit ingrijpend gewijzigd. Alle bacheloropleidingen werden ondergebracht in één Undergraduate School (US), alle masterprogramma’s in één Graduate School (GS), ieder onder de leiding van een eigen Board of Studies (BoS) met elk een vice-decaan als voorzitter. In het kader van deze herstructurering werden drie examencommissies ingericht, één examencommissie voor alle bacheloropleidingen in de US, één voor alle academische masterprogramma’s (AcMa) in de GS en één voor alle researchmasterprogramma’s (ReMa) in de GS. Deze inrichting is conform de WHW (Artikel 7.12 lid 1 “Elke opleiding of groep van opleidingen aan de instelling heeft een examencommissie”). Tegelijkertijd werd hiermee een zekere consistentie aangehouden ten opzichte van de organisatie van de opleidingscommissies en de OER. Een bijkomende opdracht bij de herstructurering van de faculteit was de in het vorige hoofdstuk beschreven wijziging van de WHW per 1 september 2010. Tot op dat moment hadden de examencommissies zich vooral gericht op hun ‘traditionele taken’. In de nieuwe wet is de examencommissie echter het orgaan dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs- en examenregeling stelt ten aanzien van kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad. Nauw daarmee verbonden is de taak om de kwaliteit van de tentamens en examens te borgen. Deze nieuwe wettelijke taken vereisen een adequate organisatiestructuur. Daarom heeft het facultair management team (FMT), na overleg met de directeuren van bacheloropleidingen, coördinatoren van masterprogramma’s en voorzitters van de examencommissies, besloten om onder verantwoordelijkheid van de examencommissies één facultaire toetscommissie een belangrijke rol te laten spelen. Kwaliteitsborging van de toetsing is een veelomvattende taak die op veel punten het opleidingsniveau overstijgt. De zorg voor een kwalitatief goede toetsing maakt deel uit van de kwaliteitszorgcyclus op het niveau van de instelling (in dit geval de faculteit). Het ligt dan voor de hand om ook het toezicht op de kwaliteit van de toetsing in handen te leggen van één orgaan, de toetscommissie. Omdat de wet de examencommissie aanwijst als het verantwoordelijke orgaan, werkt de toetscommissie onder de verantwoordelijkheid van de examencommissies. In feite wordt op deze manier invulling gegeven aan een suggestie zoals die door de Inspectie van het Onderwijs zelf werd gegeven 8. Schematisch kan het bovenstaande als volgt 9 worden weergegeven. Het gaat hier om een vereenvoudigd schema dat vooral bedoeld is om de afbakening van verantwoordelijkheden duidelijk in beeld te brengen. In feite is de situatie complexer, gegeven het feit dat de facultaire toetscommissie werkt onder de verantwoordelijkheid van meerdere examencommissies. Er is ook niet één bachelordirecteur maar zes, die samen een Board of Studies vormen. En ten aanzien van de masterprogramma’s zijn er ook meerdere programmacoördinatoren, eveneens vallend onder de regie van een (andere) Board of Studies. Op een nauwkeuriger beschrijving van de afbakening van taken en verantwoordelijkheden komen we verderop nog terug. 8

Dr. Ingrid Wijgh, Inspecteur hoger onderwijs, in een bijeenkomst van voorzitters van examencommissies van de UU op 25 juni 2010 9 Ontleend aan een presentatie van vice-decaan Theo Wubbels voor de verzamelde leden van examencommissies van FSW op 18 april 2011

8


Faculteit Sociale Wetenschappen

toetscommissie

Daarnaast is het belangrijk om te onderkennen dat ervoor gekozen is om in de faculteit aanwezige expertise op het gebied van toetsing en beoordeling samen te brengen in een orgaan dat onder verantwoordelijkheid van de examencommissies ressorteert. Niet in de vorm van een toetscommissie als uitvoerend orgaan van het management (i.e. bijvoorbeeld de BoS, de bachelordirecteuren of masterprogrammacoördinatoren), zoals bij de Faculteit Diergeneeskunde althans vóór de invoering van de wetswijzigingen het geval was (de zogeheten TKC, Toetskwaliteitcommissie). Het instellen van een facultaire toetscommissie op de aangegeven wijze garandeert dat het toezicht op de kwaliteitszorg op het gebied van toetsing en beoordeling goed geregeld is. Ook op dit punt komen wij verderop nog terug. 2.2

Samenstelling en benoeming van examencommissies en toetscommissie

De drie examencommissies zijn gerelateerd aan de volgende ‘schools’ en opleidingen. Examencommissie Bacheloropleidingen Undergraduate School: bacheloropleidingen o Algemene Sociale Wetenschappen o Culturele Antropologie en ontwikkelingssociologie o Onderwijskunde o Pedagogische Wetenschappen o Psychologie o Sociologie Examencommissie Academische masteropleidingen Graduate School: academische masteropleidingen10 o Algemene Sociale Wetenschappen 10

Met soms meerdere masterprogramma’s onder hetzelfde croho-label


o o o o o o

9

Culturele Antropologie, Latin American and Caribbean Studies Onderwijskunde Pedagogische Wetenschappen Psychologie Sociologie

Examencommissie Researchmasteropleidingen Graduate School: Researchmasteropleidingen o Cultural Anthropology: Sociocultural Transformations o Development and Socialisation in Childhood and Adolescence o Educational Sciences: Learning in Interaction o Methodology and Statistics of Behavioural and Social Sciences o Migration, Ethnic Relations and Multiculturalism o Social and Health Psychology o Sociology and Social Research De examencommissies zijn samengesteld uit ‘kern’-leden en plaatsvervangend leden. Zij zijn afkomstig uit de aangegeven opleidingen en worden gekenmerkt door disciplinaire deskundigheid en kennis van het onderwijsprogramma van deze opleidingen. Zij zijn echter, als commissie, verantwoordelijk voor het toezicht op alle opleidingen, niet alleen de opleiding waaruit zij voortkomen. De kernleden voeren hun taken uit, samen met de ambtelijk secretaris. Laatstgenoemde heeft als jurist een gedegen kennis van de relevante weten regelgeving. De kernleden zijn vanuit de commissie gemandateerd om hun taken uit te voeren en zij doen dit met name met betrekking tot de opleiding waaruit zij afkomstig zijn. Daarnaast zijn er een tot drie plaatsvervangend leden (per opleiding) die een kernlid bij absentie vervangen. Kernleden en plaatsvervangend leden zijn allen volwaardig lid van de examencommissie en hebben dezelfde verantwoordelijkheid en beslissingsbevoegdheid. De examencommissie roept vergaderingen bijeen waarvoor alle leden worden uitgenodigd en waarin de commissie als commissie verantwoordelijkheid neemt. Het streven van de decaan is examencommissies samen te stellen van een minimaal benodigde omvang. De praktijk wijst echter uit, dat plaatsvervangende leden nodig zijn, omdat de examencommissies per School zijn ingericht. Er moet disciplinaire deskundigheid aanwezig blijven als een bepaald lid afwezig is. De facto wordt het werk van de drie examencommissies dus door een beperkt aantal personen (= kernleden) verricht, waarvoor zij mandaat hebben van de plaatsvervangend leden. Dit mandaat betreft: o vrijstellingsverzoeken; o goedkeuring keuzevakken; o honoreren van in het buitenland behaalde cursussen; o verzoeken om uitstel van automatisch afstuderen; o fraudemeldingen; o bindend studieadviesgesprekken (BSA); o zaken die door de student aan het College van beroep voor de examens zijn voorgelegd; o [omdat er geen limitatieve opsomming mogelijk is:] overige verzoeken van individuele aard; o de nieuwe taken krachtens de wettelijke (deel)verantwoordelijkheid voor de kwaliteitszorg. De commissie moet er voor zorgen, dat de toetsen de leerdoelen garanderen: zij borgt objectief en deskundig het niveau van de afgestudeerden (al kan het onderzoek hiernaar worden uitgevoerd door de toetscommissie). Plaatsvervangende leden hebben naast het vervangen in voorkomende gevallen geen taak. Op deze manier is het functioneren van de examencommissies in de praktijk ondanks het grote aantal leden toch overzichtelijk geregeld.


10

Elke examencommissie vergadert (ten minste) twee maal 11 per jaar voltallig, met een vaste agenda. De vergaderingen betreffen vooral het accorderen van de besluiten die door de kernleden krachtens hun mandaat zijn genomen, het vaststellen van het jaarverslag en de borging van de kwaliteit van de toetsing en het niveau van de afgestudeerden. Dit laatste gebeurt mede aan de hand van het verslag van de toetscommissie. De voorzitters van de examencommissies hebben onderling regelmatig overleg over de wijze waarop het beleid wordt uitgevoerd dat door de commissies zelf is vastgesteld. Met het oog op de nieuwe wettelijke taken is door de decaan een toetscommissie ingesteld. Deze toetscommissie verricht haar taken onder verantwoordelijkheid van en wordt aangestuurd door de drie examencommissies. De toetscommissie heeft een overzichtelijke, doch omvangrijke taak. Zij wordt gericht ingezet bij onderzoek naar de kwaliteit van toetsing en beoordeling en het eindniveau van de afgestudeerden. Onderzoek naar de competenties van docenten, scholing en benchmarking behoort niet tot haar taak 12. De toetscommissie bestaat uit drie vertegenwoordigers vanuit de examencommissies (vanuit elke commissie één). Momenteel zijn dit de drie voorzitters. Omdat een deel van de taken nieuw is en procedures nog moeten worden ingericht, is ervoor gekozen om de lijnen naar de examencommissies op deze manier kort te houden. Daarnaast is er een voorzitter en een toegevoegd lid met specifieke expertise op het gebied van toetsing en beoordeling. De voorzitter en de leden van de toetscommissie worden in hun functie benoemd door de decaan na afstemming met de examencommissies. Benoemingsprocedure door de decaan Op basis van de wetstekst zijn onafhankelijkheid en deskundigheid de belangrijkste eigenschappen van leden van examencommissies en toetscommissie. Bij benoemingen houdt de decaan er rekening mee dat betrokkenheid bij het management mogelijk conflicterend is ten opzichte van de taken, rol en verantwoordelijkheid van de examencommissies en de toetscommissie. Bachelordirecteuren en masterprogrammacoördinatoren kunnen derhalve niet benoemd worden in respectievelijk de examencommissie undergraduate of de betreffende commissie graduate. Voorts houdt de decaan rekening met het feit dat de onafhankelijkheid van een kandidaat mede wordt bepaald door de mate waarin deze coördinerende en aansturende taken verricht. Eventueel kan worden afgesproken dat een lid van de examencommissie niet meebeslist over zaken waarbij sprake kan zijn van een belangenconflict. Het verdient echter sterke aanbeveling om personen bij wie op voorhand een sterke belangenverstrengeling mogelijk is niet te benoemen in de examencommissie 13. Bij de opleidingen met een relatief klein docentenbestand is dit een punt van speciale aandacht. Verder heeft het College van Bestuur aangekondigd dat in de model-onderwijs- en examenregeling (modelOER) voor 2012-2013 een bepaling zal worden opgenomen over de benoeming van leden van examencommissies en de met het lidmaatschap van de examencommissie onverenigbare functies. Geduid wordt op het uitgangspunt dat een managementfunctie waarbij sprake is van financiële verantwoordelijkheid, of van een nadrukkelijke (deel)verantwoordelijkheid voor een onderwijsprogramma, hiermee niet verenigbaar is. Voor wat betreft deskundigheid neemt de decaan het ‘Functieprofiel leden van examencommissies’ dat is opgesteld door de Nederlandse Vereniging voor Examens NVE (zie Bijlage 4) tot een van de uitgangspunten. Daarbij houdt hij rekening met de verschillen in taken voor leden van de examencommissie en leden van de toetscommissie (zie de volgende paragraaf). Hij past het profiel toe met het oog op individuele benoemingen en met het oog op de samenstelling van de commissies als geheel. 11

Dit is de bedoeling, maar op het moment van schrijven van deze notitie is het huishoudelijk reglement nog niet vastgelegd 12 Ontleend aan een presentatie van vice-decaan Theo Wubbels voor de verzamelde leden van examencommissies van FSW op 18 april 2011 13 Zie over onafhankelijkheid en belangenverstrengeling de notitie van de HBO-Raad: Geslaagd! Handreiking examencommissies, februari 2011


11

De decaan kan externe leden benoemen in de examencommissies en de toetscommissie. Dit kan een bijdrage leveren aan de onafhankelijkheid en deskundigheid van de commissies 14. Op dit moment is dit echter nog niet aan de orde. Er is een wetsvoorstel in voorbereiding waarbij het opnemen van een extern commissielid verplicht wordt gesteld. De decaan is zich ervan bewust dat externe leden een grote bijdrage kunnen leveren aan de onafhankelijkheid van de commissies en onderzoekt de mogelijkheden voor hun benoeming. De benoemingsprocedure ziet er concreet als volgt uit. Jaarlijks rond 15 mei dragen de departementsmanagers aan de decaan ter benoeming voor de voorzitter, vice-voorzitter en (plaatsvervangende) leden van de examencommissies en toetscommissie. In de vergaderingen van de Board of Studies van juni worden de voorgestelde commissies getoetst op deskundigheid en (on)verenigbaarheid van functies. Na deze screening en eventuele correctie stuurt de decaan per 1 juli de benoemingsbrieven waarbij voor betrokkene de benoemingsperiode wordt aangegeven die steeds ingaat per 1 september daaropvolgend. Tevens worden in deze brief de taken die behoren bij de betreffende functie aangegeven en de volledige samenstelling van de commissie waarvoor het lid wordt benoemd. Daarnaast wordt aangegeven hoeveel uren in de taakstelling worden vrijgemaakt voor uitoefening van de functie, waarbij de aard van de functie (kern- of plaatsvervangend lid, voorzitter, lid toetscommissie) wordt betrokken. Een afschrift van deze brief gaat naar de ambtelijk secretaris van de examencommissies en naar de betrokken bachelordirecteuren en / of coördinatoren van de masterprogramma’s. Bij tussentijdse wijzigingen wordt in principe hetzelfde traject afgelegd. Benoemingsbrieven worden gearchiveerd. 2.3

Afbakening van taken en verantwoordelijkheden

Het belang van adequate toetsing vraagt om een zorgvuldige beschrijving en afbakening van taken en verantwoordelijkheden van de onderscheiden actoren. Het College van Bestuur heeft hiertoe handreikingen gedaan, onder meer in de vorm van onderstaand schema 15. Voor wat betreft de opleidingscommissie (niet in dit schema) kan nog worden toegevoegd dat deze een adviesorgaan is, dat wél actief kan zijn bij onderwijsevaluaties, maar geen verantwoordelijkheid draagt voor beslissingen in het kader van de kwaliteitszorg. De bevoegdheden en mogelijke taken van de opleidingscommissie worden hier dan ook niet verder uitgewerkt. Het schema moet als volgt worden geïnterpreteerd 16. Decaan De decaan is integraal verantwoordelijk. Hij draagt er zorg voor dat de kwaliteitszorg functioneert en dat de kwaliteitsborging van het onderwijs en de examinering wordt ingebed in het interne kwaliteitszorgsysteem. Daarbij moeten overleg en informatie-uitwisseling zo worden ingericht, dat de onderscheiden verantwoordelijkheden waargemaakt kunnen worden. De decaan benoemt de bachelordirecteuren, bepaalt het aantal examencommissies en benoemt de leden van de examencommissie. Hij zorgt dat zij voldoende tijd en deskundigheid hebben om de taken uit te voeren. Als de kwaliteit van tentamens/examens onvoldoende geborgd blijkt (zie punt d bij de taken van de examencommissie), draagt de (vice-)decaan er zorg voor dat er acties worden ondernomen om dit op te lossen. De decaan is tot slot verantwoordelijk voor de deskundigheid van docenten op het gebied van toetsen (maken, afnemen, beoordelen) via BKO, SKO en gerichte professionalisering en deskundigheidsbevordering. Volgens het Faculteitsreglement van FSW, is in de horizontale lijn de programmastructuur en – verantwoordelijkheid uitgewerkt in de vorm van een Undergraduate en een Graduate School. De

14

Zie over externe leden in de examencommissie de notitie van de HBO-Raad: Geslaagd! Handreiking examencommissies, februari 2011 15 Ontleend aan een brief van O&O aan decanen van 1 april 2011 16 Zoals blijkt uit een Bestuursnotitie van O&O van 13 oktober 2011

12


beide Schools worden elk geleid door één van beide vice-decanen, ondersteund door een Board of Studies. DECAAN benoemt leden examencommissie: draagt daarbij zorg voor onafhankelijkheid en voldoende deskundigheid, onder meer op toetsgebied bepaalt het aantal examencommissies, clustering op schoolniveau draagt zorg voor deskundigheid docenten op het gebied van toetsen (maken, afnemen, beoordelen): BKO, SKO optioneel: stelt toetscommissie in en draagt zorg voor voldoende deskundigheid

ONDERWIJSDIRECTEUR - is verantwoordelijk voor de kwaliteitszorg onderwijs (kwaliteit van toetsing is daarmee verweven) - draagt zorg voor toetsbeleid/ toetsplan dat wordt uitgevoerd en (geëvalueerd), in de vorm van een cyclisch proces (plan, do, check, act), ingebed in het systeem van interne kwaliteitszorg

EXAMENCOMMISSIE - interne toezichthouder op de kwaliteit van tentaminering en examinering - moet beschikken over de relevante informatie, deze beoordelen (normen stellen, richtlijnen aan examinatoren) en indien noodzakelijk interveniëren - moet voldoende expertise hebben om taak uit te kunnen voeren

TOETSCOMMISSIE (optioneel) Namens examencommissie kan een toetscommissie (steekproefsgewijs op basis van vooraf bepaalde criteria) de kwaliteit van afzonderlijke toetsen controleren

Onderwijsdirecteur (casu quo vice-decaan ten aanzien van de masterprogramma’s) Onderwijsdirecteuren (van bacheloropleidingen) kennen op basis van de WHW of het Faculteitsreglement geen directe bevoegdheid. Die ontlenen zij aan het submandaat dat hen is verleend door het College van Bestuur. Wat dat mandaat inhoudt ten aanzien van de kwaliteit(szorg) staat hieronder beschreven. Ten aanzien van de masteropleidingen is geen submandaat verleend aan de programmacoördinatoren. Dat betekent in concreto dat voor de Undergraduate School de onderwijsdirecteuren van de bacheloropleidingen de gesprekspartner zijn voor de examencommissie, terwijl voor de Graduate School dit de vice-decaan van de Graduate School is (voor zowel de examencommissie AcMa als de examencommissie ReMa). De bachelordirecteuren, respectievelijk de vice-decaan graduate zijn verantwoordelijk voor de kwaliteitszorg onderwijs (kwaliteit van toetsing is daarmee verweven). Andere actoren (docenten, opleidingscommissie) kunnen bepaalde activiteiten uitvoeren. De bachelordirecteuren en vicedecaan graduate zijn echter verantwoordelijk dat het gebeurt; zij nemen de beslissingen ten aanzien van de kwaliteitszorg. De kwaliteitszorg moet voldoen aan de volgende eisen. Deze


o o o o o

13

heeft een cyclisch karakter: alle fases van de kwaliteitscyclus (plan, do, check, act) worden doorlopen; voorziet in periodieke en systematische evaluaties van het onderwijs; voorziet in evaluaties van cursussen én van het curriculum als geheel; garandeert dat docenten, studenten, afgestudeerden en het afnemend veld bij de evaluaties van het curriculum betrokken worden; maakt de uitkomsten van de evaluaties voor alle betrokkenen toegankelijk.

De verantwoordelijkheid voor de kwaliteitszorg onderwijs betekent dat de bachelordirecteur zorgt dat: a. de eindkwalificaties van de opleiding vertaald zijn in toetsbare leerdoelen per cursus. Hulpmiddel daarbij kan zijn: matrices maken met concrete en toetsbare eindkwalificaties, afgezet tegen de leerdoelen per programmaonderdeel (waarbij de vaardigheden worden geëxpliciteerd); b. er systematisch nagegaan wordt of er voldoende aansluiting is tussen de cursusdoelen en de eindtermen, of de optelsom van de leerdoelen per cursus overeen komt met de eindkwalificaties van de opleiding (vertalen van eindkwalificaties opleiding naar leerdoelen cursusonderdelen naar toetsonderdelen cursus); c. deze besproken worden met de docenten die betrokken zijn bij de opleiding zodat docenten zich bewust zijn van zowel de plaats die hun cursus in het totale curriculum inneemt als de samenhang met andere curriculumonderdelen; d. de eindkwalificaties en leerdoelen consistent in de OER zijn geformuleerd, waarbij de eindkwalificaties gerelateerd worden aan (clusters van) afzonderlijke programmaonderdelen; e. er een toetsbeleid/toetsplan is dat wordt uitgevoerd en (geëvalueerd), in de vorm van een cyclisch proces (plan, do, check, act); f. er systematisch nagegaan wordt of de toetsing in overeenstemming is met de doelstellingen van het curriculum (is er een doorlopende lijn en opbouw; wordt niet telkens dezelfde vaardigheid getoetst?); g. toetsen worden gemaakt op basis van de leerdoelen en eindtermen van de cursus; h. er afspraken zijn over de manier waarop toetsen worden gemaakt (bijvoorbeeld als er meer docenten zijn in een cursus, dat deze gezamenlijk een tentamen samenstellen en deze werkwijze evalueren op kwaliteit); i. de examencommissie geïnformeerd wordt over het hierboven bedoelde beleid, afspraken, plannen en relevante informatie; j. er evaluatie van cursussen plaatsvindt; k. er evaluatie op het niveau van het curriculum plaats vindt (bijvoorbeeld kijken naar doorlopende leerlijnen, opbouw van de studiejaren, bezien hoe ‘stakeholders’ denken over het totale programma). Daarbij kunnen ook landelijke enquêtes (zoals Keuzegids, Elsevier, Arbeidsmarktmonitor) en UU-enquêtes (Eerstejaars-, Derdejaars-, Master- en Medewerkersmonitor) gebruikt worden. Examencommissie De examencommissie is de interne toezichthouder op de kwaliteit van tentaminering en examinering (staat garant voor het eindniveau van de afgestudeerden). De examencommissie: a. gaat na of zij de relevante informatie met betrekking tot de kwaliteit van tentaminering en examinering van de bachelordirecteur krijgt; b. beoordeelt aan de hand van de van de bachelordirecteur verkregen informatie of de kwaliteit van de tentamens voldoende is geborgd en of zij garant kan staan voor de kwaliteit van tentamens en examens; c. bespreekt haar conclusies met betrekking tot de kwaliteit van afzonderlijke toetsen met de bachelordirecteur (dan wel vice-decaan graduate in het geval van de masteropleidingen); in overleg wordt bepaald of nadere actie en afspraken nodig zijn;


14

d. intervenieert als zij van oordeel is dat zij niet garant kan staan voor de kwaliteit van tentamens en examens: organiseert nader overleg tussen examencommissie, de bachelordirecteur en de decaan. De decaan draagt er zorg voor dat er zodanige afspraken komen dat de examencommissie wél tot een positief oordeel komt; e. zorgt dat er uniforme afspraken (procedures en richtlijnen) zijn voor beoordeling en normering van toetsen (toetsingscriteria) en onderzoeksopdrachten en scripties (bijvoorbeeld een scriptiehandleiding met daarin de eisen waaraan een scriptie moet voldoen en de wijze waarop het cijfer wordt bepaald) en dat deze worden uitgevoerd; f. zorgt ervoor dat de kwaliteit van toetsen wordt onderzocht en dat de validiteit (zij meten kennis, vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig) van de toetsen gegarandeerd is. Toetscommissie Voor FSW is een toetscommissie ingesteld die haar taak uitvoert in opdracht van de drie examencommissies. Deze controleert, steekproefsgewijs en op basis van vooraf bepaalde criteria, de kwaliteit van de toetsen. De examencommissie geeft de toetscommissie opdracht informatie te verstrekken, onderzoek te doen en voorstellen te doen met betrekking tot de inrichting van de toetsing. De toetscommissie doet verslag aan de examencommissies. Kort gezegd komt dit alles er in de praktijk op neer dat de bachelordirecteur (casu quo vice-decaan graduate) verantwoordelijk is voor de kwaliteit van de toetsing, dat de examencommissie objectief en deskundig toezicht houdt op deze kwaliteit en daarmee het eindniveau van de studenten borgt. De toetscommissie kan opdracht krijgen de kwaliteit van toetsing en beoordeling te onderzoeken en daarover te rapporteren aan de examencommissie. De examencommissie gaat na of zij van de bachelordirecteur voldoende informatie krijgt over de kwaliteit van de toetsing, beoordeelt – mede op basis van het onderzoek van de toetscommissie – of die kwaliteit voldoende is en of zij daarmee garant kan staan voor het eindniveau van afgestudeerden. Zij bespreekt haar conclusies met de bachelordirecteur, respectievelijk vice-decaan graduate. Als de examencommissie tot de conclusie komt dat zij (niet langer) garant kan staan voor kwaliteit en eindniveau intervenieert zij. Dat wil zeggen dat zij nader overleg organiseert tussen examencommissie, bachelordirecteur en decaan. De decaan onderneemt vervolgens de nodige acties. 2.4

Reglementering

De WHW (artikel 7, 12b, 3e lid) schrijft voor dat de examencommissie regels vaststelt over de uitvoering van taken en bevoegdheden, en over de maatregelen die zij in dat verband kan nemen. Daarbij doelt de wetgever op de volgende taken en bevoegdheden: o het borgen van de kwaliteit van de tentamens en examens; o het vaststellen van richtlijnen en aanwijzingen binnen het kader van de onderwijs- en examenregeling om de uitslag van tentamens en examens te beoordelen en vast te stellen; o het verlenen van vrijstelling voor het afleggen van één of meer tentamens; o Indien een student of extraneus fraudeert, kan de examencommissie de betrokkene het recht ontnemen één of meer door de examencommissie aan te wijzen tentamens of examens af te leggen, gedurende een door de examencommissie te bepalen termijn van ten hoogste een jaar. Bij ernstige fraude kan het instellingsbestuur op voorstel van de examencommissie de inschrijving voor de opleiding van de betrokkene definitief beëindigen. Aan dit wettelijk voorschrift is voldaan in het recent aangepaste Reglement Examencommissie (zie Bijlage 3). Een dergelijk reglement bestond al langer (op basis van het door het CvB verstrekte modelreglement). Na de wetswijziging is het model-reglement aangepast en vervolgens ook het Reglement


15

Examencommissie van de faculteit. Het is per 1 september 2011 van kracht geworden. De nieuwe taken van de examencommissie worden hierin geregeld in paragraaf 4, artikel 12 tot en met 14. De artikelen 12 en 14 hebben betrekking op het toezicht door de examencommissies; zij volgen hieronder. Artikel 12 stelt dat de examencommissie toeziet op de kwaliteit van de toetsen in de zin dat: 1. er een toetsbeleid/toetsplan is dat wordt uitgevoerd 2. toetsen worden gemaakt op basis van de leerdoelen en eindtermen van de cursus 3. er uniforme afspraken zijn over de manier waarop toetsen worden gemaakt. Artikel 14 heeft betrekking op de kwaliteit van de examens en daarmee het eindniveau van de afgestudeerden. Het artikel stelt dat de examencommissie er op toeziet dat: 1. de eindkwalificaties van de opleiding zoals beschreven in de Onderwijs- en Examenregeling, zijn vertaald in toetsbare leerdoelen per cursus 2. er systematisch wordt nagegaan of er voldoende aansluiting is tussen de cursusdoelen en de eindtermen, of de optelsom van de leerdoelen per cursus overeen komt met de eindkwalificaties van de opleiding. Artikel 13 heeft betrekking op het onderzoek naar de kwaliteit van de toetsing en regelt specifiek de rol van de toetscommissie: 1. De toetscommissie is belast met de analyse en advisering ten aanzien van de kwaliteit van de toetsing. Daartoe onderzoekt zij steekproefsgewijs – en naar aanleiding van klachten, uitkomsten evaluaties, slagingspercentages en dergelijke - de kwaliteit van afzonderlijke toetsen met betrekking tot de validiteit (zij meten kennis vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig) en informeert de examencommissie daarover. 2. De examencommissie kan de toetscommissie opdracht geven tot het verstrekken van informatie, het doen van onderzoek en het doen van voorstellen met betrekking tot de inrichting van de toetsing. De toetscommissie is verplicht om deze opdrachten uit te voeren. De toetscommissie is voor de uitvoering van deze opdrachten verantwoording verschuldigd aan de examencommissie.


3.

16

Kwaliteitsborging van toetsing en beoordeling: beoordelingskader

Het College van Bestuur onderscheidt in het toetsbeleid en de kwaliteitsborging van de toetsing en beoordeling twee niveaus, namelijk het curriculumniveau en het cursusniveau. In een ‘Handreiking Toetsbeleid’ 17 worden daartoe indicatoren genoemd voor kwaliteit op het niveau van de afzonderlijke cursussen en op het niveau van de examens. Het laatste niveau betreft de borging van het eindniveau van de afgestudeerden: men staat garant voor de koppeling tussen de eindkwalificaties van een opleiding en de leerdoelen per cursus binnen die opleiding. In deze handreiking worden de volgende kwaliteitsindicatoren genoemd: 1. Er is een toetsbeleid/toetsplan dat wordt uitgevoerd (en geëvalueerd), in de vorm van een cyclisch proces (plan, do, check, act), ingebed in het systeem van interne kwaliteitszorg. 2. De examencommissie staat garant voor de kwaliteit van tentamens en examens. 3. Toetsen worden gemaakt op basis van de leerdoelen en eindtermen van de cursus; er zijn uniforme afspraken over de manier waarop toetsen worden gemaakt. Docenten stellen gezamenlijk een tentamen samen en toetsen dat op kwaliteit en laten dit niet over aan een individuele docent. 4. Er zijn uniforme afspraken (procedures en richtlijnen) voor beoordeling en normering van toetsen (toetsingscriteria) en onderzoeksopdrachten en scripties (bijv. scriptiehandleiding met daarin de eisen waaraan een scriptie moet voldoen en de wijze waarop het cijfer wordt bepaald). Ze worden uitgevoerd. 5. De kwaliteit van toetsen wordt onderzocht; de validiteit (zij meten kennis vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig) van de toetsen is gegarandeerd. 6. De eindkwalificaties van de opleiding zijn vertaald in toetsbare leerdoelen per cursus. 7. Er wordt systematisch nagegaan of er voldoende aansluiting is tussen de cursusdoelen en de eindtermen, en of de optelsom van de leerdoelen per cursus overeen komt met de eindkwalificaties van de opleiding. Schematisch vormgeven: vertalen van eindkwalificaties opleiding naar leerdoelen cursusonderdelen naar toetsonderdelen cursus. De punten 1 en 2, respectievelijk 6 en 7, verwijzen naar het algemene curriculumniveau, de punten 3 tot en met 5 naar het niveau van de specifieke cursussen en toetsen. In het Reglement Examencommissie kan men in de artikelen 12 en 14 teruglezen dat het toezicht op het algemene curriculumniveau in handen is gelegd van de examencommissie. Deze ziet er op toe dat er toetsbeleid is, dat zijn neerslag kent in de vorm van een toetsplan en dat wordt uitgevoerd en geëvalueerd (punt 1). Op basis daarvan kan de examencommissie garant staan voor de kwaliteit van de examens (algemeen) en de tentamens (op cursusniveau) (punt 2). In het toetsplan zijn de eindkwalificaties van de opleiding vertaald in toetsbare leerdoelen per cursus (studieonderdeel) en wordt nagegaan in hoeverre er aansluiting is tussen cursusdoelen en eindtermen (punt 6 en 7). In artikel 13 valt terug te lezen dat het specifieke onderzoek naar de kwaliteit van de toetsing en de inrichting daarvan (punt 3 tot en met 5) eveneens onder de verantwoordelijkheid valt van de examencommissie, maar in de praktijk wordt uitgevoerd door de toetscommissie. 17

Ontleend aan brief O&O aan decanen van 1 april 2011


17

Verderop in dit hoofdstuk gaan we in op de specifieke kwaliteitscriteria die de toetscommissie in dit onderzoek hanteert. Eerst gaan we kort in op de eisen waaraan het toetsbeleid en het toetsplan moeten voldoen. 3.1

Toezicht op curriculumniveau: toetsbeleid, toetsplan; studieresultaten en evaluaties

Toetsbeleid kan omschreven 18 worden als “het geheel van keuzen terzake strategische, kwaliteits- en organisatorische vragen. Het maakt onderdeel uit van de verantwoording van het toetsplan”. Toetsbeleid en toetsplan zijn in deze beschrijving nauw verweven. Een toetsplan bevat een systematische beschrijving van alle toetsen van een opleiding. Het geeft aan hoe en wanneer competenties, kwalificaties, doelstellingen getoetst worden. Bij het toetsplan hoort een verantwoording, die ook het toetsbeleid omvat. Bij de uitwerking van toetsbeleid en de formulering van een toetsplan zijn de volgende aandachtspunten 19 relevant: o Men geeft aan wat voor de opleiding de reden of aanleiding is geweest voor het opstellen, veranderen of expliciteren van het toetsplan. Dat kunnen bijvoorbeeld nieuwe wettelijke kaders en eisen zijn, of de behoefte om uitgangspunten voor toetsbeleid die voorheen versnipperd waren over verschillende documenten en regelingen in een geïntegreerd plan bij elkaar te brengen. Vermeld wordt wie het toetsplan heeft opgesteld, wie daarbij betrokken waren en hoe het is vastgesteld. Indien nodig kan een veranderen implementatietraject in het toetsplan worden opgenomen. o Men stelt het toetskader vast. Daarin beschrijft men welke externe maatschappelijke ontwikkelingen (bijvoorbeeld in het beroepsveld waarvoor men opleidt, maar ook in het onderwijsveld in termen van – veranderde – opvattingen over wat goed onderwijs en adequate toetsing is) en wettelijke kaders invloed hebben op de toetsing. Daarnaast geeft men aan welke consequenties de onderwijsvisie (of veranderingen daarin) en het daaruit voortvloeiende opleidingsbeleid heeft voor de toetsing. Dit opleidingsbeleid wordt mede bepaald door (veranderingen in) het instellingsbeleid 20. Ook wordt beschreven hoe de studentenpopulatie eruit ziet, hun vooropleiding (vwo-diploma, hbo-propedeuse, afgeronde hbo-opleiding) en andere kenmerken die mede bepalen hoe heterogeen deze populatie is (en de consequenties daarvan voor het toetsbeleid). o In een volgende stap wordt beschreven welke strategie men hanteert voor de toetsing. Aangegeven wordt welke kwalificaties en competenties in termen van kennis, inzicht, vaardigheid en attituden onderwerp zijn van toetsing (op basis van Dublin-descriptoren). De aangegeven toetsingsstrategie moet aansluiten bij onderwijsvisie en –model, en bij het didactisch concept van de opleiding (denk aan het toetsen van doorlopende leerlijnen in bijvoorbeeld academische en beroepsvaardigheden, de aansluiting van de toetsing bij (al dan niet activerende) werkvormen, de integratie van de toetsing in het onderwijsleerproces, de wijze waarop feedback en feed forward vorm worden gegeven). Er moet een goed evenwicht zijn tussen summatieve en formatieve toetsing. Beschreven wordt ook de opbouw van het curriculum in fasen (bijvoorbeeld basisfase, specifiek studiepad en profileringsruimte), hoe de exameneisen de eindtermen per studiepad weerspiegelen en hoe de toetsing daarop aansluit. Ook kan men – indien de onderwijsvisie dat met zich meebrengt – aandacht besteden aan toetsing binnen de eigen muren, versus toetsing via externe stages, het individuele ontwikkelingstraject van de student (persoonlijk portfolio), authenticiteit van opdrachten, groepsgewijze en individuele opdrachten, et cetera. Bij dit punt hoort in ieder geval ook een beschrijving van de opleidingsonderdelen, de doelstellingen daarvan en de 18

Gea van Zutven, Marianne Polderdijk & Maurice de Volder: Handboek Toetsplanontwikkeling in competentiegericht onderwijs. Beleid voor verantwoord plannen van toetsing en examinering in het hoger onderwijs, p. 55 en 56. Oktober 2004. Te downloaden van de website van de Digitale Universiteit. 19 Ontleend aan bovenstaand handboek en een bijbehorend stappenplan (zie dezelfde website). 20 Vergelijk de rapportage van de werkgroep Didactiek en Toetsing in het kader van het Utrechtse Onderwijsmodel 3.0, december 2011


o

o

18

daarop aansluitende toetsvormen. Wat dit laatste betreft dient de inzet van de toetsvormen te worden beargumenteerd per cursus en per toetsvorm. De wijze waarop men de kwaliteit van de toetsing denkt te garanderen. Dat kan bijvoorbeeld door eisen te stellen aan de wijze waarop toetsen worden geconstrueerd, afgenomen en beoordeeld. Belangrijke aspecten betreffen de inhoudsvaliditeit (representativiteit, vertrekken vanuit een specificatietabel, toetsmatrijs of blauwdruk) en predictieve validiteit (het voorspellend vermogen ten opzicht van onder meer toekomstig studiesucces of succes in de beroepspraktijk), de betrouwbaarheid (bijvoorbeeld in termen van een minimale interne consistentie), objectiviteit en/of intersubjectiviteit bij beoordeling (door het gebruik van expliciete scoringsvoorschriften en maatregelen ter verhoging van de interbeoordelaarsbetrouwbaarheid), de bruikbaarheid en transparantie (door voorbeeld- of modeltentamens, inzage van tentamens achteraf, explicitering van feedback) en methoden van cesuurbepaling en cijfertoekenning. De uitwerking van een aantal organisatorische aspecten. Dit betreft een groot aantal praktische zaken zoals ICT (digitale afname, itembanking, item- en toetsanalyse, cesuurbepaling, opslag en voortgang van studieresultaten), tentamenzalen en surveillance, beveiliging, digitaal portfolio, handleidingen, beoordelingsformulieren en –protocollen, de rol van examen-, toetsen opleidingscommissie, de inrichting van een examenbureau annex examensecretariaat, beleid ten aanzien van specifieke doelgroepen (studenten met een handicap of functiebeperking, dyslexie, faalangst, anderstaligen), kosteneffectiviteit, fraudepreventie en -detectie en voorkomen van meeliften, planning (regelgeving en fasering in overeenstemming met de WHW), spreiding, volgorde en toelatingsvoorwaarden, termijnen, aantal herkansingen, doorstroming. Verder horen hier ook de deskundigheidsbevordering en professionalisering van docenten (bko en sko) bij.

In het kader van de kwaliteitszorg van een opleiding is het zaak een integraal toetsbeleid te ontwikkelen en dit beleid uit te werken in de vorm van een toetsplan. Voor de bacheloropleidingen is de onderwijsdirecteur hiervoor de eerstaangewezen verantwoordelijke, daartoe gemandateerd door de het College van Bestuur. Voor de masteropleidingen is dit de vice-decaan undergraduate. 3.2

Toezicht op cursusniveau: een beoordelingssysteem voor de kwaliteit van toetsen

Het toezicht op cursusniveau komt neer op de vraag of de gehanteerde toetsen voldoende kwaliteit hebben. Daarbij is het uitgangspunt dat er voldoende afstemming is tussen de eindtermen op curriculumniveau en de doelstellingen op cursusniveau (zie de vorige paragraaf). Daarnaast is het nodig na te gaan of het geheel aan toetsen dat wordt ingezet in een cursus volstaat om het bereiken van de einddoelen van die cursus vast te stellen. Dit zal per cursus moeten worden beargumenteerd. Uiteindelijk kan elke toets zelf op zijn kwaliteit worden beoordeeld. Het begrip ‘toets’ wordt in deze paragraaf opgevat in de breedst mogelijke zin van het woord, namelijk “elk instrument dat de opleiding hanteert bij het nemen van beslissingen over de kennis en/of vaardigheden bij een student” 21. Deze definitie sluit slechts gedeeltelijk aan bij de wetstekst, waarin sprake is van “kennis, inzicht en vaardigheden”. Opmerkelijk is dat in de wet niet gerept wordt over houdingen of attitudes, elementen van eindtermen die in de Dublin-descriptoren wél aan de orde zijn. De volgende, iets meer toegespitste omschrijving (uit hetzelfde handboek) lijkt daarom het meest omvattend en het beste bruikbaar: “De definitie aan de hand waarvan docenten een toets moeten maken, luidt: omschreven kwaliteiten op het gebied van kennis, inzicht en vaardigheden en in

21

Ontleend aan Berkel, H. van & Bax, H. (2006) Toetsen in het hoger onderwijs. In H. van Berkel & H. Bax (Red) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum, p. 20


19

voorkomende gevallen (beroeps)houding, waarover degene die het studieonderdeel voltooit, dient te beschikken” 22. Richtlijnen voor de constructie van toetsen zijn te vinden in diverse handboeken 23. Dat wil echter niet zeggen dat zij daarmee een beoordelingssysteem vormen dat in staat is om alle aspecten van een toets in deze brede definitie in een genuanceerd kwaliteitsoordeel te betrekken. Een goede kandidaat voor zo’n beoordelingssysteem is het COTAN ‘Beoordelingssysteem voor de kwaliteit van Tests’ 24 dat door de Commissie Testaangelegenheden Nederland (COTAN) van het Nederlands Instituut van Psychologen (NIP) wordt gehanteerd om psychodiagnostische instrumenten op hun kwaliteit te beoordelen. Hoewel dit ook wordt toegepast op de beoordeling van didactische toetsen die in Nederland op de markt zijn, lijkt het niet goed toegesneden op de beoordeling van toetsen en examens in het wetenschappelijk onderwijs. Onlangs heeft het RCEC 25 een bewerking van dit systeem 26 het licht doen zien, dat overlap vertoont met het COTAN systeem, maar meer geschikt is de kwaliteit van toetsen en (praktijk)examens te beoordelen. Evenals het systeem van de COTAN leidt het tot een kwaliteitsoordeel op een aantal afzonderlijke criteria in termen van ‘onvoldoende’, ‘voldoende’ of ‘goed’. De auteurs geven aan dat het systeem zich niet uitspreekt over de consequenties van onvoldoende beoordelingen. Deze dienen te worden aangegeven door de verantwoordelijke instanties in wat wordt genoemd een ‘Toezichtskader voor toetsen en examens’. In ons geval zijn dat dus de examencommissies en de consequenties worden geregeld in hun formele toezichthoudende rol in relatie tot de onderwijsdirecteur (bacheloropleidingen) en de vice-decaan graduate (masterprogramma’s); zie hoofdstuk 2. Het RCEC-systeem lijkt goed bruikbaar en kent de volgende beoordelingscriteria: I. Doel en gebruik II. Kwaliteit van toetsen examenmateriaal III. Representativiteit IV. Betrouwbaarheid V. Standaardbepaling en normhandhaving VI. Afname en beveiliging Nadeel van dit beoordelingssysteem is dat het sterk gericht lijkt op ‘klassieke’ toetsen, tentamens en examens. Dat kan betekenen dat het systeem minder goed en direct bruikbaar is bij bijvoorbeeld portfoliobeoordelingen en –eindgesprekken, thesispresentaties en mondelinge tentamens. Enige bewerking van de beoordelingscriteria is wellicht nodig. In de projectmatige aanpak waarvoor we kiezen (zie het volgende hoofdstuk) zal waar nodig aan deze aanpassingen aandacht worden besteed. In de rest van deze paragraaf zijn de beoordelingscriteria uitgewerkt in te beantwoorden vragen. Voor een uitgebreidere toelichting op de vragen zij verwezen naar de tekst van het beoordelingssysteem. In Bijlage 5 is aangegeven hoe de antwoorden op de vragen kunnen worden gekwantificeerd en omgezet in een kwalitatief oordeel (onvoldoende, voldoende, goed). I. Doel en gebruik Bij toetsen (en tentamens) dient te worden aangegeven wat zij geacht worden te toetsen en waarom ze dat doen. Concreet betekent dit dus dat moet worden aangegeven hoe de toets zich verhoudt tot de doelstellingen van de cursus en tot andere toetsen die binnen dezelfde cursus worden Ontleend aan Berkel, H. van & Bax, H. (2006) Het toetsproces ontleed. In H. van Berkel & H. Bax (Red) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum, p. 31 23 Handige boeken zijn dat van Berkel, H. van & Bax, H. (Red) (2006) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum en ook dat van Sanders, P. (2011). Toetsen op school. Arnhem: Cito. Het laatste boek is gratis te downloaden van de website http://toetswijzer.kennisnet.nl/html/toetsenopschool/toetsenopschool.pdf 24 Evers, A.; Lucassen, W.; Meijer, R. & Sijtsma, K. (2010) COTAN Beoordelingssysteem voor de kwaliteit van tests. Geheel herziene versie, gewijzigde herdruk mei 2010. Amsterdam: NIP/COTAN. Te downloaden van de website van het NIP 25 Research Center voor Examinering en Certificering, een samenwerkingsverband tussen Cito en de Universiteit van Twente 26 RCEC (2011) RCEC Beoordelingssysteem voor de kwaliteit van toetsen en examens. Enschede: RCEC 22

20


gehanteerd. Verder is de functie van de toets van belang: is de toets bedoeld om te selecteren, te classificeren, te plaatsen of te certificeren? Bij summatieve toetsen aan het eind van een cursus zal over het algemeen de certificerende functie in beeld komen in relatie tot de cursusdoelen en indirect ook tot de eindtermen van de opleiding. Vanuit het oogpunt van niveaubewaking zijn vooral dit soort summatieve certificerende toetsen van belang. CRITERIUM I: DOEL EN GEBRUIK

Basisvraag 1.1

Is aangegeven wat het doel en gebruik van de toets of het examen is? a. Is aangegeven wat het doel van de toets of het examen is? b. Is aangegeven wat het gebruik van de toets of het examen is? c. Is aangegeven wat de doelgroep(en) van de toets of het examen is (zijn)?

Onv

Vold

Goed

1

2

3

1 1

2 2

3 3

Bij negatieve beoordeling (1) op één of meer van de subvragen a t/m c kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium II. 1.2

Is de herkomst van het doel van de toets of het examen beschreven?

1

2

3

1.3

Is de relevantie van de inhoud van de toets of het examen voor het beoogde doel aannemelijk gemaakt?

1

2

3

II.

Kwaliteit toets- of examenmateriaal

Ten aanzien van dit criterium wordt onderscheid gemaakt tussen toetsen en examens die met behulp van de computer worden afgenomen enerzijds en schriftelijk afgenomen toetsen en examens met open of gesloten vragen en praktijkexamens die uit een of meer praktijkopdrachten bestaan anderzijds. Omdat de aanwijzingen voor computertoetsen niet wezenlijk afwijken en alleen toegevoegde waarde hebben bij het gebruik daarvan, worden ze hier achterwege gelaten. Bij FSW worden deze niet of nauwelijks gebruikt. Indien er toch computertoetsen zijn of deze in de toekomst meer gebruikt gaan worden, verwijzen we voor de kwaliteitsrichtlijnen naar de tekst van het beoordelingssysteem. Aan de vragen die gesteld worden en aan de gekozen formuleringen is af te lezen dat het beoordelingssysteem vooral ontwikkeld is met het oog op open of gesloten toetsen of tentamens. Toch zijn de vragen bij andersoortige toetsvormen zoals de beoordeling van stages, papers, theses en dergelijke vrij eenvoudig toe te passen in de geest waarin ze bedoeld zijn. Vragen en opdrachten worden dan bijvoorbeeld beoordelingsaspecten of observatiepunten, het scoringssysteem heeft dan betrekking op de vraag hoe verschillende beoordelingsaspecten worden meegewogen in het oordeel en de term instructie heeft dan vooral betrekking op de vraag of de kandidaat precies weet waar hij of zij aan toe is.

21


CRITERIUM II: KWALITEIT TOETS – OF EXAMENMATERIAAL

Onv Basisvraag 2.1

Zijn de vragen of praktijkopdrachten gestandaardiseerd? 1

Basisvraag 2.2

a.

Vold Goed . 3

Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium III. Is er sprake van een objectief scoringssysteem, en/of, als de scoring door beoordelaars gebeurt, is dan het beoordelingssysteem volledig en duidelijk?

1

2

3

1

2

3

1

2

3

Zijn de vragen of praktijkopdrachten, het toets- of examenboekje, de antwoordschalen en/of het 1 antwoordformulier zodanig ontworpen dat fouten bij de invulling kunnen worden vermeden?

2

3

2.5

Is de instructie voor de kandidaat volledig en duidelijk?

1

2

3

2.6

Zijn de vragen of opdrachten correct geformuleerd?

1

2

3

2.7

Hoe is de kwaliteit van het toets- of examenmateriaal?

1

2

3

2.8

Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de scoring kunnen worden vermeden?

1

2

3

b.

Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium III. Basisvraag 2.3

Zijn de vragen vrij van racistische, etnocentrische, seksistische en voor bepaalde bevolkingsgroepen kwetsende inhoud? Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium III.

2.4

III.

Representativiteit

Opmerkelijk is dat het woord validiteit uit het beoordelingssysteem lijkt verdwenen. Bij toetsen zal de vraag naar validiteit echter meestal neerkomen op de vraag of de toets representatief is samengesteld in relatie tot de eindtermen, kerndoelen of -vaardigheden die voor het eindniveau van een cursus zijn geformuleerd. Een goede toetsmatrijs (specificatietabel of blauwdruk) is het belangrijkste middel om representativiteit te garanderen. Van een toets die niet expliciet is geconstrueerd op basis van zo’n matrijs kan moeilijk worden beargumenteerd dat deze representatief of inhoudsvalide is. Voorts is het van belang dat de toets qua moeilijkheidsgraad is afgestemd op het (verwachte) niveau van degenen die de toets moeten ondergaan.

22


CRITERIUM III: REPRESENTATIVITEIT

Basisvraag 3.1

Zijn inhoud, duur, omvang en soort vragen of (de authenticiteit van de) praktijkopdrachten in overeenstemming met de specificaties van de toetsmatrijs, het examenmodel of het examenplan?

Onv

Vold Goed

1

2

3

1

2

3

Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium IV. Basisvraag 3.2

Is de moeilijkheidsgraad van de vragen of de praktijkopdrachten afgestemd op de beoogde doelgroep?

In sommige handboeken treft men passages aan met betrekking tot de predictieve validiteit van een toets. Men heeft dan vooral het toekomstig functioneren van afgestudeerden in hun beroepsuitoefening op het oog. Soms beschikt men over een zogenoemd kwalificatiedossier waar men bij het opstellen van toetsen van uit kan gaan. Zo’n kwalificatiedossier beschrijft voor een beroep of beroepsgroep de inhoud van het beroep, de vereiste startcompetenties voor een beginnend beroepsbeoefenaar en de kennis en vaardigheden waarover deze minimaal dient te beschikken. Het geeft belangrijke aanknopingspunten voor wat in het algemene toetsplan van een opleiding en in specifieke cursuseindtermen moet worden geoperationaliseerd. Soms speelt ook de authenticiteit van de toets ten opzichte van de beroepspraktijk (bijvoorbeeld bij bepaalde opdrachten) een belangrijke rol. Op deze manier zijn aspecten van inhouds- en begripsvaliditeit, moeilijkheidsgraad, predictieve validiteit en authenticiteit samengebracht onder de noemer van representativiteit. Als in de uitwerking van het wettelijk kader (de kwaliteit van de toetsing) dus het begrip validiteit valt, is het terug te voeren op aspecten van representativiteit zoals hierboven aangegeven. IV.

Betrouwbaarheid

Een andere belangrijke dimensie van kwaliteit is de betrouwbaarheid van de toetsing. Meestal komt dit voor meerkeuzetoetsen en toetsen met open vragen neer op het berekenen van interne consistentiecoëfficiënten zoals Cronbachs alfa, Guttmans lambda of beter nog de GLB (Greatest lower bound), informatiefuncties, standaardmeetfouten of aantallen misclassificaties (gesteld dat men over de data beschikt om deze coëfficiënten uit te rekenen). In de regel worden daar minimumwaarden aan verbonden om belangrijke individuele beslissingen mogelijk te kunnen maken (bijvoorbeeld .80 als de toets het enige succescriterium vormt en .70 als het toetsresultaat wordt gecombineerd met een andere toets of toetsvorm).Voor de beoordeling van bijvoorbeeld open vragen, papers, essays, werkstukken en theses, geldt in de regel dat de beoordeling moet geschieden door ten minste twee beoordelaars. In feite dient ook aangetoond te worden dat er sprake is van een voldoende overeenstemming tussen beoordelaars en dat de interbeoordelaarsbetrouwbaarheid aan minimumeisen voldoet. Alleen bij een (aangetoonde) zeer hoge overeenstemming zou men (in het geval van grote aantallen vragen bijvoorbeeld) kunnen volstaan met één beoordelaar. In het beoordelingssysteem kan interbeoordelaarsbetrouwbaarheid niet worden opgevat als een substituut voor de betrouwbaarheid: deze wordt opgevat als een noodzakelijke voorwaarde om een hoge betrouwbaarheid te kunnen realiseren. In de praktijk zal het aantonen van interbeoordelaarsbetrouwbaarheid dikwijls lastig zijn; er moet immers sprake zijn van dubbele beoordeling, wat tijdrovend is en hoge kosten met zich meebrengt.

23


CRITERIUM IV: BETROUWBAARHEID Onv

Vold Goed

Basisvraag 4.1

Zijn of worden betrouwbaarheidsgegevens verstrekt?

4.2

Zijn of worden de betrouwbaarheidsgegevens correct berekend?

1

2

3

4.3

Zijn de betrouwbaarheidsgegevens voldoende gezien de beslissingen die met de toets of het examen genomen worden?

1

2

3

V.

1

3

Bij negatieve beoordeling van deze vraag kan men direct doorgaan naar criterium V.

Standaardbepaling en normhandhaving

Een belangrijk punt betreft de vraag waar de cesuur tussen voldoende en onvoldoende wordt gelegd, tussen zakken en slagen voor een toets. Psychodiagnostische instrumenten zijn doorgaans relatief genormeerd (zie het COTAN beoordelingssysteem). Bij toetsen en examens kunnen zowel relatieve als absolute methoden van cesuurbepaling worden ingezet 27.

CRITERIUM V: STANDAARDBEPALING EN NORMHANDHAVING

Onv

Basisvraag 5.1

1

Worden normen/standaarden/cesuren verstrekt? Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan en doorgaan met criterium VI.

Vold Goed . 3

Basisvraag 5.2

Is er voldoende overeenstemming tussen de beoordelaars?

1

2

3

5.2.a

Zijn de beoordelaars/deskundigen/experts naar behoren geselecteerd en getraind?

1

2

3

5.2.b

Is de standaardbepalingsmethode op grond waarvan de norm(en) is (zijn) bepaald correct?

1

2

3

Worden normen/standaarden/cesuren gehandhaafd?

1

Basisvraag 5.3

5.3.a

3

Bij negatieve beoordeling (1) van deze vraag kan men vraag 5.3.a overslaan en doorgaan met criterium VI.

Is de methode op grond waarvan de norm(en) is (zijn) gehandhaafd correct?

1

2

3

Bij relatieve cesuurbepaling (bijvoorbeeld ‘grading on the curve’ of de ‘juist toelaatbare afstand tot het groepsgemiddelde’, al dan niet uitgedrukt in standaardmeetfouten) is de waardering van de 27

Zie Berkel, H. van & Wijnen, W. (2006). Het geven van cijfers. In H. van Berkel & H. Bax (Red) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum

24


prestatie van een individuele student afhankelijk van de prestaties van de andere studenten. Waarschijnlijk om die reden geeft dit beoordelingssysteem de voorkeur aan absolute methoden zoals de kernitem-methode van De Groot, de methode Nedelsky of de methode Ebel. Voor bewaking van het niveau zijn methoden van standaardbepaling (prestatie- of beheersingsstandaard) belangrijk zoals de methode Angoff. Daarnaast is het belangrijk dat eenmaal bepaalde standaarden worden gehandhaafd. Ook voor normhandhaving zijn methoden ontwikkeld 28, die verschillen in kwaliteit en dan ook nog eens goed moeten worden uitgevoerd. De tekst van het RCEC-beoordelingssysteem geeft hierover veel informatie en ook de handboeken waarnaar het verwijst. In de praktijk vormt normhandhaving echter een belangrijk probleem dat behoorlijk wat inzet vraagt om het adequaat op te lossen. VI.

Afname en beveiliging

Dit laatste beoordelingsaspect verwijst naar meer praktische en organisatorische zaken, zoals afname-instructie, toetsbeveiliging en het voorkómen en opsporen van fraude en plagiaat 29. CRITERIUM VI: AFNAME EN BEVEILIGING Onv Basisvraag 6.1

Is informatie (voor de examinator) over de afname van de toets of het examen beschikbaar?

Vold Goed

1

3

Bij negatieve beoordeling (1) van deze vraag kan men de rest van de vragen van dit criterium overslaan. 6.1.a

Is de informatie (voor de examinator) volledig en duidelijk?

1

2

3

6.1.b

Wordt de mate van deskundigheid die vereist is om de toets of het examen af te nemen vermeld?

1

2

3

Basisvraag 6.2

Is de toets of het examen voldoende beveiligd?

1

28

3

Zie bijvoorbeeld Engelen, R.J.H, & Eggen, T.J.H.M. (1999). Equivaleren. In P.F. Sanders & T.J.H.M. Eggen (Red). Psychometrie in de praktijk. Arnhem: Cito, en ook Sanders, P. (2011). Toetsen op school. Arnhem: Cito. Beide boeken zijn gratis te downloaden. 29 Er is een beschrijving van de procedures beschikbaar die de examencommissie hanteert bij vaststelling van plagiaat; zie Procedures bij plagiaat, FSW, 17 april 2008, aangepast 21 december 2010


4

25

Het toezicht door de examen- en toetscommissie: plan van aanpak

In het vorige hoofdstuk is het beoordelingskader uitgewerkt dat de examencommissie hanteert in haar toezicht op de kwaliteit van toetsing en beoordeling. In het toezicht gaat de examencommissie ervan uit dat dit resulteert in een kwaliteitsimpuls waar deze nodig wordt bevonden. De noodzaak het beleid met betrekking tot toetsing en de richtlijnen waarmee toetsen worden ontwikkeld, te expliciteren en transparant te maken, is een eerste stap. Het is aan de verantwoordelijke bachelordirecteuren en mastercoördinatoren (aangestuurd door de vice-decaan graduate) om, waar nodig, de volgende stappen te zetten. De examencommissie stelt zich hierbij constructief op door, naast steekproefsgewijs onderzoek, een projectmatige insteek (in een meerjarenplanning) te kiezen. Het concrete toezicht van de examencommissie valt uiteen in de volgende onderdelen, die achtereenvolgens zullen worden toegelicht: o Toezicht op curriculumniveau door de examencommissie, aan de hand van geëxpliciteerd toetsbeleid en toetsplan en verstrekte kengetallen en evaluatiegegevens (paragraaf 4.1); o Toezicht op het niveau van individuele cursussen en toetsen door middel van steekproefsgewijs onderzoek door de toetscommissie (paragraaf 4.2); o Toezicht op het niveau van individuele toetsen door middel van projecten in een meerjarenplan (paragraaf 4.3); o Toezicht naar aanleiding van klachten van individuele of groepen studenten (paragraaf 4.4). 4.1

Toezicht op curriculumniveau

Zoals aangegeven in hoofdstuk 3 is het voeren en expliciteren van toetsbeleid en het opstellen van een toetsplan cruciaal. De examencommissie vraagt dan ook per 1 september 2012 voor elke opleiding het toetsplan op. Voor de bacheloropleidingen in de Undergraduate School betreft dat een toetsplan voor elke opleiding met een eigen croho-label, voor de Graduate School toetsplannen voor alle onderscheiden masterprogramma’s. Als er geen geïntegreerd toetsplan is, bijvoorbeeld omdat allerlei uitgangspunten, documentatie, regelingen en richtlijnen over verschillende documenten verspreid staan, krijgt de opleiding tot 1 januari 2013 de tijd om alsnog een toetsplan op te stellen. In het toetsplan is een beschrijving van de eindtermen van de opleiding opgenomen in de vorm van Dublin-descriptoren. In aansluiting hierop dient aangegeven te zijn hoe deze eindtermen zich verhouden tot cursusdoelstellingen. Waar van toepassing dient dit te gebeuren voor verschillende fasen (bijvoorbeeld een basisfase) en studietrajecten (bijvoorbeeld studiepaden) afzonderlijk. De cursusdoelstellingen moeten dekkend zijn voor de eindtermen. Vervolgens moet per onderwijsonderdeel (cursussen, individuele onderdelen) zijn uitgewerkt hoe wordt nagegaan of de student aan alle cursusdoelstellingen voldoet. Hierbij volstaat het niet dat de toetsen of toetsvormen worden genoemd. Er moet beargumenteerd worden waarom voor de betreffende toetsen of toetsvormen is gekozen en hoe deze samen een adequate operationalisatie vormen van de cursusdoelstellingen. Waar meer dan één toets(vorm) wordt gehanteerd, dient de weging van de onderscheiden onderdelen te zijn aangegeven en beargumenteerd, zodat duidelijk is hoe de toetsen per cursus een bijdrage leveren aan het uiteindelijke oordeel over wie wel en wie niet aan de cursuseisen voldoet. In het toetsplan is aangegeven hoe het zich verhoudt tot de Onderwijs- en examenregeling en tot het Reglement Examencommissies. Dat wil zeggen dat voor sommige afspraken kan worden verwezen naar deze regelingen en reglementen, mits dat duidelijk wordt aangegeven. Omgekeerd kan de OER ook naar een toetsplan verwijzen. Het is mogelijk dat een deel van het toetsbeleid op facultair niveau wordt uitgewerkt. Als dit resulteert in facultaire afspraken, kan voor dat deel van het toetsplan naar een gemeenschappelijk facultair toetsplan worden verwezen.


26

In verband met het toezicht op de toetsing op curriculumniveau ontvangt de examencommissie jaarlijks met ingang van 1 januari 2013 de volgende informatie van de bachelordirecteur: o Eventuele wijzigingen in het toetsbeleid en het toetsplan, de eindtermen en de wijze waarop deze door de onderwijsonderdelen en de bijbehorende toetsen zijn belegd; o Reguliere cursusevaluaties, met daarin aandacht voor de adequaatheid en de kwaliteit van de toetsing; o Evaluatieresultaten op het niveau van het curriculum, ook bij het afnemend werkveld; o Resultaten van UU- enquêtes zoals Eerstejaars-, Derdejaars-, Master- en Medewerkersmonitor; o Resultaten van landelijke enquêtes (zoals Keuzegids, Elsevier, Arbeidsmarktmonitor) o Gegevens over studieresultaten en rendementen op diplomaniveau; o Gegevens over studieresultaten en rendementen op cursusniveau. Examencommissies enerzijds en bachelordirecteuren, respectievelijk vice-decaan graduate anderzijds overleggen nog hoe deze gegevens het beste kunnen worden aangeleverd en in welke concrete vorm. Een van de punten uit het toetsplan betreft de deskundigheid en professionalisering van docenten. Zoals eerder aangegeven is de decaan verantwoordelijk voor de deskundigheid van docenten. Hij doet dit door eisen te stellen aan de basiskwalificatie onderwijs (BKO), de senior kwalificatie onderwijs (SKO) en door mogelijkheden te scheppen voor deskundigheidsbevordering en professionalisering. Bezien vanuit het perspectief van de opleiding en de bachelordirecteur (die verantwoordelijk is voor de kwaliteit van de toetsing) dient in het toetsplan te worden aangegeven welke deskundigheid men van een docent verwacht wil deze adequaat als examinator kunnen fungeren. Daarbij kunnen verschillende aspecten worden benoemd, zoals een toets of opdracht construeren en op kwaliteit controleren, goede toetsvragen formuleren, surveilleren, optreden als stagedocent of het begeleiden en beoordelen van een bacheloronderzoek of masterthesis. De examencommissie kan nagaan of de veronderstelde deskundigheid van docenten die in een bepaalde rol als examinator worden ingezet, daadwerkelijk aanwezig is. Onderzoek daarnaar kan algemeen zijn (bijvoorbeeld door te checken welke eisen in BKO en SKO worden gesteld aan deskundigheid op het gebied van toetsing en in welke mate docenten die zo’n kwalificatie behalen daadwerkelijk aan die eisen voldoen), maar ook specifiek. Bijvoorbeeld door na te gaan welke docenten betrokken zijn bij de begeleiding van mastertheses en of deze voldoen aan de kwalificaties die door de opleiding zijn vastgelegd in het toetsplan. In het toetsplan kan bijvoorbeeld aangegeven zijn dat AiO’s een masterthesis mogen begeleiden, op voorwaarde dat zij zelf daarbij onder supervisie staan van hun promotor. De examencommissie kan onderzoeken of daadwerkelijk aan deze voorwaarde wordt voldaan. Het toezicht op curriculumniveau wordt uitgeoefend door de betreffende examencommissie. Aan de toetscommissie kan door de examencommissie een adviserende rol worden toebedeeld. 4.2

Toezicht op het niveau van de individuele toetsen: steekproeven

Het toezicht op cursusniveau heeft hoofdzakelijk het karakter van een toezicht op de individuele toetsen. Het is gerechtvaardigd om het toezicht op deze manier in te richten als per cursus voldoende is aangegeven hoe de gehanteerde toetsen zich verhouden tot de cursusdoelstellingen. Bovendien veronderstellen de kwaliteitseisen in het beoordelingssysteem dat de toetsen die in een cursus worden toegepast zijn geconstrueerd op basis van beargumenteerde uitgangspunten en dat zij ten opzichte daarvan representatief zijn (zie criterium I en III in het RCEC-systeem). Het toezicht op de kwaliteit van de individuele toetsen is hoofdzakelijk bij de toetscommissie neergelegd. Deze doet onderzoek naar de kwaliteit en gaat daarbij steekproefsgewijs te werk volgens een duidelijk aangegeven plan van aanpak. Op dit moment is het voornemen om aanvankelijk voornamelijk projectmatig te werk te gaan (zie paragraaf 4.3). De redenen hiervoor zijn:


27

Het is voor de commissie nog niet systematisch duidelijk hoe het totale domein van toetsen eruit ziet. Dit zal moeten blijken uit de voorgenomen eerste inventarisatie (zie eveneens paragraaf 4.3). Als duidelijk is hoe de ‘populatie’ van toetsen is samengesteld, kan vervolgens beter beargumenteerd een plan van aanpak worden gepresenteerd ten aanzien van het trekken van een steekproef uit die ‘populatie’. o Op de tweede plaats lijkt het verstandig om in eerste aanvang gericht en thematisch te werk te gaan. De toezichthoudende rol van de examencommissie is tot op zekere hoogte nieuw en de in deze notitie aangegeven aanpak is dat zeker. Door het expliciteren van kwaliteitscriteria is het niet uitgesloten dat bij sommige toetsvormen kwaliteitswinst kan worden behaald door de richtlijnen nader uit te werken en deze vervolgens strikt te handhaven. Daarbij wordt de hoogste prioriteit gegeven aan de toetsvormen die een doorslaggevende rol spelen in de handhaving van het niveau van de studenten (i.e. tentamens met meerkeuze- of open vragen, of een mengvorm daarvan, beoordeling van masterthesis en bacheloronderzoek, beoordeling van praktijk- en onderzoekstages). Bij het omschrijven van het domein, de ‘populatie’, kan men deze ook stratificeren, zodat het trekken van een steekproef gestratificeerd kan gebeuren. Te denken valt aan: o Opleiding en/of fase in een opleiding (bijvoorbeeld alle theses in de masterprogramma’s van de researchmasteropleiding, of alle toetsen in de basisfase van Pedagogische wetenschappen) o Type toets (c.q. toetsvorm; zie hieronder) o Naar kwaliteitscriterium (zie de beschrijving daarvan in hoofdstuk 3): dat wil zeggen alleen onderzoek naar bijvoorbeeld de representativiteit of de betrouwbaarheid. o

Toetsen zijn op verschillende manieren te rubriceren. Handboeken geven hieraan op zeer verschillende manieren vorm. Hier is gekozen voor een pragmatische indeling die recht doet aan de toetsvormen die in de faculteit naar het zich laat aanzien het meest frequent worden gehanteerd: I. II.

III. IV. V. VI.

Toetsen of tentamens (in engere zin) met meerkeuze- of open vragen of een mengvorm van open en gesloten vragen. Theses en de beoordeling daarvan. Hierbij wordt onderscheid gemaakt tussen de rapportage van het bacheloronderzoek (bachelorthesis) en de masterthesis (researchmasteropleiding; academische masteropleiding). Belangrijk aandachtspunt hierbij is de vraag of het hier om een individueel product gaat of een groepsproduct (in tweetallen of groepjes van drie of vier). De beoordeling dient zo te zijn ingericht dat een individueel oordeel per student kan worden gegeven. Stages en de evaluatie daarvan. Hierbij wordt onderscheid gemaakt tussen onderzoeken praktijkstage. Praktijkstages zullen in de regel extern zijn, onderzoekstages kunnen zowel intern als extern georganiseerd zijn. Essays, papers, werkstukken, casuïstiek. Gedoeld wordt op toetsproducten die een (open) schriftelijke vorm kennen, waarvan de inhoudelijke beoordeling geschiedt aan de hand van een aantal criteria. Opdrachten waarin vaardigheden worden getoetst, zoals schrijven, presenteren, observeren, communicatieve en gespreksvaardigheden, specifieke beroepsvaardigheden. De vorm hiervan is soms schriftelijk, maar heeft meestal een eigen, niet-schriftelijke vorm. Overig: bijvoorbeeld een portfolio, een mondeling tentamen.

Hieronder worden per rubriek voorbeelden beschreven van materiaal dat de toetscommissie kan opvragen om haar onderzoek gestalte te geven. Daarbij zal de toetscommissie evaluaties en kengetallen betrekken van de cursus waarin de betreffende toets is ingezet (zie hiervoor paragraaf 4.1). Daarnaast wil de commissie graag weten met welke cijfers of andere kwalificaties het werk van individuele studenten is gehonoreerd; bedoeld zijn deeluitslagen op toetsen die niet in OSIRIS zijn gedocumenteerd.


I.

II.

III.

IV.

28

Toetsen of tentamens o Beargumentering van de relatie tussen toetsinhoud en toetsdoel enerzijds en de cursusdoelen anderzijds; o Een toetsmatrijs, blauwdruk of specificatietabel; o Een beschrijving van de wijze van itemconstructie (bijvoorbeeld door peer reviewing, beoordeling door coördinator); o Bij open vragen: het beoordelingsmodel, scoringsvoorschriften; o De manier waarop de cesuur is bepaald; o De cesuur en de koppeling van toetsscores aan cijfers (of andere kwalificaties); o Bij open vragen: een willekeurige steekproef uit de beoordeelde toetsen (volgens specificatie door de toetscommissie); o Een dataset met data op itemniveau, bij voorkeur voorzien van een item- en toetsanalyse; o Betrouwbaarheidsdata in termen van alfa, lambda of GLB; o Een beschrijving van de wijze waarop toetsinhoud, cesuur en cijferbepaling zijn aangepast op grond van de item- en toetsanalyse; o Indien aanwezig, een beschrijving van de wijze waarop de norm (cesuur) wordt gehandhaafd ten opzichte van eerdere afnames van de toets. Theses o De thesishandleiding; o Eventueel een formulier waarop de opzet van de thesis kan worden uitgewerkt; o Een beschrijving van de wijze waarop de beoordelingsprocedure is vormgegeven (bijvoorbeeld inzet tweede beoordelaar, wat te doen bij discrepanties); o Een beoordelingsformulier voor de thesis waarop is uitgewerkt op welke punten de thesis wordt beoordeeld; o Bij groepsproducten: een beschrijving van de wijze waarop aan de beoordeling van elke individuele student recht wordt gedaan; o Een willekeurige steekproef uit de beoordeelde theses (volgens specificatie door de toetscommissie), inclusief ingevulde beoordelingsformulieren. Stages o De stagehandleiding; o Een document aan de hand waarvan een stagewerkplan kan worden uitgewerkt, binnen de doelstellingen die voor de stage staan omschreven in de studiegids; o Aanwijzingen en format voor een tussentijds evaluatieverslag; o Aanwijzingen en format voor een eindverslag; o Richtlijnen en formulier voor de beoordeling van de stage door de intern begeleider; o Idem voor de externe begeleider of stagedocent; o Een willekeurige steekproef uit de beoordeelde stages (volgens specificatie door de toetscommissie), inclusief ingevulde beoordelingsformulieren. Essays, papers, werkstukken, casuïstiek. o Instructies omtrent de eisen waaraan het werkstuk moet voldoen; handleiding; o Beargumentering van de eisen die aan het werkstuk worden gesteld vanuit de cursusdoelstellingen; o Beoordelings- of correctiemodel, inclusief een beargumentering van de cesuur en de toegekende kwalificatie of het cijfer; o Bij groepsproducten: een beschrijving van de wijze waarop aan de beoordeling van elke individuele student recht wordt gedaan; o Werkwijze bij beoordeling (één of twee beoordelaars, werkwijze bij discrepanties); o Resultaten van onderzoek naar de interbeoordelaarsovereenstemming, voor zover aanwezig;


29

Een willekeurige steekproef uit de beoordeelde essays, papers, werkstukken of casuïstiek inclusief het ingevulde beoordelingsformulier en/of de gegeven feedback en het cijfer waarmee het werk is beoordeeld. Opdrachten waarin vaardigheden worden getoetst o Bijvoorbeeld een specificatie van de eisen waaraan een onderzoekspresentatie moet voldoen; o Een beoordelingsformulier voor onderzoekspresentaties, inclusief de wijze waarop het cijfer voor de presentatie wordt bepaald; o Bij groepspresentaties: een beschrijving van de wijze waarop aan de beoordeling van elke individuele student recht wordt gedaan; o Een willekeurige steekproef uit de beoordeelde presentaties aan de hand van ingevulde beoordelingsformulieren. Overig o Bijvoorbeeld bij een mondeling tentamen30: een toetsfolder met informatie over de inrichting van het tentamen; o Een argumentatie van de noodzaak van dit type toetsing op basis van de doelstellingen van de toets en de omstandigheden die een mondelinge wijze van tentamineren noodzakelijk maken; o Een toelichting op de manier waarop de toetssituatie optimaal is gestandaardiseerd; o Een specificatie van de onderwerpen die in het mondelinge tentamen aan de orde komen, het belang ervan (in termen van aan elk onderwerp te besteden tijd) en de wijze waarop moet worden doorgevraagd; o Specificatie vooraf van de voor een voldoende vereiste antwoorden; o Verslag van het mondeling in termen van gemaakte aantekeningen tijdens het tentamen en een onderbouwing van de toegekende cijfers; o Bij een portfolio: de portfolio-handleiding, richtlijnen voor beoordeling en een willekeurige steekproef uit de beoordeelde portfolio’s, samen met de ingevulde beoordelingsformulieren. o

V.

VI.

Bovenstaande opsomming is niet als uitputtend bedoeld en geeft slechts een voorbeeld van het soort informatie dat de toetscommissie in het onderzoek betrekt. Wanneer de toetscommissie informatie opvraagt met betrekking tot een bepaalde toets, zal zij altijd specificeren welk type informatie moet worden aangeleverd. 4.3

Toezicht op het niveau van de individuele toetsen: meerjarenplan

In eerste instantie, dat wil zeggen in de periode 2011/2012 tot en met 2015/2016 zal de toetscommissie niet steekproefsgewijs, maar projectmatig te werk gaan in een meerjarenplanning. Hierin vindt in eerste instantie een algemene inventarisatie plaats van de verschillende toetsingen die in de opleidingen (programma’s) zijn opgenomen. De inventarisatie vindt plaats door gebruik te maken van de visitaties die in het voorjaar van 2012 plaatsvinden. Bij die gelegenheid is veel toetsmateriaal ter inzage gegeven aan de visitatiecommissie (bijvoorbeeld de door de commissie opgevraagde theses en stageverslagen, samen met de ingevulde beoordelingsformulieren) of op de visitatiedagen ter inzage gelegd. Bijvoorbeeld: o Toetsopgaven met bijbehorende beoordelingscriteria en normering (antwoordmodellen) en een representatieve selectie van feitelijk gemaakte toetsen (zoals presentaties, stages, assessments of portfolio’s) en beoordelingen; o Door het panel bepaalde selectie van afstudeerwerken van de afgelopen twee jaar met bijbehorende beoordelingscriteria en normering; 30

Ontleend aan Berkel, H. van & Bax, H. (2006) Toetsen met een mondelinge toets. In H. van Berkel & H. Bax (Red) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum

30


Samenvatting en analyse van recente evaluatieresultaten (met betrekking tot zaken die voor de toetsing en beoordeling relevant zijn); o Documentatie over docenten studenttevredenheid (idem). Deze inventarisatie moet globaal inzicht verschaffen in de frequentie waarmee bepaalde toetsvormen in de opleidingen worden ingezet en in de kwaliteit ervan. Op basis van deze inventarisatie kunnen gerichte projecten worden opgezet als de resultaten daartoe aanleiding geven. Voor de rubrieken ‘toetsen en tentamens’, ‘theses’ en ‘stages’ is in ieder geval een project in de meerjarenplanning opgenomen. De keuze voor deze rubrieken is ingegeven door het belang van de betreffende toetsvorm met betrekking tot (de bewaking van) het eindniveau van de afgestudeerden en de frequentie waarmee de betreffende toetsvorm in de opleiding wordt ingezet. o

Bij elk project wordt in principe een opzet in drie fasen gehanteerd. In fase 1 doet de toetscommissie onderzoek (TConderzoek) en brengt zij daarover verslag en advies uit. Vervolgens wordt de bachelordirecteur of vice-decaan graduate in fase 2 in de gelegenheid gesteld om verbeteringen aan te brengen in de betreffende toetsvorm (ODinnovatie, VDinnovatie) als de onderzoeksresultaten daar aanleiding toe geven. Ten slotte voert de toetscommissie in fase 3, al dan niet steekproefsgewijs, controle-onderzoek uit om na te gaan of de gewenste verbeteringen zijn aangebracht en tot voldoende resultaat hebben geleid (TCcontrole). Vervolgens kan de betreffende toetsvorm vanaf dat moment in de steekproefsgewijze benadering worden opgenomen. In het schema wordt verondersteld dat bachelordirecteur of vice-decaan graduate daadwerkelijk gevolg geven aan het advies van de examencommissie om bepaalde verbeteringen aan te brengen (gesteld dat deze nodig geacht worden). De meerjarenplanning kan als volgt in schema worden gebracht. Zonodig kunnen nog projecten worden toegevoegd als de algemene inventarisatie in 2011/2012 daar aanleiding toe geeft. Deelproject Algemene inventarisatie Alle opleidingen en programma’s I. Tentamens Basisfase psychologie Ba2/3 psy + basisfase overige Ba-opleidingen Ba2/3 overige Ba-opleidingen + AcMa Psy AcMa overige opleidingen + ReMa II. Theses AcMa + ReMa Bacheloronderzoek, -thesis (alle Baopleidingen III. Stages Onderzoek- en praktijkstages AcMa + ReMa

Studiejaar 11/12

12/13

13/14

14/15

15/16

ODinnovatie

TCcontrole ODinnovatie

steekproef TCcontrole ODinnovatie

steekproef steekproef TCcontrole ODinnovatie

steekproef steekproef steekproef TCcontrole

TConderzoek

VDinnovatie TConderzoek

TCcontrole ODinnovatie

steekproef TCcontrole

steekproef steekproef

TConderzoek

VDinnovatie

TCcontrole

TConderzoek

Rubriek I (open en gesloten tentamens) kent een afwijkende opbouw. In 2011-2012 is in de basisfase van de bacheloropleiding Psychologie al een EMP-project 31 naar deze toetsvorm van start gegaan (op initiatief van de bachelordirecteur van Psychologie). In het project wordt steeds per cursus de stand van zaken vastgesteld (hoe worden tentamens geconstrueerd, welke procedures gelden er,

31

EMP staat voor Educatieve Middelen Pool; het betreft extra geld voor onderwijsinnovaties dat per faculteit wordt verdeeld en in projecten ondergebracht.


31

voldoen deze aan de eisen) en wordt hands on expertise van het COLUU 32 ingebracht om de procedures te verbeteren. De projectleider is tijdelijk aan de toetscommissie toegevoegd om verslag te kunnen uitbrengen van zijn bevindingen aan de commissie, terwijl de toetscommissie van haar kant advies kan uitbrengen om het project bij te sturen. De toetscommissie stelt voor om het betreffende EMP-project stapsgewijs in dezelfde opzet (waarbij gedurende het project onderzoek naar de stand van zaken en verbetering van de procedures hand in hand gaan) uit te breiden naar de andere opleidingen. Hierover volgt nog overleg met de Boards of Studies, respectievelijk de bachelordirecteuren en vice-decaan graduate. In de genoemde onderzoeken wordt door de toetscommissie het beoordelingskader toegepast zoals dat in hoofdstuk 3 is weergegeven. De werkwijze is dat de toetscommissie onderzoek uitvoert en daarover rapporteert aan de examencommissie. De examencommissie stelt vast wat er naar aanleiding van het onderzoek moet gebeuren en treedt daarover in contact met de betreffende bachelordirecteur of vice-decaan graduate. Hoe de communicatie verloopt (wie spreekt namens de examencommissie, de voorzitter samen met het kernlid van de betreffende opleiding, alleen het kernlid, al dan niet samen met de voorzitter van de toetscommissie) wordt geregeld in het huishoudelijk reglement van de examencommissies. 4.4

Toezicht naar aanleiding van klachten van studenten

In het bovenstaande is vooral het structurele karakter van het toezicht door examen- en toetscommissie uitgewerkt. De nieuwe wetgeving maakt het mogelijk dat individuele studenten of groepen studenten verzoeken of klachten indienen bij de examencommissie. Dat is althans de implicatie van artikel 7.12b, lid 4: Indien een student bij de examencommissie een verzoek of een klacht indient waarbij een examinator betrokken is die lid is van de examencommissie, neemt de betrokken examinator geen deel aan de behandeling van het verzoek of de klacht. Klachten van individuele of groepen studenten over toetsing en beoordeling kunnen bij de examencommissie van FSW worden ingediend via het loket van de facultaire klachtencoördinator. De klachtencoördinator neemt de klacht in behandeling en volgt daarbij het universitaire protocol Klachten van studenten over toetsing en beoordeling. Klachtencoördinator en examencommissie kunnen de toetscommissie verzoeken onderzoek te doen naar de kwaliteit van de toetsing en beoordeling om daarover advies uit te brengen. De toetscommissie gaat in haar onderzoek en advisering uit van het beoordelingskader dat in hoofdstuk 3 is geschetst. Examinatoren dienen de toetscommissie de gevraagde inlichtingen te verstrekken (zie WHW, artikel 7.12c, lid 2).

32

Het COLUU staat voor Centrum voor Onderwijs en Leren van de UU, dat een samenwerkingsverband vormt van vijf faculteiten.


32

Bijlage 1: Bepalingen Wet hoger onderwijs en wetenschappelijk onderzoek (WHW) inzake de examencommissie Artikel 7.12. Examencommissie 1. Elke opleiding of groep van opleidingen aan de instelling heeft een examencommissie. 2. De examencommissie is het orgaan dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs- en examenregeling stelt ten aanzien van kennis, inzicht en vaardigheden die nodig zijn voor het verkrijgen van een graad.

Artikel 7.12a. Benoeming en samenstelling examencommissie 1. Het instellingsbestuur stelt de examencommissie in en benoemt de leden op basis van hun deskundigheid op het terrein van de desbetreffende opleiding of groep van opleidingen. Ten minste één lid is als docent verbonden aan de opleiding of aan een van de opleidingen die tot de groep van opleidingen behoort. 2. Het instellingsbestuur draagt er zorg voor dat het onafhankelijk en deskundig functioneren van de examencommissie voldoende wordt gewaarborgd. 3. Alvorens tot benoeming van een lid over te gaan, hoort het instellingsbestuur de leden van de desbetreffende examencommissie.

Artikel 7.12b. Taken en bevoegdheden examencommissie 1. Naast de taken en bevoegdheden, bedoeld in de artikelen 7.11 en 7.12, tweede lid, heeft een examencommissie de volgende taken en bevoegdheden: a. het borgen van de kwaliteit van de tentamens en examens onverminderd artikel 7.12c, b. het vaststellen van richtlijnen en aanwijzingen binnen het kader van de onderwijs- en examenregeling, bedoeld in artikel 7.13, om de uitslag van tentamens en examens te beoordelen en vast te stellen, c. het door de meest daarvoor in aanmerking komende examencommissie verlenen van toestemming aan een student om een door die student samengesteld programma als bedoeld in artikel 7.3d te volgen, waarvan het examen leidt tot het verkrijgen van een graad, waarbij de examencommissie tevens aangeeft tot welke opleiding van de instelling dat programma wordt geacht te behoren voor de toepassing van deze wet, en d. het verlenen van vrijstelling voor het afleggen van één of meer tentamens. 2. Indien een student of extraneus fraudeert, kan de examencommissie de betrokkene het recht ontnemen één of meer door de examencommissie aan te wijzen tentamens of examens af te leggen,


33

gedurende een door de examencommissie te bepalen termijn van ten hoogste een jaar. Bij ernstige fraude kan het instellingsbestuur op voorstel van de examencommissie de inschrijving voor de opleiding van de betrokkene definitief beëindigen. 3. De examencommissie stelt regels vast over de uitvoering van de taken en bevoegdheden, bedoeld in het eerste lid, onderdelen a, b en d, en het tweede lid, en over de maatregelen die zij in dat verband kan nemen. De examencommissie kan onder door haar te stellen voorwaarden bepalen dat niet ieder tentamen met goed gevolg afgelegd hoeft te zijn om vast te stellen dat het examen met goed gevolg is afgelegd. 4. Indien een student bij de examencommissie een verzoek of een klacht indient waarbij een examinator betrokken is die lid is van de examencommissie, neemt de betrokken examinator geen deel aan de behandeling van het verzoek of de klacht. 5. De examencommissie stelt jaarlijks een verslag op van haar werkzaamheden. De examencommissie verstrekt het verslag aan het instellingsbestuur of de decaan.

Artikel 7.12c. Examinatoren 1. Voor het afnemen van tentamens en het vaststellen van de uitslag daarvan wijst de examencommissie examinatoren aan. 2. De examinatoren verstrekken de examencommissie de gevraagde inlichtingen.


Bijlage 2: Format voor jaarverslag examencommissies

JAARVERSLAG OVER STUDIEJAAR: ……………………….. (eerste keer: 2010-2011) EXAMENCOMMISSIE VAN: ………………………………………………..… (school) Beoogde omvang: maximaal 2 A4-tjes

1. SAMENSTELLING EXAMENCOMMISSIE: …………………

2. TOEZICHT OP KWALITEIT TENTAMENS EN EXAMENS (EINDNIVEAU VAN DE AFGESTUDEERDEN) a. Beschrijving procedures en richtlijnen voor beoordeling en normering van toetsen (opsomming of verwijzing naar reglementen etc.) ……………………………………….. b. Wijze waarop is nagegaan dat deze worden toegepast. (beschrijving) ………………………………………… c. Beschrijving richtlijnen voor beoordeling en normering van onderzoeksopdrachten en scripties (opsomming of verwijzing naar reglementen, scriptiehandleiding etc.) ……………………………………….. d. Wijze waarop is nagegaan dat deze worden toegepast. (beschrijving) ……………………………………….. e. Op welke wijze en hoeveel keer de kwaliteit van toetsen is onderzocht (beschrijving, eventueel met verwijzing naar rapportage toetscommissie) ………………………………………..

34

35


3. KWANTITATIEVE GEGEVENS a. aantal afgegeven diploma’s - totaal: - waarvan cum laude:

……. …….

b. aantal vrijstellingsverzoeken totaal: - ingewilligd: - afgewezen:

……. ……. …….

c. aantal verzoeken om een bijzondere (tentamen)voorziening, totaal: - ingewilligd - afgewezen

……. ……. …….

d. aantal fraudegevallen

…….

e. aantallen BSA

…….

f.

…...

aantal beroepszaken bij College van beroep voor de examens

4. AANBEVELINGEN ………………….

36


Bijlage 3: Reglement examencommissies FSW 2011-2012

Reglement examencommissies 2011-2012 (regels ex art. 7.12b, 3e lid WHW)

Reglement examencommissies, vastgesteld door de examencommissies van de bacheloropleidingen Algemene Sociale Wetenschappen, Culturele Antropologie en ontwikkelingssociologie, Onderwijskunde, Pedagogische Wetenschappen, Psychologie en Sociologie, de academische masteropleidingen Algemene Sociale Wetenschappen, Culturele Antropologie, Latin American and Caribbean Studies, Onderwijskunde, Pedagogische Wetenschappen, Psychologie en Sociologie en de onderzoeksmasteropleidingen Cultural Anthropology: Sociocultural Transformations, Development and Socialisation in Childhood and Adolescence, Educational Sciences: Learning in Interaction, Methodology and Statistics of Behavioural and Social Sciences, Migration, Ethnic Relations and Multiculturalism, Social and Health Psychology en Sociology and Social Research van de Universiteit Utrecht. Dit reglement treedt in werking op 1 september 2011.


Inhoud: PARAGRAAF 1 – ALGEMENE BEPALINGEN art. 1 – toepassingsgebied art. 2 – examencommissie art. 3 – maatstaven art. 4 – examinatoren PARAGRAAF 2 - ORGANISATIE TOETSEN EN GOEDE GANG VAN ZAKEN art. 5 – tijdstippen toetsen art. 6 – aanmelding toetsen art. 7 – terugtrekking toets art. 8 – de orde tijdens een examen of toets PARAGRAAF 3 - BEOORDELING TOETSEN, THESIS art. 9 – beoordeling toetsen art. 10 – beoordeling thesis, onderzoeksopdrachten, scripties art. 11 – nabespreking PARAGRAAF 4 - BORGEN KWALITEIT EXAMINERING art. 12 – borgen kwaliteit toetsen art. 13 – onderzoeken kwaliteit toetsen art. 14 – borgen van kwaliteit examens (eindniveau van de afgestudeerden) PARAGRAAF 5 - VRIJSTELLINGEN art. 15 – vrijstelling

37


38

PARAGRAAF 1 - ALGEMENE BEPALINGEN art. 1 - toepassingsgebied Dit reglement is van toepassing op de toetsen en de examens van de volgende door de Universiteit Utrecht aangeboden opleidingen: Bacheloropleidingen: 1 Algemene Sociale Wetenschappen 2 Culturele Antropologie en ontwikkelingssociologie 3 Onderwijskunde 4 Pedagogische Wetenschappen 5 Psychologie 6 Sociologie Academische masteropleidingen: 1 Algemene Sociale Wetenschappen 2 Culturele Antropologie 3 Latin American and Caribbean Studies 4 Onderwijskunde 5 Pedagogische Wetenschappen 6 Psychologie 7 Sociologie Onderzoeksmasteropleidingen: 1 Cultural Anthropology: Sociocultural Transformations 2 Development and Socialisation in Childhood and Adolescence 3 Educational Sciences: Learning in Interaction 4 Methodology and Statistics of Behavioural and Social Sciences 5 Migration, Ethnic Relations and Multiculturalism 6 Social and Health Psychology 7 Sociology and Social Research De in de Onderwijs- en Examenregeling van deze opleidingen omschreven begrippen zijn ook van toepassing op dit reglement. art. 2 - examencommissie 1. De examencommissie wijst uit haar midden een lid aan dat belast is met de behartiging van de dagelijkse gang van zaken van de examencommissie. 2. De examencommissie neemt besluiten bij gewone meerderheid van stemmen. Indien de stemmen staken is de student c.q. zijn verzoek afgewezen. 3. De examencommissie neemt een beslissing binnen zes weken na ontvangst van een verzoekschrift. 4. Van vergaderingen van een examencommissie worden notulen gemaakt. De notulen worden door of namens de voorzitter gefiatteerd. 5. De examencommissie stelt jaarlijks per studiejaar een verslag van haar werkzaamheden op en verstrekt dit uiterlijk 1 december volgend op het betreffende studiejaar aan de decaan. 6. De examencommissie wordt in zijn werkzaamheden ondersteund door een ambtelijk secretaris. Deze maakt geen deel uit van de examencommissie. De ambtelijk secretaris draagt zorg voor: - het voorbereiden, bijeenroepen en notuleren van de vergaderingen; - het bewaken van de uitvoering van genomen besluiten; - het communiceren van besluiten aan studenten en andere betrokkenen; - het opstellen van periodieke rapportages;


39

- het archiveren van behandelde verzoeken, bezwaren en genomen besluiten. art. 3 - maatstaven De examencommissie neemt bij haar beslissingen de volgende maatstaven tot richtsnoer: a. het behoud van kwaliteitseisen van een examen of toets; b. doelmatigheidseisen, onder meer tot uitdrukking komend in een streven naar het zoveel mogelijk beperken van tijdverlies voor studenten; c. bescherming tegen zichzelf van de student die een te grote studielast op zich wil nemen; d. mildheid ten opzichte van studenten, die door omstandigheden buiten hun schuld in de voortgang van hun studie vertraging hebben ondervonden. art. 4 - examinatoren 1. Leden van de wetenschappelijke staf, die belast zijn met het onderwijs van een cursus, zijn als examinator verantwoordelijk voor de toetsing van de cursus. De examencommissie kan overige leden van het wetenschappelijk personeel en deskundigen van buiten de opleidingen als examinator aanwijzen. 2. De examencommissie kan overgaan tot intrekking van de aanwijzing als examinator indien de examinator zich niet houdt aan weten regelgeving of richtlijnen van de examencommissie, of als de competentie van examinator op het gebied van toetsen (maken, afnemen, beoordelen) herhaaldelijk van onvoldoende kwaliteit is gebleken. PARAGRAAF 2 - ORGANISATIE TOETSEN EN GOEDE GANG VAN ZAKEN art. 5 - tijdstippen toetsen 1. Schriftelijke toetsen worden afgenomen op tijdstippen, die tenminste twee maanden voor aanvang van de toets door de examencommissie zijn vastgesteld. 2. Bij de vaststelling van de tijdstippen van toetsen wordt zoveel mogelijk voorkomen dat toetsen samenvallen. 3. Wijziging van vastgestelde tijdstippen vindt uitsluitend plaats in geval van overmacht. 4. Mondelinge toetsen worden op een door de betreffende examinator(en) zo mogelijk na overleg met de student te bepalen tijdstip afgenomen. 5. Tijdstippen voor schriftelijke aanvullende toetsen worden tenminste twee weken van tevoren vastgesteld en bekend gemaakt. Er zitten minimaal vijf werkdagen tussen het bekendmaken van het resultaat en de aanvullende toets. art. 6 - aanmelding toetsen 1. Deelname aan een schriftelijke toets kan slechts plaatsvinden na deugdelijke en tijdige aanmelding via Osiris Student binnen de universitaire cursusinschrijfperiode (zie www.uu.nl/inschrijfperiodes). 2. De examencommissie kan toestaan dat van de in lid 1 genoemde periode wordt afgeweken als de student aantoont door overmacht te zijn verhinderd zich tijdig in te schrijven. art. 7 - terugtrekking toets 1. Indien de student niet verschijnt bij de toets op het tijdstip waarvoor hij zich heeft aangemeld, dan wel zich minder dan tien werkdagen voor dat tijdstip afmeldt, dan wordt hij uitgesloten van deelname aan die toets in het lopende cursusjaar. 2. De examencommissie kan besluiten deelname toch toe te staan, indien de student aantoont door overmacht verhinderd te zijn geweest deel te nemen aan resp. zich tijdig terug te trekken voor de toets.


40

art. 8 - de orde tijdens een examen of toets 1. De examinator draagt ervoor zorg, dat ten behoeve van de schriftelijke tentaminering voldoende surveillanten worden aangewezen, die erop toezien dat de toets in goede orde verloopt. 2. De student is verplicht zich op verzoek van of vanwege de examencommissie te legitimeren met behulp van zijn collegekaart en een geldig identiteitsbewijs. De toegang tot de toets wordt ontzegd, indien de student zich niet kan legitimeren. 3. Aanwijzingen van de examencommissie, c.q. de examinator of surveillant, die voor, tijdens en onmiddellijk na afloop van de toets gegeven worden, dienen door de student te worden opgevolgd. 4. Volgt de student een of meer aanwijzingen als bedoeld in het derde lid niet op, dan kan hij door de examencommissie c.q. examinator worden uitgesloten van verdere deelname aan de desbetreffende toets. De uitsluiting heeft tot gevolg dat geen uitslag van die toets wordt vastgesteld. Voordat de examencommissie een besluit tot uitsluiting neemt, stelt zij de student op zijn verzoek in de gelegenheid terzake te worden gehoord. 5. De duur van een toets is zodanig dat studenten redelijkerwijs voldoende tijd hebben om de vragen te beantwoorden. 6. Laatkomers worden tot een toets toegelaten tot ten hoogste 15 minuten na de aanvang van de toets. Indien een student door overmacht niet binnen deze tijdslimiet aanwezig kan zijn beslist de examencommissie, c.q. examinator, of hij alsnog tot de toets wordt toegelaten. 7. Studenten mogen de zaal waar de toets wordt afgenomen niet verlaten binnen 30 minuten na aanvang van de toets. 8. Nadat deelnemers de zaal hebben verlaten, worden geen laatkomers meer tot de toets toegelaten. 9. Studenten zijn verplicht hun tassen, jassen, en elektronische apparatuur, bij aanvang van de toets in te leveren bij de surveillanten. 10. Studenten die tijdens de toets in het bezit blijken te zijn van mobiele telefoons of andere elektronische apparatuur worden uitgesloten van verdere deelname aan de desbetreffende toets. PARAGRAAF 3 - BEOORDELING TOETSEN, THESIS art. 9 – beoordeling toetsen 1. De examencommissie ziet er op toe dat de beoordeling van schriftelijke toetsen geschiedt aan de hand van tevoren schriftelijk vastgelegde, en eventueel naar aanleiding van de correctie bijgestelde, normen. 2. Ingeval bij de beoordeling van de toets meer dan één examinator is betrokken, ziet de examencommissie erop toe, dat alle examinatoren beoordelen aan de hand van dezelfde normen. 3. De wijze van beoordeling is zodanig dat de student kan nagaan hoe de uitslag van zijn toets tot stand is gekomen. 4. Voor de beoordeling van het resultaat van een toets/cursus geldt het laatst toegekende cijfer. art. 10 – beoordeling thesis, onderzoeksopdrachten, scripties 1. De examencommissie ziet er op toe dat beoordelingscriteria voor de thesis, onderzoeksopdrachten, scripties vastgesteld worden en dat deze in de cursus- of scriptiehandleiding worden opgenomen. 2. Indien bij praktische oefeningen door meerdere studenten een bijdrage wordt geleverd aan één gezamenlijk werkstuk, hanteert de examencommissie de volgende richtlijnen: a. de begeleider vergewist zich er regelmatig van dat alle studenten een evenredige bijdrage hebben aan het eindproduct; b. studenten worden op grond van de door hen verrichte werkzaamheden individueel beoordeeld.


41

3. De beoordeling van de thesis vindt plaats door twee examinatoren. De eerste examinator legt het eindproduct en zijn schriftelijk gemotiveerde cijfermatige oordeel voor aan de tweede examinator. De tweede examinator beoordeelt of het cijfer gerechtvaardigd is gezien het eindproduct en de motivering. Indien dit niet het geval is, stellen de eerste en tweede examinator het cijfer in overleg vast. Indien eerste en tweede examinator niet tot overeenstemming komen wijst de examencommissie een derde beoordelaar aan, die een bindend eindoordeel geeft. 4. De examinatoren geven met behulp van een beoordelingsformulier inzicht in de manier waarop het eindoordeel tot stand is gekomen. art. 11 - nabespreking 1. Zo spoedig mogelijk na de bekendmaking van de uitslag van een mondelinge toets vindt desgevraagd dan wel op initiatief van de examinator een nabespreking plaats tussen de examinator en de student, waarbij de examinator de beslissing motiveert. 2. Gedurende een termijn van 30 dagen, die aanvangt op de dag na de bekendmaking van de uitslag van een schriftelijke toets, kan de student de examinator om een nabespreking verzoeken. De nabespreking geschiedt op een door de examinator te bepalen plaats en tijdstip. 3. Indien een collectieve nabespreking wordt georganiseerd, kan de student een verzoek als bedoeld in het tweede lid pas indienen, wanneer hij bij de collectieve bespreking aanwezig is geweest en hij het desbetreffende verzoek motiveert of wanneer hij door overmacht verhinderd is geweest bij de collectieve nabespreking aanwezig te zijn. 4. Het bepaalde in het vorige lid is van overeenkomstige toepassing, indien de examinator aan de student gelegenheid biedt om zijn uitwerking te vergelijken met modelantwoorden dan wel een beoordelingsmal. PARAGRAAF 4 - BORGEN KWALITEIT EXAMINERING art. 12 - borgen kwaliteit toetsen De examencommissie ziet er op toe dat: 1. er een toetsbeleid/toetsplan is dat wordt uitgevoerd. 2. toetsen worden gemaakt op basis van de leerdoelen en eindtermen van de cursus. 3. er uniforme afspraken zijn over de manier waarop toetsen worden gemaakt. art. 13 - onderzoeken kwaliteit toetsen 1. De toetscommissie is belast met de analyse en advisering ten aanzien van de kwaliteit van de toetsing. Daartoe onderzoekt zij steekproefsgewijs – en naar aanleiding van klachten, uitkomsten evaluaties, slagingspercentages en dergelijke - de kwaliteit van afzonderlijke toetsen met betrekking tot de validiteit (zij meten kennis vaardigheden en competenties) en betrouwbaarheid (zij zijn consistent en nauwkeurig) en informeert de examencommissie daarover. 2. De examencommissie kan de toetscommissie opdracht geven tot het verstrekken van informatie, het doen van onderzoek en het doen van voorstellen met betrekking tot de inrichting van de toetsing. De toetscommissie is verplicht om deze opdrachten uit te voeren. De toetscommissie is voor de uitvoering van deze opdrachten verantwoording verschuldigd aan de examencommissie.

42


art. 14 - borgen van kwaliteit examens (eindniveau van de afgestudeerden) De examencommissie ziet er op toe dat: 1. de eindkwalificaties van de opleiding zoals beschreven in de Onderwijs- en Examenregeling, zijn vertaald in toetsbare leerdoelen per cursus 2. er systematisch wordt nagegaan of er voldoende aansluiting is tussen de cursusdoelen en de eindtermen, of de optelsom van de leerdoelen per cursus overeen komt met de eindkwalificaties van de opleiding. PARAGRAAF 5 – VRIJSTELLINGEN art. 15 – vrijstelling 1. De student die voor één of meer vrijstellingen in aanmerkingen wenst te komen, dient een gemotiveerd verzoek in bij de examencommissie. Het verzoek is ondertekend en bevat: - naam, adresgegevens en studentnummer - een omschrijving van de gronden waarop de vrijstelling wordt verzocht - voor welke cursus(sen) de vrijstelling wordt verzocht - een gewaarmerkte kopie van diploma, cijferlijst of een bewijs van eerder afgelegde toetsen - en/of een beschrijving van de buiten het hoger onderwijs opgedane kennis en ervaring, vergezeld van relevante documenten waaruit dit blijkt. 2. De examencommissie legt indien nodig het verzoek voor advies voor aan de examinator(en) die belast is (zijn) met het onderwijs van de cursus(sen) waarvoor de vrijstelling wordt verzocht. 3. De examencommissie beslist binnen 6 weken na datum van ontvangst van het verzoek over het verlenen van de vrijstelling.

0-0-0-0


43

Bijlage 4: Functieprofiel leden van examencommissies 33

Functieprofiel Examencommissielid Kennis, vaardigheden en eigenschappen Kennis Een examencommissielid heeft kennis van:  de weten regelgeving geldende voor de (onderwijs)organisatie, het bedrijf of de branche waarvoor het examencommissielid zijn werkzaamheden uitvoert;  de onderwijsvisie, de didactische werkvormen, de inhoud en het niveau van het onderwijs of de opleiding(en) waarvoor het examencommissielid zijn werkzaamheden uitvoert;  de kerndoelen, examenprogramma’s of kwalificatiedossiers van het onderwijs of de opleiding(en) waarvoor het examencommissielid zijn werkzaamheden uitvoert;  beoordelingssystemen voor de kwaliteit van toetsen en examens, zoals de systemen van Cotan en de Inspectie van het Onderwijs, die door een beroepsgroep en/of overheden onderschreven worden;  de meest gebruikte vraag- en examenvormen;  de stappen van het examineringsproces: o de constructie van examens; o het vaststellen van examens; o het plannen en afnemen van examens; o het corrigeren/beoordelen van examens; o het beheer van persoonlijke gegevens en examenresultaten van examendeelnemers; o de door de organisatie gehanteerde regels en procedures met betrekking tot diplomering; o de statistische analyses van examens; o de behandeling van klachten.  de functieprofielen van de bij examinering betrokkenen;  fraudepreventie;  een specifiek vakgebied zoals: onderwijskunde, psychologie, sociologie. Beroepsvaardigheden  Kan bepalen of het examen (of het totaal aan toetsen/examens) wat betreft inhoud en complexiteit representatief is voor de kerndoelen, examenprogramma’s of kwalificatiedossiers;  Kan beoordelen of het examen voldoet aan de criteria van het gehanteerde beoordelingssysteem voor de kwaliteit van examens;  Kan verantwoorden dat de beslissing tot diplomeren op terechte gronden is/wordt genomen;  Kan gemandateerde beslissingen nemen bij fraude, klachten, overmachtsituaties, verzoeken tot vrijstelling of alternatieve examinering en onvoorziene situaties rondom de examinering; 33

Ontleend aan het Functieprofiel Examencommissielid zoals beschreven door en voor de Nederlandse Vereniging voor Examens (NVE); het profiel is in algemene termen geformuleerd om het breed toepasbaar te maken.


 Kan regels en procedures met betrekking tot examinering opstellen, implementeren, evalueren en verbetervoorstellen doen;  Kan adviseren bij het maken van afwegingen betreffende kwaliteit en kostenbeheersing (bijvoorbeeld examens inkopen versus zelf ontwikkelen, korte versus lange examens);  Kan de deskundigheid en werkwijze van de bij de examinering betrokkenen evalueren en kan naar aanleiding van deze evaluatie verbeteracties voorstellen en feedback geven aan de betrokkenen;  Kan de werkzaamheden van de examencommissie prioriteren, plannen, uitvoeren, evalueren en verbetervoorstellen doen. Communicatieve vaardigheden  Kan eenduidig en genuanceerd communiceren en overleg voeren met belanghebbenden en betrokkenen;  Kan op een correcte wijze mondeling en schriftelijk communiceren in het Nederlands en mogelijk in een andere taal indien de werkzaamheden dat vereisen;  Kan effectief vergaderen;  Kan een standpunt beargumenteren en verdedigen. Sociale vaardigheden  Kan functioneren in teamverband in een examencommissie. Persoonlijke eigenschappen  Kan de werkzaamheden aanpassen naar aanleiding van zelfreflectie, feedback en scholing;  Kan de werkzaamheden aanpassen naar aanleiding van veranderende onderwijsvisies;  Kan integer en vertrouwelijk omgaan met persoonlijke gegevens van examendeelnemers en zaken met betrekking tot de examinering.

44

45


Bijlage 5: RCEC Beoordelingssysteem voor toetsen en examens: bepaling van het eindoordeel

EINDOORDEEL CRITERIUM I: DOEL EN GEBRUIK

De som van de beoordelingen op de vragen 1.1.a t/m 1.1.c is 8 of 9

Beide andere vragen worden minstens met ‘2’ beoordeeld

Goed

Een van beide andere vragen wordt met ‘2’ en de ander met ‘1’ beoordeeld

Voldoende

Beide andere vragen worden minstens De som van de beoordelingen op de vragen met ‘2’ beoordeeld 1.1.a t/m 1.1.c is 6 of 7 en geen van deze vragen Een of beide andere vragen wordt met wordt met ‘1’ beoordeeld ‘1’ beoordeeld Eén of meer van de vragen 1.1.a t/m 1.1.c wordt met ‘1’ beoordeeld

Voldoende Onvoldoende Onvoldoende

EINDOORDEEL CRITERIUM II: KWALITEIT TOETS- OF EXAMENMATERIAAL

Alle drie de basisvragen worden met ‘3’ beoordeeld Basisvraag 2.2* en/of 2.3 wordt met ‘2’ beoordeeld en de andere basisvragen worden niet met ‘1’ beoordeeld

Somscore 2.4 t/m 2.8 ≥ 11

Goed

Somscore 2.4 t/m 2.8 ≤ 10

Voldoende


Voldoende

Somscore 2.4 t/m 2.8 ≤ 10

Onvoldoende

Minstens een van de drie basisvragen wordt met ‘1’ beoordeeld

Onvoldoende

* Bij basisvraag 2.2 kunnen beide subvragen van toepassing zijn; in dat geval geeft de laagste beoordeling de doorslag

EINDOORDEEL CRITERIUM III: REPRESENTATIVITEIT

Somscore 3.1 t/m 3.2 = 6

Goed

Somscore 3.1 t/m 3.2 = 5

Voldoende


Voldoende

Somscore 3.1 t/m 3.2 < 4

Onvoldoende

Basisvraag 3.1 wordt met ‘3’ beoordeeld.

Basisvraag 3.1 wordt met ‘2’ beoordeeld.

46


EINDOORDEEL CRITERIUM IV: BETROUWBAARHEID Vraag 4.3 wordt met ‘3’ beoordeeld Vraag 4.2 wordt met ‘3’ beoordeeld

Vraag 4.3 wordt met ‘2’ beoordeeld Vraag 4.3 wordt met ‘1’ beoordeeld

De basisvraag wordt met ‘3’ beoordeeld



Vraag 4.2 wordt met ‘1’ beoordeeld

Goed Voldoende Onvoldoende Voldoende Onvoldoende Onvoldoende Onvoldoende

De basisvraag wordt met ‘1’ beoordeeld

Onvoldoende

EINDOORDEEL CRITERIUM V: STANDAARDBEPALING EN NORMHANDHAVING Somscore 5.2.a, 5.2,b, 5.3.a ≥ 7 Alle drie de basisvragen (5.1, 5.2 en 5.3) worden Somscore 5.2.a, 5.2.b, 5.3.a ≥ 5 met ‘3’ beoordeeld

Basisvraag 5.1 wordt met ‘3’ beoordeeld en één of beide basisvragen 5.2 en 5.3 worden met ‘2’ beoordeeld

Goed Voldoende

Somscore 5.2.a, 5.2.b, 5.3.a < 5

Onvoldoende

Somscore 5.2.a, 5.2.b, 5.3.a ≥ 6

Voldoende

Somscore 5.2.a, 5.2.b, 5.3.a < 6

Onvoldoende

Minstens één van de drie basisvragen wordt met ‘1’ beoordeeld

Onvoldoende

EINDOORDEEL CRITERIUM VI: AFNAME EN BEVEILIGING

Alle twee de basisvragen (6.1 en 6.2) worden met ‘3’ beoordeeld

Eén of beide basisvragen (6.1 en 6.2) worden met ‘2’ beoordeeld Minstens één van de drie basisvragen wordt met ‘1’ beoordeeld

Somscore 6.1.a en 6.1.b ≥ 4

Goed


Voldoende

Somscore 6.1.a en 6.1.b < 3

Onvoldoende


Voldoende

Somscore 6.1.a en 6.1.b < 4

Onvoldoende Onvoldoende

Kwaliteitsborging van toetsing en beoordeling

Recommend Documents