versie 08-01-2014
Toetsprotocol Examencommissie ESHCC
Inhoudsopgave Pagina 1. 2. 3.
4. 5. 6. 7.
Voorwoord Inleiding Kwaliteitseisen toetsen Constructie en analyse van toetsen 3.1 Meerkeuzetoets 3.2 Schriftelijke toets met open vragen 3.3 Paper 3.4 Presentatie 3.5 Groepsopdracht 3.6 Take-home tentamen 3.7 Mondelinge toets Stage Thesis Toezicht en handhaving door de examencommissie Archivering
1 2 4 5 6 8 9 9 11 11 12 13 15 16
Bijlage 1: Stappenplan meerkeuzetoetsen Bijlage 2: Kwaliteitsindicatoren analyse meerkeuzetoetsen Bijlage 3: Stappenplan schriftelijke toets met open vragen Bijlage 4: Examinatoren
17 19 21 23
versie 08-01-2014
Voorwoord Het Toetsprotocol van de Examencommissie ESHCC is door de examencommissie (EC) vastgesteld op 30 september 2013. De conceptversie van het protocol werd voor advies voorgelegd aan de Decaan ESHCC, de Directeur Onderwijs ESHCC, de Afdelingshoofden ESHCC en het Facultaire Onderwijs Overleg (FOO). Het Toetsprotocol is effectief met ingang van het tweede blok van het studiejaar 2013-2014. Jaarlijks (in juni) evalueert de EC het protocol met het oog op bijstelling voor het volgende studiejaar.
versie 08-01-2014
1. Inleiding De Examencommissie is bij wet verantwoordelijk voor de borging van de kwaliteit van de toetsing binnen universitaire opleidingen (7.12B lid 1a WHW). De EC stelt hiertoe regels op met betrekking tot de uitvoering van toetsing (art. 7.12b lid 3 WHW). Daarnaast stelt de EC binnen het kader van de OER regels en aanwijzingen op om de uitslag van toetsen vast te stellen (art. 7.12b lid 1b WHW). De Examencommissie heeft voor de opleidingen binnen ESHCC een toetsprotocol opgesteld waarin de voorwaarden waaraan een toets moet voldoen worden beschreven. Het toetsprotocol beoogt concrete richtlijnen te geven geeft voor de constructie, afname, beoordeling en archivering van toetsen. Het toetsprotocol maakt onderdeel uit van het facultaire kader ter bevordering van de kwaliteit van toetsen (Toetsbeleid ESHCC, hfst. 5). Het toetsprotocol beperkt zich tot richtlijnen voor de constructie, afname, beoordeling en archivering van toetsen. Vragen met betrekking tot de keuze voor bepaalde toetsen in bepaalde studiefasen en de beste toetsvorm om bepaalde leerdoelen te toetsen maken onderdeel uit van de onderwijsontwikkeling zoals die binnen opleidingen vorm krijgt. De toetsen binnen ESHCC worden geconstrueerd, afgenomen en beoordeeld door examinatoren die door de examencommissie zijn benoemd (WHW art. 7.12c). De benoemings- en beoordelingscriteria voor examinatoren zijn door de examencommissie vastgelegd in een apart document (bijlage 4). Het toetsprotocol wordt door de examencommissie uitgereikt aan iedere examinator. Examinatoren dienen te handelen conform de in dit toetsprotocol gestelde voorwaarden. De examencommissie ziet samen met de leidinggevende in de afdelingen toe op een zorgvuldige en correcte uitvoering van de afspraken uit het protocol. Het toetsprotocol betreft voornamelijk de summatieve toetsing. De uitkomsten van alle summatieve toetsen (tussentijdse toetsen en eindtoetsen) bepalen of een student al dan niet geslaagd is voor het vak. Daar waar in dit toetsprotocol wordt gesproken over toetsen worden zowel tussentijdse als eindtoetsen bedoeld alsmede de stage en de thesis in de bachelor- of masteropleiding. Het toetsprotocol beschrijft allereerst de kwaliteitseisen omtrent toetsen die voortkomen uit de visie op toetsen (Toetsbeleid ESHCC, hfst. 3). Daarna wordt aandacht besteed aan algemene aspecten van toetsconstructie. Vervolgens worden verschillende toetsvormen behandeld. De stage en BA en MA theses worden in aparte hoofdstukken behandeld. Het toetsprotocol sluit af met hoofdstukken over het toezicht dat de examencommissie uitvoert om de regelhandhaving te kunnen controleren. Het protocol besluit met een hoofdstuk over archivering. Bij het formuleren van het toetsprotocol ESHCC is gebruik gemaakt van het ‘Referentiekader toetsing en examencommissie’ (EUR, maart 2011), ‘ Toetsen in het Hoger Onderwijs’ (Bax en Berkel, 2006) en diverse good-practices binnen de opleidingen van ESHCC en de Erasmus Universiteit Rotterdam.
1
versie 08-01-2014
2. Kwaliteitseisen toetsen Toetsen dienen een objectief en rechtvaardig oordeel te geven over de vaardigheden en kennis die met die toetsen gemeten worden. Het is daarom belangrijk om de kwaliteit van toetsen op verschillende momenten te meten: Bij de samenstelling van een toets wordt beoordeeld of de toets een goede afspiegeling is van het vak. Hierbij gaat het onder andere om: o De aansluiting van de toets op de leerdoelen van het vak. o De aansluiting van de toets op de onderwerpen die in de leerstof aan bod kwamen. o De aansluiting van de toets op het niveau van het vak. Bij de constructie van toetsvragen wordt beoordeeld of de vragen voldoen aan inhoudelijke en vormtechnische eisen. De toetsvragen moeten relevant zijn, aansluiten op de leerdoelen en de inhoud van het vak. De vragen moeten eenduidig worden geformuleerd. Na afloop van de toets wordt de toets geanalyseerd. Aan de hand van indicatoren als (bijvoorbeeld) het slagingspercentage, cijferverdeling en de betrouwbaarheid kan bekeken worden welke vragen nader onderzocht moeten worden door de examinator. De kwaliteitseisen voor toetsen zijn beschreven in de visie op toetsen (Toetsbeleid ESHCC, hfst 3). Het gaat om: transparantie: studenten weten voorafgaand aan de toets wanneer en hoe zij getoetst worden en waarop zij worden beoordeeld; betrouwbaarheid: de mate waarin toetsuitslagen consistent, nauwkeurig en reproduceerbaar zijn; validiteit: meten de toetsen daadwerkelijk wat zij beogen te meten; efficiëntie: een zo optimaal mogelijke afstemming tussen studiebelasting van studenten, tijdsinvestering van examinatoren en opbrengsten van de toets. Transparantie Transparantie in toetsing betekent dat studenten voor aanvang van de tussentijdse toetsen en de eindtoets weten waar zij aan toe zijn, zodat zij zich zo goed mogelijk kunnen voorbereiden. Studenten worden via de studiehandleiding van het vak in ieder geval geïnformeerd over de volgende zaken: Het tijdstip waarop de toets plaatsvindt; De vorm van de toets; De beschikbare tijd; De beoordelingscriteria; Het aantal punten dat met de (tussen- of eind) toets of de onderdelen van de (tussen- of eind) toets kan worden verdiend.
2
versie 08-01-2014 Betrouwbaarheid Betrouwbaarheid van toetsing is de mate waarin scores consistent, nauwkeurig en reproduceerbaar zijn. De betrouwbaarheid hangt af van: Objectiviteit: de vragen zijn duidelijk geformuleerd en de antwoordmogelijkheden eenduidig, zodat de beoordelaar geen invloed kan uitoefenen op de score. Differentiatie: de toets en de toetsvragen maken het mogelijk onderscheid te maken tussen studenten die de stof goed en minder goed beheersen. Specificiteit: de vragen zijn zo opgesteld dat alleen studenten die de stof beheersen ze goed beantwoorden. Moeilijkheid: de opgaven zijn afgestemd op het niveau van de opleidingsfase. Toetslengte: het aantal vragen moet voldoende zijn om toevalstreffers te beperken en is gerelateerd aan de beschikbare tijd voor de toets. Validiteit Validiteit is de mate waarin een toets meet wat deze beoogt te meten. De validiteit is in verschillende typen uit te drukken (Berkel en Bax, 2006). We beperken ons hier tot inhouds- en constructvaliditeit. Inhoudsvaliditeit: de vragen/opdrachten in de toets weerspiegelen de leerdoelen van het vak. Constructvaliditeit: de toetsscore drukt uit in welke mate de student de leerdoelen van het vak beheerst. Efficiëntie Efficiëntie wordt uitgedrukt in een zo optimaal mogelijke afstemming tussen studiebelasting van studenten, tijdsinvestering van examinatoren en de opbrengsten van de toets. Evenwichtigheid binnen de toets: het aantal vragen/opdrachten is in verhouding met het belang van een onderwerp. Evenwichtigheid over het totaal aantal (tussentijdse) toetsen binnen een vak. De wijze waarop de toetsen gespreid worden over de cursusweken. Bij opleidingen waar meerdere vakken parallel worden gegeven is het noodzakelijk de organisatie van (tussentijdse) toetsen af te stemmen tussen de afzonderlijke vakken om onredelijke pieken in de toetsbelasting te voorkomen. Hiertoe organiseert de opleiding een docentenoverleg waar de spreiding van toetsen wordt afgestemd. Feedback en bezwaar van studenten(verplicht) Bij alle toetsvormen is het noodzakelijk na de beoordeling een vorm van feedback te organiseren. Tijdens de feedback bijeenkomst (bijvoorbeeld bij de inzage van een tentamen) kunnen er bezwaren tegen de beoordeling naar voren komen. De EC eist van studenten dat zij hun eventuele bezwaren tegen de beoordeling schriftelijk bij de examinator indienen. De examinator antwoordt schriftelijk op het bezwaar. Als het bezwaar niet door de examinator wordt gehonoreerd kan de student schriftelijk bij de EC in beroep gaan. Bij de behandeling van het bezwaar vraagt de EC de documenten op bij de student en de examinator.
3
versie 08-01-2014
3. Constructie en analyse van toetsen Binnen ESHCC wordt gebruik gemaakt van een aantal verschillende toetsvormen. Deze staan per opleiding beschreven in de toetsplannen van de opleidingen (http://www.eshcc.eur.nl/intranet/toetsplannen). In dit toetsprotocol worden voor de volgende algemene toetsvormen de voorwaarden voor constructie, afname en beoordeling beschreven: Meerkeuzetoetsen (al dan niet in combinatie met open vragen) Schriftelijke toets met open vragen Paper (ook werkstuk genoemd) (tussentijds of eindprodukt) Presentatie Groepsopdracht Take-home tentamen Mondelinge toets De stage en de thesis komen in hoofdstuk 4 en 5 aan de orde. Algemene richtlijnen 1. Examinatoren construeren een toets aan de hand van de leerdoelen die vastgesteld zijn voor het vak en die zijn gepubliceerd in de studiehandleiding. De examinator houdt zich daarbij aan de kwaliteitseisen die door de EC ESHCC zijn vastgelegd in het Toetsbeleid en het Toetsprotocol. 2. De kwaliteit van de toets verbetert door peer review toe te passen bij de samenstelling en constructie van de toets. Bij eindtoetsen is het verplicht peer review toe te passen. Peer review richt zich vooral op de vorm en op de duidelijkheid van de formulering. Voorbeelden van peer review zijn: Een collega vragen om feedback te geven op de toetsvragen (vooraf); Risbo vragen om een oordeel over de toetsvragen te geven (vooraf en achteraf). Feedback van studenten op de toets (achteraf) kan ook waardevolle informatie bieden over de kwaliteit van de toets. 3. De EC adviseert af te zien van het hergebruiken van vragen en opgaven uit eerdere toetsen. Praktische zaken Aanleveren toetsvragen en ophalen gemaakte schriftelijke tentamens: website Education Office (http://www.eshcc.eur.nl/intranet/proceduretentamenvragen) Aanwezigheid examinator in de tentamenhal: Regels en Richtlijnen Examencommissie en website Education Office (http://www.eshcc.eur.nl/intranet/examencommisie/surveilleren) Orderegels tijdens schriftelijke tentamens: Regels en Richtlijnen Examencommissie en website OOS (http://www.eur.nl/essc/studentenadministratie/tentamens_toetsen/orderegels) Studenten met een functiebeperking: Regels en Richtlijnen Examencommissie en website OOS (http://www.eur.nl/essc/studentenadministratie/tentamens_toetsen/functiebeperking) Nakijktermijn: de nakijktermijn is vastgesteld door de opleiding en staat vermeld in de OER Verwerking cijfers: het Education Office van de ESHCC heeft procedureregels afgesproken met de Examenadministratie voor de verwerking van cijfers. Inzagerecht: het inzagerecht voor studenten is geregeld in de OER van de opleiding.
4
versie 08-01-2014
3.1 Meerkeuzetoets Toetsconstructie Een goede toets vraagt een zorgvuldige constructie. Enkele leidende principes hierbij zijn: Gebruik een directe en actieve formulering. Vermijd passieve zinsconstructies. Vermijd negatief geformuleerde vragen. Vermijd twee vragen in 1. Peer-review (verplicht) Bij een meerkeuze tentamen als eindtoets is het verplicht de vragen van te voren ter beoordeling voor te leggen aan een collega-docent en zijn of haar feedback te verwerken in de formulering van de vragen. Een opleiding kan de peer review ook aan Risbo delegeren. Toetslengte (eindtoets) Een toets met 100% meerkeuzevragen bestaat uit minstens 40 vragen. Een MC vraag geeft altijd minimaal 4 antwoorden. Een toets kan ook voor een gedeelte bestaan uit meerkeuzevragen en een gedeelte uit open vragen (combinatietoets). In dat geval is het aantal meerkeuzevragen afhankelijk van het percentage van het toetscijfer dat bepaald wordt door de meerkeuzevragen. Aan de hand van de volgende vuistregel kan het aantal meerkeuzevragen worden bepaald. Bijvoorbeeld: de meerkeuzevragen bepalen 75% van het toetscijfer, de open vragen 25% van het toetscijfer. In dat geval is het minimum aantal meerkeuzevragen: 0.75 * 40 = 30 De minimale omvang van het MC gedeelte in een combinatietoets is 20 vragen. Beoordeling meerkeuze toets Het is verplicht de afdeling toetsverwerking van het Risbo in te schakelen bij het verwerken en analyseren van meerkeuzetoetsen. Binnen de analyse vindt een automatische correctie van de gokkans plaats. Examinatoren moeten een afspraak maken via
[email protected]. De examinator moet bij de verwerking aanwezig zijn om samen met de toetsexpert van Risbo beslissingen te kunnen nemen over problemen die tijdens de toetsverwerking naar voren komen. Na de toetsverwerking stuurt het Risbo de (statistische) analyses van de toets aan de examinator en het opleidingsmanagement. Analyse toetskwaliteit Onderdeel van de toetsverwerking bij het Risbo is het uitvoeren van een statistische, in het bijzonder psychometrische analyse. Hierbij wordt aan de hand van een aantal indicatoren, zoals het slagingspercentage en de betrouwbaarheid, gesignaleerd welke vragen nader onderzocht moeten worden voordat het resultaat van de toets (en het vak) vastgesteld kan worden. De examinator kan de analyse met het Risbo bespreken als er onduidelijkheden zijn. In bijlage 2 worden de belangrijkste kwaliteitsindicatoren besproken.
5
versie 08-01-2014 Feedback (verplicht) Direct na afloop van de toets publiceert de examinator de correcte MC alternatieven op de Blackboard pagina van de cursus (verplicht). Na de beoordeling van de toets en de publicatie van de uitslag organiseert de examinator een bijeenkomst waar studenten inzage wordt geboden in de beoordeling.
3.2 Schriftelijke toets met open vragen Toetsconstructie Een goede toets met open vragen vraagt een zorgvuldige constructie. Enkele leidende principes hierbij zijn: Gebruik een directe en actieve formulering. Vermijd passieve zinsconstructies. Vermijd negatief geformuleerde vragen. De vraag geeft concrete aanwijzingen over het aantal elementen dat in een antwoord wordt verwacht (bv. aantal argumenten of voorbeelden). De toets bevat een indicatie van de lengte van het antwoord. Peer-review (verplicht) Bij een schriftelijke toets met open vragen als eindtoets is het verplicht de vragen van te voren ter beoordeling voor te leggen aan een collega-docent en zijn of haar feedback te verwerken in de formulering van de vragen. Een opleiding kan de peer review ook aan Risbo delegeren. Soorten open vragen a) Reproductieve vragen Hierbij gaat het om toetsen van kennis. Het memoriseren staat centraal. Het gaat hier bijvoorbeeld om: - Kennis van data, feiten, personen en gebeurtenissen - Kennis van de chronologie of de volgorde van een ontwikkeling - Kennis van verbanden tussen verschillende elementen (van een theorie of van gebeurtenissen) - Kennis van verklaringen voor het voorkomen van de verschijnselen, de chronologie van de verschijnselen of de verbanden ertussen. b) Productieve vragen Hierbij gaat het om: - Toetsen van inzicht, vaak door toepassing van concepten en gememoriseerde inzichten in een nieuwe situatie. Het vragen van een voorbeeld kan deel uitmaken van een productieve vraag. Nakijken van open vragen Objectief nakijken is bij open vragen moeilijker dan bij meerkeuzevragen. Ongewenste beoordelaarseffecten kunnen op verschillende manieren voorkomen worden: 1. Antwoordmodel (verplicht) Gebruik een antwoordmodel. Dit verkleint de verschillen tussenbeoordelaars. Een modelantwoord geeftaan welke begrippen, aspecten enargumentenhetantwoord moet bevatten. Daarnaast bevat het
6
versie 08-01-2014 antwoordmodel voorbeelden van juiste,gedeeltelijk juiste en (voor de hand liggende) onjuiste antwoorden en de maximaal te behalen score per vraag. 2. Meerdere beoordelaars (aanbeveling) Werk indien mogelijk met twee, onafhankelijkvan elkaar scorende, beoordelaars. De betrouwbaarheidneemt hierdoor sterk toe. De twee beoordelaars kunnen een redelijke steekproef(ter indicatie 10% van het totaal)uit de antwoorden dubbel scoren en vervolgens hunscoresbesprekenom (eventueel) daarna het antwoordmodel bijte stellen. 3. Nakijkvolgorde (aanbeveling) Kijk werk per vraag na in plaats van per student.Dit voorkomtdat voorafgaande beoordelingenvan invloed zijn op de beoordeling. Verander af en toe de volgorde van de stapel. Ook dit voorkomt dat eerdere beoordelingen van invloed zijn op latere beoordelingen. Kijk indien mogelijk (soms zijn de aantallen natuurlijk te groot) het werk na zonder lange onderbrekingen; dat bevordert de homogeniteit van de oordelen. Analyse toetskwaliteit Bij toetsen met open vragen is het niet gebruikelijk een statistische analyse op de antwoorden uit te voeren. Er zijn twee indicatoren die de examinator moet gebruiken om na te gaan of de toetskwaliteit in orde is: 1. Slagingspercentages Het slagingspercentage kan bij open vraag toetsen gebruikt worden als indicator van de toetskwaliteit. Te lage of te hoge slagingspercentages kunnen aangeven dat het niveau van de toets verkeerd is geweest, maar ook dat er iets mis is met de kwaliteit van de toetsvragen. 2. Cijferverdeling Een scheve cijferverdeling geeft ook aanleiding tot nader onderzoek (bijvoorbeeld als er geen cijfers hoger dan 8 gegeven zijn). Daarnaast kan de volgende informatie inzicht bieden in de kwaliteit van de toets: 3. Feedback van studenten De informatie die een docent na de toets (of tijdenseen nabespreking) van studenten ontvangt kan nuttig zijn bij een analyse van de toetskwaliteit. 4. Analyse door Risbo De examinator, het opleidingsmanagement of de EC kan Risbo verzoeken de kwaliteit van de toets te analyseren (voorafof achteraf). Een onverwacht slagingspercentage of een scheve cijferverdeling kan er op duiden dat de toets van onvoldoende kwaliteit is of te moeilijk/te makkelijk is geweest. Om dit te kunnen beoordelen, moet de examinator de toets en de afzonderlijke vragen nader bekijken. De volgende stappen kunnen hierbij worden gevolgd: 1. Controleer of de toets aansluit op de leerdoelen en de gehanteerde lesmethoden. 2. Bekijk de toetsvragen. Staan er fouten in de vraag of is de vraagstelling misleidend? Klopt het antwoordmodel? Zijn de vragen te moeilijk of te makkelijk? 3. Verwijder slechte vragen eventueel uit de toets. Maximaal 10% van de vragen mag komen te vervallen. Bij het verwijderen van vragen moet uiteraard wel bekeken worden of di t inhoudelijk te verantwoorden is. Te veel vragen uit de toets verwijderen, verlaagt de validiteit en betrouwbaarheid van de toets. 7
versie 08-01-2014 4. Herbereken de toetsresultaten. Indien de norm van de toets aangepast wordt of vragen geschrapt worden, stelt de examinator studenten en de examencommissie hiervan op de hoogte. Feedback (verplicht) Na de beoordeling van de toets en de publicatie van de uitslag organiseert de examinator een bijeenkomst waar studenten inzage wordt geboden in de beoordeling. De examinator biedt de studenten inzicht in het beoordelingsformulier en/of het modelantwoord (verplicht).
3.3 Paper Algemeen Het label ‘paper’ dekt verschillende typen werkstukken. Relatief korte papers (max 500 woorden) worden vaak tijdens een cursus gepland en kunnen louter formatief zijn. In de meeste gevallen maken ook de korte papers als tussentijdse opdracht onderdeel uit van de (summatieve) beoordeling van het vak. Omvangrijke papers worden meestal als eindopdracht gepland. Soms komt deze eindpaper in plaats van het afsluitend tentamen. In andere gevallen wordt de eindpaper als toets naast het tentamen gebruikt. Het is ook mogelijk een omvangrijke paper tijdens de cursus te plannen, bijvoorbeeld om meer zicht te houden op wat de student met de feedback van de docent doet. Toetsconstructie De vorm en inhoud van de paper bepalen op welke wijze de leerdoelen worden getoetst. De examinator verstrekt een schriftelijke opdracht voor de paper. De opdracht moet in de studiehandleiding of op Blackboard worden gepubliceerd. De regels omtrent de vorm van de paper en de deadline moeten in de studiehandleiding worden gepubliceerd. Beoordeling van een paper Beoordelingscriteria (verplicht) - De criteria waaraan een paper moet voldoen dienen te worden vastgelegd in de studiehandleiding. - De weging van de criteria bij de beoordeling dienen te worden vastgelegd in de studiehandleiding. - Het gewicht van de paper in relatie tot andere toetsen (inclusief andere papers tijdens de cursus) dient te worden vastgelegd in de studiehandeleiding. - Vanwege de noodzakelijke controle op plagiaat worden alle papers (kort, lang, tussentijds, eind) digitaal ingeleverd via een SafeAssignment link op Blackboard Feedback (verplicht) - De docent geeft schriftelijk feedback op de beoordeling van de meer omvangrijke tussentijdse papers en op de eindpaper. - De feedback geschiedt aan de hand van de beoordelingscriteria en wordt vastgelegd op een beoordelingsformulier. - Bij eindpapers heeft de student na de beoordeling recht op inzage, net als bij schriftelijke tentamens.
8
versie 08-01-2014 Feedback (aanbeveling) - De EC beveelt aan ook bij kleinere papers feedback te geven. Omwille van de efficiëntie kan dit bijvoorbeeld mondeling gebeuren in een collectieve feedback bijeenkomst. - De EC beveelt aan de feedback (bij 2 en 3) in te voeren in de digitale file van het werk (de docent kan er ook voor kiezen de feedback in de kantlijn van de print versie te noteren, maar moet dan zelf zorgdragen voor de archivering van deze feedback).
3.4 Presentatie Algemeen Door middel van een presentatie kunnen specifieke leerdoelen worden gerealiseerd, in het bijzonder de leerdoelen die vallen onder Dublin Descriptor 2 (toepassen van kennis) en 4 (communiceren van kennis). Toetsconstructie De vorm en inhoud van de presentatie bepalen op welke wijze de leerdoelen worden getoetst. De presentatie kan individueel of groepsgewijs worden voorbereid (zie ook 3.5). De examinator verstrekt een schriftelijke opdracht voor de presentatie. De opdracht moet in de studiehandleiding of op Blackboard worden gepubliceerd. De regels omtrent de vorm van de presentatie en de deadline moeten in de studiehandleiding worden gepubliceerd. Beoordeling van een presentatie Beoordelingscriteria (verplicht) - De criteria waaraan een presentatie moet voldoen dienen te worden vastgelegd in de studiehandleiding. - De weging van de criteria bij de beoordeling dienen te worden vastgelegd in de studiehandleiding. - Het gewicht van de presentatie in relatie tot andere toetsen (inclusief andere papers tijdens de cursus) dient te worden vastgelegd in de studiehandeleiding. Feedback (verplicht) - De docent geeft feedback op de presentatie. - De feedback geschiedt aan de hand van de beoordelingscriteria en wordt vastgelegd op een beoordelingsformulier.
3.5
Groepsopdrachten
Algemeen Groepsopdrachten kunnen worden gebruikt om specifieke leerdoelen ten aanzien van samenwerking te toetsen (DD 4 en DD 5). Groepsopdrachten kunnen ook een efficiënte toetsvorm zijn om de prestaties van meerdere studenten tegelijkertijd te toetsen. De EC realiseert zich dat groepsopdrachten zich lastig kunnen verhouden tot individuele prestaties. Het principe binnen ESHCC is dat een vak zodanig wordt ingericht dat het eindcijfer per individuele student discriminerend is.
9
versie 08-01-2014 De standaard regel is dat maximaal 33% van het eindcijfer mag worden bepaald door een groepsopdracht, met uitzondering van door de programmaleiding aangewezen cursussen waarbij groepswerk een expliciet leerdoel is in het kader van de eindtermen van de opleiding. Bij voorkeur wordt ook bij een groepsopdracht iedere student apart beoordeeld. Dit voorkomt meeliften en stimuleert excellentie (het gemiddelde van de groep is immers per definitie lager dan dat van de excellente student). Toetsconstructie De vorm en inhoud van de groepsopdracht bepalen op welke wijze de leerdoelen worden getoetst. De examinator verstrekt een schriftelijke opdracht. De groepsopdracht moet in de studiehandleiding of op Blackboard worden gepubliceerd. De regels omtrent de vorm van de groepsopdracht en de deadline moeten in de studiehandleiding worden gepubliceerd. Beoordeling van een groepsopdracht 1. Inhoud De inhoudelijke beoordelingscriteria zijn afhankelijk van het soort groepsopdracht dat wordt verstrekt. Zie onder 3.3 (Paper) en 3.4 (Presentatie) voor criteria met betrekking tot die toetsen. 2. Individuele beoordeling en groepsbeoordeling Een volledig individuele beoordeling is niet altijd mogelijk omdat de begeleider niet altijd voldoende inzicht heeft in de totstandkoming van het product. Geadviseerd wordt om studenten dan mede een beoordeling te laten geven. Deze peer-beoordeling kan niet in de plaats komen van het oordeel van de docent. Als de peer-beoordeling wordt meegewogen dient de beoordeling van de docent het zwaarst te wegen. De EC geeft enkele tips om de individuele participatie in groepsopdrachten te beoordelen. De EC beveelt aan de groepen klein te houden (3 studenten) om meeliften te voorkomen. Studenten beoordelen hun groepsgenoten met behulp van een standaard feedbackformulier (360 graden feedback). Het is vooraf duidelijk (studiehandleiding) in welke mate de docent dit meeweegt bij de eindbeoordeling. Studenten aanmoedigen problemen binnen subgroepjes te melden en meelifters aanspreken op hun gedrag. Alle studenten bereiden wekelijks discussiepunten voor. De docent bepaalt willekeurig tijdens de werkgroep of het college welke student(en) moet presenteren. Studenten leveren na afloop van de werkgroep of het college een overzicht in met wie w at gedaan heeft binnen de groep. Studenten leveren wekelijks een voortgangsrapportage in. De docent kan de voortgang van studenten daardoor goed bijhouden. De docent kan studenten verplichten individueel een (online) blog bij te houden over hun dagelijks werk aan de opdracht. Feedback (verplicht) - De docent geeft feedback op de groepsopdracht. - De feedback geschiedt aan de hand van de beoordelingscriteria en wordt vastgelegd op een beoordelingsformulier.
10
versie 08-01-2014 3.6 Take home tentamen Algemeen Het take home tentamen is een toetsvorm die zelden wordt toegepast binnen de opleidingen van ESHCC. De normen ten aanzien van betrouwbaarheid en validiteit stellen hoge eisen aan de complexiteit van de vragen in een dergelijke toets. De examinator dient zich ook bewust te zijn van het fraude risico bij deze toetsvorm. Toetsconstructie De vorm van het take home tentamen en de wijze van inleveren, inclusief de deadline moeten precies worden beschreven in de studiehandleiding. Beoordeling van het take-home tentamen Beoordelingscriteria (verplicht) De eisen omtrent de omvang van de antwoorden moeten precies worden beschreven in de studiehandleiding. De beoordelingscriteria dienen precies te worden beschreven in de studiehandleiding. Feedback (verplicht) Na de beoordeling van de toets en de publicatie van de uitslag organiseert de examinator een bijeenkomst waar studenten inzage wordt geboden in de beoordeling. De examinator biedt de studenten inzicht in het beoordelingsformulier en/of het modelantwoord (verplicht).
3.7 Mondelinge toets Algemeen - Mondelinge toetsen vinden alleen plaats bij hoge uitzondering. - Mondelinge toetsen worden altijd individueel afgenomen. Richtlijnen voor de afname van een mondeling e toets(verplicht) Ook mondelinge toetsen moeten aan de eisen voor toetskwaliteit voldoen. Ten aanzien van de toetsconstructie en beoordeling van een mondelinge toets gelden dezelfde richtlijnen als voor een schriftelijke toets met open vragen (zie 3.2). Het transparantie criterium brengt met zich mee dat de complete gang van zaken dient te worden opgenomen (bv. met een voice-recorder, tablet of smartphone). De audiofile van de gang van zaken wordt door de docent gearchiveerd.
11
versie 08-01-2014
4. Stage Toetsconstructie De stage is een praktisch studieonderdeel dat wordt afgesloten met een verslag dat de student over de stage schrijft. Het stageverslag is hierbij de toetsvorm, omdat het de basis vormt voor de beoordeling door de begeleidende ESHCC examinator. Beoordeling stage/stageverslag De stagebegeleider vanuit het bedrijf of de instelling beoordeelt de inzet en werkhouding van de stagiair en maakt dit schriftelijk (per email) kenbaar aan de begeleidende ESHCC examinator. De examinator beoordeelt het stageverslag van de student. De stagehandleiding bevat de beoordelingscriteria en geeft een overzicht van de onderdelen die moeten terugkomen in het stageverslag. De examinator controleert het stageverslag op plagiaat en geeft een beoordeling waar het oordeel van de stagebegeleider in is verwerkt. De beoordeling kan in de vorm van een cijfer of zich beperken tot voldoende of onvoldoende. Feedback De begeleidende ESHCC examinator bespreekt het stageverslag en de beoordeling met de student gedurende een eindgesprek.
12
versie 08-01-2014
5. Thesis Algemeen De thesis is de 'kroon' op elke bachelor- of masteropleiding, waarin de student alle tot dan toe verworven kennis en vaardigheden gebruikt om een specifiek onderwerp uit de opleiding uit te diepen. Elke thesis wordt individueel geschreven (verplicht). Hieronder volgen de algemene regels die voor alle opleidingen binnen ESHCC gelden. Sommige opleidingen kennen een nadere specificatie van de regels en procedures betreffende de beoordeling van de theses. Deze mogen niet in tegenspraak zijn met de regels uit dit toetsprotocol en dienen te worden vermeld in de desbetreffende studiehandleidingen. Beoordeling bachelor- en mastertheses 1. De BA en MA thesis wordt beoordeeld door de thesisbegeleider (supervisor) en een onafhankelijke, niet bij de begeleiding betrokken tweede beoordelaar(de tweede beoordelaar kan lid zijn van een Tweede Lezer Panel (Second Reader Panel). 2. Thesisbegeleider en tweede beoordelaar zijn lid van de wetenschappelijke staf van de ESHCC en benoemd als examinator. 3. Beoordeling vindt plaats aan de hand van vastgestelde criteria die worden gepubliceerd in de thesishandleiding of de studiehandleiding voor de BA of MA thesis class. 4. Voor de beoordeling plaatsvindt, controleert de thesisbegeleider de thesis op plagiaat met behulp van de Euphorus module op SIN online. 5. De thesisbegeleider vult een beoordelingsformulier in en stelt een eindcijfer voor. 6. De tweede beoordelaar vult onafhankelijk van de thesisbegeleider een beoordelingsformulier in en stelt een eindcijfer voor. 7. Thesisbegeleider en tweede beoordelaar vergelijken hun beoordelingen en stellen het eindcijfer vast. 8. Bij meningsverschil wordt een derde beoordelaar aangewezen (arbitrage beoordeling). De opleiding legt regels vast onder welke condities arbitrage noodzakelijk is. 9. Het eindoordeel wordt vastgelegd in het definitieve beoordelingsformulier dat gebaseerd is op de formulieren van de thesisbegeleider en tweede beoordelaar (en eventueel de arbitrage beoordeling). 10.De opleiding legt vast wie het definitieve beoordelingsformulier invult (de thesisbegeleider of de tweede beoordelaar). 11.Het definitieve formulier wordt digitaal gearchiveerd door het Education Office. 12.De student geeft op formulier voor het aanvragen van het examen aan of de thesis openbaar of beperkt gepubliceerd wordt in het digitale thesis archief. Formele afsluiting BA opleiding Nadat de thesisbegeleider en de tweede beoordelaar c.q. het Tweede Lezer Panel ( Second Reader Panel) de thesis als passabel hebben beoordeeld, kan de formele afsluiting van het BA programma plaatsvinden. 1. De formele afsluiting van de bachelor opleiding kan plaatsvinden als de student alle onderdelen van de opleiding met voldoende resultaat heeft afgerond en al s de thesis door de thesisbegeleider en tweede beoordelaar (i.c. Tweede Lezer Panel) als passabel beoordeeld is;
13
versie 08-01-2014 2. Nadat de EC heeft geconstateerd dat alle studieonderdelen zijn behaald kan de student het BA examen aanvragen bij het Education Office ESHCC. 4. Het cijfer voor de BA thesis wordt de student toegezonden met een toelichting op het cijfer in de vorm van een schriftelijk beoordelingsformulier. 5. De uitreiking van het getuigschrift kan plaatsvinden op een van de volgende manieren: a. Plenair tijdens een door de opleiding verzorgde feestelijke plechtigheid. b. Individueel aan de balie van de examenadministratie EUR. Formele afsluiting MA opleiding Nadat de thesisbegeleider en de tweede beoordelaar c.q. het Tweede Lezer Panel (Second Reader Panel) de thesis als passabel hebben beoordeeld, kan de formele afsluiting van het masterprogramma plaatsvinden. 1. De formele afsluiting van de masteropleiding kan plaatsvinden als de student alle onderdelen van de opleiding met voldoende resultaat heeft afgerond en als de thesis door de thesisbegeleider en tweede beoordelaar (i.c. Tweede Lezer Panel) als passabel beoordeeld is; 2. Nadat de EC heeft geconstateerd dat alle studieonderdelen zijn behaald kan de student het MA examen aanvragen bij het Education Office ESHCC. 3. De formele afsluiting vindt op een van de volgende manieren plaats: a) een eindgesprek met de thesis begeleider over de thesis (proces, resultaten en de beoordeling van het eindproduct); b) een zitting waar de thesisbegeleider en tweede beoordelaar vragen stellen over de thesis. De opleiding kan er ook voor kiezen de student te vragen de zitting in te leiden met een korte presentatie over het thesisonderwerp. De opleiding geeft van te voren aan in welke mate de prestaties tijdens deze zitting meegewogen worden in het eindcijfer. 4. Het cijfer voor de masterthesis wordt bekendgemaakt tijdens het eindgesprek dan wel na afloop van de verdediging. De student ontvangt daarbij tevens een toelichting op het cijfer in de vorm van een schriftelijk beoordelingsformulier. 5. De uitreiking van het getuigschrift kan plaatsvinden op een van de volgende manieren: a. Plenair tijdens een door de opleiding verzorgde feestelijke plechtigheid. b. Individueel aan de balie van de examenadministratie EUR.
14
versie 08-01-2014
6. Toezicht en handhaving door de examencommissie Het Toetsprotocol en het achterliggende Toetsbeleid geven vorm aan de wettelijke bevoegdheden (WHW, zie Inleiding) van de Examencommissie (EC) ten aanzien van toetsing. Het bewaken van de kwaliteit van de toetsing binnen ESHCC brengt met zich mee dat de EC toezicht houdt op de uitvoering van de voorschriften uit het protocol. Deze handhavende taak wordt in nauwe samenwerking met de Decaan en de Afdelingsvoorzitters uitgevoerd. De EC informeert alle examinatoren over het Toetsprotocol (en Toetsbeleid). De implementatie van het protocol binnen de opleidingen gebeurt onder leiding van de Afdelingsvoorzitters. Zij hebben de verantwoordelijkheid hun stafleden bij de planning en uitvoering van het onderwijs te wijzen op het verplichtende karakter van de voorschriften uit het protocol. De manier waarop examinatoren vorm geven aan toetsing maakt bovendien integraal onderdeel uit van de jaarlijkse cyclus van Resultaat & Ontwikkelingsgesprekken (R&O). De EC hanteert verschillende instrumenten bij de uitvoering van het toezicht. Voorbeelden hiervan zijn: De EC trekt jaarlijks een steekproef uit het cursusaanbod van een opleiding. De docenten van de geselecteerde vakken moeten alle documenten met betrekking tot toetsing overleggen. Meldingen: de EC reageert op berichten die langs verschillende kanalen bij de EC terecht kunnen komen. Bijvoorbeeld via een leidinggevende, een perspublicatie, een ondersteunende dienst of een externe partij (bv. visitatiecommissie). Klachten: de EC ontvangt klachten van studenten over de beoordeling van hun toets of over de organisatie van de toetsing. Wanneer de EC op basis van de verstrekte informatie vermoedt dat de (voorbereiding van) toetsing van onvoldoende niveau is wordt actie ondernomen. Daarbij volgt de EC de volgende stappen: onderzoek (inclusief wederhoor), beschrijving, analyse, beslissing. Het besluit van de EC wordt in de regel vertaald in een maatregel tegenover de examinator. In de meeste gevallen betreft dit het afspreken van een verbetertraject. De maatregel kan ook bestaan uit het tijdelijk opschorten van de examenbevoegdheid van een examinator. De maatregelen worden in overleg met de leidinggevende getroffen, omdat een maatregel van de EC rechtspositionele consequenties kan hebben.
15
versie 08-01-2014
7. Archivering De kaders van de WHW en de Archiefwet en de NVAO accreditatiecyclus eisen dat al het toetsmateriaal deugdelijk wordt gearchiveerd. De wettelijke termijn voor het bewaren van toetsen, beoordelingsnormen, antwoordmodellen, uitwerkingen, papers en de audiofile van een mondeling tentamen is twee jaar. De examinatoren zijn persoonlijk verantwoordelijk voor een deugdelijke archivering van dit toetsmateriaal. De EC beveelt aan digitaal te archiveren. Waar dit niet mogelijk is dient de fysieke opslag binnen de ruimten van ESHCC plaats te vinden (werkkamer). De bewaartermijn voor de BA en MA theses is zeven jaar. Dit geldt ook voor het formulier dat de beoordeling van de thesis bevat. De examinatoren zijn persoonlijk verantwoordelijk voor een deugdelijke archivering van de theses die ze hebben begeleid (incl. het beoordelingsformulier). Binnen ESHCC worden de BA en MA theses en de beoordelingsformulieren digitaal opgeslagen. De toetsanalyses die Risbo uitvoert worden door het opleidingsmanagement digitaal gearchiveerd voor onbepaalde tijd en kunnen door het opleidingsmanagement en de examencommissie ingezien worden.
16
versie 08-01-2014
Bijlage 1: Stappenplan meerkeuzetoets Stap 1. Maak een lijstje te toetsen onderwerpen en plaats ze voor het overzicht in een toetsmatrijs TOETSMATRIJS Onderwerp Wat wil ik vooral toetsen? Leerdoel 1 Leerdoel 2 Leerdoel 3Leerdoel 4 1 2 3 4
1. Selecteer de hoofdonderwerpen uit de (verplichte) leerstof waarover in het tentamen vragen moeten worden gesteld. 2. Welke type vraag lijkt van belang? 3. Zijn alle onderwerpen bevraagd (dekt het tentamen de gehele stof). Komt in de toets het relatieve belang van de onderwerpen tot uiting? 4. De toetsmatrijs kan eventueel ook na het maken van het tentamen worden ingezet als controle-instrument. Stap 2. Bepaal de toetslengte Meerkeuzetoets met 4 antwoordmogelijkheden bestaat uit minstens 40 vragen (als er sprake is van een combinatietoets kan het aantal kleiner zijn). Stap 3. Maak de toets en controleer deze met de onderstaande checklist 1. Zijn er voldoende vragen? 2. Staan alle onderwerpen uit de matrijs in de toets? 3. Zijn alle vraagtypen conform de matrijs opgenomen? 4. Controleer de moeilijkheidsgraad. Streef naar een verhouding tussen relatief eenvoudige en moeilijke vragen van 60%-40% (evenwichtige toets). 5. Zorg dat de items onafhankelijk van elkaar zijn. 6. Zorg voor een goede lay-out van de toets. Stap 4. Laat een collega de toets beoordelen of maken en stel een verdere controleprocedure vast Geef de collega ook de ingevulde toetsmatrijs. Stap 5. Ontwerp herkansingen en eventuele proeftoetsen
17
versie 08-01-2014 Stap 6. Schrijf instructies aan de student en maak de lay-out van de toets Gebruik het standaard tentamenvoorblad van het Education Office. Stap 7. Evalueer de toets Let hierbij in ieder geval op: het slaagpercentage, de cijferverdeling en de score van de 5% besten; de betrouwbaarheid onderscheidend vermogen van de vragen (itemrestcorrelatie is minimaal 0.15 per vraag); moeilijkheidsgraad Stel eventueel de norm bij en laat maximaal 10% van de vragen vervallen. Stap 8. Corrigeer de toets binnen de in de OER gestelde termijn.
18
versie 08-01-2014 Bijlage 2: Kwaliteitsindicatoren analyse meerkeuzetoetsen Slagingspercentages en cijferverdeling De slagingspercentages en de verdeling van de cijfers zijn een belangrijke eerste indicator. Te lage of te hoge slagingspercentages kunnen aangeven aan dat het niveau van de toets verkeerd is geweest, maar ook dat er iets mis is met de kwaliteit van de toetsvragen. Slagingspercentages beneden 50% en boven 90% geven aanleiding tot nader onderzoek. Een scheve cijferverdeling geeft ook aanleiding tot nader onderzoek (bijvoorbeeld als er geen cijfers hoger dan 8 gegeven zijn). Betrouwbaarheid Een goede toets is betrouwbaar: de scores zijn consistent, nauwkeurig en reproduceerbaar. Voor (summatieve) eindtoetsen is een betrouwbaarheid van 0.50 of hoger acceptabel (Coëfficiënt Alfa). Onderscheidend vermogen De toetsvragen hebben een goed onderscheidend vermogen. Het onderscheidingsvermogen wordt gemeten aan de hand van de itemrestcorrelatie. Een goed onderscheidende vraag heeft een itemrestcorrelatie van minimaal 0.15. De itemrestcorrelatie van een vraag geeft het verband aan tussen de score op deze vraag en de totaalscore op andere vragen. De itemrestcorrelatie geeft het onderscheidend vermogen van een vraag aan. Een goed discriminerende vraag heeft een positieve waarde. Dit houdt in dat studenten die hoog op de toets scoorden, de betreffende vraag beter hebben beantwoord dan studenten met een lage totaalscore. Een negatieve waarde betekent dat juist studenten die laag op de toets scoorden, de betreffende vraag goed hebben beantwoord. De waarde van de itemrestcorrelatie ligt tussen +1 en -1. Moeilijkheidsgraad De moeilijkheid van de vragen sluit aan bij het niveau van de studenten. De moeilijkheidsgraad van de vragen wordt bepaald door het percentage studenten dat de vraag goed heeft beantwoord. De moeilijkheidsgraad moet altijd hoger zijn dan de raadkans, maar ook geen 100% zijn (dan heeft de vraag geen onderscheidend vermogen). In de toetsanalyse van Risbo is de moeilijkheidsgraad terug te vinden onder de noemer ‘%-gd.corr’: het percentage studenten dat het antwoord op een vraag wist, gecorrigeerd voor de raadkans. Gecorrigeerd voor de raadkans ‘%-gd.corr’ moet tussen 10 en 90 liggen. Indien %-gd.corr negatief is, wil dat zeggen dat een of meerdere foute alternatieven relatief aantrekkelijker waren dan het juiste alternatief. Wat doen bij afwijking van de kwaliteitsnormen? Wijkt een toets af van bovenstaande normen, dan kan dat betekenen dat het toets van onvoldoende kwaliteit is of te moeilijk/te makkelijk is geweest. Om dit te kunnen beoordelen, moet de examinator de toets en de afzonderlijke vragen nader bekijken: 1. Controleer of het toets aansluit op de leerdoelen en de gehanteerde lesmethoden.
19
versie 08-01-2014 2. Bekijk vragen met een te lage restcorrelatie of een te lage raadkans en, nog belangrijker, vragen met een negatieve restcorrelatie of raadkans. Zijn de vragen misschien verkeerd gesleuteld, staan er fouten in de vraag of is de vraagstelling misleidend? 3. Verwijder vragen met een te lage/negatieve restcorrelatie of raadkans eventueel uit de toets. 4. Voer een nieuwe analyse uit (in overleg met toetsexperts van Risbo). Maximaal 10% van de vragen mag komen te vervallen. Bij het verwijderen van vragen moet uiteraard wel bekeken worden of dit inhoudelijk te verantwoorden is. Te veel vragen uit de toets verwijderen, verlaagt de representativiteit van de toets. Indien de norm van de toets aangepast wordt of vragen geschrapt worden, stelt de examinator studenten en de examencommissie hiervan op de hoogte.
20
versie 08-01-2014 Bijlage 3: Stappenplan schriftelijke toets met open vragen Onderstaand stappenplan beschrijft hoe een tentamen met open vragen opgesteld kan worden en geeft daarbij praktische aanwijzingen, suggesties en tips. Stap 1. Maak een lijstje te toetsen onderwerpen en plaats ze voor het overzicht in een toetsmatrijs TOETSMATRIJS Onderwerp
Wat wil ik vooral toetsen? Leerdoel1 Leerdoel 2 Leerdoel 3Leerdoel 4
1 2 3 4 1. Selecteer de hoofdonderwerpen uit de (verplichte) leerstof waarover in het tentamen vragen moeten worden gesteld. 2. Welke type vraag lijkt van belang? 3. Komen alle onderwerpen aan de orde (dekt het tentamen de gehelde stof)? Komt in de toets het relatieve belang van de onderwerpen tot uitdrukking? 4. De toetsmatrijs kan eventueel ook na het maken van het tentamen worden ingezet als controle-instrument. 5. Maak meer vragen dan de toetsmatrijs vraagt. 6. Zijn alle doelen aan de orde geweest; komt in de toets het relatieve belang van de doelen tot uitdrukking? Stap 2. Bepaal de toetslengte 1. Bevat de toets een voldoende aantal vragen, zodat een redelijke betrouwbaarheid verwacht kan worden? 2. Bepaal de verhouding tussen het aantal relatief eenvoudige en moeilijke vragen (bijv. 60%40%). 3. De toetslengte is niet eenduidig vast te stellen, maar het aantal te behalen punten en het aantal vragen moeten zo samenhangen dat voldoende differentiatie tussen studenten mogelijk is: 10 open vragen met elk 5 punten of 5 vragen met elk 10 punten, bijvoorbeeld. Stap 3. Maak de toets en controleer deze 1. Heb ik voldoende vragen? 2. Staan alle onderwerpen uit de matrijs in het tentamen? 3. Corresponderen de vragen met het in de matrijs aangegeven type? Let bij de formulering op de onderstaande punten: Op verschillende manieren kan de maximale omvang van antwoorden worden aangegeven. Per vraag: o noem twee verschillen tussen o geef een beknopte omschrijving van o bespreek kort (max. 10 regels) 21
versie 08-01-2014 o o o
vergelijk vul in kader
kennisvragen kunnen de volgende denkactiviteiten betreffen: o reproduceren, zich herinneren, herkennen, definiëren, beschrijven, opsommen. inzichtvragen kunnen de volgende denkactiviteiten betreffen: o leggen van relaties, geven van verklaringen, beschrijven van samenhangen en vergelijken. toepassingsvragen kunnen de volgende denkactiviteiten betreffen: o schatten, argumenten, rechtsvraag -formuleren, casus oplossen, toepassen, voorspellen, bepalen, gebruiken en berekenen.
Stap 4. Bepaal beoordelingscriteria en normen 1. Schrijf van te voren per vraag een modelantwoord. Geef aan welke begrippen, aspecten en eventueel argumenten of redeneringen in het antwoord aanwezig moeten zijn. Verdeel de te behalen punten evenwichtig over de te scoren aspecten. 2. Leg de voldoende/onvoldoende grens (cesuur) vast en maak een scoringsvoorschrift. Stap 5. Laat een collega de toets beoordelen of maken 1. Staat de beantwoordingstijd van een vraag in redelijke verhouding tot de relevantie van de vraag? 2. Kan een gemiddelde kandidaat de toets binnen de daarvoor gestelde tijd maken? 3. Voorkom tijdnood: ruim meer tijd in dan de geschatte benodigde tijd (2 uur planning = 2,5 a 3 uur tentamentijd). Stap 6. Schrijf instructies aan de student en ontwerp de tentamen lay-out Gebruik het standaard tentamenvoorblad van ESHCC. Stap 7. Corrigeer de antwoorden 1. Werk indien mogelijk met twee, onafhankelijk van elkaar scorende, beoordelaars. Kijk werk per vraag na, niet per persoon. 2. Lees eerst de antwoorden per vraag, dat geeft een indruk over de te hanteren norm. 3. Verander af en toe de volgorde van de stapel. 4. Kijk indien mogelijk (soms zijn de aantallen natuurlijk te groot) het werk na zonder lange onderbrekingen; dot bevordert de homogeniteit van de oordelen. Stap 8. Evalueer de toets na afname Let hierbij in ieder geval op het slaagpercentage, de cijferverdeling en de score van de 5% besten. Stel eventueel de norm bij en laat maximaal 10% van de vragen vervallen. Stap 9. Corrigeer de toets binnen de in de OER gestelde termijn
22
versie 08-01-2014
Bijlage 4: Examinatoren De examencommissie heeft de wettelijke bevoegdheid examinatoren te benoemen (art. 7.12c lid 1 WHW). De benoemingscriteria zijn niet vastgelegd in de wet. Deze nota formuleert die criteria. De examencommissie van de ESHCC onderkent dat het benoemen van examinatoren invloed heeft op de kwaliteit van de toetsing en dus van het onderwijs. De belangrijkste taken van een examinator zijn: Selecteren van geschikte toetsvormen Construeren van toetsen Beoordelen van toetsen Leveren van zinvolle feedback. De huidige situatie is historisch gegroeid en gebaseerd op een ongeschreven regel dat alle leden van de wetenschappelijk staf examinator zijn, met uitzondering van de wetenschappelijk onderzoekers. Het gaat hierbij om de hoogleraren, de universitair (hoofd)docenten, de wetenschappelijk docenten en docent-promovendi. De EC heeft de huidige praktijk als uitgangspunt genomen bij het vastleggen van de examenbevoegdheid binnen de ESHCC. De EC acht nadere precisering noodzakelijk en heeft daartoe onderstaande aanvullende criteria en aanbevelingen geformuleerd. Deze zijn door de EC vastgesteld op 8 januari 2014 na overleg met de onderwijsdirecteur ESHCC en de afdelingshoofden. Dit zijn de criteria: Een examinator moet zijn aangesteld aan de EUR, tenzij er sprake is van specifiek bewezen deskundigheid van externe personen. In het laatste geval dient er vooraf bij de EC toestemming te worden gevraagd. Een examinator moet onderwijskundig geschoold zijn (cursus Basisdidactiek, BKO, of jarenlange onderwijservaring) of daartoe een opleiding volgen en op wetenschappelijk gebied minimaal een master’s degree of equivalent hebben. Een nieuwe examinator (bijvoorbeeld een promovendus) moet worden begeleid door een mentor (ervaren examinator). Het verdient aanbeveling om: In de (research)masterfase alleen docenten als examinator aan te wijzen die zijn gepromoveerd of werken aan een promotie. Examinatoren regelmatig te laten deelnemen aan (interne) bijscholingsactiviteiten. Naast het verlenen van algemene examenbevoegdheid, kan de examencommissie ook een tijdelijke, specifieke examenbevoegdheid verlenen. Dit kan het geval zijn bij een externe examinator, bij een promovendus die een masterthesis begeleidt of onderwijs verzorgt op het terrein van zijn/ haar promotieonderzoek, of bij gastmedewerkers. Dat de examencommissie de opdracht heeft om examinatoren te benoemen, betekent ook dat de examencommissie de examenbevoegdheid van een examinator (tijdelijk) kan intrekken als dat noodzakelijk is. Voor examinatoren die (nog) niet voldoen aan de voorwaarden wordt – in overleg met de onderwijsdirecteur en afdelingshoofden – een groeipad (verbetertraject) afgesproken.
23
