Procedureboek. Toetsen met TestVision Online. Auteur(s) Reinier Veldhuis (FG) Anneke Wijnalda (DGK)

Auteur(s) Reinier Veldhuis (FG) Anneke Wijnalda (DGK)

Procedureboek

Inlichtingen T. 088 481 5886 [email protected] Datum juni 2014 Versie 1.0

© Hogeschool Utrecht, Utrecht, 2014

Bronvermelding is verplicht. Verveelvoudigen voor eigen gebruik of intern gebruik is toegestaan.

Toetsen met TestVision Online

Procedureboek Toetsen met Testvision Online

VERSIEBEHEER

Datum

Red.

Beschrijving -

Pagina 2 van 20 © Hogeschool Utrecht, 01-06-2014


INHOUDSOPGAVE DEEL 1. VOORWAARDEN ....................................................................................................................... 5 DEEL 2. CONSTRUCTIE & VOORBEREIDING ........................................................................................... 5 2.1A. Basisontwerp toets en Toetsmatrijs ontwikkelen ......................................................................... 5 2.1B. Basisontwerp toets en Toetsmatrijs vaststellen ........................................................................... 5 2.2. Toetsinformatie kandidaat schrijven............................................................................................... 5 2.3A. Beschikbaarheid (hoofd-)examinatoren controleren ................................................................... 6 2.3B. Surveillanten en achterwacht regelen .......................................................................................... 6 2.4A. Toetsvragen maken ....................................................................................................................... 7 2.4B. Peerreview organiseren en uitvoeren ........................................................................................... 7 2.5. Toets construeren, klaarzetten en testen ....................................................................................... 7 2.6. Overzicht ingeschreven kandidaten verkrijgen ............................................................................... 8 2.7. Toolkit toetsafname voorbereiden ................................................................................................. 8 DEEL 3. TOETSAFNAME .......................................................................................................................... 9 3.0. Oefentoets ....................................................................................................................................... 9 3.1. Toolkit Toetsafname paraat hebben ............................................................................................... 9 3.2A. Surveillanten ontvangen en instrueren......................................................................................... 9 3.2B. ICT-ondersteuning ......................................................................................................................... 9 3.3. Toetslokaal voorbereiden .............................................................................................................. 10 3.4. Kandidaten binnenlaten en identificeren...................................................................................... 10 3.5. Kandidaten instrueren ................................................................................................................... 11 3.6. Toets activeren .............................................................................................................................. 12 3.7. Tijdens toetsafname ...................................................................................................................... 12 3.9. Afronding toetsafname ................................................................................................................. 13 DEEL 4. ANALYSE & RESULTAATVERWERKING ................................................................................... 15 4.1A. Psychometrische gegevens toets verzamelen ............................................................................ 15 4.1B. Klacht en bezwaar van kandidaten ............................................................................................. 15 4.2A. Toets- en itemanalyse ................................................................................................................. 15 4.2B. Cesuur en normering vaststellen ................................................................................................ 16



4.3. Toets en toetsanalyse archiveren en documenteren .................................................................... 16 4.4. Toetsitembank actualiseren .......................................................................................................... 16 4.5. Reactie klacht of bezwaar kandidaat............................................................................................. 16 4.6. Toetsresultaten registreren........................................................................................................... 16 DEEL 5. EVALUATIE............................................................................................................................... 17 Bijlage 1 - INSTRUCTIEFORMULIER SURVEILLANT ........................................................................... 18 Bijlage 2 - RAPPORT ONREGELMATIGHEDEN BIJ DIGITALE TOETS ................................................. 19



DEEL 1. VOORWAARDEN

DEEL 2. CONSTRUCTIE & VOORBEREIDING

2.1A. Basisontwerp toets en Toetsmatrijs ontwikkelen De (hoofd)examinator onderneemt onderstaande activiteiten op basis van door de toetsexpertgroep ontwikkelde formats, en op basis van de toetsgegevens uit het toetsplan van de opleiding. 1.

De (hoofd)examinator actualiseert het basisontwerp van de toets, waarin ten minste staat beschreven: a)

het doel van de toets, SMART geformuleerd (toetsdoel c.q. learning outcomes) gerelateerd aan de getoetste competentie en het gewenste beheersingsniveau; b) de (leer)activiteiten die gedurende de toets van de student worden gevraagd; c) het gewenste resultaat en de normering, becijfering en de wijze van totstandkoming van de cesuur; d) de toetsafnametijd / toetsduur. 2.

De (hoofd)examinator ontwikkelt een toetsmatrijs, waarmee de representativiteit van de toets ten opzichte van het gegeven onderwijs inzichtelijk wordt.

2.1B. Basisontwerp toets en Toetsmatrijs vaststellen 1.

De (hoofd)examinator stuurt het basisontwerp en de toetsmatrijs ter goedkeuring naar de toetsexpertgroep.

2.

De toetsexpertgroep controleert het basisontwerp en de toetsmatrijs: op de vooraf opgestelde richtlijnen hiervoor, die zijn goedgekeurd door de examencommissie, of, indien (nog) niet aanwezig: op de algemene richtlijnen, zoals beschreven in toetsbeleid

2.2. Toetsinformatie kandidaat schrijven 1.

De (hoofd)examinator verstrekt, in het kader van het kwaliteitsaspect TRANSPARANTIE, minimaal de volgende informatie over de toets aan de kandidaten: -

2.

het vastgestelde basisontwerp (zie 2.1.A) datum, tijdstip en –duur en locatie(s) van toetsing een indicatie van de vraagverdeling in de toets aanvullend op de onderdelen uit het basisontwerp:  huishoudelijke regels omtrent het gebruik (en het verlaten van) het toetslokaal  wat men mee mag nemen naar het toetslokaal en wat niet

De sluitingstermijn van toetsinschrijving en cursusinschrijving …



-

3.

… wordt door opleidingen vermeld in de studiegids. … wordt bij aanvang van elk blok door de opleiding kenbaar gemaakt aan studenten. … wordt ter herinnering in de week voorafgaand aan de sluitingstermijn door de opleiding via SharePoint en/ of per mail naar studenten gecommuniceerd.

De (hoofd)examinator publiceert minimaal een week voorafgaand aan de sluitingstermijn een voorlopige presentielijst – en eventuele groepsindeling per toetslocatie – bijvoorbeeld op de studententoetssite van de opleiding op SharePoint, of per e-mail.

2.3A. Beschikbaarheid (hoofd-)examinatoren controleren 1.

De toetsexpertgroep organiseert, of minimaal controleert, of er a) voldoende toetstijd en b) op de juiste momenten toetstijd is gereserveerd c.q. ingeroosterd voor betrokken examinatoren, minimaal ten aanzien van: 1) voorbereiding 2) uitvoering / afname 3) nakijktijd (analyse/beoordeling en cijferregistratie)

2.3B. Surveillanten en achterwacht regelen 1.

De toetsexpertgroep of (hoofd)examinator regelt (al dan niet via een toetssecretariaat) dat altijd één surveillant meer ingeroosterd wordt dan het aantal toetsruimtes, dus drie ruimtes = vier surveillanten.

2.

ICT-medewerkers staan paraat bij de opstart van de toets, mits tijdig en correct op de hoogte gesteld door de toetsexpertgroep van het startmoment en plaats van toetsing.

3.

-

Bij de roosteraanvraag bij het roosterbureau dient duidelijk vermeld te worden dat het om een toets met gebruik van TestVision gaat en welke functionaliteiten nog meer gewenst zijn (bijvoorbeeld een rekenmachine, specifieke toegang tot een website, applicatie, etc.

-

Bij meerdere toetsen na elkaar is ICT Hospitality c.q. Local Support van elk afzonderlijke startmoment in kennis gesteld door de toetsexpertgroep, of de bij opstart van de toets aanwezige examinator.

De bijdrage van ICT-medewerkers tijdens de toets bestaat uit: Het signaleren, informeren over en zo mogelijk verhelpen van computer- en netwerkstoringen. Ook kunnen zij eventueel een studentaccount resetten. -

4.

Verder verzorgen zij op aanvraag de inrichting van de fysieke en digitale beveiligde toetsomgeving.

Extra ondersteuning bij post-initieel en contractonderwijs: Post-initiële opleidingen en overige contractonderwijs-opleidingen kunnen in overleg met ICT local support c.q. hospitality aanvullende ondersteuning verkrijgen m.b.t. het koppelen van studenten aan de toets. -

Verder dienen zij op de toetsorganisatie te kunnen bouwen van de bacheloropleiding waartoe zij behoren.



2.4A. Toetsvragen maken 1.

Bij een toets waarbij meerdere examinatoren betrokken zijn, wordt … A) … een (hoofd)examinator aangewezen, of B) … een lid van de toetsexpertgroep … die toeziet op naleving van onderling te maken afspraken omtrent: -

2.

het tijdig aanleveren van toetsvragen het aanleveren van voldoende toetsvragen conform de opgestelde toetsmatrijs het aanleveren van vragen van het niveau als opgesteld in de toetsmatrijs het tijdig vullen van de toetsdatabank in TestVision

Elke aan de toets gekoppelde examinator is eindverantwoordelijk voor de kwaliteit van de door hem of haar gemaakte toetsvragen.

2.4B. Peerreview organiseren en uitvoeren 1.

De (hoofd)examinator organiseert, voorafgaand aan het moment van toetsafname, een peerreview om de kwaliteit van het vraagconstructieproces te versterken. Gemaakte vragen worden onderling uitgewisseld en van commentaar voorzien (zowel inhoudelijk als vraagtechnisch). Die uitwisseling kan in TestVision Online door meerdere examinatoren te authoriseren voor eenzelfde vraaggroep. Bij de vragen kunnen opmerkingen worden geplaatst.

2.5. Toets construeren, klaarzetten en testen 1.

De (hoofd)examinator is verantwoordelijk voor … … het digitaal samenstellen van de toets … het klaarzetten van de toets

N.B. De (hoofd)examinator koppelt kandidaten niet aan de toets ruim voor het toetsafnamemoment. (Ook niet als back-up, vanwege foutgevoeligheid daar in dat geval koppelingen moeten worden verwijderd.) Kandidaten worden alleen gemachtigd / gekoppeld aan de toetslink op basis van identificatie bij binnenkomst (zie 3.4. Kandidaten binnenlaten en identificeren).

2.

De (hoofd)examinator is verantwoordelijk voor het testen van de toets. Het testen houdt minimaal in: nagaan of de toets goed klaarstaat en werkt; nagaan of de vragen ‘werken’ (bijvoorbeeld: eventuele plaatjes zichtbaar, geluid werkend, overige invoegtoepassingen zichtbaar, etc.); controleren of de toetstijd correct staat weergegeven.



2.6. Overzicht ingeschreven kandidaten verkrijgen 1.

De (hoofd)examinator haalt, na verstrijking van de inschrijftermijn voor de toets, uit OSIRIS een overzicht van ingeschreven kandidaten in de vorm van een lijst met studentnummers in Excel.

2.

De (hoofd)examinator kopieert de lijst met studentnummers naar de eerste kolom van het tweede tabblad van het document ‘Registratiebestand’. -

De (hoofd)examinator maakt eventueel een (definitieve) indeling per toetslocatie, afhankelijk van de communicatie die daarover heeft plaatsgevonden richting studenten (zie 2.2. Toetsinformatie Student schrijven).

2.7. Toolkit toetsafname voorbereiden 1.

De Toolkit Toetsafname bevat minimaal: Document ‘Registratiebestand’ (geïntegreerd in het programma) met daarin opgenomen studentnummers van ingeschreven kandidaten -

2.

Instructieformulier Student (1 maal, m.u.v. gevallen dat het de eerste toets van het jaar betreft, of wanneer het document is aangepast) Instructieformulier Surveillant (n maal, zie bijlage 1) Rapport Onregelmatigheden bij Digitale Toets (minimaal 1, zie bijlage 2) Optioneel: (Rood-)gekleurd Commentaarformulier annex Kladpapier Student (n maal). Optioneel: papieren Presentielijst Optioneel: Pen

Organisatie De (hoofd)examinator regelt dat minimaal een dag voorafgaand aan de toets de Toolkit Toetsafname is voorbereid en is hiervoor eindverantwoordelijk. -

De (hoofd)examinator dient de correctheid en compleetheid van de inhoud van de toolkit te controleren.

-

Printtaken kunnen door de (hoofd)examinator worden gedelegeerd naar een (toets)secretariaat. Let wel: de examinator blijft eindverantwoordelijk voor de totstandkoming van de toolkit. Daarom dient de examinator voorbereidingstijd te reserveren om zo mogelijk gedelegeerde taken alsnog zelf te kunnen uitvoeren.

3.

Aanpassingen Indien een examinator wijzigingen wenst aan te brengen in onderdelen van de toolkit, of hierin een andere werkwijze wil voorstellen, worden deze tijdig besproken met de toetsexpertgroep. -

Alleen de toetsexpertgroep brengt eventuele wijzigingen in de toetsprocedure aan en informeert hierover de examencommissie. De examinator mag NIET eigenstandig wijzigingen in de samenstelling van de Toolkit Toetsafname aanbrengen.



DEEL 3. TOETSAFNAME

3.0. Oefentoets Eerstejaars studenten en andere nieuwe instromers dienen de gelegenheid te krijgen om altijd voorafgaand aan een summatieve digitale toets een oefentoets te maken, om vertrouwd te kunnen raken met digitale toetsomgeving. Drie voorbeelden: De toetsexpertgroep geeft een instructie tijdens de introweek Een examinator doet in +/- week vier voor hoe je bij de toetsen komt Studenten worden in de gelegenheid gesteld te oefenen door: o via de hoofdpagina van de Testvision-SharePointsite links in de marge de Oefentoets Testvisionvaardigheden aan te klikken; o een oefentoets te maken die de opleiding speciaal daartoe heeft ontwikkeld.

3.1. Toolkit Toetsafname paraat hebben - De examinator die de toets opstart heeft alle benodigdheden bij zich (zie 2.7.).

3.2A. Surveillanten ontvangen en instrueren 1.

De surveillant moet zich uiterlijk een half uur voorafgaand aan de toets melden bij de receptie, tenzij deze bij twee of meerdere toetsen achter elkaar in hetzelfde lokaal surveilleert.

2.

Een half uur voorafgaand aan de toets wordt de surveillant opgehaald door de examinator en/of een medewerker van het (toets)secretariaat.

3.

In het toetslokaal bespreekt de examinator a.d.h.v. het Instructieformulier Surveillant (zie bijlage 1) wat er van de surveillant verwacht wordt.

4.

Het is van groot belang dat de examinator de surveillant duidelijk maakt hoe te handelen bij constatering of vermoeden van een onregelmatigheid c.q. frauduleus gedrag van kandidaten. Daarbij is het document ‘Rapport Onregelmatigheden bij Digitale Toets’ ondersteunend.

3.2B. ICT-ondersteuning 1.

Tijdens de toetsweken van elk blok zorgen ICT-medewerkers ervoor dat computers in de toetslokalen vlot opstarten, zo min mogelijk gehinderd door HU-brede updates.

2.

ICT-medewerkers zorgen ervoor dat een beveiligde toetsomgeving actief is op de pc’s en/of laptops in elk toetslokaal. In dat geval staan alle pc’s/laptops bij aanvang van de toets al aan.



3.

ICT-medewerkers staan paraat bij de opstart van de toets, mits tijdig en correct op de hoogte gesteld door toetsexpertgroep of (hoofd)examinator van het startmoment en plaats van toetsing (zie 2.3B). -

De bijdrage van ICT-medewerkers tijdens de toets bestaat uit: Het signaleren, informeren over en zo mogelijk verhelpen van computer- en netwerkstoringen.

3.3. Toetslokaal voorbereiden 1.

De examinator is bij de opstart van de toets aanwezig.

2.

De examinator start de opstartcomputer op en logt in op de pc het dichtst bij de ingang van het lokaal;

3.

-

Een scanapparaat is gekoppeld aan de computer. De examinator controleert of deze correct is aangesloten via de usb-poort.

-

Op de computer of laptop wordt het toetsprogramma geopend.

Surveillanten plaatsen schotjes, indien deze nog niet zijn geplaatst of verwijdert in verband met lesactiviteiten (hiervan is met name sprake buiten de reguliere toetsweken). Zo mogelijk worden zij geholpen door ICT-ondersteuners.

3.4. Kandidaten binnenlaten en identificeren 1.

Kandidaten worden vanaf 15 minuten voor aanvang van de toets toegelaten tot het toetslokaal. -

2.

3.

Examinator en/of surveillanten maken bij het binnenlaten van kandidaten het volgende duidelijk: a. Jassen en tassen zoveel mogelijk opbergen in een locker. Surveillanten zijn niet aansprakelijk bij diefstal of vermissing van spullen die men niet bij zich mag hebben in het lokaal; b. Telefoons moeten uit staan en in jas of tas worden opgeborgen; c. Behalve een collegekaart - en evt. door de Examencommissie toegestane hulpmiddelen - mag niets worden meegenomen door de kandidaat.

De examinator … -

… controleert kandidaten bij binnenkomst op een geldige collegekaart en checkt eigenaar en pasfoto. o kandidaten zonder collegekaart wordt gevraagd een bewijs van inschrijving te halen bij het STIP.

-

… scant de collegekaart en controleert via het ‘Registratiebestand’ (geïntegreerd in het toetsprogramma) of de student correct is ingeschreven voor de toets.

Indien de kandidaat niet voorkomt in het registratiebestand, wordt deze niet toegelaten tot het lokaal en mag deze de toets niet maken. De examinator meldt de kandidaat in dat geval 1) dat deze zich moet inschrijven voor de hertoets en dat hij voor de eerste poging een NA (niet aanwezig) krijgt en 2) dat de kandidaat met klacht en bezwaar terecht kan bij de instituutsexamencommissie.



4.

5.

Kandidaten met recht op extra tijd, dienen daartoe een bewijs te tonen en krijgen in dat geval een meest storingsvrije plaats toegewezen (niet in de buurt van de uitgang). -

Kandidaten hebben op grond van het instellingsexamenreglement recht op extra toetstijd.

-

Voor kandidaten die volgens de Examencommissie van een voorleesapplicatie gebruik mogen maken, zijn aparte werkstations geprepareerd. (red. op het moment van schrijven in ontwikkeling). (Ideaal zou zijn als dat niet nodig is, maar dat een dergelijke functionaliteit al is geïntegreerd in de toetsapplicatie)

Optioneel: Surveillanten geven elke kandidaat bij binnenkomst 1 gekleurd of instellings-kladpapier annex commentaarformulier (zie 3.1. Toolkit Toetsafname paraat hebben). N.B. niet van tevoren klaarleggen bij de computers i.h.k.v. fraudepreventie! Of, beter: een kladfunctie is beschikbaar in een werkruimte op het scherm, naast elke vraag. -

6.

Indien het de eerste toets van een cursusjaar betreft: Surveillanten geven elke kandidaat 1 gekleurd of instellings-instructieformulier

De examinator neemt na opstart van de toets bij de ingang van de toetslocatie plaats, om eventuele laatkomers op te vangen. Afhankelijk van daaromtrent geldende richtlijnen wordt … a) … de collegekaart gescand en de kandidaat geautoriseerd om de toets te maken b) … de kandidaat niet meer toegelaten tot de toets en geïnformeerd over de in dat geval geldende procedure

3.5. Kandidaten instrueren 1.

Het ‘Instructieformulier Student’ wordt tijdens de eerste toets geprint verstrekt aan de kandidaat. Op dit formulier staat onder andere vermeld dat de toetslink nog niet zichtbaar is, tot daartoe door de (hoofd)examinator het sein is gegeven (omdat kandidaten dus just-in-time worden gekoppeld).

2.

Kandidaten krijgen daarnaast mondeling van de examinator te horen …: -

… welke toets of toetsen er worden afgenomen … hoe lang de toets duurt … vanaf wanneer het lokaal mag worden verlaten (zie 3.9.1.) … hoe het lokaal dient te worden verlaten … dat op elke vorm van fraude strenge sancties staan

-

… dat na afloop van de toets alle verstrekte formulieren weer moeten worden ingeleverd .

1

1

Indien geen commentaarformulier is verstrekt, meldt de examinator dat in geval van commentaar of vragen de hand kan worden opgestoken. Dan komt de surveillant langs met een pen en een commentaarformulier (Rapport Onregelmatigheden bij Digitale Toets). Beter: commentaar kan ook, via een extra pop-up-window bij de vraag worden beschreven, wat dan ook weer zichtbaar is op een apart analyse-tabblad bij het digitaal nakijken. -

… dat het lokaal op zijn vroegst na 30 minuten mag worden verlaten

2


Procedureboek Toetsen met Testvision Online 2

N.B. bij een toets die in twee shifts wordt afgenomen, dienen studenten tot het einde van de toetstijd te blijven zitten in het lokaal. Bij dit soort toetsen wordt het afgeraden om pen en kladpapier door de kandidaat te laten gebruiken (en dus van bovengenoemde functionaliteit gebruik te maken).

3.6. Toets activeren De examinator … 1.

… koppelt met een druk op de knop de kandidaten die zijn ingescand aan de toets (mits genoemd registratiebestand is geïntegreerd in de toetssoftware;

2.

… meldt kandidaten dat de toets voor hun klaarstaat en dat het vanaf dat moment absoluut stil dient te zijn. Voor vragen of problemen dient de hand te worden opgestoken. Kandidaten loggen in op de pc’s met hun instellingsaccountgegevens.

3.

… controleert samen met de surveillanten dat alle studenten ook daadwerkelijk ingelogd zijn en ook met hun eigen account.

3.7. Tijdens toetsafname 1.

Een of meerdere examinatoren is of zijn gedurende de gehele ingeroosterde toetstijd telefonisch oproepbaar en in het pand aanwezig.

2.

De surveillant controleert gedurende de toets actief op de volgende zaken: A. B. C. D. E. F.

alleen TV is geopend (indien Sitekiosk is geïnstalleerd, is hiervan per definitie sprake) geen usb-sticks etc. in de pc behalve eventueel toegestane hulpmiddelen geen mobiel etc. zichtbaar kandidaten kijken alleen op hun eigen beeldscherm geen interactie tussen kandidaten overig frauduleus gedrag

3.

Een kandidaat mag alleen naar het toilet, indien voorafgaand schriftelijke toestemming is verkregen van de Examencommissie. In dat geval wordt deze begeleid door een boventallig aanwezige surveillant.

4.

Verdenking van fraude Indien er verdenking van fraude is, worden de volgende stappen gezet: a. b.

c.

De examinator wordt direct door surveillant ingelicht. Indien de examinator niet in de toetsruimte aanwezig is, wordt deze opgebeld met de vraag ter plaatse te komen. Ter plaatse wordt de student gemeld dat deze wordt verdacht van fraude. Eventueel bewijsmateriaal of ongeoorloofde spullen worden door de surveillant direct in beslag genomen en overgedragen aan de examinator. N.B. De student mag de toets te allen tijde afmaken! Document Onregelmatigheden wordt in het bijzijn van de examinator door de surveillant ingevuld (zie bijlage Rapport Onregelmatigheden bij Digitale Toets)



5.

d.

Na afloop van de toets stelt de examinator de student in de gelegenheid om het Rapport Onregelmatigheden bij Digitale Toets van schriftelijk commentaar te voorzien.

e.

Na afloop van de toets meldt de examinator de fraude overeenkomstig de daartoe opgestelde procedure van de Instituutsexamencommissie.

Onregelmatigheid door overmacht - In geval een toets is gestart, maar door omstandigheden niet volgens daartoe geldende richtlijnen kan worden afgenomen, moet dit worden gedocumenteerd als onregelmatigheid (…) en beslist de Examencommissie over de geldigheid van de toetsresultaten. Het is dan ook van groot belang, dat besluiten in dergelijke situaties plaatsvinden in samenspraak met iemand met kennis van de Onderwijs- en Examen Regeling en eventueel daaruit voortvloeiende richtlijnen van de examencommissie.

6. Commentaar student -

-

Indien geen commentaarformulier wordt verstrekt, dient de student bij commentaar de hand op te steken. In dat geval komt de surveillant langs met een pen en het Rapport Onregelmatigheden bij Digitale Toetsing. Nog beter: de student kan toetsvragen digitaal van commentaar voorzien, dat bij de toetsanalyse geraadpleegd kan worden door de examinator.

3.9. Afronding toetsafname 1.

Vroegtijdig het toetslokaal verlaten Kandidaten mogen niet eerder dan na 30 minuten het toetslokaal verlaten. Bij een toets met meerdere shifts blijven kandidaten tot het einde van de toetstijd zitten.

2.

Einde toetstijd 10 minuten voor het einde van de reguliere toetstijd meldt de surveillant aan de kandidaten dat zij nog tien minuten hebben. Na afloop van de reguliere toetstijd meldt de surveillant dat ieder zijn/haar toets dient af te sluiten.

3.

INZAGE Scenario 1 Bij zowel eerste poging als herkansing is voor de inzage ten minste 15 minuten toetstijd gereserveerd. Direct na het maken van de toets hebben studenten individueel inzage in het tentamen. (Schotjes voorkomen dat studenten al te gemakkelijk op elkaars scherm kunnen kijken. Daarbij worden toetsvragen standaard gerandomiseerd aangeboden, waardoor communicatie anderszins wordt bemoeilijkt.). Scenario 2 Inzage is enkele weken na het tentamen, na bekendmaking van de cijfers, en geschiedt voor zowel de eerste poging als de herkansing per e-mail. Studenten krijgen elk in een persoonlijke mail, die met het toetsprogramma automatisch kan worden gegenereerd indien de toets compleet is afgerond, inzicht in het gemaakte aantal fouten per onderwerp.

4.

Documentatie & inname formulieren



-

De examinator slaat het Registratiebestand, indien, zoals op het moment van schrijven, nog niet geintegreerd in de toetsapplicatie op op SharePoint, waarvoor de toetsexpertgroep een aparte plek aanwijst.

-

Surveillanten nemen van elke kandidaat het eventueel verstrekte kladpapier en/of commentaarformulier in. Het papier is voorzien van naam en studentnummer van de betreffende student. (Liever dus digitaal!) Indien er ook instructieformulieren zijn uitgereikt: Surveillanten nemen van elke kandidaat het eventueel verstrekte instructieformulier in.

-

5.

Surveillanten sorteren de ingenomen formulieren op naam en locatie.

Schotjes verwijderen (N.B. Alleen buiten reguliere toetsweken) De examinator ziet erop toe dat de schotjes na afloop van de toets verwijderd en opgeborgen worden in de kast door surveillanten.



DEEL 4. ANALYSE & RESULTAATVERWERKING

4.1A. Psychometrische gegevens toets verzamelen In TV6 De (hoofd)examinator download het csv-analysebestand van Testvisionweb en leest het bestand in met de analyse-module (zie Handleiding Testvision voor een stapsgewijze beschrijving). Het zo verkregen Excelbestand wordt opgeslagen MET macro’s. -

De (hoofd)examinator zorgt naast deze gegevens dat ook de word-versie van de toets ‘ ter redactie’ paraat is.

In TV Online  dit alles is niet meer nodig: de examinator(en) kunnen de analyse geheel via het programma uitvoeren.

4.1B. Klacht en bezwaar van kandidaten De (hoofd)examinator verzameld en screent … … schriftelijk klacht en bezwaar direct na afloop van de toets (liefst digitaal gegaan tijdens de toetsafname, zie 3.8.6.) … eventuele e-mails gericht aan de examinator of toetsexpertgroep.

4.2A. Toets- en itemanalyse 1.

De (hoofd)examinator analyseert aan de hand van een analyseprotocol dat de toetsexpertgroep heeft opgesteld. Daarin staat de toetsen itemanalyse beschreven en specifiek: o de interpretatie van psychometrische gegevens (1A); o het wegen van klacht en bezwaar (1B) o de te plaatsen kritische kanttekeningen bij discutabele vragen om te beslissen of een vraag al dan niet dient te worden verwijdert uit een toets.

2.

Ondersteuning en reviewmogelijkheden bij analyse De (hoofd)examinator kan gedurende de analyse om ondersteuning vragen bij de toetsexpertgroep. De (hoofd)examinator kan er voor kiezen om de analyse te laten reviewen door een lid van de toetsexpertgroep. Tot slot kan het zo zijn dat de toetsexpertgroep of de examencommissie steeksproefsgewijs toetsanalyses reviewed. Examinatoren wordt dan gevraagd om de daartoe benodigde documenten aan te leveren.

3.

Vier-ogen-beleid en normvinding Het is aan te bevelen om de analyse door minimaal twee examinatoren te laten doen, die bij de totstandkoming van de toets betrokken zijn geweest. Van belang is dat daarvan een verslag wordt gemaakt, ingaande op de verkregen consensus en de wijze waarop is omgegaan met twistpunten. (Ideaal is als een toetsprogramma in een dergelijke functionaliteit voorziet).



4.2B. Cesuur en normering vaststellen -

De examinator stelt de cesuur vast, conform het analyseprotocol van de toetsexpertgroep.

-

N.B. Eventuele bijstellingen van de cesuur die afwijken van het analyseprotocol van de toetsexpertgroep, kunnen alleen plaatsvinden met goedkeuring van de Examencommissie.

4.3. Toets en toetsanalyse archiveren en documenteren -

De examinator mailt naar de toetsexpertgroep: o het finale toetsanalysebestand (liefst eenvoudig in pdf- of xlsx-formaat – op dit moment voorziet het programma alleen in csv-formaat, dat dus eerst moet worden geconverteerd). o Een overzicht van vragen die uit de toets zijn verwijderd (nu nog geen onderdeel van de rapportage in TV Online; wel eens wens) o Een overzicht van vragen die gereviseerd moeten worden door de maker(s) (dit zijn de verwijderde vragen EN de vragen die ter discussie staan) o Desgevraagd: de toets ter redactie in Word of pdf.

-

De toetsexpertgroep slaat bovengenoemde documenten op op een beveiligde versleutelde site (op het moment van schrijven is dat bij beide instellingen nog niet adequaat geregeld en wordt veel bijvoorbeeld via SharePoint opgeslagen (situatie HU FG)).

Tip: het is mogelijk om in Testvision een toetsvraag het kenmerk ‘in ontwikkeling’ te geven. Hierdoor wordt een toetsvraag niet meegenomen in een volgende toets, behalve als deze optie weer wordt uitgezet door de maker en de vraag dus is gereviseerd.

4.4. Toetsitembank actualiseren -

De (hoofd)examinator c.q. de eindverantwoordelijke voor de toets stuurt na afloop van de toetsanalyse aan de co-examinatoren: o … een overzicht van vragen die gereviseerd moeten worden door de maker (dit zijn de verwijderde vragen EN de vragen die ter discussie staan) met de vraag om de toetsitembank voor een bepaalde deadline te hebben geactualiseerd. (Het liefst gebeurt dit via een ingebouwde functionaliteit in het toetsprogramma).

4.5. Reactie klacht of bezwaar kandidaat -

De examinator koppelt aan de opleidingscommissie terug wat de aard van klacht of bezwaar van kandidaten is geweest en wat daarmee is gedaan.

4.6. Toetsresultaten registreren Pagina 16 van 20 © Hogeschool Utrecht, 01-06-2014


-

De examinator vult de cijfers in in Osiris conform de bepalingen daaromtrent in het HU OER.

DEEL 5. EVALUATIE



Bijlage 1 - INSTRUCTIEFORMULIER SURVEILLANT



Bijlage 2 - RAPPORT ONREGELMATIGHEDEN BIJ DIGITALE TOETS Voorletters en achternaam getuige Telefoonnummer getuige

: ………………………………………………………………………………………………. : ………………………………………………………………………………………………..

In geval getuige niet examinator is: Voorletters en achternaam examinator : ………………………………………………………………….…………………………….. Naam + code tentamen Tentamenlokaal Datum tentamen Begin- en eindtijd tentamen

: ……………………………………………………………… ……………………………… : ………………………………………………………………… : ……… - ………………………...…… - ………………….. : ………………………… ……..............................

Naam student: Studentnummer: Opleiding van student: Classificatie constatering ( feitenbeschrijving zie achterzijde):

Inbeslagname ongeoorloofde hulpmiddelen (bewijsstukken, mobiele telefoon, etc.):

O Afkijken O Overleg (verbaal of non-verbaal) O Gebruik van ongeoorloofde hulpmiddelen (aantekeningen, boek, calculator, gsm, etc.) O Andere constatering

O Ja, namelijk : …………………………………………………………………. ……………………………………………………………………………………………. ……………………………………………………………………………………………. O Nee, want : ……………………………………………………………………. …………………………………………………………………………………………….

Tijdstip van constatering en mededeling aan de student (in uren en minuten) Handtekening surveillant:

.. Handtekening voor gezien student:

………. : …………. Handtekening examinator:

..

.. (eventueel commentaar op achterzijde)



Ook als mogelijke onregelmatigheden buiten het tentamenlokaal worden geconstateerd, vult de getuige dit formulier samen met de examinator in en levert dit in bij de ambtelijke secretaris van de examencommissie.

Beschrijving geconstateerde feiten door surveillant en/of examinator:

Eventueel commentaar student:


Procedureboek. Toetsen met TestVision Online. Auteur(s) Reinier Veldhuis (FG) Anneke Wijnalda (DGK)

Recommend Documents