Toetsafname protocol digitale toetsen
Eigenaar Stafafdeling Onderwijs en Onderzoek
Nadere uitwerking van het Toetsbeleid dat is vastgesteld door het College van Bestuur d.d. 4 juli 2013
2012, Hogeschool van Amsterdam
Toetsafnameprotocol – Digitale toetsen Hogeschool van Amsterdam Juni 2013 Inleiding Onder digitaal toetsen verstaan we het digitaal afleggen van een toets of tentamen in een beveiligde omgeving. Het betreft summatieve toetsen. Waarom? Het toetsafnameprotocol heeft tot doel: • Eenheid tussen domeinen en opleidingen ten aanzien van basale regels en afspraken en daarmee gelijke behandeling van studenten garanderen • Bij organisatie en afname goede kwaliteit garanderen en eventuele risico’s uitsluiten • Docententeams die over willen gaan op digitaal toetsen adequaat informeren over de taakverdeling en te volgen procedures • Docenten te ontlasten van organisatorische en procedurele taken rondom digitaal toetsen Gebruik en eindverantwoordelijkheid Het protocol is bedoeld voor domeinvoorzitters, opleidingsmanagers en hoofden bedrijfsbureau. Zij zijn verantwoordelijk voor het vaststellen en implementeren van een toetsprotocol (per domein of per opleiding). Dat kan dit protocol zijn, maar ook een (uitgebreider) eigen protocol, waarin de regels en afspraken van dit protocol integraal zijn opgenomen. De opleidingsmanagers zijn eindverantwoordelijk voor het informeren en instrueren van docenten (teams), surveillanten, studenten, toetscoördinatoren en andere betrokkenen bij de toetsorganisatie en voor de deugdelijke uitvoering van het protocol. De randvoorwaarden en regels in dit protocol moeten minimaal worden toegepast. Het protocol kan verder worden uitgebreid met ‘locale’ bepalingen en/of procesbeschrijvingen. De examencommissie ziet toe op de juiste uitvoering van de in dit protocol beschreven processen. N.B.: Bij landelijk georganiseerde digitale toetsafname wordt het landelijk vastgestelde protocol gehanteerd.
Randvoorwaarden Om veilig digitale toetsen te kunnen afnemen dient aan een aantal randvoorwaarden op organisatorische en facilitaire gebied te zijn voldaan.
Toetsafnameprotocol HvA- Digitale toets, juni 2013
2
Organisatorisch: •
• • • • • •
•
•
Er is per domein/locatie/team één toetscoördinator digitaal toetsen die als ‘spin in het web’ functioneert en de logistieke en organisatorische kanten van het digitale toetsen voor zijn/haar rekening neemt De toetscoördinator digitaal toetsen zorgt voor het verstrekken van informatie over werkwijzen en rollen aan de andere betrokkenen De toetscoördinator digitaal toetsen houdt zicht op de handhaving van regels en rapporteert bij afwijkingen aan management en examencommissie De opleiding maakt gebruik van surveillanten, die geschoold zijn in het toezicht bij afname van digitale toetsen De opleiding maakt voor het samenstellen van digitale toetsen gebruik van HvA-brede toetssoftware die door de toetscoördinator en functioneel beheerder worden ondersteund De docent/examinator richt zich op het samenstellen van een valide en betrouwbare toets en de analyse van de toetsresultaten, op basis van het 4-ogen principe Voor een mc toets is een goed onderhouden itembank beschikbaar met voldoende items. Streefcijfer: toets met 40 meerkeuzevragen/vier alternatieven: 280 items; toets met 60 meerkeuzevragen/drie alternatieven: 360 items (richtlijnen Open Universiteit) De student heeft voorafgaand aan de toets informatie ontvangen over: o Leerdoelen die in de toets aan de orde komen o Het te gebruiken toetssysteem o Wijze van inschrijven o Bevestiging inschrijving en locatie toets o Informatie over proeftoets cq. voortgangstoets o Duur van de toets o Communicatie over het resultaat o Toegestane hulpmiddelen o Sancties bij fraude Er zijn duidelijk afspraken en procedures hoe te handelen bij calamiteiten
Facilitair De benodigde infrastructuur om veilig digitaal te toetsen is aanwezig en de technische voorzieningen garanderen een veilige afname (voorkeur: secure toets omgeving waarbij p.c.’s op vast tijdstip door de technisch beheerder toetsapplicaties geautomatiseerd gereed worden gemaakt voor de toets) • • • •
Er zijn voldoende computerlokalen beschikbaar om digitale toetsen af te nemen Er is een stabiel en robuust netwerk (criteria ITS) Er is stabiele en beveiligde software De computers en overige hardware voldoen aan de technische vereisten voor de toetsprogrammatuur
Toetsafnameprotocol HvA- Digitale toets, juni 2013
3
•
• • •
De beeldschermen zijn van elkaar afgescheiden (bij voorkeur door schotten) of er sprake van voldoende ruimte tussen de beeldschermen zodat studenten niet op elkaar beeldschermen kunnen kijken De computers staan in opstelling waarbij de surveillant(en) zicht heeft/hebben op alle beeldschermen Per 25 werkplekken worden enkele computers niet ingeroosterd. Deze dienen als reserve De zalen zijn ruim genoeg en voldoen aan de veiligheidseisen/geluidseisen/lichteisen/zitcomfort
Betrokkenen • • • • • • • • • • • •
Opleidingsmanager Toetscoördinator digitaal toetsen Docent Student Surveillant Functioneel beheerder Technisch beheerder toetsapplicaties Technisch beheerder computerwerkplekken Hoofd bedrijfsbureau Examencommissie Toetscommissie Technisch beheerder overige applicaties en systemen
Bij de onderdelen van het toetsprotocol is aangegeven op welke betrokkene(n) het van toepassing is. Toetsprotocol Het toetsprotocol bestaat uit vijf onderdelen: 1. Algemene voorbereiding 2. Voorbereiding van een toets 3. Afname 4. Verwerking en terugkoppeling 5. Evaluatie (inhoudelijk en organisatorisch)
Toetsafnameprotocol HvA- Digitale toets, juni 2013
4
1. Algemene voorbereiding Het protocol Actor: opleidingsmanager • •
In de studiegids is opgenomen waar de studenten digitaal het gehele toetsprotocol kunnen inzien (verwijzing ook opnemen in de OER) Het protocol wordt jaarlijks of indien nodig na elke toetsperiode geëvalueerd
Planning digitale toetsafname Actor: toetscoördinator digitaal toetsen • • • • • • • • •
2
Het tijdig opstellen van het toetsrooster en (laten) reserveren van de toetsruimtes Informeren van de alle betrokkenen (incl. ITS Services) over planning en inzet (rooster minimaal 2 weken tevoren beschikbaar en bekend bij docenten en studenten) Starten inschrijfprocedure Indelen van de groepen studenten in de verschillende pc lokalen Informeren studenten over plaats en tijdstip van afname Het regelen en indelen van surveillanten: verhouding surveillanten is ten minste 1 surveillant op 17 studenten Met de facilitaire dienst het toetsrooster bespreken. Zij zorgen ervoor dat er geen overlast plaatsvindt (schoonmaak, ramen lappen, verbouw, lawaai, enz.) Uitdraaien en verspreiden van presentielijsten, inloginstructies, afnameprocedure en klachtenformulieren t.b.v. surveillanten Gereed maken inlogcodes en wachtwoorden voor ingeschreven studenten
Voorbereiding van een toets
Samenstellen en ‘klaar zetten’ digitale toets Actor: docent, toetscoördinator en functioneel beheerder • • • •
Docent stelt aan de hand van de leerdoelen een toetsmatrix op, die is gecheckt door een collega-docent of door de toetsbeoordelingscommissie Docent maakt aan de hand van de toetsmatrix een selectie van items uit de betreffende itembank(en) De docent voorziet de digitale toets van de benodigde toetsinformatie en instructie voor de studenten De docent codeert elke toets met in elk geval de naam van het onderwijsonderdeel, een datum en een code T (toets) of H (herkansing) op basis van de SIS codes
Toetsafnameprotocol HvA- Digitale toets, juni 2013
5
• • • •
Toetscoördinator zet toetsen klaar op datum/tijd gekoppeld aan de juiste groepen (incl. indien mogelijk automatisch inschakelen van computers) Functioneel beheerder zorgt voor een testomgeving Toetscoördinator voert de test(s) uit Toetscoördinator regelt voor studenten met een functiebeperking de afgesproken aanpassingen (extra toetstijd, lettergrootte, contrast)
Instructie vooraf voor surveillanten Actor: toetscoördinator digitaal toetsen • • •
• • •
Surveillanten zijn voor elke toets schriftelijk uitgenodigd met vermelding van de exacte tijd (half uur tevoren aanwezig) tijdsduur en plaats van de toets Surveillanten zijn door de toetcoördinator geïnformeerd over soort toets, duur, omvang van de groep Surveillanten zijn door de toetscoördinator geïnformeerd over de procedures rondom de digitale toets (inlogprocedure, toegestane hulpprogramma’s en hulpmiddelen, veel voorkomende foutmeldingen), dat goed met hen is doorgesproken Surveillanten worden gebriefed over de instructies aan studenten Er is informatie bij de surveillanten over de toetscoördinator (naam, telefoonnummer) in het geval van calamiteiten De toetscoördinator checkt bij aanvang van de toets in de pc lokaal of alles duidelijk is en goed loopt. Hij/zij blijft afroepbaar voor calamiteiten
Voorbereiding student • Er is vooraf duidelijk aangegeven hoe en binnen welke termijn de student zich moet inschrijven. • Indien inlogaccount wordt gebruikt bij afname: studenten worden vooraf duidelijk geïnformeerd dat ze ervoor moeten zorgen dat hun HvA inlog-account actief is om aan de toets te kunnen deelnemen. De toetscoördinator zorgt ervoor dat studenten van andere domeinen toegang krijgen tot de toetsomgeving • Studenten zijn geïnformeerd over het toetsprotocol en het studentreglement– de surveillant refereert hieraan bij aanvang van de toets - er zijn exemplaren van het protocol aanwezig
Toetsafnameprotocol HvA- Digitale toets, juni 2013
6
3
Afname
Actor: surveillant en student •
• • • • •
• • • • • •
•
• • • •
De studenten identificeren zich door middel van hun collegekaart of legitimatie (paspoort, ID of rijbewijs) bij één van de surveillanten. Studenten zonder collegekaart of legitimatie wordt de toegang geweigerd Surveillant controleert of de student vermeld staat op de presentielijst: niet ingeschreven betekent niet meedoen Student tekent de presentielijst Surveillant logt in of reikt inlogcode en wachtwoord uit aan ingeschreven student Bij computerproblemen die de surveillant niet zelf kan oplossen schakelt hij de toetscoördinator/functioneel beheerder/ict medewerker in (nader per domein te benoemen ) Studenten die te laat zijn wachten op de gang: 20 minuten na aanvang van de toets worden alle studenten die te laat zijn toegelaten. Hierna is het niet meer toegestaan om deel te nemen aan de toets Studenten mogen tijdens het maken van de eigen toets de ruimte niet verlaten Studenten met een functiebeperking overleggen bij binnenkomst een kopie van de mail van de examencommissie, waarin staan aangegeven dat ze recht hebben op een speciale regeling Studenten deponeren jassen, tassen mobieltjes, enz. op de aangegeven plaats Studenten nemen plaats en hebben alleen de toegestane hulpmiddelen voor zich (b.v. pen, kladpapier, rekenmachine) Als een student gebruik mag maken van hulpmiddelen checkt de surveillant of deze ‘schoon’ zijn (dat kan ook tijdens de toets) De surveillant geeft de gang van zaken aan en verwijst naar het protocol en het studentreglement : o Hoe de student moet inloggen in het toetsprogramma o Op zijn vroegst mogen studenten 30 minuten na aanvang de zaal verlaten o Zij die de zaal eenmaal verlaten hebben, mogen daar niet in terugkeren o Voor verdere instructie over de toets verwijst de surveillant naar het startscherm van de toets Bij ongeoorloofd gedrag (spieken, overleggen, niet toegestane hulpmiddelen, ongeoorloofd toegang proberen te verkrijgen tot computerprogrammatuur of informatie ) meldt de surveillant de student waar hij/zij van beschuldigd wordt en dat de fraude gemeld wordt aan de examencommissie. De surveillant maakt verslag van dit fraude incident met behulp van het fraudeformulier. Student mag de toets afmaken De surveillant meldt de resterende tijd (half uur tevoren, 5 minuten tevoren) Bij het afsluiten van de toetst checkt de surveillant of de student de toets goed heeft afgesloten en/of uitgelogd Indien van toepassing: de student levert na afloop inlogcode, wachtwoord en kladpapier in De surveillant (of indien gewenst de student) tekent op de presentielijst aan dat de student de toets heeft afgerond
Toetsafnameprotocol HvA- Digitale toets, juni 2013
7
•
•
4
Surveillanten mogen de zaal niet verlaten tijdens de toets; bij calamiteiten waarschuwen ze de toetscoördinator functioneel beheerder/ict medewerker (nader per domein te benoemen) De surveillant vult het evaluatieformulier in en indien van toepassing worden onregelmatigheden gemeld Verwerking
Actor: toetscoördinator digitaal toetsen en examinator • • • • • • •
Surveillanten leveren student-presentielijsten in bij de toetscoördinator. Deze worden bewaard op het bedrijfsbureau Toetscoördinator genereert toetsresultaten en informeert examinator over de resultaten Toetscoördinator laat analyse van de toetsresultaten uitvoeren en informeert examinator Examinator gaat op basis van de analyse na of actie moet worden ondernomen (vragen verwijderen, cesuur bijstellen) en stemt dit af met de examencommissie De examinator informeert de studenten waar en wanneer de feedback (inzage) beschikbaar is Examinator voert uiterlijk binnen vier weken na afname definitieve resultaten in in SIS Het toetsdossier wordt twee jaar bewaard (eis vanuit accreditatie) en daarna vernietigd
Evaluatie
5
Actoren: toetsbeoordelingscommissie en coördinator digitaal toetsen • •
Inhoudelijk: de toetsbeoordelingscommissie evalueert de uitkomsten van toetsen en stelt nadere analyse in bij afwijkende slaagpercentage en afwijkende vragen Organisatorisch: evalueren met alle betrokkenen of zaken volgens het protocol zijn verlopen en treft waar nodig verbetermaatregelen
Toetsafnameprotocol HvA- Digitale toets, juni 2013
8
