Digitaal toetsen; Niet hoe het moet, maar hoe het kan
Martijn Hoeke DAS Conferentie, 14 november 2013, Utrecht
UITGANGSPOSITIE
• Summatief toetsen via Blackboard • Formatief/diagnostisch toetsen via Maple T.A. • VHL omarmt Question Mark Perception
www.lstleeuwarden.nl
2
“Keuze” van een toetssysteem
www.lstleeuwarden.nl
3
EERSTE KEUS VIEL OP QMP
Voorlichting QMP
Toetsvragen invoeren
P4 2011/2012
P1
Diagnostische toets
P2
P3
P4
2012/2013
2013/2014
40 studenten 3 PC-lokalen (16 PCs per lokaal) 4 docenten/surveillanten Beveiligde toetsomgeving (STE)
www.lstleeuwarden.nl
P1
4
TWEEDE KEUS MAPLE T.A.
Voorlichting QMP
Toetsvragen invoeren
P4 2011/2012
P1
Diagnostische toets
P2
P3
P4
2012/2013 Training Toetsvragen MapleT.A. invoeren Summatieve toets (2x)
64 studenten 4 PC-lokalen 5 docenten/surveillanten Beveiligde toetsomgeving (Proctored Browser) www.lstleeuwarden.nl
5
P1 2013/2014
Toetsvragen invoeren Summatieve Summatieve toets (4x) toets (2x)
QMP vs MAPLE T.A.
• Gebruikersgemak • Beperkt in functies • Afgeschermd
www.lstleeuwarden.nl
• Minder intuitief • Veel opties • Volledige controle
6
QMP: eenvoudig in gebruik, maar beperkt in opties Gebruiksvriendelijke/intuitieve interface Voldoende vraagtypen om papieren vragen over te zetten naar digitaal
Taken worden docent “uit handen genomen” Invoeren studenten Klaarzetten toets PCs starten vanzelf op in toetsomgeving
Geen volledige controle over eigen vragenbank
www.lstleeuwarden.nl
7
MAPLE T.A.: ENIGE ZELFSTUDIE NODIG, VOLLEDIGE CONTROLE & VEEL OPTIES Interface kent veel opties, maar went snel Standaard vraagtypen zoals in QMP beschikbaar Kracht Maple T.A. zit in question designer welke gebruik kan maken van algoritmes: – Noodzakelijk bij algebra – Maar ook handig voor andere vakken
Volledige controle over: – Eigen vragenbank – Beveiligde toetsomgeving – Deelnemers in cursus www.lstleeuwarden.nl
8
Beveiligde toetsomgeving; Exam Policy
www.lstleeuwarden.nl
9
NOODZAAK EXAM POLICY Toets in webbased, maar enkel studenten die lijflijk aanwezig zijn maken toets Geen mogelijkheid tot “hulplijnen”
Lock down PC: • Geen netwerktoegang • Geen USB/Hard disk • Beperkte keuze software • Ander bureaublad
www.lstleeuwarden.nl
10
SECURE TEST ENVIRONMENT
QMP in combinatie met Secure Test Environment (STE), ook te gebruiken met Word, Excel, SPSS, etc. • Van tevoren aan te vragen • PCs staren vanzelf op • Minder flexibel (lokaal wissel etc.)
www.lstleeuwarden.nl
11
PROCTORED BROWSER
• Maple TA heeft zogenaamde Proctored Browser • Functionaliteit vergelijkbaar met STE – Toetsscherm op voorgrond – Andere functies PC niet bruikbaar
• Docent geeft student ter plekke (remote) toegang
www.lstleeuwarden.nl
12
Digitaal toetsen, meer dan multiple choice
www.lstleeuwarden.nl
13
VRAAGTYPEN DIGITAAL TOETSEN
Kopregel presentatie vaste voettekst
14
MAPLE T.A. QUESTION DESIGNER: MULTIPLE CHOICE REVISITED
Alle vraagtypen (en combinaties) Meerdere response velden mogelijk (a/b/c-deelvragen) Gebruik van algoritmes zorgt voor: Variatie in vraag Variatie in antwoorden (naast random volgorde antwoordvolgorde) www.lstleeuwarden.nl
15
MULTIPLE CHOICE REVISITED
Een voorbeeld: Drie vragen in één m.b.t. DNA/RNA/eiwit • 1 goed antwoord • 7 foute antwoorden (at random 4 getoond)
www.lstleeuwarden.nl
16
TEXT MATCH
• Vrij in te vullen tekstveld • Geschikt om terminologie te toetsen Schrijffouten worden afgestraft Spellings”varianten” zijn in te geven Handmatig nalopen foutieve antwoorden aan te raden -> nieuw goed antwoord toevoegen www.lstleeuwarden.nl
17
OPEN VRAAG / ESSAY
• Vrij in te vullen tekstveld Nakijken blijft handwerk “Handschrift” altijd leesbaar
www.lstleeuwarden.nl
18
ADAPTIVE QUESTION DESIGNER: MULTIPLE CHOICE REVISITED
Gegeven antwoord bepaalt vervolg. • Vraagstuk te complex? • Opgave in stukken aanbieden. • Met hint/deelantwoord is nog deel punten te verdienen.
www.lstleeuwarden.nl
19
Praktische overwegingen digitaal toetsen
www.lstleeuwarden.nl
20
ENKELE VOORDELEN
• Tijdwinst bij – Samenstellen toets – Nakijken toets – Publiceren resultaat
• Nakijken (open vragen) kan blind • Vaak dezelfde feedback? -> Copy/paste • Toetsen direct gearchiveerd
www.lstleeuwarden.nl
21
MOGELIJKE BEPERKINGEN
• Groot gedeelte multiple choice – “Is hier alles mee te toetsen?” – “Studenten leren niet redeneren.”
Open vragen nog steeds mogelijk Gedrukte bijlage voor “tekenvragen” etc.
www.lstleeuwarden.nl
22
OM REKENING MEE TE HOUDEN:
• Opbouwen toetsvragenbank kost tijd • Enige training toetssysteem gewenst • Afhankelijk van techniek/internet
Bedenken en invoeren toetsvragen interessanter dan nakijken www.lstleeuwarden.nl
23
MEER OM REKENING MEE TE HOUDEN:
• Lezen van een beeldscherm is intensiever Studenten blij met instand (deel)cijfer
www.lstleeuwarden.nl
24
HOE OM TE GAAN MET:
Nabespreken/inzage digitaal tentamen Klassikaal Individueel Op school Thuis
Ieder tentamen is anders (een aantal vragen is at random toegekend) www.lstleeuwarden.nl
25
Digitaal toetsen: een investering die zich terug verdient Dank aan: • Collega’s LS&T, voor aangaan avontuur • Metha Kamminga, training/vraagbaak MapleT.A. Dr. M.O. Hoeke;
[email protected]; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 26
Door mij beoogde situatie
www.lstleeuwarden.nl
27
Oefenen, toetsen, feedback • 2 verplichte oefentoetsjes (omvang 15 min.; 80% goed; 4 kansen) • Thuis te maken, geen tijdsbeperking Formatief • Toegang tot en bekend met toetssysteem
• Grote vragenbank, gerandomiseerde vragen • Tentamen Summatief
• Feedback thuis in te zien Feedback
www.lstleeuwarden.nl
28
ENKELE PRAKTISCHE TIPS • Maak voor jezelf ook een account aan met studentrechten, dan kun je de toets ook als student controleren. • “Maak”/doorloop altijd een keer de gehele toets. • Reserveer computerlokalen dicht bij elkaar in de buurt. • Eén surveillant meer dan computerlokalen. • Laptop of tablet voor docent (hoofdsurveillant) om studenten toegang te kunnen geven (snel te verplaatsen tussen lokalen) • Rooster de eerste keer (op een later tijdstip) ook een schriftelijke toets in (backup)
www.lstleeuwarden.nl
29
VOOR MEER INFORMATIE:
• Digitaal toetsen: – Tien valkuilen van digitaal toetsen: www.methakamminga.nl/MapleTA/EuclidesMaart2011.pdf
• MapleT.A.: http://www.methakamminga.nl/MapleTA/index.html
Dr. M.O. Hoeke;
[email protected]; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 30