Digitaal toetsen; Niet hoe het moet, maar hoe het kan

Digitaal toetsen; Niet hoe het moet, maar hoe het kan

Martijn Hoeke DAS Conferentie, 14 november 2013, Utrecht

UITGANGSPOSITIE

• Summatief toetsen via Blackboard • Formatief/diagnostisch toetsen via Maple T.A. • VHL omarmt Question Mark Perception

www.lstleeuwarden.nl

2

“Keuze” van een toetssysteem


3

EERSTE KEUS VIEL OP QMP

Voorlichting QMP

Toetsvragen invoeren

P4 2011/2012

P1

Diagnostische toets

P2

P3

P4

2012/2013

2013/2014

40 studenten 3 PC-lokalen (16 PCs per lokaal) 4 docenten/surveillanten Beveiligde toetsomgeving (STE)


P1

4

TWEEDE KEUS MAPLE T.A.

Voorlichting QMP

Toetsvragen invoeren

P4 2011/2012

P1

Diagnostische toets

P2

P3

P4

2012/2013 Training Toetsvragen MapleT.A. invoeren Summatieve toets (2x)

64 studenten 4 PC-lokalen 5 docenten/surveillanten Beveiligde toetsomgeving (Proctored Browser) www.lstleeuwarden.nl

5

P1 2013/2014

Toetsvragen invoeren Summatieve Summatieve toets (4x) toets (2x)

QMP vs MAPLE T.A.

• Gebruikersgemak • Beperkt in functies • Afgeschermd


• Minder intuitief • Veel opties • Volledige controle

6

QMP: eenvoudig in gebruik, maar beperkt in opties  Gebruiksvriendelijke/intuitieve interface  Voldoende vraagtypen om papieren vragen over te zetten naar digitaal

 Taken worden docent “uit handen genomen”  Invoeren studenten  Klaarzetten toets  PCs starten vanzelf op in toetsomgeving

 Geen volledige controle over eigen vragenbank


7

MAPLE T.A.: ENIGE ZELFSTUDIE NODIG, VOLLEDIGE CONTROLE & VEEL OPTIES  Interface kent veel opties, maar went snel  Standaard vraagtypen zoals in QMP beschikbaar  Kracht Maple T.A. zit in question designer welke gebruik kan maken van algoritmes: – Noodzakelijk bij algebra – Maar ook handig voor andere vakken

 Volledige controle over: – Eigen vragenbank – Beveiligde toetsomgeving – Deelnemers in cursus www.lstleeuwarden.nl

8

Beveiligde toetsomgeving; Exam Policy


9

NOODZAAK EXAM POLICY  Toets in webbased, maar enkel studenten die lijflijk aanwezig zijn maken toets  Geen mogelijkheid tot “hulplijnen”

Lock down PC: • Geen netwerktoegang • Geen USB/Hard disk • Beperkte keuze software • Ander bureaublad


10

SECURE TEST ENVIRONMENT

QMP in combinatie met Secure Test Environment (STE), ook te gebruiken met Word, Excel, SPSS, etc. • Van tevoren aan te vragen • PCs staren vanzelf op • Minder flexibel (lokaal wissel etc.)


11

PROCTORED BROWSER

• Maple TA heeft zogenaamde Proctored Browser • Functionaliteit vergelijkbaar met STE – Toetsscherm op voorgrond – Andere functies PC niet bruikbaar

• Docent geeft student ter plekke (remote) toegang


12

Digitaal toetsen, meer dan multiple choice


13

VRAAGTYPEN DIGITAAL TOETSEN

Kopregel presentatie vaste voettekst

14

MAPLE T.A. QUESTION DESIGNER: MULTIPLE CHOICE REVISITED

 Alle vraagtypen (en combinaties)  Meerdere response velden mogelijk (a/b/c-deelvragen) Gebruik van algoritmes zorgt voor: Variatie in vraag Variatie in antwoorden (naast random volgorde antwoordvolgorde) www.lstleeuwarden.nl

15

MULTIPLE CHOICE REVISITED

Een voorbeeld: Drie vragen in één m.b.t. DNA/RNA/eiwit • 1 goed antwoord • 7 foute antwoorden (at random 4 getoond)


16

TEXT MATCH

• Vrij in te vullen tekstveld • Geschikt om terminologie te toetsen Schrijffouten worden afgestraft Spellings”varianten” zijn in te geven Handmatig nalopen foutieve antwoorden aan te raden -> nieuw goed antwoord toevoegen www.lstleeuwarden.nl

17

OPEN VRAAG / ESSAY

• Vrij in te vullen tekstveld Nakijken blijft handwerk “Handschrift” altijd leesbaar


18

ADAPTIVE QUESTION DESIGNER: MULTIPLE CHOICE REVISITED

Gegeven antwoord bepaalt vervolg. • Vraagstuk te complex? • Opgave in stukken aanbieden. • Met hint/deelantwoord is nog deel punten te verdienen.


19

Praktische overwegingen digitaal toetsen


20

ENKELE VOORDELEN

• Tijdwinst bij – Samenstellen toets – Nakijken toets – Publiceren resultaat

• Nakijken (open vragen) kan blind • Vaak dezelfde feedback? -> Copy/paste • Toetsen direct gearchiveerd


21

MOGELIJKE BEPERKINGEN

• Groot gedeelte multiple choice – “Is hier alles mee te toetsen?” – “Studenten leren niet redeneren.”

Open vragen nog steeds mogelijk Gedrukte bijlage voor “tekenvragen” etc.


22

OM REKENING MEE TE HOUDEN:

• Opbouwen toetsvragenbank kost tijd • Enige training toetssysteem gewenst • Afhankelijk van techniek/internet

Bedenken en invoeren toetsvragen interessanter dan nakijken www.lstleeuwarden.nl

23

MEER OM REKENING MEE TE HOUDEN:

• Lezen van een beeldscherm is intensiever Studenten blij met instand (deel)cijfer


24

HOE OM TE GAAN MET:

Nabespreken/inzage digitaal tentamen Klassikaal Individueel Op school Thuis

Ieder tentamen is anders (een aantal vragen is at random toegekend) www.lstleeuwarden.nl

25

Digitaal toetsen: een investering die zich terug verdient Dank aan: • Collega’s LS&T, voor aangaan avontuur • Metha Kamminga, training/vraagbaak MapleT.A. Dr. M.O. Hoeke; [email protected]; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 26

Door mij beoogde situatie


27

Oefenen, toetsen, feedback • 2 verplichte oefentoetsjes (omvang 15 min.; 80% goed; 4 kansen) • Thuis te maken, geen tijdsbeperking Formatief • Toegang tot en bekend met toetssysteem

• Grote vragenbank, gerandomiseerde vragen • Tentamen Summatief

• Feedback thuis in te zien Feedback


28

ENKELE PRAKTISCHE TIPS • Maak voor jezelf ook een account aan met studentrechten, dan kun je de toets ook als student controleren. • “Maak”/doorloop altijd een keer de gehele toets. • Reserveer computerlokalen dicht bij elkaar in de buurt. • Eén surveillant meer dan computerlokalen. • Laptop of tablet voor docent (hoofdsurveillant) om studenten toegang te kunnen geven (snel te verplaatsen tussen lokalen) • Rooster de eerste keer (op een later tijdstip) ook een schriftelijke toets in (backup)


29

VOOR MEER INFORMATIE:

• Digitaal toetsen: – Tien valkuilen van digitaal toetsen: www.methakamminga.nl/MapleTA/EuclidesMaart2011.pdf

• MapleT.A.: http://www.methakamminga.nl/MapleTA/index.html

Dr. M.O. Hoeke; [email protected]; +31 (0)58-2846183 Postbus 1528, 8901 BV Leeuwarden 30

Digitaal toetsen; Niet hoe het moet, maar hoe het kan

Recommend Documents