Online toetsing met Question Mark Perception aan de EhB

Online toetsing met Question Mark Perception aan de EhB Arnout Horemans

5 juni 2007

Online toetsing met QMP - A. Horemans

1

Inhoud • • • •

Wat? Voor – en nadelen Perception in EhB Voorbeeld formatieve toets • Feedback • Competenties • Itemanalyse 5 juni 2007

• Voorbeeld summatieve toets • Beveiliging • Perception 4 of 3? • Laatste woord


2

Wat is online toetsing? • toetsvormen • examenvormen • assessmentvormen ⇒ met gebruikmaking van computers en internet

5 juni 2007


3

Functies • diagnostische evaluatie • formatieve evaluatie • summatieve evaluatie • enquêtes en onderzoek 5 juni 2007


4

Voordelen online toetsen? • • • • • • •

gemak bij stijgend aantal studenten objectieve vragen uitwisselbaarheid materiaal heel ruime mogelijkheden eigen tempo student respecteren 7/24 overal beschikbaar gemakkelijk de voortgang te volgen → ingrijpen 5 juni 2007


5

Voordelen (vervolg) • • • • •

onmiddellijke feedback en resultaten docent kan feedback geven ondersteuning gehandicapten besparing papier en kopieën toets is individualiseerbaar als topic < 75% ⇒ga naar topic x als topic > 75% ⇒ga naar topic y

5 juni 2007


6

Beperkingen en gevaren • Goede toetsen en vragen ontwerpen = arbeidsintensief • Beperkt tot kennis- en inzichtsvragen, geen evaluatie complexe vaardigheden – competenties • ICT-vaardigheid is vereist • Afhankelijkheid van server, internet, PC’s • Gevaar van eenzijdigheid 5 juni 2007


7

Online toetsing in EhB • 2000: keuze voor Question Mark Perception – inzetbaar voor vele soorten toetsen – actief bedrijf met wereldfaam – ervaring met Windows-versie

5 juni 2007


8

Verkrijgbaar in 2 smaken • TestPerception → formatieve assessments

• Perception → summatieve assessments

5 juni 2007


9

Student logt in

5 juni 2007


10

Student kiest assessment en start

5 juni 2007


11

Docent maakt vragen

5 juni 2007


12

Docent maakt assessment

5 juni 2007


13

Assessment naar server - formatief

5 juni 2007


14

Assessment naar server-summatief

5 juni 2007


15

Beheren

5 juni 2007


16

Deelnemers uit Dokeos halen

5 juni 2007


17

Deelnemers importeren

5 juni 2007


18

Assessment ophalen

5 juni 2007


19

Schema maken

5 juni 2007


20

Een schema

5 juni 2007


21

Rapport

5 juni 2007


22

Assessment kringloop Rapport

Start

•rapport maken •rapport aanbieden

•vragen maken •assessment maken

•assessments op server •assessments afleggen

•deelnemers toevoegen in groepen •assessment toekennen (schema maken)

5 juni 2007


23

5 juni 2007


24

Cijfers • • • • • • •

5 deelnemende departementen 1700 deelnemers (studenten) 800 assessments online nu 40-tal actieve docenten 1 Perception-coördinator per departement 1 Dokeoscursus → software, documentatie 1 helpdesk voor studenten en docenten

5 juni 2007


25

Voorbeeld formatieve toetsen Departement Toegepaste Taalkunde Computerondersteunde taaloefeningen • 7 talen voor BA1 en BA2 • 2 oef./taal/week met feedback (lesweken) • oneindig hermaken • hoogste score ‘telt’ • 6-wekelijks rapport voor studenten (online) en docenten (online + op papier) • docent kan resultaten laten ‘meetellen’ 5 juni 2007


26

Resultaten meedelen

5 juni 2007


27

Resultaten in Excel

5 juni 2007


28

Belang goede feedback Vooral belangrijk bij formatieve evaluatie – tijdig feedback geven ->automatiseren – inkijkmogelijkheid – bespreking toets / toelichting op groepsmoment – inschatten wanneer het niet opportuun is

5 juni 2007


29

Soorten online feedback • Gewone feedback: oplossing + eventueel achterliggende redenering • Directieve feedback: kijk op die pag., op die website, … • Niet-directieve feedback: geven van hints om te komen tot het antwoord

5 juni 2007


30

Objectieve toetsvragen De antwoorden liggen op voorhand vast Soorten vragen: – – – –

meerkeuze, ja/neen, juist/fout meerantwoordenvraag juiste plek op scherm aanklikken (hotspot) cijfer of woord invullen

5 juni 2007


31

Competentiegericht evalueren Objectieve toetsen: vaak enkel voor evalueren kennis en inzicht Ook ‘hogere’ competenties zijn mogelijk – toepassing van kennis – analyseren en synthetiseren – kritisch omgaan met informatie – beoordelingsvermogen 5 juni 2007


32

Itemanalyse • De raadkans inschatten – hangt af van aantal alternatieven • 25% bij vraag met 4 alternatieven • 33% bij vraag met 3 alternatieven… • 0% bij een essayvraag

• Verrekening: bij vastleggen geslaagd / niet geslaagd 5 juni 2007


33

Wanneer (niet) geslaagd? • Stel: 55% = voldoende Bij voldoende weet kandidaat 55% en raadt naar 45% – Cesuur 2-keuzevragen = 55 + 1/2 x 45= 77,5% – Cesuur 3-keuzevragen = 55 + 1/3 x 45 = 70% Bij b.v. 85 driekeuzevragen: Cesuur ligt bij 70% van 85 = 59,5 punten Bij mix van vraagvormen bereken deelcesuur voor elke vraagvorm tel cesuren op voor de toets 5 juni 2007


34

Zijn vragen ok? Statistisch berekenen: – p-waarde: proportie antw. op goede alternatief – a-waarde: proportie antw. op foute alternatief – Rit: relatieve aandeel vraag in totaalscore

Als p ~ kansscore: opletten Als a > p: opletten Als Rit >0,15: vraag discrimineert niet 5 juni 2007


35

Vraaganalyse in Perception

= p-waarde (ideale p-waarde = 0,64) = Rit, varieert tussen -1 en +1

5 juni 2007


36

Literatuur i.v.m. toetsen • Toetsen in het hoger onderwijs – W. Bender, Koninklijke van Gorcum, 2003.

5 juni 2007


37

Voorbeeld summatieve toets Departement Toegepast Taalkunde BA2: Taal en Computer • Lokaalreservering – surveillanten • ICTO informeren • Aanwezigheidslijst • Perception Secure Browser • Studenten informeren • Lijst met logins achter de hand 5 juni 2007


38

Instructiedocument docent

5 juni 2007


39

Instructiedocument student

5 juni 2007


40

Aanwezigheidslijst

5 juni 2007


41

Beveiliging • • • •

Steeds Secure Browser gebruiken IP-adressen controleren Aanwezigheden laten noteren Assessment enkel openstellen voor duur toets • Assessment beschermen met wachtwoord – bij het raadplegen online – bij het afleggen: docent tikt wachtwoord in 5 juni 2007


42

Opleiding • Regelmatig op ICTO – centraal georganiseerd – op aanvraag van departementen

5 juni 2007


43

Versie van Perception • Perception 3 ook in 07-08 behouden – versie 4 • duur wegens toenemend aantal auteurs (docenten) • weer nieuwe leerinspanning vereist

• Loont dit de moeite bij eventuele overgang naar nieuw systeem Curios?

5 juni 2007


44

Laatste woord Resultaten van een enquête bij Dep. Gezondheidszorg – Gebruik van Perception als voorbereiding en oefensysteem voor het examen 52% gaf 10/10, 85% gaf 8 of meer

– Wijze van examineren van cursus, o.a. met Perception 45% gaf 10/10, 82% gaf 8 of meer (met dank aan Jean Bauwens)

5 juni 2007


45

Hartelijk dank! Vragen?

5 juni 2007


46

Online toetsing met Question Mark Perception aan de EhB Arnout Horemans

5 juni 2007


47

Online toetsing met Question Mark Perception aan de EhB

Recommend Documents