Varianten van digitaal toetsen N@tschool gebruikersdag 22 april 2008
Even voorstellen • Albert van Embden • Docent aan de Hogeschool Rotterdam (voorheen HES) • Instituut voor Financieel Management (IFM) • Kwantitatieve vakken/ICT • Betrokken bij de overstap van Blackboard (BB) naar N@tschool als gevolg van de fusie in 2002. • In BB al bezig met digitale toetsing.
Doel van deze presentatie • Ervaringen delen met toetsen in N@tschool. • Laten zien waarom het bij ons een succes is. • Jullie na laten denken over de bruikbaarheid binnen je instituut.
Inhoud • Kort overzicht gebruik N@tschooltoetsen bij HRO-IFM • Oefentoetsen • Vier toegepaste toetsvarianten. • Rendementsverbetering. • Haalbaarheid voor elke opleiding. • Ruimte voor vragen/discussie
Waarom digitaal toetsen? Primair: • Voorkomen van telkens ontwerpen van nieuwe tentamens. • Nagenoeg geen correctietijd. • Resultaten zijn meteen bekend.
Bijkomende voordelen: • Er is vraag naar snelle resultaten. • Studenten kunnen meteen inzien, dus geen aparte inzage meer nodig. • Geen papieren archief meer. • Ook afwijkende tijdstippen/plaatsen mogelijk. • Bij oefentoetsen meervoudig oefenen mogelijk.
Kenmerken Voor de digitale toetsen bij IFM geldt: • Studenten maken een toets achter de PC. • Iedereen krijgt een unieke toets met gelijkwaardige vragen. • Na beëindiging van de toets wordt deze direct (automatisch) gecorrigeerd. • De student kan meteen het resultaat zien.
Historie N@tschool-toetsen bij IFM-1 • In 2004 start met de kwantitatieve vakken. • Wiskunde, statistiek en bedrijfscalculatie. • Sinds 2006 worden alle modules van deze vakken (6 stuks) digitaal getoetst. • Hierbij wordt gebruikt gemaakt van (een combinatie van): – – – –
Oefentoets (hierover later meer) Eindtoets Inleveropdrachten Antwoordindicatie (hierover later meer)
Historie N@tschool-toetsen bij IFM-2 • Vanaf 2006 ook andere vakgebieden. – – – – –
Belastingrecht Ondernemingsvaardigheden Commerciële economie Management Bedrijfsadministratie
• Momenteel in ontwikkeling: – Algemene economie – Recht – Engels
• Toekomst: speciaal toetscentrum (pilot)
Oefentoetsen • •
Bij vier modulen naast eindtoets ook oefentoets. Uit een onderzoek uit 2005 bleek: – oefentoets voldoende → 90% voldoende voor eindtoets. – oefentoets niet gemaakt → 40% voldoende voor eindtoets. – (De groep die de oefentoets onvoldoende maakte is niet te traceren, omdat alleen het laatst gemaakte resultaat zichtbaar is)
•
Besluit: Deelname hertentamen? Om aan het hertentamen deel te mogen nemen is het halen van een voldoende voor de oefentoets verplicht Gevolg: • Je hebt alleen studenten die voorbereid zijn. • Verhoging rendement. • Er is exact bekend wie er mee doen (minder surveillanten) • Vergt wel extra organisatie – Aanmelding geschiedt via speciaal e-mailadres. – Controle aanmelding + bevestiging/afwijzing. – Ligt tegenwoordig bij bedrijfsbureau.
Toetsvarianten • • • •
Toets zonder toezicht IFM kennistoets Quiz introductieweek Antwoordindicatie
Toets zonder toezicht • • • • • • • • • • •
In principe bedoeld voor speciale gevallen. Pas 1 keer uitgevoerd. Vanuit internetcafé op Canarische Eilanden. Risico blijft natuurlijk. In de toekomst camera + microfoon? → → → → Show toets → → → → Student vult eerst verklaring in. Deze is als vraag opgenomen. Met een weging van nul punten! Toets gaat alleen verder indien goed ingevuld. Workflowprincipe ook voor andere doeleinden toepasbaar.
IFM kennistoets • • • • •
Voor 1e jaars studenten. Als onderdeel van SLC. Ongeveer 20 vragen. Over organisatie en regels. Bijvoorbeeld: – Wat moet je doen als je denkt vrijstelling te kunnen krijgen voor een module? – Hoeveel studiepunten moet je halen om geen BSA te krijgen? – Hoe heet de onderwijsmanager van jouw opleiding? – Moet je je altijd inschrijven voor tentamens? – Wat mag je niet in een computerlokaal?
• Minimaal 80% moet goed zijn. • Student bepaalt zelf waar, wanneer en hoe vaak.
Quiz introductieweek Waarom? • Studenten maken al vroeg kennis met N@tschool • En in het bijzonder met de toetsomgeving. • Competitie-element. • Meteen uitslag + prijsuitreiking.
Inhoud: • • • •
11 vragen over Rotterdam 6 vragen over de HRO 14 vragen over de vakken → → → → Show toets → → → →
Probleem: • Accounts worden (te) laat verstrekt.
Antwoordindicatie • Momenteel toegepast bij twee modulen. • Studenten krijgen een individuele opdracht die ze moeten uitwerken. • → → → → uitdelen voorbeeld → → → → • Tijdens het maken van deze opdracht kunnen ze onderdelen hiervan op juistheid controleren. • In week 4 moeten ze 45% goed hebben • Ze mogen de opdracht pas inleveren als minimaal 90% goed is. (bij te laat inleveren wordt dat 100%) • Pauzeknop is hierbij belangrijk. • → → → → Show toets → → → →
Voordelen • Een student weet reeds bij het maken van de opdracht of hij/zij op de goede weg is. • Deze feedback is automatisch. De docent komt er vaak niet aan te pas. • De student wordt gestimuleerd om binnen een bepaalde tijd een bepaalde score te behalen. • Het bespaart de docent aanzienlijk nakijkwerk. • Studenten willen vaak als ze eenmaal de 90% hebben bereikt doorgaan tot ze 100% hebben (nog meer voordeel voor docent!).
Rendement m.b.t. scores Oefentoetsen • • • •
Niet zo makkelijk in te schatten. Met invoering digitaal toetsen is ook de werkvorm gewijzigd (alles met excel). Voorheen lag rendement na herkansing rond de 70%. Nu is dat ongeveer 85% (gemiddelde van 3 modulen)
Antwoordindicaties • • •
Direct rendement ook hier niet zo makkelijk in te schatten. Voorheen was het resultaat O of V, nu een cijfer. Maar indirect rendement wel. – Stimulans om tijdig te beginnen (kost anders punten). – Motivatie wegens direct zichtbaar resultaat. – Student kan module eerder afronden.
Rendament m.b.t. tijd Oefen- + eindtoetsen • • • •
Investering: ongeveer 120 uur (4 modulen) Besparing nakijkwerk: 10 minuten per student. Afgelopen 2 jaar 4500 eindtoetsen. Dus 45000 minuten = 750 uur.
Antwoordindicaties • • • •
Investering: ongeveer 30 uur (1 module) Besparing nakijkwerk: 20 minuten per student. Afgelopen 2 jaar 540 studenten. Dat komt neer op 180 uur.
Haalbaar op brede schaal? • • • • •
Zijn de kwantitatieve vakken in het voordeel? Ik denk het wel, maar vind dat geen argument. Navolging vindt inmiddels plaats. Denk niet te snel dat het niet kan/geschikt is. Voorwaarden om te slagen: – Tijd en bereidheid om te investeren. – Inventiviteit en creativiteit.
• Voorbeelden: – Varianten meerkeuzevraag. – Vaardigheden toetsen. – Antwoordindicatie met meerkeuzevragen.
Vragen?
