Ontwikkelingen in de Delftse Toetspraktijk De (digitale) toets als diagnose, leermiddel, voortgangscontrole en kwalificatieinstrument

Technische Universiteit Delft

Ontwikkelingen in de Delftse Toetspraktijk

De (digitale) toets als diagnose, leermiddel, voortgangscontrole en kwalificatieinstrument

Opdrachtgever: Directie SSC - ICT

Redactie: C.G. Huizer Drs G.M. Ouwehand Dr. Ing. A.H.W. van der Zanden

Met medewerking van: G.N. Bruens Dr. W.T.M. Caspers Dr. J.P.R.B. Daudt Dr. M.C. Cuellar Soares Ir. P.C. Roling Drs. P.M.M. Rullmann Dr. ir. G.N. Saunders-Smits ir. H.R. Schipper Drs. M.A.W. Swennen Dr. ir. J.F.M. Tonino Drs. M. Weltje-Poldervaart

Auteur: Ir. M.A. Keijzer-de Ruijter Technische Universiteit Delft 2011

INHOUDSOPGAVE VOORWOORD - door Hans Tonino

2

1 UITDAGINGEN IN ONS ONDERWIJS 4 2 ANDERS LEREN, ANDERS TOETSEN 6 2.1 2.2

Nieuwe onderwijsstrategieën 6 Verschillende functies van toetsen 7

3 ONDERSTEUNING BIJ DIGITAAL TOETSEN 15 4 DE TOETS ALS DIAGNOSE 17 4.1 4.2 4.3

Oefentoetsen beschikbaar met een muisklik 17 Inzicht in het kennisniveau van studenten 19 De logistiek van de Placement Test Engels 20

5 DE TOETS ALS LEERMIDDEL 23 5.1

De studielast beter verspreid 23

6 DE TOETS ALS VOORTGANGSCONTROLE 26 6.1 6.2

Een gezamenlijke vragenbank 26 Inzicht in het groepsproces met peer evaluatie 28

7 DE TOETS ALS KWALIFICATIE 31 7.1 7.2 7.3

Beveiliging van digitale toetsen 32 Case 1: Beveiligd tentamineren met Blackboard 34 Case 2: Beveiligd tentamineren in MapleTA 36

8 HOE VERDER? 38

ICT in het onderwijs: Ontwikkelingen in de Delftse Toetspraktijk

1

Voorwoord - door Hans Tonino Terwijl u dit leest, waarschijnlijk ergens in het najaar van 2011 of misschien in het voorjaar van 2012, is de TU Delft druk bezig haar onderwijs op een geheel nieuwe leest te schoeien. De aanleiding voor deze hervorming is het uitermate lage rendement van onze opleidingen. In deze tijd van economische problemen is het immers niet meer te verantwoorden waarom studenten zo lang over hun studie doen. Om die reden is onlangs het Project Studiesucces gestart waarmee de rendementen van het onderwijs drastisch moeten worden verbeterd. Een succesvol curriculum is voorzien van een goed toetsplan De vraag is dus “Hoe passen we ons onderwijs zo aan dat de rendementen serieus gaan stijgen?” Nadat ik het als een van de eersten heb mogen lezen, kom ik tot de conclusie dat er ten aanzien van deze vraag waardevolle en bruikbare ideeën zijn te vinden in dit boekje. Hoewel het thema ervan digitaal toetsen is, komt het onderwerp “toetsen” er in zijn volle breedte aan bod. Het onderwerp toetsen is erg belangrijk. Zoals onderwijskundigen zonder aarzeling zullen beamen: als je een curriculum echt succesvol wilt maken, dien je het te voorzien van een goed toetsplan. Kortom, toetsen vormt het hart van het onderwijsproces. Digitale toetsen kunnen daarin een belangrijke rol vervullen, zoals die van tijdige feedback geven aan studenten ten aanzien van hun leerproces, om maar één voorbeeld te noemen. Wat is er mooier voor een Technische Universiteit dan een technische uitdaging? Dr ir Hans Tonino Directeur Onderwijs Faculteit EWI Het toetsen vormt het hart van het onderwijsproces. Digitale toetsen kunnen daarin een belangrijke rol vervullen.

Naast het willen aanpakken van de lage rendementen, zijn er minstens twee andere redenen om ons op digitaal toetsen te willen richten. De eerste reden is het stijgend aantal studenten dat we jaarlijks binnenkrijgen, terwijl de overheidsinkomsten dalen. Digitale toetsen kunnen ons helpen het toetsen efficiënter in te richten. Zoals de pilots die in dit boekje zijn beschreven, laten zien, zitten hier nog haken en ogen aan. Maar wat is er mooier voor een Technische Universiteit dan een technische uitdaging? Ik denk dat het de taak is van een TU om bij dit soort technologieën een voortrekkersrol te vervullen. De TU Delft zou een voortrekkersrol moeten vervullen bij dit soort technologieën De tweede reden is de ambitie van de TU Delft om geheel digitale opleidingen te willen aanbieden. Bij een geheel digitale opleiding in het kader van OpenCourseWare, behoort het digitaal afnemen van toetsen en dat zelfs ook op afstand. Wederom een uitdaging waarmee de TU Delft haar internationale positie kan verstevigen.

2

Wat heeft dit boekje u tenslotte allemaal te bieden? Allereerst wordt een mooi overzicht gegeven van de verschillende functies van toetsen: als diagnose, als leermiddel, als voortgangscontrole, en als kwalificatie. Dit theoretische kader geeft de lezer het juiste gereedschap om de gepresenteerde casussen of pilots te kunnen plaatsen in het brede landschap van toetsen. Vervolgens worden, gerangschikt naar de genoemde functies, de verschillende casussen op een stilistisch speelse manier beschreven. Zo is de tekst bijvoorbeeld doorspekt met quotes van de betrokken docenten. Een leuke manier om de lezer te enthousiasmeren. De casussen laten zien dat de TU Delft een groot potentieel heeft aan docenten die bereid zijn te experimenteren met nieuwe onderwijs- en toetstechnieken om zodoende hun onderwijs te verbeteren. Natuurlijk mogen we niet vergeten dat dit alles wordt mogelijk gemaakt door OC Focus, de technische ondersteuning vanuit ICT en de praktische ondersteuning door E-learning Support (ELS)!

Ik raad u aan snel verder te lezen en daardoor geïnspireerd te raken.

Dr. ir. J.F.M. (Hans) Tonino


3

1 Uitdagingen in ons onderwijs Het aantal studenten aan de TU Delft is sterk gestegen. Uit scenarioberekeningen blijkt dat die aantallen de komende jaren verder zullen toenemen (Graafland, 2010). Dit levert organisatorische uitdagingen op, zoals overvolle collegezalen, hoge werkdruk bij docenten en strakke inroostering van het onderwijs. Naast de verhoogde instroom van studenten, legt de lange gemiddelde studieduur van de Delftse student een zware druk op de beschikbare middelen. Bevordering van het studiesucces is dan ook een belangrijk speerpunt. Onze universiteit gaat die uitdagingen onder andere aan door een doelmatige inzet van ICT. Zo wordt de digitale leeromgeving Blackboard maximaal ingezet voor de communicatie tussen docent en student, activeert het gebruik van stemkastjes in de collegezaal de studenten om bij de les te blijven en biedt Collegerama de mogelijkheid om colleges te volgen buiten de collegezaal. Overvolle collegezalen en lange studieduur bieden onze universiteit belangrijke uitdagingen Aanvullend op maatregelen als ‘de harde knip’ en het ‘bindend studieadvies’ buigt de TU Delft zich over een pakket aan maatregelen (Brakels, 2011). Deze maatregelen moeten ervoor zorgen dat:

▪▪ ▪▪ ▪▪

De juiste student instroomt op de juiste plek; Het onderwijs de student stimuleert om bij te blijven met de lesstof; De docent wordt gestimuleerd ICT in te zetten om het onderwijsproces te optimaliseren.

Een betere spreiding van studielast, meerdere toetsmomenten en een goede afstemming tussen vakken moet uitstelgedrag van studenten voorkomen. Drs. Paul Rullmann Vicepresident Onderwijs College van Bestuur Toetsen is cruciaal. Nu materialen zo vrijelijk beschikbaar komen, wordt toetsen de kritische succesfactor.

De directies ICT en Onderwijs en Studentenzaken (O&S) weten inmiddels uit ervaring dat digitale toetsing op verschillende manieren sterk kan bijdragen aan de aanpak van genoemde uitdagingen. Het Shared Service Centre ICT (SSC-ICT) biedt behalve het gebruik van diverse toetssystemen ook uitgebreide technische begeleiding, onderwijskundige ondersteuning en gedegen advies op het gebied van digitaal toetsen. Daarnaast zijn O&S en de faculteiten gestart met het opstellen van toetsbeleid, waarin specifieke aspecten van het digitaal toetsen worden meegenomen. Doelmatige inzet van ICT is belangrijk in de aanpak van de praktische uitdagingen van het grote aantal studenten en het bevorderen van studiesucces De directies van O&S en ICT werken, samen met de faculteiten, aan toetsbeleid waarin digitaal toetsen een prominente plaats krijgt. Dit boekje past daar in. Het gaat over toetsen en over digitalisering. Het illustreert dat we bij de TU Delft de digitalisering van het onderwijs serieus aanpakken. Het College van Bestuur is er dan ook ten volle van overtuigd dat daar onze toekomst ligt. Goede docenten zullen

4

altijd noodzakelijk zijn en blijven, face to face contact zal altijd belangrijk blijven. Dat is de grote kracht van het onderwijs. Maar wel ingebed in een context van projecten, activiteiten, opdrachten en toetsen waarvan digitale middelen steeds nadrukkelijke onderdeel zullen zijn. Docenten krijgen nadrukkelijker te maken met digitale middelen in hun onderwijspraktijk De TU Delft kijkt bij digitalisering naar het onderwijs óp de TU, als ook daarbuiten in de wijdere omgeving. We werken aan digitalisering van het onderwijs via OpenCourseWare, bijspijkeren deficiëntiecursussen, platforms voor internationale studenten, modules op iTunes U, virtuele colleges met andere universiteiten wereldwijd, e-coaching, enz. Het is de beste manier om onze kennis voor velen toegankelijk te maken en het is de beste manier om te anticiperen op de wereld van morgen. Technologie ontwikkelt zich snel en ook de maatschappelijke adaptatie van nieuwe ict-middelen gaat snel – zeker in Nederland. Iedere nieuwe generatie studenten is vaardiger dan de vorige of dan de zitttende docenten. Hoe eerder we ons in het onderwijs daarop oriënteren en daarin bekwamen, hoe beter we in staat zullen zijn ook nieuwe generaties studenten op te leiden. Een aantal TU-docenten heeft inmiddels ervaring opgedaan met digitale systemen voor zowel toetsing als peer evaluatie. In dit boekje wordt u getrakteerd op onderwijspraktijken waarin docenten van diverse faculteiten deze systemen hebben ingezet om de genoemde uitdagingen te adresseren.


5

2 Anders leren, anders toetsen De huidige hoog technologische maatschappij wordt gekenmerkt door informatie en innovatie (Castells, 1997 en Toffler, 1980). Deze maatschappij stelt andere eisen aan de kennis en vaardigheden van studenten. Van hen wordt niet alleen gevraagd kennis te reproduceren, maar ook vaardigheden te ontwikkelen, zoals probleem oplossen, leiding geven, analyseren, synthetiseren, coachen en presenteren. Studenten moeten kunnen samenwerken in multidisciplinaire teams. Zij moeten constructieve feedback kunnen geven op het werk van anderen en het eigen werk kritisch kunnen beschouwen. Dit vereist een andere manier van leren, waarvoor nieuwe onderwijsstrategieën zijn ontwikkeld en geïmplementeerd, die een actieve houding van studenten veronderstellen, zodat de ontwikkeling van genoemde vaardigheden wordt gestimuleerd.

2.1 Nieuwe onderwijsstrategieën Dochy, Segers en De Rijdt (2002) stellen dat verandering van onderwijskundige aanpak ook een andere wijze van toetsen vereist, zodat de meerwaarde van onderwijsinnovatie optimaal wordt benut. Onderzoek van Van Rossum, Deijkers en Hamer (1985) onderschrijft die stelling en toont aan dat studenten inderdaad anders gaan leren als ook op een andere wijze getoetst wordt. Een kwalitatief goede toetsstructuur, afgestemd op alle leerdoelen, is essentieel voor een succesvolle onderwijsinnovatie. Studenten gaan pas anders leren als op een andere wijze getoetst wordt Van der Zanden (2008) beschrijft vijf onderwijsstrategieën die regelmatig worden toegepast binnen de Delftse onderwijspraktijk:

▪▪ Dr. ing Piet van der Zanden Adviseur ICT in Onderwijs Shared Service Centre - ICT Education Technology Een mix aan leerstrategieen behoeft een aanbod van complementaire toetspraktijken.

▪▪ ▪▪ ▪▪

6

Projectgericht leren is het gebruik van methoden en technieken voor specifieke opdrachten. Na een theoretische uiteenzetting van specifieke ontwerpen ontwikkelmethoden worden deze door studenten binnen een project toegepast in de praktijk. Belangrijk is dat beide componenten, zowel de theorie als de praktijk, worden getoetst; Productief leren is het produceren van ontwerpactiviteiten voor authentieke situaties. Zelfreflectie en feedback van begeleiders en medestudenten zijn hierbij waardevolle toetsinstrumenten; Actief leren is het al doende leren en aanwenden van het eigen denkvermogen. De lesstof wordt dusdanig aangeboden dat de student er mee aan de slag moet. Formatieve toetsing geeft de student een beeld van ‘waar hij staat’; Samenwerkend leren is het gezamenlijk uitvoeren van complexe opdrachten. Naast een inhoudelijke beoordeling van de opdracht is een evaluatie van het groepsproces inclusief de rol en inzet van de individuele student van belang. Peer evaluatie is een belangrijke bron van informatie voor de beoordeling van het groepsproces.

▪▪

Begeleide zelfstudie is het zelfstandig uitvoeren van de opdracht onder begeleiding van een coach. Formatieve toetsing kan hierbij worden ingezet als leermiddel. De uitslag van de toets, voorzien van feedback en verwijzingen naar de leerstof, helpt de student met het leren.

Voor een goede beoordeling van de prestaties van studenten is een methodemix van toetsing nodig Van Berkel en Bax (2006) geven aan dat een methodemix van toetsen nodig is voor het beoordelen van de student in zijn of haar ontwikkeling tot competente beroepsbeoefenaar. Zij beschrijven diverse toetsvormen die tegenwoordig in het hoger onderwijs worden toegepast, zoals schriftelijke toetsen, ontwerpopdrachten, essays, groepsopdrachten en stages. Dit vereist een goede afstemming binnen het onderwijsprogramma waarin als vraag moet worden gesteld.

2.2 Verschillende functies van toetsen Van Berkel en Bax (2006) stellen dat toetsen over het algemeen alle activiteiten omvatten die tot doel hebben een beslissing over studenten te nemen. Deze beslissingen kunnen summatief zijn (zakken of slagen) of formatief (bijsturend). Daarbij onderscheiden zij drie tijdvakken in een cursus waarin die beslissingen worden genomen. Per tijdvak heeft de toets een andere functie, zoals in de tabel hieronder is weergegeven.

Doel

Tijdvak

Functie

A

Diagnose

Voor aanvang cursus

Categoriseren

B

Leermiddel

Tijdens de cursus

Sturen van het leren

C

Voortgangscontrole

Tijdens de cursus

Bijsturen van het onderwijs

D

Kwalificatie

Na afloop cursus

Niveau bepalen / certificeren

Tabel 1: De functie van toetsen varieert gedurende de loop van de cursus

De verschillende doelen van toetsen worden in het vervolg van deze paragraaf nader toegelicht.


7

A De toets als diagnose De invoering van de Bachelor-Master structuur maakt het voor studenten eenvoudiger om vakken bij andere faculteiten of instellingen te volgen. Wanneer de groeiende instroom van internationale studenten hierbij wordt opgeteld, kan de voorkennis van studenten steeds minder als bekend worden verondersteld. De voorkennis van studenten kan steeds minder als bekend worden verondersteld door de grote variatie van de instromers Een diagnose van het startniveau geeft de docent een beeld van de voorkennis van zijn studenten. Een toets aan het begin van de cursus betrekt studenten direct bij de leerstof, mits de toets niet als vrijblijvend wordt beschouwd. De resultaten van de toets worden bijvoorbeeld gebruikt om groepen in te delen of remediërend materiaal aan te bieden. Het beheersen van de vereiste voorkennis kan zelfs als voorwaarde worden gesteld voor de eindbeoordeling van de cursus.

B De toets als leermiddel Een belangrijke factor in het bevorderen van studiesucces is wanneer de student actief bezig blijft met de leerstof gedurende het verloop van de cursus. Uit onderzoek van Karpicke en Blunt (2011) blijkt dat het maken van korte (zelf)toetsen tijdens het bestuderen van de leerstof een zeer effectieve en efficiënte leermethode is. Het maken van toetsen vereist dat de student de leerstof ophaalt uit het geheugen, waardoor het leereffect op langere termijn verhoogt. Het terughalen van de lesstof kan het best geschieden door het stellen van open vragen waarop een kort antwoord moet worden geformuleerd. De terugkoppeling naar de student bestaat uit het geven van correcte antwoorden. Drs. Martijn Ouwehand Adviseur ICT in Onderwijs SSC - ICT Education Technology Hulpmiddelen zoals de digitale leeromgeving, E-portfolio, open onderwijsmateriaal, mobiele toepassingen en digitale toetsing bieden mogelijkheden om het onderwijs effectief en efficient in te richten.

Regelmatig en herhalend toetsen levert het beste leerrendement Cumulatief toetsen verhoogt het leerrendement aanzienlijk. Roediger en Karpicke (2006) toonden aan dat het regelmatig toetsen van de gehele lesstof-tot-dan-toe, de eerder behandelde lesstof beter laat beklijven, waardoor studenten zich bij het studeren alleen hoeven te richten op de materie die zij nog niet voldoende beheersen. Indien een toets wordt ingezet als leermiddel is uitgebreide feedback niet noodzakelijk. Verwijzing naar de opnieuw te bestuderen leerstof voldoet. Wel is het belangrijk dat in iedere toets alle onderwerpen aan bod komen, zodat de student na iedere toets weet welke onderwerpen hij (nog steeds) beheerst. Om studenten te stimuleren om deze toetsen serieus te nemen is het verstandig om de toetsresultaten op enige manier te laten meetellen voor het eindcijfer.

8

Het effect van herhaald toetsen op de score van de eindtoets.

De 1e groep (BaTa) bestudeerde steeds opnieuw alle lesstof en maakte over alles opnieuw een toets. De 2e groep (BnTa) hoefde alleen de niet-onthouden woordparen te bestuderen, maar werd wel over de alles getoetst. De 3e groep (BaTn) bestudeerde alles, maar werd alleen getest op de niet-onthouden woordparen. De laatste groep (BnTn) hoefde alleen de niet-onthouden woordparen opnieuw te bestuderen en werd over die woordparen vervolgens getoetst. De studenten uit de verschillende groepen beheersten de lesstof binnen dezelfde studietijd. Alle studenten (ongeacht hun indeling in een groep) voorspelden dat zij 50% zouden scoren op de uiteindelijke toets die een week later zou worden afgenomen. Een week na de beschreven studieperiode maakten de studenten de uiteindelijke toets. De eerste twee groepen (BaTa en BnTa) bleken bij de eindtest 80% van de woordparen goed te hebben. Terwijl de laatste twee groepen (BaTn en BnTn) zich slechts respectievelijk 36% en 32% bleken te herinneren. Hieruit concluderen de onderzoekers dat toetsen een belangrijke factor is in het onthouden van lesstof op langere termijn. Vooral herhaald toetsen over de gehele stof is effectiever dan herhaald bestuderen van de gehele lesstof.


Toetsscore per groep in eindtoets 90% 80%

Percentage correcte antwoorden

In het experiment van Roediger en Karpicke (2006) leerden 4 groepen van 40 studenten 40 woordparen,waarna een toets werd afgenomen. Daarna werd het experiment herhaald. De herhaalcondities verschilden per groep:

70% 60% 50% 40% 30% 20% 10% 0% BaTa

BnTa

BaTn

BnTn

Herhaalcondities

Figuur 1: Het experiment van Roediger en Karpicke toont aan dat herhaald toetsen van alle lesstof een groot effect heeft op de score van de uiteindelijke toets. (Starreveld, 2011)

9

C De toets als voortgangscontrole Door regelmatig huiswerkopdrachten te geven en de resultaten voortdurend te analyseren, krijgt de docent beter inzicht in de voortgang van studenten en de onderwerpen die als moeilijk worden ervaren. De docent kan hierop besluiten om lesstof te herhalen of op een andere wijze aan te bieden. Het is belangrijk om de redenering van studenten bij het beantwoorden van de vragen te volgen, zodat duidelijk is in welke stap zij de fout begaan. Regelmatige voortgangscontrole biedt mogelijkheden om tijdens de cursus bij te sturen Feedback op individuele vragen en de gehele toets is essentieel. De wijze waarop feedback gegeven wordt, kan variëren. De docent kan bijvoorbeeld veelgemaakte fouten behandelen tijdens contacturen of de feedback geautomatiseerd geven. Door iedere student een eigen set aan opgaven aan te bieden (parameterisatie), voorkomt de docent dat antwoorden klakkeloos worden overgenomen. Overleg tussen studenten over de aanpak van de opgaven kan ertoe leiden dat studenten elkaar lastige onderwerpen uitleggen. Paramerisering is binnen een digitale toets eenvoudig te realiseren. Drs Marike Weltje-Poldervaart Onderwijskundige O&S - OC Focus De kwaliteit van een peer evaluatie is afhankelijk van de manier waarop de evaluatie bij de studenten wordt geïntroduceerd. Zij moeten goed geïnformeerd worden over het doel van de evaluatie en over de wijze waarop resultaten worden verwerkt.

Voortgang van het groepsproces In het projectonderwijs, waarbij studenten in groepen aan een opdracht werken, is het verloop van het groepsproces en de individuele inzet van de groepsleden onderwerp van de voortgangscontrole. Hierbij wordt vaak peer evaluatie ingezet. Onder peer evaluatie wordt verstaan: Het geven van procesgerichte feedback door studenten op elkaars functioneren in een onderwijsgerelateerd samenwerkingsverband met als doel te reflecteren op het eigen en elkaars gedrag en te leren van het samenwerkingsproces (Weltje-Poldervaart, 2011).

▪▪

▪▪

Peer evaluatie kan worden ingezet met als doel om het samenwerken te verbeteren (tussenevaluatie), of om na te beschouwen (eindevaluatie). In alle gevallen dient de evaluatie als input voor het bespreken van het samenwerkingsproces (procesevaluatie). Het doel van een peer evaluatie is dan ook niet om een summatieve beoordeling te geven. Peer feedback We spreken van peer feedback, als studenten een beoordeling en/of feedback moeten geven op het ontwerp, het essay of andere opdracht van medestudenten (productevaluatie). Dit instrument wordt toegepast om het leerdoel ‘de student geeft constructieve feedback op het werk van een medestudent’ te oefenen.

Peer evaluatie en peer feedback zijn logistiek gezien tijdrovende instrumenten. Door in deze trajecten gebruik te maken van binnen de TU Delft aanwezige ICT applicaties kan de docent veel tijd besparen. Peer evaluatie en peer feedback zijn tijdrovende instrumenten. De inzet van ICT bespaart de docent veel tijd De peer evaluatie tool, genaamd Scorion, haalt de groepenstructuur op uit Blackboard, koppelt de groep aan een vragenlijst en start met een druk op de knop het evaluatieproces, waarbij studenten per mail een vragenlijst toegestuurd krijgen. Zij vullen de lijst online

10

in. Na de afsluiting van het evaluatieproces worden rapportages automatisch gegenereerd: een individueel rapport voor de student en groepsrapportages voor de docent en/of begeleider. De peer feedback maakt gebruik van de Self and Peer Assessment Module in Blackboard. Deze module handelt het gehele proces af, van het opstellen van de opdracht (inclusief het modelantwoord en/of de beoordelingscriteria), het inleveren van het werkstuk, de verdeling van het ingeleverde werk over de peers, het vastleggen van de feedback of beoordeling en de eindbeoordeling door de docent.

D De toets als kwalificatie De meeste toetsen in het hoger onderwijs hebben een kwalificatie functie: De docent bepaalt op basis van de toetsresultaten welke studenten de lesstof in voldoende mate beheersen en welke niet. Het is essentieel dat de toetsuitslag een objectieve en rechtvaardige uitspraak doet over het niveau van kennis en vaardigheden van de student. Van Berkel en Bax (2006) beschrijven drie niveaus waarop de kwaliteitsaspecten moeten worden geadresseerd:

▪▪ ▪▪

▪▪

De toetsvraag Bij de constructie van toetsvragen moet worden voldaan aan inhoudelijke en vormtechnische eisen (Teelen, 2004). Dit wordt ondervangen door een controle van de toetsvragen voorafgaand aan de toets. De toets dient valide en betrouwbaar te zijn. Een toets is valide als de vragen relevant en representatief zijn en als de toets de student in staat stelt om te laten zien welke kennis en vaardigheden hij of zij beheerst. Een toets is betrouwbaar als het toetsresultaat de daadwerkelijke kennis en vaardigheid van de student weerspiegelt. Het gebruik van een goede toetsmatrijs biedt hiertoe houvast bij het samenstellen van een toets. De toetsresultaten Na afloop van de toets wordt een psychometrische analyse uitgevoerd. Hierbij wordt aan de hand van de indicatoren moeilijkheidsgraad (P-waarde), onderscheidingsvermogen (Rit -waarde) en betrouwbaarheid (Cronbachs α) gesignaleerd worden welke vragen nader onderzocht moeten worden.

Kenmerken die de betrouwbaarheid van een toets bepalen

▪▪ Objectiviteit: mate waarin toetsuitslag onafhankelijk is van de beoordeling/beoordelaar of de toetsomstandigheden. ▪▪ Specificiteit: Alleen studenten die de leerstof beheersen kunnen de vraag beantwoorden. ▪▪ Efficiëntie: De toets ziet er verzorgd en overzichtelijk uit (lay-out) en de studenten krijgen voldoende tijd om de toets te maken. ▪▪ Transparantie: Het is voor de studenten duidelijk welke lesstof wordt getoetst. In een toetsinstructie bij de toets wordt aangegeven uit hoeveel vragen de toets bestaat, hoeveel tijd zij voor het maken van de toets krijgen en hoe de score van de antwoorden wordt gedaan, bijvoorbeeld of in de score wordt gecorrigeerd voor de raadkans


11

In onderstaande tabel zijn de verschillende indicatoren weergegeven, die bij een psychometrische analyse worden berekend. De tabel geeft de range van de waarden aan en de actie die naar aanleiding van het berekende resultaat dient te worden ondernomen.

Indicator

Range

Resultaat

Reparatie

P-waarde

van 0 tot 1

Kleiner of gelijk aan de raadkans

keurt het toetssysteem het juiste antwoord goed? Nee, vraag/antwoord aanpassen Ja, vraag verwijderen uit toets Vervolgens de analyse opnieuw uitvoeren

Hoger dan de raadkans, maar beduidend lager dan de wenselijke waarde

Indien Rit >0: vraag handhaven Indien Rit <0: vraag verwijderen en analyse opnieuw uitvoeren

Is (bijna) gelijk aan 1

Vraag handhaven

Rit –waarde

van -1 tot 1

Kleiner of gelijk aan 0

keurt het toetssysteem het juiste antwoord goed? Nee, vraag/antwoord aanpassen Ja, vraag verwijderen uit toets Vervolgens de analyse opnieuw uitvoeren

Cronbachs α

van 0 tot 1

Lager dan 0,70*

Toetsuitslag uitsluitend als formatief beschouwen

Tussen 0,70 en 0,80

Indien de toets kan worden gecompenseerd met andere toetsen, de uitkomst is niet verontrustend

Tabel 2: Overzicht van de reparatiemogelijkheden naar aanleiding van de psychometrische analyse.

* In de praktijk wordt een waarde vanaf 0,60 als valide betrouwbare toets beschouwd, omdat er soms doelbewust moeilijke vragen worden opgenomen om een goede en excellente studenten te kunnen onderscheiden. Dit heeft een negatieve impact op de waarde van Cronbachs α.

12

Verhoging van de toetskwaliteit door het gebruik van een toetsmatrijs De toetsmatrijs is een blauwdruk van de toets waarin belangrijke kenmerken van een toets worden vastgelegd, zoals: Leerdoel Welke leerdoelen de basis vormen voor de toets, Gedragsniveau Welk niveau de leerdoelen moeten worden uitgewerkt in vragen, Selectie vragen Uit hoeveel vragen de toets bestaat en hoe de vragen over de leerdoelen zijn verdeeld

▪▪ ▪▪ ▪▪ ▪▪ ▪▪ ▪▪

1.1 1.2 1.3 1.4

6 (10%) 3 (5%) 3 (5%) 3 (5%) 25%

4 1 2

2 1 2 1

1 1 -

-

2.1 2.2 2.3 2.4 2.5

2 (3%) 3 (5%) 6 (10%) 4 (7%) 6 (10%) 35%

1 2 2 2 1

1 3 2 3

1 1

1 1

3.1 3.2 3.3

6 (10%) 12 (20%) 6 (10%) 40%

1 4 -

2 6 2

2 1 3

1 1 1

60

20

25

10

5

Toets term

Weten ‘Ik weet hoe een huis gebouwd wordt.’ Begrijpen ‘Ik begrijp de logische stappen die men moet zetten om een huis te bouwen.’ Toepassen ‘Ik ben in staat zelf een huis te bouwen.’ Analyseren ‘Ik kan analyseren hoe een huis gebouwd is.’ Synthetiseren ‘Ik kan suggesties ter verbetering van dit huis geven.’ Evalueren ‘Ik kan beoordelen of dit huis goed gebouwd is.’

Door de vragen in de itembank te voorzien van labels met een code voor de toetsterm en het gedragsniveau, kan een nieuwe toets eenvoudig worden samengesteld.

Gedragsniveau volgens Bloom Toepassen

Naam Toets

Begrijpen

De inhoud van de toetsmatrijs wordt bepaald door het toetsdoel en de toetsen gedragsniveaus. De gedragsniveaus worden bijvoorbeeld bepaald aan de hand van de taxonomie van Bloom (1971). Aan de hand van voorbeeldzinnen wordt in onderstaande opsomming toegelicht wat de verschillende gedragsniveau’s inhouden:

Weten

▪▪ ▪▪ ▪▪

TOTAAL

Aantal vragen

Analyseren, Synthetiseren, Evalueren

Tabel 3: Voorbeeld van een toetsmatrijs


13

Valkuil Een valkuil bij het inzetten van toetsen als voortgangscontrole of als leermiddel is dat zij door de studenten als vrijblijvend worden beschouwd. Wanneer er geen consequentie is verbonden aan het maken van tussentijdse toetsen zijn studenten weinig gemotiveerd om ze te maken. Het toekennen van een bonuspunt wordt regelmatig toegepast, maar in de praktijk haken veel studenten in de loop van de cursus af. Op het moment dat zij door omstandigheden een deel missen en het bonuspunt dan niet meer haalbaar is, verdwijnt de motivatie voor deelname aan de overige toetsen. In de aanpak van studiesucces op verschillende instellingen in het hoger onderwijs (Van Der Vaart, 2011) wordt de methode ‘Inschrijven = Meedoen = Halen’ toegepast. Dit is een effectieve methode gebleken om de studenten betrokken te houden bij de lesstof en hen te stimuleren deel te nemen aan de toetsen. Alle (toets)onderdelen dragen met een bepaald gewicht bij aan het eindcijfer. In onderstaande tabel wordt een voorbeeld gegeven van het vak Taalontwikkeling van de faculteit Geesteswetenschappen van de Universiteit van Amsterdam (Weerman, 2011):

Metha Kamminga Docent Wiskunde & Trainer MapleTA CAN-diensten

Soort opdracht

Aantal

Huiswerkopgaven

5

Individueel

20

Digitale huiswerktoetsen moeten binnen 15 minuten gemaakt kunnen worden. De toets is dan beter in te plannen in de studietijd.

Onderzoeksopdracht

1

Per groep

15

Presentatie

1

Per groep

5

Tussentijdse toetsen

4

Individueel

20

Tentamen

1

Individueel

40

Het is beter om een serie kleine huiswerkopdrachten aan te bieden in een week dan 1 lange toets.

TOTAAL

Beoordeling

Gewicht (in cursuspunten)

Toelichting Voor iedere opdracht zijn maximaal 4 punten te verdienen

Voor iedere toets zijn maximaal 5 punten te verdienen

100

Tabel 4: Voorbeeld van een mix aan beoordelingsmomenten inclusief het gewicht (Weerman, 2011)

Deze opbouw van het eindcijfer wordt aan het begin van de cursus meegedeeld aan de studenten. Door deelname aan de tussentijdse toetsen op een dergelijke wijze te integreren in het eindcijfer, blijkt de participatiegraad zeer hoog te zijn (90%, Starreveld, 2011). Maar ook de slagingspercentages voor de cursus stijgen.

14

3 Ondersteuning bij Digitaal Toetsen Wanneer de toetsing digitaal plaatsvindt, kunnen vragen eenvoudig worden hergebruikt, de feedback geautomatiseerd en de resultaten sneller geanalyseerd. Binnen de TU Delft is op kleine schaal al meer dan 15 jaar ervaring met digitaal toetsen. Individuele docenten hebben geëxperimenteerd met verschillende applicaties. Zij hebben voor zichzelf een applicatie gekozen en hun werkwijze geperfectioneerd. De oplossingen zijn echter niet breed gedeeld en wanneer de docent vertrekt, is de overdracht naar de opvolger vaak niet geregeld. Daarnaast blijkt dat de verspreiding van het gebruik van een digitaal toetssysteem geen automatisch proces is. Zo bleek ook het in eigen beheer ontwikkelde toetssysteem, Etude, weinig gebruikers te hebben. Centrale ondersteuning bevordert de continuïteit en maakt het mogelijk om techniek en benodigde ondersteuning beter te regelen Om digitaal toetsen te stimuleren is vanuit de directies ICT en O&S het project ‘Digitaal Toetsen Campusbreed’ ingezet. In samenwerking met een groep docenten is een pakketselectie gedaan om een toetspakket te vinden dat breed inzetbaar moet zijn. In dit traject is MapleTA gekozen als centraal ondersteund pakket. Daarnaast wordt ook het gebruik van de toetsmodule van Blackboard centraal ondersteund. Door op centraal niveau een duidelijke keuze te maken is het mogelijk om de techniek en de benodigde ondersteuning beter te regelen en de continuïteit te bevorderen. De centraal ondersteunde toetssystemen MapleTA en Blackboard

MapleTA is in de basis een pakket is dat rekenopgaven en het gebruik van formules ondersteunt, maar ook de gangbare vraagtypes als multiple choice, multiple selection, fill-in-the-blanks en hot spot mogelijk maakt. De uitgebreide randomisatie-opties, ingebouwde toetsanalyse en de koppeling met Blackboard maken het tot een toetsapplicatie die laagdrempelig en breed inzetbaar is als toetssysteem. De toetsmodule van Blackboard biedt docenten een prima mogelijkheid om kennis te maken met digitaal toetsen. Deze module biedt minder vraagtypes dan MapleTA, de randomisatiemogelijkheden en het gebruik van formules zijn beperkt en helaas ontbreekt een module om toetsen te analyseren. Voordeel is dat zowel docenten als studenten bekend zijn met deze elektronische leeromgeving en het bijbehorende GradeCenter. Voor beide toetssystemen is een beveiligde modus instelbaar om fraude tijdens tentamens tegen te gaan.


15

Nu de technische infrastructuur voor digitaal toetsen is gerealiseerd, zijn diverse activiteiten geïnitieerd om het gebruik van de systemen te stimuleren. Een aantal keer per jaar worden workshops georganiseerd voor het werken met de centraal ondersteunde toetssystemen. Binnen diverse (facultaire) deelprojecten worden docenten ondersteund bij het omzetten van hun open vragen ‘op papier’ naar een online af te nemen en automatisch na te kijken digitale versie. In aanvulling hierop worden samen met een aantal andere onderwijsinstellingen in Open Course Ware modules op het gebied van digitaal toetsen ontwikkeld, zodat docenten zich ‘any time, any place’ kunnen verdiepen in digitaal toetsen. Ondersteuning aan docenten bestaat uit onderwijskundig advies door OC Focus, technische ondersteuning vanuit ICT en praktische ondersteuning door E-learning Support (ELS) Op het gebied van peer evaluatie waren binnen de onze universiteit eveneens diverse systemen in gebruik. In 2009 is gekozen om een TU brede applicatie te laten ontwikkelen, Scorion genaamd. Bij een aantal vakken wordt deze applicatie inmiddels ingezet met een vaste vragenlijst en synchronisatie met de groepsstructuur vanuit Blackboard. In 2011 is functionaliteit toegevoegd, zoals customisatie van vragenlijsten, een meer compacte rapportage en verhoging van de gebruikersvriendelijkheid bij peer evaluatie van grote aantallen groepen binnen één vak. De inzet van deze applicatie wordt ondersteund door E-Learning Support. De centraal ondersteunde peer evaluatie systeem SCORION

Scorion is een webbased applicatie waarmee een vragenlijst ten behoeve van een peer evaluatie wordt rondgestuurd aan groepsleden. De applicatie toont de voortgang en creeert zowel voor docenten als studenten een rapportage op maat.

Om te laten zien op welke wijze deze door het SSC-ICT en O&S geleverde diensten bijdragen aan de bevordering van studiesucces, tonen we in de komende hoofdstukken aan de hand van praktijksituaties hoe docenten inmiddels de stap naar digitaal toetsen of naar een geautomatiseerde workflow voor peer review hebben gemaakt.

16

4 De Toets als Diagnose Als studenten eenvoudiger vakken bij andere faculteiten of instellingen volgen, kan hun voorkennis niet altijd meer als bekend worden verondersteld. Een diagnostische toets aan het begin van een cursus helpt om voorkennis te activeren en hiaten in die voorkennis te identificeren. Dit hoofdstuk bespreekt drie verschillende praktijksituaties, waarbij de toets als diagnostisch instrument wordt ingezet. Zo is de instaptoets Wiskunde voor eerstejaars Bachelorstudenten bedoeld om wiskundekennis vanuit het voortgezet onderwijs te reactiveren. De diagnostische toets bij het mastervak LM3751 Transport and Separation identificeert de deficiënties in de voorkennis bij studenten waarop het programma zo mogelijk aangepast wordt. Terwijl de Placement test Engels wordt afgenomen om de cursisten op basis van hun startniveau in te delen in verschillende cursusgroepen.

4.1 Oefentoetsen beschikbaar met een muisklik De instaptoets Wiskunde en het bijspijkertraject Wiskunde 1000

In 2005 is in 3TU verband de instaptoets wiskunde ontwikkeld voor alle eerstejaars bachelorstudenten. In die periode bestond grote zorg over de aansluiting van het wiskundeonderwijs in het voortgezet onderwijs op het door de technische universiteiten vereiste niveau. Te veel studenten bleken delen van de benodigde lesstof onvoldoende te beheersen. De instaptoets Wiskunde is verplicht voor eerstejaars bachelorstudenten van de faculteiten EWI, CiTG, TBM, LR, 3Me en TNW. Jaarlijks maken 1500 tot 1700 studenten deze instaptoets. Wie zakt, kan bijspijkeren door het vak Wiskunde 1000 te volgen.

Dr Wim Caspers Docent Faculteit EWI Door de oefenopgaven in de gedeelde vragenbank van MapleTA te zetten, kunnen docenten oefeningen eenvoudig aanbieden aan hun studenten en de resultaten volgen.

De meeste faculteiten beschouwen de instaptoets Wiskunde als diagnose-instrument voor de student; “welke onderwerpen beheers je, en welke onderwerpen moet je nog goed oefenen.” Bij de faculteiten LR, TNW en EWI is het behalen van de instaptoets een vereiste om het vak Analyse van het eerste semester te kunnen halen. Daarom is het bijspijkertraject, Wiskunde 1000, ontwikkeld. Jaarlijks volgen ongeveer 500 studenten dit traject. Wiskunde 1000 biedt een grote verzameling aan oefenopgaven en verwijzingen naar lesstof. Bij de faculteiten, waar het halen van de instaptoets een vereiste is, worden sessies aangeboden, waarbij studenten onder begeleiding van studentassistenten uitleg krijgen en oefenopgaven maken. Deze oefenopgaven worden zowel op papier als in het digitale toetsprogramma MapleTA aangeboden. ‘In het voortgezet onderwijs heeft men echter niet stil gezeten: De hiaten in wiskundekennis zijn geïdentificeerd en ingevuld’, aldus Wim Caspers, vakcoördinator voor Wiskunde1000. ‘Daarmee is het doel van het bijspijkertraject veranderd van het aanleren van ontbrekende essentiële wiskundekennis naar het activeren van benodigde voorkennis. De verantwoordelijkheid voor het remediërende traject komt dan ICT in het onderwijs: Ontwikkelingen in de Delftse Toetspraktijk

17

meer te liggen bij docenten van het vak Analyse. De inzet van MapleTA maakt dit mogelijk zonder de docent daar extra mee te belasten. Door de oefentoetsen en de bijbehorende feedback in een gezamenlijke itembank in MapleTA te plaatsen, kost het de analysedocenten weinig moeite om de studenten extra oefenmateriaal aan te bieden. De oefentoetsen van het bijspijkertraject worden in de gezamenlijke vragenbank binnen MapleTA klaargezet. De docent hoeft de toets alleen te activeren binnen zijn eigen cursus in Blackboard “Binnen de faculteit EWI was een aantal docenten van het vak Analyse in samenwerking met het SSC-ICT gestart met de ontwikkeling van een gezamenlijke vragenbank in MapleTA”, vertelt Wim. “Ik heb hierbij aan kunnen sluiten en alle opgaven, oefentoetsen van Wiskunde 1000 en oude instaptoetsen in MapleTA kunnen toevoegen in hun gezamenlijke vragenbank. De docenten hoeven nu alleen nog de oefeningen te activeren voor hun studenten. De resultaten van de toetsen komen beschikbaar binnen hun eigen cursus in Blackboard.” De analysedocenten zijn enthousiast over het aanbieden van de oefentoetsen op deze geautomatiseerde wijze. Door de oefentoetsen ook beschikbaar te stellen aan docenten die nog niet deelnamen in het project, zijn meer docenten in aanraking gekomen met de toetsapplicatie MapleTA. Een aantal van hen is vervolgens gestart met het aanbieden van hun oefenmateriaal in MapleTA. Het is nog te vroeg om de oefensessies onder begeleiding van studentassistenten van Wiskunde 1000 helemaal af te schaffen, want studenten zijn nog niet gewend aan de verantwoordelijkheid om benodigde kennis zelfstandig bij te spijkeren. Het is nodig dat de faciliteiten aangeboden blijven worden en dat zij er door hun docent op aangesproken kunnen worden. De instaptoets zelf bestaat uit multiple choice vragen en wordt op papier afgenomen met behulp van schrapkaarten. Het correctiewerk is geautomatiseerd. De schrapkaarten worden gescand, ingevoerd en geanalyseerd in de centraal ondersteunde applicatie Sonate. MapleTA biedt de mogelijkheid om de toetsafname te digitaliseren en af te stappen van multiple choice vragen. Dat zouden we op termijn ook graag willen, maar vanwege het grote aantal deelnemers en onvoldoende computercapaciteit is dit momenteel nog niet haalbaar. Ook vereist de invoer van formules op de computer enige ervaring. Dat zou voor een eerste toets een te grote stap zijn (Kamminga, 2011). “Maar op termijn willen we hier zeker naartoe”, aldus Wim Caspers.

18

4.2 Inzicht in het kennisniveau van studenten LM3751 Transport and Separation

is een verplicht eerstejaars vak in de masteropleiding Biochemical Engineering van de faculteit Life Science and Technology. In dit vak wordt allereerst kennis opgefrist ten aanzien van transportverschijnselen, thermodynamica en de basisconcepten van het scheidingsproces. Vervolgens worden onderwerpen behandeld als het schalen van procesapparatuur en de verschillende aspecten van het scheiden van multicomponent systemen.

Het vak LM3751 Transport and Separation kent een zeer gevarieërde instroom aan studenten. Zowel buitenlandse studenten als studenten uit Leiden en Delft nemen deel aan dit eerstejaars Mastervak. Omdat het vak wordt gestart met het opfrissen van bekend veronderstelde kennis van studenten, wordt aan het begin van de cursus een toets afgenomen, die een indicatie geeft van het actuele kennisniveau van de deelnemende studenten. Op basis van die toetsresultaten worden bepaalde onderwerpen in het vak uitgebreider of minder uitgebreid behandeld. Dr Maria Cuellar Soares Docent Faculteit TNW Omdat de toets webbased wordt afgenomen, kan ik zelfs internationale studenten op afstand een toets afnemen. Ze weten dan eerder welke lesstof als bekend wordt verondersteld en kunnen beter voorbereid hun masteropleiding starten.

Maria Cuellar Soares, docente van het vak: “In een grassroot project heb ik een eerste ervaring opgedaan met digitaal toetsen en de applicatie MapleTA. De toetsafname hebben we in practicumtijd ingeroosterd, vooral om een beeld te krijgen of studenten problemen ondervonden bij het maken van de toets. Dit bleek niet het geval. Maar ook om zeker te weten dat iedereen de toets zou maken. In een pilot wil je tenslotte resultaten zien.” “Door de toets vanuit Blackboard beschikbaar te stellen is deze eenvoudig in de cursus te integreren en hoeft niemand extra in te loggen op een toetssysteem. Daarnaast vond ik het erg prettig om verschillende vraagtypes (numeriek, multiple choice, multiple answer en fill-in-the-blanks) te kunnen gebruiken, zodat een gevarieerde toets ontstaat. Ook de mogelijkheden voor het invoeren van uitgebreide feedback, spreken me enorm aan, “ vertelt Maria enthousiast. “Ik heb nu een ‘demo’-versie van de toets, maar ik wil hem graag verder uitbreiden met meer onderwerpen en een scherpere toetsing van de benodigde kennis. Ook de randomisatie-mogelijkheden wil ik beter benutten.” “Ik zie absoluut mogelijkheden voor onze masteropleiding om internationale studenten een beter beeld van onze opleiding te geven. Ze kunnen in eigen land de toets maken en feedback krijgen op de hiaten in hun kennis en het niveau van Engels dat van hen wordt verwacht.”


19

4.3 De logistiek van de Placement Test Engels Instituut voor Techniek en Communicatie (TBM)

De vakgroep Engels van het Instituut voor Techniek en Communicatie van de faculteit TBM organiseert naast medewerkerscursussen vier soorten cursussen Engels voor studenten en PhD’s:

▪▪ English for Academic Purposes (4 niveaus) ▪▪ Written English for Technologists (2 niveaus) ▪▪ Spoken English for Technologists (2 niveaus) ▪▪ Scientific Writing (1 niveau) Het Instituut voor Techniek en Communicatie van de faculteit TBM organiseert naast medewerkerscursussen vier verschillende cursussen Engels voor studenten en PhD’s. Om studenten in de juiste niveaugroepen in te delen, nemen zij ieder semester, voorafgaand aan de cursussen, een diagnostische toets af, de zogenoemde Placement Test Engels. Per semester wordt deze toets afgenomen bij ongeveer 200 studenten en 50 PhD-studenten. Er zijn 3 tot 4 momenten voorafgaand aan de cursus waarop de deelnemer die toets kan maken.

De aanleiding

Drs Martine Swennen Docent Faculteit TBM Het digitaliseren van de Placement Test heeft de nakijkwerk aanzienlijk verminderd. De koppeling van Maple TA met Blackboard heeft ook de organisatie van de test vergemakkelijkt.

In het verleden werd de placement test op papier afgenomen. Deze toets bestond uit honderd ‘fill-in-the-blanks’ (half open) vragen en een tweetal korte essayvragen, waarin de student zijn motivatie voor studiekeuze of onderzoeksonderwerp moest formuleren. De nakijklast was enorm. Vier docenten waren twee dagen lang full-time bezig met het nakijken van toetsen om de resultaten tijdig terug te kunnen koppelen aan de deelnemers. Bovendien was het aantal deelnemers groeiende. “Vanwege mijn eerdere ervaring met het pakket QuestionMark, bedacht ik dat deze toets prima in digitale vorm afgenomen moest kunnen worden”, zegt docente Martine Swennen. “Een pilotproject vanuit het SSC-ICT bood de mogelijkheid om de toets om te zetten naar een digitale versie in MapleTA.”

Wat heeft het opgeleverd? “Het digitaliseren van de Placement Test bespaart ons veel tijd”, meldt Martine tevreden. “De honderd fill-in-the-blanks vragen worden nu automatisch nagekeken en we hoeven bij de open vragen geen handschriften meer te ontcijferen. Het nakijkwerk hoeft ook niet meer vooraf te worden verdeeld onder de docenten. Zodra je inlogt zie je direct welke toetsen zijn nagekeken en welke nog niet. Ook hoeven 20

docenten niet meer de hele toetssessie aanwezig te zijn als surveillant. We hebben een heel goede studentassistent die de afnames begeleidt. Aan het begin van iedere sessie is een docent aanwezig om vragen van de deelnemers te beantwoorden, maar zodra iedereen met de toets bezig is, redt de studentassistent het prima alleen. Het omzetten van de fill-in-the-blanks teksten naar een digitale versie kostte wel de nodige inspanning. Om het karakter van open vragen te behouden, moesten voor honderd ‘blanks’ alle mogelijke antwoordalternatieven ingevoerd worden in het toetssysteem. We hebben vele oude toetsen doorgenomen om alternatieven te verzamelen. “ Het invoeren van vragen en antwoorden kost veel tijd, maar die is inmiddels al terugverdiend De nakijktijd is aanzienlijk ingekort. Alleen de essayvragen hoeven nu nog door de docenten te worden beoordeeld. Bovendien hoeven er geen stapels toetsen meer te worden verdeeld onder de correctoren. Iedere docent kan inloggen in het MapleTA gradebook, de antwoorden op de essayvragen beoordelen en de eindscore toekennen. Deze eindscores worden dan automatisch omgezet naar een cursuscode die wordt geïmporteerd in het Grade Center. Eén enkele announcement in Blackboard laat de deelnemers weten dat zij in Blackboard bij ‘My Grades’ hun cursuscode kunnen terugvinden.

Nieuwe inzichten Het digitaliseren van de toets introduceerde overigens wel een andere factor namelijk de logistiek. Hoe en wanneer melden deelnemers zich aan, wie krijgt op welk moment toegang tot de toets en wanneer en hoe worden de resultaten van de toets eenvoudig teruggekoppeld aan de deelnemers. Met name dat logistieke proces legde in het begin een fikse taak bij het secretariaat. Maar dit kon gelukkig geautomatiseerd worden met behulp van Blackboard. Blackboard in combinatie met MapleTA behandelt het gehele logistieke proces van de toets: van inschrijving en afname tot rapportage en communicatie richting student De deelnemers schrijven zichzelf in voor de Placement Test cursus in Blackboard middels ‘self enrollment’. Hier kunnen zij aangeven in welke toetssessie zij de Placement Test maken middels Group enrollment. Mededelingen en eventuele wijzigingen ten aanzien van de toetsafname kunnen eenvoudig via groepsmail worden doorgegeven aan de ingeschreven deelnemers. De toetsmomenten worden van te voren ingepland in Blackboard met de functie ‘Adaptive Release’ die de MapleTA toets op het juiste tijdstip en voor de juiste groep openzet. Vanwege het diagnostische karakter van de toets worden geen extra beveiligingsmaatregelen genomen. Studenten hebben er immers niets aan om te frauderen, aangezien de toets bedoeld is om hen op het juiste niveau in te delen.


21

Aandachtspunten Omdat de toetssystemen voor iedereen in het project (ook vanuit de ondersteunende afdelingen van ICT en O&S) nieuw waren, zijn er beginnersfouten gemaakt en ook opgelost. Dit kostte initieel extra tijd. Andere docenten zullen daarvan profiteren, wanneer zij de stap wagen naar digitaal toetsen. E-Learning Support (ELS) heeft dit project regelmatig en met veel geduld bijgestaan. Dat heeft absoluut bijgedragen aan het succes van dit project. De ondersteuning van E-Learning Support (ELS) heeft zeker bijgedragen aan het succes van dit project “Tot slot wil ik nog een compliment maken aan de deelnemers die in het geval van problemen bij de toetsafname zeer geduldig bleven wachten op de oplossing”, aldus Martine Swennen. “Ook heb ik wel een tip: Wanneer je met collega’s aan een dergelijk project werkt, neem dan de tijd om samen door de verschillende stappen in het systeem te lopen en waar nodig een handleiding te schrijven, zodat werkwijzen duidelijk zijn en fouten worden voorkomen. Ook als het project wordt uitgevoerd door één persoon is het belangrijk collega’s te blijven informeren over de voortgang. Wanneer je een nieuw systeem, zoals MapleTA, of een nieuwe module in Blackboard gaat inzetten, doe dan een test, waarin je de verschillende opties uitprobeert. Soms reageert een applicatie net even anders dan je verwacht. En wil je weten hoe een bepaalde werkwijze voor de student uitpakt, vraag E-Learning Support dan om dit voor je uit te testen.”

22

5 De Toets als Leermiddel In ons huidige onderwijs wordt projectgericht leren als onderwijsstrategie regelmatig toegepast. Diverse vakken worden dan ondergebracht binnen een thema en in korte tijd intensief doorlopen. Deze vakken worden doorgaans getoetst met een groepsopdracht, waarbij gezamenlijk een ontwerp wordt gemaakt en gepresenteerd. Dit heeft tot gevolg dat de summatieve toets vervalt. Toch is het van belang dat studenten de theorie beheersen. Docenten kunnen studenten stimuleren om de theorie te bestuderen door tussentijds toetsen aan te bieden, die voor een deel meetellen voor het eindcijfer. Dit hoofdstuk vertelt hoe in het vak CT4215 Façade Design Plus dergelijk blokonderwijs en de inzet daarbij van toetsen als leermiddel is gerealiseerd. De vragen in de verschillende toetsen benadrukken belangrijke onderdelen uit de lesstof en dwingen studenten tot interpretatie van de lesstof in de praktijk, zodat ze bijblijven met het vak en hun ontwerp beter theoretisch kunnen onderbouwen.

5.1 De studielast beter verspreid CT4215 Façade Design Plus

CT4215 Façade Design Plus is een verplicht vak voor studenten van de Masteropleiding Building Engineering. Gemiddeld 30 studenten volgen het vak, waarvan 75% van de studenten uit de eigen Bacheloropleiding komt. De overige 25% komt van andere instellingen in binnenen buitenland. Het vak bestaat uit een aantal hoorcolleges, waar twee gastdocenten ieder een deel van de stof behandelen. De lesstof is onderverdeeld in 5 modules, die elk wordt afgesloten met een toets. Daarnaast maken de studenten een ontwerp. Voor alle moduletoetsen worden deelcijfers gegeven, met het ontwerp als eindopdracht. Het vak kent een studielast van 3 ECTS en geldt als supplement op het vak AR2AE035 Building Design & Engineering (12 ECTS), dat in dezelfde periode wordt gegeven. AR2AE035 wordt afgesloten met een uitgebreid ontwerp, waardoor de studielast vooral in de laatste fase van het blok ligt.

Docent Roel Schipper licht toe: “Om de studielast binnen het blok beter te spreiden, heb ik ervoor gekozen om alle theorie van mijn vak te concentreren in de eerste helft van het blok. Alle theorie wordt in die eerste zes weken behandeld, zodat er voldoende tijd overblijft voor het façade-ontwerp dat moet worden gemaakt. Bovendien heeft de behandelde theorie een direct verband met het gelijklopende Bouwkundevak. De studenten kunnen de behandelde theorie zo direct opnemen in het gebouwontwerp dat ze daarbij maken.”


23

Het toetsen van de aangeboden theorie vindt Roel Schipper essentieel, want: “wanneer het vak alleen middels een ontwerpopdracht wordt getoetst, is de kans groot dat de studenten niet alleen met een blanco vel, maar ook met een blanco hoofd aan het ontwerpen gaan.” “Om uitstelgedrag van de student te voorkomen, heb ik ervoor gekozen om voor mijn vak een activerende werkvorm te kiezen”, verklaart Roel Schipper. Naast de hoorcolleges moeten de studenten een reader doornemen, waarin allerlei wetenschappelijke artikelen zijn opgenomen. Iedere twee weken maken zij ter afsluiting van de module een toets met open vragen over de aangeboden artikelen. Tijdens de toets mogen de readers worden geraadpleegd. Door vragen te stellen over de teksten, leren studenten wetenschappelijke artikelen te lezen en te doorgronden. Om uitstelgedrag van de student te voorkomen hanteren we een activerende werkvorm Het bijzondere aan de toetsen is dat het open vragen betreft, die niet door de docent, maar door de medestudenten worden nagekeken. “Hiervoor maak ik gebruik van de Self and Peer Assessment Tool in Blackboard”, vertelt Roel. “Per vraag heb ik een modelantwoord, beoordelingscriteria en een scoringsmodel gemaakt.” Ir Roel Schipper Docent Faculteit CiTG De Self and Peer Assessment module in Blackboard stelt me in staat om open vragen te stellen, zonder de gebruikelijke nakijklast.

Voor de afname en de beoordeling van de toets is een computerzaal gereserveerd. In het eerste uur maken de studenten de toets. In het tweede uur krijgen de studenten automatisch en anoniem twee toetsen van medestudenten aangeboden ter beoordeling. De dubbele beoordeling maakt het oordeel meer betrouwbaar. “Wanneer de scores van de twee beoordelingen te ver uit elkaar liggen, geeft dat aanleiding om de betreffende toets nader te bekijken.” De gemiddelde score op deze vijf toetsen telt voor 25% mee voor het eindcijfer van het vak. Dit leidt ertoe dat studenten de toetsen wel degelijk serieus nemen. “De peer assessment module in Blackboard was op zich goed te gebruiken. Een eerste test met een paar collega’s verliep prima”, vertelt Roel enthousiast. “Na het invoeren van de vragen, de modelantwoorden en de beoordelingscriteria, dien je de fasering van de uitvoering aan te geven, dus in welke periode de toets openstaat en wanneer de beoordeling door medestudenten plaatsvindt. Ook definieer je hoeveel ‘peers’ de toets moeten beoordelen. Blackboard zorgt voor de logistiek. “Als docent heb ik in Blackboard een prima overzicht van de ingeleverde toetsen en de status van de zogenaamde ‘reviews’ inclusief de scores.” “Gezien de antwoorden die studenten geven op de open vragen in de toets, nemen zij de toetsen serieus. Ongeveer 90% van de studenten heeft deelgenomen aan alle toetsen. Daarmee was mijn doel bereikt. Ik wilde er namelijk voor zorgen dat de studenten de stof bijhouden en er ook nog iets van opsteken. Dat blijkt gelukt te zijn!” Studenten nemen de beoordeling van hun medestudenten wel degelijk serieus Het was een grote vraag of studenten de beoordeling van hun medestudenten serieus zouden doen. “Dat bleek geen issue”, zegt Roel enigszins opgelucht. “Het helpt natuurlijk dat zij niet kunnen zien door wie de toets is gemaakt of beoordeeld. Daarnaast gaat het hier 24

wel om Masterstudenten. Zij zijn over het algemeen oprecht geïnteresseerd in de materie. De mogelijkheid om, naast een score ook feedback te geven op het antwoord, wordt door de meeste beoordelaars gebruikt. Natuurlijk blijft het mijn verantwoordelijkheid als docent om steekproefsgewijs beoordelingen te controleren, maar ik hoef niet alle toetsen te doorlopen.” De Peer Assessment module had echter één belangrijk nadeel: Blackboard gaat ervan uit dat iedere student die ’enrolled’ is in de cursus (actief of niet actief) deelneemt aan de toets en de toetsbeoordeling. Hierdoor kregen bij de studenten bij de eerste toets een niet ingevulde toets ter beoordeling aangeboden. Maar erger: een aantal ingevulde toetsen werd aan inactieve studenten ter beoordeling aangeboden. Dat hield in dat een aantal toetsen niet nagekeken konden worden, maar achteraf nog eens door de docent moesten worden beoordeeld. Die studenten deden immers niet actief mee.’ De workaround hiervoor was lastig. “Dit punt is via E-Learning Support bij Blackboard gemeld en het is inmiddels verholpen, zodat we het komend studiejaar zonder workaround dezelfde opzet kunnen gebruiken. Het is namelijk zeer eenvoudig om deze opzet mee te nemen naar het nieuwe cursusjaar”, verklaart Roel. Tenslotte geeft Roel aan:“Volgend jaar ga ik een bachelorvak geven voor ongeveer 300 eerstejaars studenten. Ik zou daar ook graag met tussentijdse toetsen de studenten bij de les willen houden, echter het gebruik van peer assessment lijkt me dan nog een brug te ver. Wellicht dat tussentijdse digitale toetsen met gesloten vragen en ingebouwde feedback met Maple TA daarin uitkomst kan bieden.”


25

6 De Toets als Voortgangscontrole Door regelmatig huiswerkopdrachten aan te bieden en de resultaten te analyseren, krijgen docenten beter inzicht in de voortgang van studenten en de onderwerpen die studenten als moeilijk ervaren. De docent kan hierdoor besluiten om bepaalde lesstof te herhalen of op een andere wijze aan te bieden. In dit geval is het belangrijk om de redenering van de student bij het beantwoorden van vragen te volgen, zodat duidelijk is in welke stap de student de fout in gaat. Feedback op individuele vragen en de gehele toets is in dit geval essentieel. De wijze waarop feedback gegeven wordt, kan variëren. De docent kan veelgemaakte fouten bijvoorbeeld tijdens de contacturen behandelen, maar de feedback kan ook geautomatiseerd gegeven worden. Een goede voortgangscontrole vergt veel tijd. Dit hoofdstuk vertelt hoe bij de faculteit EWI een aantal docenten intensief samenwerkt om werk te verdelen. Zij vullen samen een itembank met wiskundevragen en stellen daaruit tussentijdse toetsen samen, die ook door andere docenten gebruikt mogen worden. Bij de faculteit LR wordt peer evaluatie in alle jaren van de bacheloropleiding consequent ingezet bij groepsopdrachten. De vragenlijst wordt gedurende de onderwijsperiode twee maal afgenomen. Automatisering van het peer evaluatieproces bespaart docenten en begeleiders veel tijd en geeft een goed inzicht in de voortgang van de evaluatie.

6.1 Een gezamenlijke vragenbank Bij alle Bacheloropleidingen aan de TU Delft is Analyse een eerstejaarsvak. Dit vak wordt, vanuit de faculteit EWI, door verschillende docenten voor de andere faculteiten verzorgd. Het vereiste niveau verschilt per faculteit, maar de onderwerpen overlappen. Bij analyse is het van belang dat studenten veel oefenen. Het maken en nakijken van oefentoetsen is een belangrijk deel van het werk voor de docenten. De overlap in lesstof biedt mogelijkheden tot samenwerken. De introductie van MapleTA zorgde ervoor dat deze samenwerking ook daadwerkelijk werd gerealiseerd. In het wiskunde-onderwijs bestaat een lange geschiedenis van samenwerking tussen docenten, zelfs op landelijk niveau met de Nationale Kennisbank Basisvaardigheden Wiskunde (NKBW). De focus in deze samenwerking lag veelal op het wiskunde niveau van het voortgezet onderwijs in aansluiting op het hoger onderwijs. “Maar nog niet eerder werkten onze docenten in hun eigen onderwijs samen om een itembank op te stellen, waar een ieder vragen aanlevert en van elkaar hergebruikt,” aldus Joanna Daudt, icto-adviseur bij de faculteit EWI en initiator van het project.

26

Wiskunde is bij uitstek een vak waarbij oefenen belangrijk is voor het verwerken van de lesstof. Docenten investeren veel tijd om hun studenten te stimuleren om met de lesstof te oefenen en dit niet uit te stellen tot vlak voor het tentamen. Het maken en nakijken van huiswerkopgaven is tijdrovend, zeker met de groeiende studentaantallen. Binnen MapleTA bleek het eenvoudig om gezamenlijk een vragenbank aan te maken “Toen MapleTA campusbreed beschikbaar kwam, bleek al snel dat het zeer eenvoudig was om gezamenlijk een itembank aan te maken, die binnen iedere cursus in Blackboard op te roepen is. Dit bood een mooie aanleiding om als faculteit op een efficiënte manier samen te werken en de opgaven digitaal uit te wisselen, toetsen af te nemen en te hergebruiken.” “Om uitwisseling van vragen tussen verschillende landelijke en internationale projecten, zoals Mumie en Telmme, mogelijk te maken, hebben we gekozen om de itembank in te delen conform de internationaal geldende wiskunde taxonomie”, aldus Joanna. “Daarnaast kwam al snel de vraag om opgaven te kunnen zoeken op de hoofdstukindeling van de veelgebruikte calculus boeken: Adams, Edwards en Stewart. Ook dat was geen probleem.”

Toetskwaliteit en redactie Er liggen veel opgaven ‘op de plank’ bij docenten. Deze zouden natuurlijk al eerste ingevoerd kunnen worden. Het belangrijkste is om goede afspraken te maken over de kwaliteit van vragen en uniformiteit in de vraagstelling. Op dit moment zijn twee groepjes docenten, die vergelijkbare vakken geven op verschillende faculteiten, bezig met het verzamelen en classificeren van vragen. Op termijn komt er een algemene redactieraad die goedkeuring gaat geven om opgaven toe te voegen in de itembank. De daadwerkelijke invoer van de opgaven in de itembank, Math Question Bank, wordt gedaan door studentassistenten. Dr Joanna Daudt Onderwijskundige & Coördinator ICT in Onderwijs Faculteit EWI Laten we ICT vooral gebruiken om studenten vaker te laten oefenen en om de werkdruk van docenten te verlichten

Het is mooi om te zien dat docenten door dit project onderling discussiëren over hun vak “Het is mooi om te zien dat de docenten door dit project onderling discussiëren over hun vak. De volgorde van de lesstof, de moeilijkheidsgraad van opgaven, de opbouw van tussentijdse toetsen en hun ervaringen met het stimuleren van studenten om bij te blijven met de lesstof”, vertelt Joanna. “Dit resulteert niet alleen in het maken van losse opgaven, maar zij stellen ook tussentijdse toetsen samen, die eenvoudig door allen gebruikt kunnen worden. Ook maken ze afspraken om verschillende varianten van tussentijds toetsen uit te proberen om zo tot een best practice te komen. De oefentoetsen voor de eerste weken van het nieuwe academisch jaar zijn nu al gereed. Zij hoeven aan het begin van de cursusperiode alleen nog geactiveerd te worden. De docenten hebben dan alle tijd om zich te richten op de analyse van toetsresultaten. Zij zullen op basis van de resultaten van studenten bepalen welke onderwerpen nader toegelicht moeten worden.”


27

MapleTA versus Mumie en Telmme

Mumie en Telmme zijn andere wiskundeprojecten, waarbij wiskundedocenten samenwerken om opgaven te ontwikkelen. Overigens met een ander functie: In het Mumie project wordt met een open source tool zelfstudiemateriaal ontwikkeld: theorie, simulaties en opgaven met uitgebreide feedback. Binnen Telmme worden in Mathdocs adaptieve toetsen ontwikkeld met uitgebreide verwijzing naar lesstof en oefenopgaven op niveau.

De invoer van het zelfstudiemateriaal in zowel Mumie als Telmme kost veel ontwikkeltijd en programmeerwerk. De charme van MapleTA is juist dat de invoer van opgaven relatief simpel is. De feedback kan zich beperken tot het correcte antwoord, verwijzing naar de lesstof en eventueel de oplosmethode. Hierdoor is MapleTA bij uitstek geschikt om de studenten veel oefen-materiaal aan te bieden.

6.2 Inzicht in het groepsproces met peer evaluatie Bij de faculteit LR wordt peer evaluatie consequent ingezet bij vijf grote projectopdrachten in alle jaren van de Bacheloropleiding. Tijdens de peer evaluatie beoordelen studenten elkaar aan de hand van een vragenlijst op hun bijdrage aan de groepsopdracht. De ingevulde vragenlijsten fungeren als input voor de docent of groepsmentor om het groepsproces of de inzet van individuele groepsleden bespreekbaar te maken (Van den Bogaard & Saunders-Smits, 2007). Tijdens de projectperiode wordt de vragenlijst twee keer afgenomen. Dit geeft de student de mogelijkheid om op basis van de feedback van zijn groepsgenoten en eventuele interventie door de docent of begeleider zijn gedrag aan te passen. Peer evaluatie biedt docenten een belangrijk hulpmiddel om het groepsproces met studenten te bespreken Dr. ir. Gyllian Saunders-Smits Docent Faculteit LR Peer evaluatie kan functioneren als smeerolie voor het projectwerk

Gillian Saunders-Smits, docent: “Wij zien peer evaluatie als een belangrijk onderdeel van de voorbereiding op de beroepspraktijk, waar beoordelen van en beoordeeld worden door collega’s regelmatig voorkomt. In het verloop van de Bachelor zien we dat studenten de evaluaties steeds uitgebreider invullen en meer opmerkingen toevoegen om hun beoordeling toe te lichten.” “In mijn vak heb ik jaarlijks minimaal 40 projectgroepen met 8 tot 10 studenten per groep,” vervolgt Gillian. “Het is dan niet meer mogelijk om van alle studenten een goed beeld te hebben van hun individuele inzet. Peer evaluatie helpt mij en de mentoren om het beeld, dat wij zelf van de student hebben, te checken met het beeld dat studenten van elkaar hebben. Dat is zeer waardevol, omdat we aan de hand van de peer evaluatie het groepsproces kunnen bespreken.”

28

Opzet van de peer evaluatie Gillian: “Om de resultaten van een evaluatie onderling goed te kunnen vergelijken, maak ik gebruik van rubrics (zie kader). Deze rubrics zijn gebaseerd op de leerdoelen van groepswerk. In de rubric wordt een oordeel (excellent, goed, voldoende, etc.) gekoppeld aan een concrete beschrijving van het gedrag dat de student vertoont. Hierdoor wordt de beoordeling meer gestandaardiseerd. In de literatuur zijn voldoende goede rubrics beschikbaar, dus zelf opstellen is niet nodig. De door ons gebruikte rubrics zijn bijvoorbeeld afkomstig van de US Air Force Academy. Rubrics

Een rubric is een instrument om subjectieve beoordelingen te kwantificeren. Het is een set van criteria en standaarden die verbonden zijn aan leerdoelen, waarmee de prestatie van een student bij het maken van bijvoorbeeld een essay of ontwerp kan worden beoordeeld. De beoordeling wordt gestandaardiseerd aan de hand van specifieke criteria, waardoor het resultaat transparanter wordt beoordeeld.

Toelichting op gebruik Marike Weltje-Poldervaart, peer evaluatie-specialist bij het Onderwijskundig Centrum Focus: “De motivatie van studenten om de vragenlijst serieus in te vullen is cruciaal. Wanneer zij niet gemotiveerd zijn, heeft de inzet van dit instrument geen waarde.” Als docent vervul je een belangrijke rol om de kwaliteit van de uit te voeren peer evaluatie te waarborgen. Het is essentieel dat de peer evaluatie op een goede wijze wordt geïntroduceerd bij studenten. Het doel van de evaluatie en de wijze van rapportage moeten voor de studenten helder zijn. In de projecten zijn de evaluatiemomenten en groepsgesprekken vooraf ingepland, zodat bevindingen uit de evaluaties tijdig door de begeleider met de groep worden besproken. “We raden dan ook aan om studenten vooraf informatie te geven over samenwerkingsprocessen en groepsdynamiek, evenals de koppeling met de beroepspraktijk. De structurele inzet zoals bij LR is natuurlijk helemaal mooi, omdat een student dan ook zijn eigen ontwikkeling kan zien over de verschillende projecten heen.” De kwaliteit van peer evaluatie is zo goed als de docent die ermee werkt Peer evaluatie kan een goede samenwerking stimuleren op voorwaarde dat signalen die binnenkomen via de vragenlijsten worden opgepakt en besproken worden in het groepsgesprek. In uitzonderingsgevallen wordt een gesprek gevoerd met een individuele student. Omdat de resultaten van peer evaluaties niet rechtstreeks worden uitgedrukt in een cijfer, wordt de peer evaluatie door studenten meestal niet als bedreigend ervaren.


29

De kwaliteit van de peer evaluatie is zo goed als de docent die ermee werkt. De docent moet het serieus nemen, door bijvoorbeeld studenten eraan te herinneren dat de evaluatie ingevuld moet worden, goede en vooral tijdige feedback geven op de resultaten. De studenten nemen het dan pas serieus. Gillian: “In mijn situatie is de inzet van een software applicatie essentieel bij de uitvoering van de peer evaluatie. Ik ben ooit begonnen met een papieren versie, maar gelukkig zag mijn studentassistent dat destijds niet zitten en schreef er een eerste programmaatje voor. Dat programma is door opeenvolgende studentassistenten aangepast en we hebben het lang gebruikt, maar binnenkort stappen we over naar software, die campusbreed wordt gebruikt en ondersteund. Hierdoor werd het mogelijk om de peer evaluatie tool te koppelen aan Blackboard voor het genereren van accounts en de invoer van groepen, evenals het gebruik van ‘Single Sign On’, waardoor studenten en docenten kunnen inloggen met hun NetID.”

30

7 De Toets als Kwalificatie Van oudsher worden toetsen gebruikt voor het kwalificeren van studenten: hebben zij de gestelde leerdoelen bereikt. Binnen de gehanteerde onderwijsstrategieën maken toetsen vaak deel uit van een mix aan opdrachten, die samen een beeld geven van de leerprestaties van de student. De kwaliteit van toetsvragen en de betrouwbaarheid van de toets zijn bij de inzet als kwalificatiemiddel essentieel. Op basis van de toets moet een aantoonbaar onderscheid gemaakt kunnen worden tussen goed en slecht presterende studenten. Op basis hiervan wordt namelijk bepaald in hoeverre een student voldoende competent is om uiteindelijk als ingenieur binnen zijn vakgebied te kunnen fungeren. De inzet van digitaal toetsen bij kwalificatie biedt een aantal uitdagingen ten opzichte van toetsen op papier Juist omdat het kwaliteitsoordeel over de bekwaamheid van de student zo sterk afhankelijk is van kwalificerende toetsen, is het uitermate belangrijk dat de toets wordt afgenomen onder gecontroleerde omstandigheden. Men moet in alle redelijkheid kunnen aannemen dat de toetsresultaten representatief zijn voor de daadwerkelijke bekwaamheid van de student. Fraude moet worden uitgesloten. Voor reguliere papieren tentamens bestaan hier procedures voor zoals het gebruik van tentamenbriefjes als bewijs van inleveren van de toets, het opstellen van twee toetsversies (vergt extra aandacht bij het nakijken), afname onder supervisie van surveillanten en identiteitscontrole. De afname van digitale toetsen biedt een aantal belangrijke efficiency voordelen. Zo kunnen zeer eenvoudig meerdere versies van de toets of toetsvragen worden gegenereerd zonder extra nakijklast, de toetsscores zijn direct bekend. Ook moeten studenten volgens het Onderwijs en Examen Reglement (OER) na het tentamen hun resultaten kunnen inzien, al dan niet voorzien van feedback. Dit is bij digitale toetsen eenvoudig online te regelen. De docent bepaalt zelf welke informatie in het systeem wordt vrijgegeven aan de student en op welk tijdstip. ir. Meta Keijzer- de Ruijter Adviseur ICT in Onderwijs SSC ICT - Education Technology We maken nog lang geen gebruik van alle mogelijkheden die digitaal toetsen biedt. Om het maximale eruit te halen moet men bereid zijn de bestaande toetsenvragen compleet te herzien en te voorzien van metadata.

Digitale afname van toetsen leidt echter ook tot een aantal uitdagingen. Naast controle op de gang van zaken in de tentamenzaal moet ook de computeromgeving onder controle zijn. Zo moet de beschikbaarheid van applicaties, netwerkschijven en communicatiemiddelen worden ingeperkt. Aan de hand van een tweetal cases wordt beschreven hoe docenten deze mogelijkheden en uitdagingen in de onderwijspraktijk hebben ervaren. Digitaal toetsen bij kwalificatie levert wel degelijk efficiëntie Case 1 beschrijft de inzet van digitale toetsen bij het vak IO1041 Design Experience. Dit vak wordt beoordeeld aan de hand van een mix van drie deeltentamens en vier ontwerpopdrachten. Door deeltentamens digitaal af te nemen, wordt de nakijklast voor de betrokken docenten teruggebracht tot de beoordeling van ontwerpopdrachten. De deeltentamens worden met Blackboard in een beveiligde omgeving afgenomen en de uitslag is direct bekend. ICT in het onderwijs: Ontwikkelingen in de Delftse Toetspraktijk

31

Case 2 beschrijft de wijze waarop bij de faculteit LR digitaal wordt getentamineerd met MapleTA. Binnen LR was al ervaring opgedaan met digitaal toetsen in Etude. Voor de komst van MapleTA moest op het gebied van beveiliging nog wel een aantal zaken worden aangepast. Zo zijn tijdens het tentamen de computers in de tentamenzaal dusdanig ingericht dat alleen MapleTA en gerelateerde software, zoals een calculator of een statistiekprogramma, beschikbaar zijn. Overige software en communicatiemiddelen zoals MSN, twitter en browsen op het internet zijn geblokkeerd. Voordat deze cases verder uitgewerkt worden, is het belangrijk eerst enkele sleutelaspecten van beveiligde toetsafname toe te lichten.

7.1 Beveiliging van digitale toetsen Bij de afname van summatieve toetsen is het voorkomen van fraude belangrijk. Natuurlijk voorziet het Onderwijs & Examen Reglement (OER) hierin met diverse maatregelen, maar digitale toetsen vereisen specifieke en aanvullende maatregelen ten opzichte van toetsen op papier. In deze paragraaf wordt een overzicht gegeven van deze maatregelen.

Authenticatie van de student Om persoonsverwisseling te voorkomen controleert de surveillant tijdens een toetsafname of de persoon achter de computer, de getoonde campuskaart en naam en studienummer in het toetsscherm overeenkomen.

Toezicht op de toetsafname De toets wordt onder toezicht van surveillanten gemaakt zodat alleen toegestane hulpmiddelen worden gebruikt en er geen onderlinge communicatie plaatsvindt. Zowel de computers, waarop het tentamen wordt afgenomen, en de zaal zijn hierop ingericht. Een toets mag niet voor studenten buiten de zaal beschikbaar zijn. Op dit moment wordt dit bereikt door alleen studenten, die zich in de zaal hebben gemeld, toegang te geven tot de toets. Dit vergt echter wel wat tijd aan de start van het tentamen. Daarom wordt het binnenkort mogelijk om de toets in MapleTA alleen vanaf specifieke computers te kunnen maken op basis van het IP-adres.

Toegestane hulpmiddelen Bij veel tentamens mogen hulpmiddelen worden gebruikt, zoals rekenmachine, software of formuleblad. Door deze hulpmiddelen in de gecontroleerde omgeving aan te bieden kan strakker worden geregeld dat deze niet oneigenlijk worden gebruikt. Een goed voorbeeld hiervan is de rekenmachine. Door deze op de computer aan te bieden, wordt bijvoorbeeld het probleem met programmeerbare rekenmachines opgelost.Door het gebruik van de Respondus Lock Down Browser is alleen het gebruik van een calculator, een formuleblad in pdf of een Excelblad toegestaan. De Lock Down Browser zorgt ervoor dat de toets full screen wordt aangeboden, sneltoetsen en toetscombinaties als Alt-tab (venster wisselen) worden uitgeschakeld. De student kan het toetsscherm alleen verlaten door de toets af 32

te sluiten, waarna hij niet meer kan terugkeren in diezelfde toets. Bij een tentamen in MapleTA kan ook andere software als hulpmiddel worden aangeboden. De docent is verantwoordelijk voor het aangeven van de beschikbaar te stellen hulpmiddelen, zodat het SSC-ICT deze omgeving kan inrichten.

Onderlinge communicatie Wanneer het gebruik van meerdere applicaties toegestaan is, moet het gebruik van ongeoorloofde communicatiemogelijkheden wel worden voorkomen. In de beveiligde omgeving is hierin voorzien. Bij de afname van digitale toetsen met grote aantallen studenten is het vaak niet mogelijk dat alle studenten tegelijkertijd tentamen doen. Er worden dan aaneengesloten sessies georganiseerd. Om te voorkomen dat toetsvragen en antwoorden van de eerste sessie worden doorgespeeld aan de volgende sessie(s), is het belangrijk dat toetsen niet kunnen worden gekopieerd. Daarnaast bieden digitale toetssystemen juist uitgebreide mogelijkheden tot het genereren van veel toetsversies. Fraude door afkijken bij de buurman of het doorspelen van de vragen en antwoorden naar deelnemers aan een volgende sessie wordt hiermee geminimaliseerd.

Technische problemen Zowel Blackboard als MapleTA zijn webapplicaties. Voor het maken van de toets is dus een netwerkverbinding nodig. Wanneer de toetssessie onverwacht wordt onderbroken, dan kan de surveillant de student opnieuw toegang geven tot de toets. Bij MapleTA kan de student vervolgens verder werken waar hij onderbroken werd. Ingevulde antwoorden worden namelijk altijd opgeslagen. In Blackboard is dit ook mogelijk, maar de werkwijze is daar iets omslachtiger: de surveillant bewaart de score op de eerste sessie handmatig en verwijdert deze sessie, waarna een nieuwe poging wordt toegestaan. Blackboard en MapleTA hanteren soms net andere manieren van beveiligen, zoals te lezen is in paragraaf 7.2 en 7.3.


33

Papier

Digitaal

Authenticatie student

Controle van de campuskaart tijdens de afname

Controle van de campuskaart, studentnaam en studienummer in het toetsscherm.

Toegang tot het tentamen

Tentamen wordt alleen uitgedeeld aan aanwezigen

Toets is alleen beschikbaar voor aanwezige studenten en vanaf computers in de tentamenzaal

Hulpmiddelen

Eigen rekenmachine, formuleblad, etc.

Meer controle op hulpmiddelen, omdat deze door de instelling worden verstrekt. Meerdere hulpmiddelen (software) kunnen ter beschikking worden gesteld

Afkijken

verschillende versies van de toets uitdelen (zorgt voor hogere nakijklast)

Door de randomisatiemogelijkheden kan iedere student een andere versie van de toets krijgen, zonder nakijklast

Onderlinge communicatie

Surveillance in de zaal

Surveillance in de zaal en blokkeren communicatiemogelijkheden op de computer

van

Tabel 5: Vergelijking van fraudepreventie maatregelen bij tentamens op papier versus digitale toetsafname.

7.2 Case 1: Beveiligd tentamineren met Blackboard IO1041 Design Experience

IO1041 Design Experience is een eerstejaars Bachelorvak, bestaande uit verschillende projecten, die elk met hun onderliggende motieven, samen het productontwerp vormen. In de loop van dit vak worden drie deeltentamens afgenomen en maken de studenten vier individuele projectopdrachten. Jaarlijks nemen ruim 400 eerstejaars en ongeveer 70 herkansers deel aan het vak. Bij het vak zijn drie docenten betrokken.

In de laatste Bachelorherziening bij de faculteit IO zijn de vakken Vormstudie, Design Geschiedenis en verschillende gastcolleges op het gebied van emotie en esthetiek samengevoegd tot één vak: IO1041 Design Experience. Het doel van de nieuwe opzet was het verbeteren van de studeerbaarheid door een betere afstemming van de verschillende opdrachten en toetsen van de afzonderlijke onderwerpen. In het vak zijn verschillende beoordelingsvormen, zoals ontwerpopdrachten en kennistoetsen in het vak opgenomen, om recht te doen aan de verschillende onderwerpen die tijdens dit vak worden behandeld en om de te ontwikkelen vaardigheden van de studenten te toetsen. “Dit houdt in dat er een strakke planning ligt. In een tijdsbestek van 10 weken maken de studenten drie kennistoetsen en vier 34

ontwerpen”, vertelt vakcoördinator Ger Bruens. “Met aantallen van vier- tot vijfhonderd studenten trekt dat een behoorlijke wissel op de betrokken docenten. De drie kennistoetsen worden daarom digitaal afgenomen en automatisch nagekeken met de toetsmodule van Blackboard. Daarnaast bieden digitale toetsen ons meer mogelijkheden om beeldmateriaal in kleur en van goede kwaliteit te gebruiken.” Bij grote studentenaantallen is digitale toetsing onmisbaar om het onderwijsproces werkbaar te houden Ger vertelt: “Het aanmaken van multiple choice toetsen in Blackboard bleek relatief eenvoudig, maar de toetsafname moest wel in een afgeschermde omgeving gebeuren. Met die vraag kwam ik bij de ICTO afdeling van het SSC-ICT terecht. Zij hadden hier juist een oplossing voor geïmplementeerd: de Respondus Lockdown Browser.” Deze software zorgt ervoor dat de student tijdens de toets geen toegang heeft tot andere applicaties of communicatiekanalen via internet. De toets kan bovendien niet worden opgestart wanneer de Lockdown Browser niet is geactiveerd door de student. Ger Bruens Docent Faculteit IO De start van de digitale toetsafname blijft voor mij nog steeds een “zweethandenmomentje” .

“Omdat wij met ons vak de eersten waren die met deze beveiliging gingen werken, zijn we wel geconfronteerd met de kinderziekten. Maar deze behoren met de komst van Windows 7 en Blackboard 9 inmiddels tot het verleden. Het gereedzetten van een toets blijft echter een secuur werkje: Blackboard is een Amerikaans systeem, waarin de datum- en tijdnotatie afwijkt, ook maakt Blackboard gebruik van de decimale punt in plaats van de decimale komma. Dat maakt dat je de instellingen eigenlijk altijd door een ander moet laten controleren.” “De start van de toetsafname op de computer blijft voor mij nog steeds een ‘zweethandenmomentje’”, vertelt Ger. “Gelukkig worden eventuele problemen vlot onderkend en ter plekke opgelost door de ICT-ondersteuners. De studenten hadden er overigens weinig problemen mee, als het even niet liep zoals het moest. Zij vinden het vooral erg prettig om de uitslag van de toets meteen te krijgen.”

Verloop van de toetsafname Per tentamen worden vier sessies van een uur ingepland. Ieder uur start een groep van ongeveer 100 studenten het tentamen. Bij het betreden van de computerzaal, wordt de identiteit van de student gecontroleerd en wordt de student in Blackboard toegevoegd aan de groep ‘aanwezigen’. Alleen deze ‘aanwezigen’ krijgen op het vooraf ingestelde tijdstip, eenmalig toegang tot de toets. Bij de computer vindt de student een A4-tje, waarop de inlogprocedure staat vermeld: Start de Lock Down Browser op en open de toets, die met een wachtwoord is afgeschermd. De student kan de toets pas verlaten als alle vragen zijn beantwoord. Wanneer een vraag onbeantwoord is gelaten, meldt Blackboard dit. De student krijgt dan alsnog de mogelijkheid die vraag te beantwoorden. Zodra de toets is afgesloten, weet de student zijn cijfer. “Deze werkwijze scheelt vooral mijn collegadocenten veel tijd. Ze hoeven geen open vragen meer na te kijken op papier. Zij leveren mij iedere toetsperiode een set nieuwe vragen aan inclusief de antwoorden en feedbackteksten. Ik zet deze vragen in Blackboard en regel de toetsafname. Door de score per vraag slim in te stellen, wordt de toetsscore meteen omgerekend naar een cijfer, waardoor het deelcijfer voor de studenten meteen bekend is. Door de toetsen digitaal af te nemen besparen we veel tijd, die we nu in de beoordeling van de ICT in het onderwijs: Ontwikkelingen in de Delftse Toetspraktijk

35

ontwerpopdrachten kunnen steken. Door iedere toetsperiode nieuwe vragen toe te voegen aan de bestaande ‘pool’ in Blackboard, groeit het aantal beschikbare vragen gestaag. Door vragen ‘at random’ door Blackboard uit de pool te laten trekken, krijgt iedere student een andere set aan vragen. Afkijken bij je buurman is er zo niet meer bij.”

Verbeterpunten Blackboard is niet bepaald een intuïtief systeem: “Ik ben tevreden met de functionaliteit die Blackboard biedt, zoals het random trekken van vragen, ‘adaptive release’ en natuurlijk het automatisch nakijken en publiceren van het cijfer in het Grade Center.” Het is mogelijk om de kwaliteit van digitale vragen te analyseren, maar een dergelijke functionaliteit biedt Blackboard helaas nog niet, maar het zou zeker wenselijk zijn om een dergelijke analyse te kunnen uitvoeren om zo de kwaliteit van een toets te kunnen monitoren. De aanmelding van de studenten bij binnenkomst zou wellicht geautomatiseerd kunnen worden, zodat het scannen van de campuskaart en een visuele controle door de surveillant zou kunnen volstaan om studenten toegang te verlenen tot de toets.”

7.3 Case 2: Beveiligd tentamineren in MapleTA AE1100 Exploring Aerospace Engineering en AE1200 Design and Construction

zijn eerstejaars Bachelorvakken. In beide vakken wordt zowel een toets als een groepsopdracht uitgevoerd en zijn meerdere docenten bij het vak betrokken. Jaarlijks nemen ongeveer 500 eerstejaars deel aan deze vakken. AE2205 Experimental Research and Data Analysis

is een tweedejaars Bachelorvak. In dit vak worden drie toetsen afgenomen, bestaande uit een combinatie van meerkeuze en numerieke vragen. Jaarlijks nemen ruim 400 studenten deel aan deze toetsen. AE4415 Airport Design and Operations

is een Mastervak binnen de opleiding Control and Operations. In dit vak maken studenten twee groepsopdrachten en een individuele toets. Jaarlijks nemen ongeveer 80 studenten deel aan dit vak.

Voor de vakken AE1100 Exploring Aerospace Engineering, AE1200 Design and Construction, AE2205 Experimental Research and Data Analysis en AE4415 Airport Design and Operations wordt het tentamen afgenomen met MapleTA in een beveiligde omgeving. Paul Roling, docent en ICTO coördinator vertelt: “Op LR werd door een paar docenten al digitaal getoetst met Etude, het vorige campusbrede

36

toetssysteem. Met de komst van MapleTA zijn we vrij snel overgegaan en hebben we samen met ICT veel inspanning gestoken in de opzet van een goed beveiligde omgeving voor de afname. “ Voor MapleTA zijn twee servers beschikbaar. De ene server is gekoppeld aan Blackboard en wordt gebruikt voor de tussentijdse toetsen. De andere server wordt gebruikt voor de afname van digitale tentamens. Een goed beveiligde omgeving voor toetsafname vergt de nodige inspanning

ir Paul Roling Docent & coördinator ICT in Onderwijs Faculteit LR Bij digitale tentamens is beveiligen nog belangrijker dan bij reguliere tentamens. Niet alleen moet er, net als bij reguliere tentamens, op fraude gelet worden. Het is ook belangrijk dat je vragenbank, zeker als deze nog niet heel veel vragen bevat, niet buiten de examenzaal verspreid kan worden. Je wil je vragen namelijk toch zoveel mogelijk aanvullen en hergebruiken.

De inrichting van een aparte tentamenserver heeft als voordeel dat de student niet veel hoeft te navigeren om het tentamen te starten. Na inloggen verschijnt meteen de eerste vraag. Bovendien is de belasting op de server veel lager: Alleen de deelnemers aan een tentamen werken op deze server. Studenten die aan het oefenen zijn of medewerkers die toetsen aan het maken zijn, werken in het ‘formatieve’ toetssysteem van MapleTA dat gekoppeld is aan Blackboard. De tentamenserver is in de tentamenzaal via een beveiligde omgeving beschikbaar, die alleen het toetssysteem en de toegestane hulpmiddelen ter beschikking stelt.

Verloop van het tentamen In voorbereiding op het tentamen wordt de lijst met studenten die zich via Osiris hebben aangemeld voor het tentamen ingelezen in MapleTA. De computerzaal wordt door ICT in tentamenmodus gezet. Om de toets te maken, loggen studenten op de computer in met een speciaal tentamenaccount. Het is niet mogelijk om het tentamen vanaf een andere locatie te maken, want alleen studenten die zich bij binnenkomst hebben gemeld bij een van de surveillanten, krijgen toegang tot het toetssysteem. Door de beperkte capaciteit aan computerzalen, wordt gewerkt in aaneensluitende tentamensessies, maar door de randomisatie zijn de toetsen dusdanig verschillend dat het doorgeven van antwoorden niet zinvol is.


37

8 Hoe verder? De TU Delft beschikt over voldoende ingerichte faciliteiten voor de afname van zowel summatieve als formatieve toetsen, die in de praktijk worden gebruikt. De beschreven praktijken geven aan wat er op dit moment al mogelijk is met digitaal toetsen. Een eerste conclusie is dat overstappen naar digitaal toetsen van de docent een behoorlijke tijdsinvestering vergt. Niet alleen vanwege een aanzienlijke leercurve, maar vragen moeten worden omgezet naar een digitale variant, zodat deze geautomatiseerd nagekeken kunnen worden. Ook moet men bekend raken met de nieuwe werkwijzen en software applicaties. Met de juiste ondersteuning van het SSC-ICT blijkt dat vaak goed te gaan. En uiteindelijk levert het op de langere termijn veel tijdswinst en efficiëntie op. Er zijn natuurlijk nog voldoende wensen voor de toekomst, waar op verschillende vlakken en met verschillende partners hard aan wordt gewerkt.

Functionaliteit in Blackboard De itemanalyse in Blackboard is zeer beperkt. Bij meerkeuzevragen kan de kwaliteit van de afleiders worden afgelezen. Echter, zodra een vragenblok wordt toegepast, waaruit willekeurig een of meer vragen wordt getrokken (Random Block) kan Blackboard voor deze vragen geen analyse genereren. Er moet onderzocht worden of deze lacune in Blackboard moet worden ingevuld of dat kan worden uitgeweken naar MapleTA.

Beveiliging in MapleTA Op dit moment wordt voor de beveiligde afname van MapleTA gebruik gemaakt van een speciaal ingerichte omgeving. Voor toetsen waar geen andere applicaties voor nodig zijn, zou het prettig zijn om net als bij Blackboard gebruik te kunnen maken van een Lock Down Browser. SSC-ICT is in gesprek met de leverancier en dit gaat gerealiseerd worden. Wat betreft de techniek is het SSC-ICT zich er dus wel degelijk van bewust op welke gebieden verbetering nodig is. Deze inzichten zijn absoluut toe te schrijven aan de bereidwilligheid van docenten om aan diverse pilots mee te werken. We hebben nauw contact met de leveranciers van onze software en kunnen zo onze wensen en eisen onder de aandacht brengen en houden. In het kader van verbetering van het studiesucces staat digitaal toetsen staat hoog op de agenda. In de periode 2011-2014 zullen meerdere stappen op technisch, maar ook op organisatorisch gebied gemaakt worden om het digitaal toetsen verder te optimaliseren en te faciliteren.

Het toetsbureau De afname van een digitaal tentamen is logistiek gezien een behoorlijke klus. Alle betrokkenen, O&S, ICT en Facility Management, dienen goed geïnformeerd te zijn, de beveiligingsaspecten zowel in de toets als op de server moeten correct zijn ingeregeld en vaak

38

zijn meerdere sessies van het tentamen noodzakelijk. Daarbij moet bovendien worden voldaan aan de bepalingen uit het Onderwijs en Examen Reglement. Op de faculteit 3mE is daarom een pilot gestart voor de opzet van een toetsbureau. Het toetsbureau is verantwoordelijk voor de afname van de toets. De docent is en blijft verantwoordelijk voor het opstellen van kwalitatief goede vragen en het vaststellen van de cesuur, de scheiding tussen geslaagden en niet-geslaagden. Het toetsbureau is verantwoordelijk voor de correcte invoer van de vragen in het toetssysteem, de logistiek van de toetsafname en de kwaliteitsanalyse van de resultaten. De exacte taken en verantwoordelijkheden moeten in de pilot nog worden uitgewerkt, maar vooralsnog zijn de reacties op dit initiatief positief. Na afloop van deze pilot zal worden gekeken of en op welke wijze het toetsbureau-concept campusbreed kan worden toegepast.

Tentamenzalen Tot op heden is er voldoende capaciteit in de computerzalen om alle aangevraagde digitale tentamens te kunnen inplannen. Echter, de verwachting is dat het digitaal tentamineren een grotere vlucht gaat nemen. Dan wordt de capaciteit al snel een probleem. Deze problematiek wordt via verschillende wegen opgepakt. O&S onderzoekt in samenwerking met ICT en Facility Management de mogelijkheden voor de inrichting van een tentamenzaal met een grotere capaciteit en de opname van meer computerzalen in de zalenpool. Daarnaast onderzoeken we in 3TU verband de mogelijkheden van een beveiligde toetsafname op studentenlaptops. Zo zouden meer grote onderwijszalen beschikbaar kunnen komen, waar nu nog geen mogelijkheid is voor de afname van digitale toetsen. Cock Huizer Manager Education Technology De juiste ondersteuning van het Shared Service Centre - ICT levert op de langere termijn veel tijdswinst en efficientie voor onze docenten. Samen met hen zijn we op weg naar de optimale invulling daarvan.

Digitaal toetsen leeft niet alleen op onze universiteit, maar staat bij veel instellingen hoog op de agenda Digitaal toetsen is een onderwerp dat niet alleen op onze universiteit volop in de aandacht staat. SURF, de landelijke stichting waarbinnen instellingen in het hoger onderwijs samenwerken aan ICT-innovaties voor het onderwijs, organiseert professionaliseringsworkshops en netwerkbijeenkomsten, subsidieert projecten op het gebied van digitaal toetsen en heeft onlangs het initiatief genomen tot de opzet van een Special Interest Group Digitaal Toetsen. Daarin kunnenverschillende instellingen in het hoger onderwijs ervaringen uitwisselen. Ook binnen het E-merge consortium, een samenwerkingsverband voor innovatieve ICTO projecten van de TU Delft met Universiteit Leiden, de Haagse Hogeschool en Hogeschool Leiden, is aandacht voor digitaal toetsen. Hier wordt een professionaliseringstraject ontwikkeld en uitgerold, waarin docenten concreet aan de slag kunnen met digitaal toetsen in hun eigen onderwijs. De kwaliteit van toetsen en toetsvragen, itemanalyse, toetsbeveiliging en het omzetten van open vragen naar digitaal na te kijken vragen komen alle aan bod. In dit traject worden docenten begeleid door onderwijskundigen en praktisch ondersteund door studentassistenten. De ondersteunende materialen komen online beschikbaar voor alle docenten.


39

Het SSC-ICT is erg betrokken bij de ontwikkelingen en ervaringen binnen en buiten de instelling en werkt hard aan het verbeteren en uitbreiden van het digitaal toetsen binnen onze universiteit. Op die manier levert het SSC-ICT aan de docent een efficiënte werkomgeving. Graag werken we samen hard aan de kwaliteit van ons onderwijs. Voor meer informatie over digitaal toetsen staat het Shared Service Centre - ICT altijd voor u klaar.

Meta Keijzer - de Ruijter, projectleider digitaal toetsen SSC-ICT Education Technology TU Delft

40

Referenties:

Berkel, H.J.M. van & Bax, A.E (2006) Toetsen in Hoger Onderwijs. Bohn Stafleu Van Lochum Bloom, B.S., Hastings, J.T & Madaus, G.F. (1971). Handbook on Formative and Summative Evaluation of Student Learning. New York: McGraw-Hill Boogaard, M.E.D., & Saunders-Smits, G.N. (2007), Peer & Self Evaluations as Means to Improve the Assessment of Project Based Learning, 37th ASEE/IEEE Frontiers in Education Conference, Milwaukee

Weltje-Poldervaart, M. (2011). Do’s and don’ts bij het inzetten van Peer Evaluation voor groepen studenten. Intern document. TU Delft Zanden, A. H. W. Van Der, (2008). ICT in het Onderwijs 2008. Onderzoek naar opbrengsten van ICT voor de onderwijspraktijk bij de TU Delft op basis van de mening van docenten. TU Delft., Delft.

Brakels, J. (2011) Naar een bachelor diploma in vier jaar. TU Delft, Interne adviesnota. Januari 2011 Castells, M. (1997, second edition, 2004). The Power of Identity, The Information Age: Economy, Society and Culture Vol. II. Cambridge, MA; Oxford, UK: Blackwell Dochy, F., Segers, M. & De Rijdt, C. (2002). Nieuwe ontwikkelingen: de assessmentcultuur in Assessment in Onderwijs. LEMMA BV, Utrecht Graafland, N. (2010) Capaciteitsplanning TU Delft 2010 - 2020. Interne notitie. Kamminga, M. (2011), De Tien Valkuilen van Digitaal Toetsen. Euclides 86-5, p. 207 Karpicke, J.D. & Blunt, J.R. (2011), Retrieval Practice Produces More Learning than Elaborative Studying with Concept Mapping. Science, 331, 772-775 Karpicke, J.D. & Roediger, H.L. III (2008), The Critical Importance of Retrieval for Learning. Science, 319, 966-968 Ouwehand, G.M. en Van Der Zanden A.W., Blackboard Portfolio in uw Onderwijspraktijk. TU Delft 2009 Rossum, E.J. van, Deijkers, R. & Hamer, R. (1985). Student’s learning conceptions and their interpretation of significant educational concepts. Higher Education, 19, 617-641 Starreveld, P. (2011). Presentatie ‘Digitaal Toetsen en Eindtermen’ tijdens symposium ‘Studiesucces’ UvA, januari 2011 (link: http://www.communities.uva.nl/) Teelen, Toetsontwikkeling in de Praktijk. Hoe maak ik goede vragen en toetsen. (2004). Teelen Toffler, A. (1980). The Third Wave. Bantam Books Vaart, R. van der. (2011). Presentatie “Het Utrechtse Onderwijsmodel’ tijdens symposium ‘Studiesucces’. UvA, januari 2011 (link: http://webcolleges.uva.nl/mediasite/Viewer/?peid=41c 7e19b241e4c5a904f1320a1a275fa1d Weerman, F. (2011). Presentatie ‘Toetsen en Motiverende Werkvormen’ tijdens symposium ‘Studiesucces’ UvA, januari 2011 (link: http://webcolleges.uva.nl/mediasite/Viewer/?peid=72f0 0dd4548b489ba924887a4e23e2bd1d)

ICT in het Onderwijs

http://icto.tudelft.nl

OC Focus

http://ocfocus.tudelft.nl

E-Learning Support

http://els.tudelft.nl

Snel Onderwijs Consult

http://soc.tudelft.nl

SSC – Onderwijs & Studentenzaken SSC – ICT Landbergstraat 15 2628 CE Delft

www.OenS.tudelft.nl www.ssc-ict.tudelft.nl

46

Ontwikkelingen in de Delftse Toetspraktijk De (digitale) toets als diagnose, leermiddel, voortgangscontrole en kwalificatieinstrument

Recommend Documents