September 2007-september Projectteam: Willie Hols (projectleider) Anke Bootsma Olle ten Cate IVLOS Robert-Jan Simons Magda Ritzen

Rapportage EMP-project ‘Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding GNK en andere opleidingen in en buiten het UMC Utrecht’

September 2007-september 2008

Projectteam: dOO-UMCU Willie Hols (projectleider) Anke Bootsma Olle ten Cate IVLOS Robert-Jan Simons Magda Ritzen

Versie 1.0, 26 september 2008

2

Samenvatting EMP-rapportage 1. Inleiding 2. Digitaal toetsen in het UMCU: stand van zaken 3. Pilots met digitaal toetsen 4. Randvoorwaarden digitaal toetsen in UMCU 4.1 Inleiding 4.2 Onderwijskundige randvoorwaarden (o.a. itembanken) 4.3 Organisatorische randvoorwaarden 4.4 Technische randvoorwaarden 4.5 Financiele randvoorwaarden 4.6 Conclusie (inclusief haalbaarheid binnen UMCU) 4.7 Schets van toepassingsscenario elektronische toetsafname 5. Mogelijkheden van digitaal toetsen 5.1 Intro 5.2 Mogelijkheden 5.3 Conclusie 6. Wensen en beleid in UMCU m.b.t. digitaal toetsen 6.1 Algemeen 6.2 Medewerkers 6.3 Conclusie 7. Het vervolg 7.1 Uitgangspunten 7.2 EMP voorstel Ontwikkeling en invoering Digitaal toetsen Literatuur Bijlage 1 Matrix wel/niet digitaal toetsen Bijlage 2 Verslagen brainstormsessies Bijlage 3 Tips om fraude te voorkomen Bijlage 4 Twelve tips for computer-based assessment in medical education Bijlage 5 Advies inzet stemkastjes als toetsmethode Bijlage 6 Stappenplan implementatie computer based assessment Bijlage 7 Materialen TestVision

5 6 8 9 12 12 12 12 13 13 13 14 16 16 16 24 25 25 25 26 27 27 27 29 31 41 44 45 55 63 70

3

4

Samenvatting EMP-rapportage Naam project ‘Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding GNK en andere opleidingen in en buiten het UMC Utrecht’ Faculteit/opleiding: dOO-UMCU Looptijd: september 2008 tot september 2009 Projectresultaat • Een rapport dat antwoord geeft op de vragen: 1. aan welke randvoorwaarden moet worden voldaan - financieel, organisatorisch en in ander opzicht – om schriftelijke toetsing in de opleiding geneeskunde volledig te verlaten, 2. welke mogelijkheden zijn er om aan die voorwaarden te voldoen, 3. wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om aan deze overstap te werken? Zie hoofdstuk 4. • Het rapport bevat tevens een overzicht gegeven van de toegenomen (onderwijskundige) mogelijkheden van het elektronisch toetsen. Zie hoofdstuk 5. • Een plan, waarin de volgende stap naar papierloos toetsen is uitgewerkt. Zie hoofdstuk 7. Ervaringen / lessen voor collega’s, bv. opleidingsdirecteuren: • Digitaal Toetsen vraagt om investering en veronderstelt een keuze op opleidingsniveau. • Investering is nodig in: o aanschaf van toetssoftware, computers, bedrijfszekere en beveiligde infrastructuur. o ondersteuning van docenten (leren werken met toetssoftware, didactische ondersteuning, ondersteuning bij afname). • Uitgaan van een gemeenschappelijk ontwerp van een itembank. • Inzet van digitale toetsen draagt onder andere bij aan de verbetering van de kwaliteit van de toetsen. • Besteed aandacht aan (het ontsluiten en presenteren van) de goede voorbeelden van collega’s. • Het voorkomen van fraude tijdens afname van toetsen is relatief eenvoudig te realiseren. • Zet studenten en co-assistenten in bij de ontwikkeling van een itembank / vervanging van huidige schriftelijke vragen (staflid blijft verantwoordelijk). • Stemkastjes zijn niet geschikt voor summatieve toetsing. Producten/documenten: • Randvoorwaarden digital toetsen (hoofdstuk 4) • Overzicht mogelijkheden digitaal toetsen (hoofdstuk 5) • Plan 08/09 Implementatie digitaal toetsen (hoofdstuk 7) • Matrix wel/niet digitaal toetsen (bijlage 1) • Tips om fraude bij toetsafname te voorkomen (bijlage 3) • Twelve Tips for computer-based assessment in medical education (bijlage 4) • Advies inzet stemkastjes bij responsiecolleges (bijlage 5) • Stappenplan implementatie computer based assessment (bijlage 6) • Beknopte handleiding voor de docent bij de uitvoering van Testvision (bijlage 7) • Materialen Testvision (bijlage 8)

Projectleider: Willie Hols Telefoon: 088-7556350 e-mail adres: [email protected]

5

1. Inleiding In het EMP-project ‘Voorwaarden voor de realisering van een papierloos toetstijdperk voor de opleiding Geneeskunde en andere opleidingen in en buiten het UMC Utrecht’ staan de mogelijkheden, wensen en voorwaarden van digitaal toetsen centraal. Het start vanuit het gegeven, dat schriftelijke tentamens al zeer lang de dominante vorm van toetsing in het hoger onderwijs: het is de vraag of de laatste fase hiervan niet is aangebroken. In de literatuur worden verschillende argumenten genoemd voor digitaal te toetsen (Verkroost, 2002; Milius, 2007), zoals verbetering van de kwaliteit van de toetsvragen op basis van de resultaten van toets- en vraaganalyse, tijdwinst door het gebruik van een itembank en het geautomatiseerd nakijken, grotere betrouwbaarheid doordat het gemakkelijker is om verschillende toetsen samen te stellen met een vergelijkbare moeilijkheidsgraad en mogelijkheden om beeld en geluid toe te voegen. Op termijn levert digitaal toetsen tijdswinst op voor de docent (Bull & Stevens 1999) en doordat de student meer inzicht krijgt in de eigen voortgang, verhoogt het de betrokkenheid van studenten (Sambell et all 1999). Toetsing is een proces dat start met een ontwerp, daarna wordt de toets samengesteld, opgeslagen, afgenomen, nagekeken, beoordeeld, geanalyseerd, geëvalueerd en worden de toetsresultaten vrijgegeven. Het ontwerpen, beheren, afnemen en verwerken van toetsen geschiedt al gedeeltelijk en in wisselende mate met elektronische hulpmiddelen, met name voor kleinere groepen studenten en voor toetsen die een formatieve functie vervullen. Formatief digitaal toetsen stelt minder hoge eisen aan beveiliging en voorkoming van fraude dan summatief toetsen. Op dit moment zijn veel instellingen voor hoger onderwijs geïnteresseerd in de mogelijkheden van digitaal toetsen, maar er is terughoudend in het invoeren van digitale summatieve toetsing (zie Daniels & Van der Vleuten, 2002). Deze terughoudendheid heeft te maken met: • De hoeveelheid tijd die nodig is om een toetsprogramma te leren kennen en –in afstemming met collega’s- een vragenbank in te richten en te vullen. • Het ontbreken van faciliteiten, dat wil zeggen grote computerzalen (300 studenten). • De angst voor een onvoldoende beveiligd netwerk waardoor scores aangepast kunnen worden. Men vreest dat studenten gebruik maken van ongeoorloofde digitale informatiebronnen bij het beantwoorden van de vragen en dat ze inloggen onder een andere naam. Ook is men bang voor uitval van het netwerk op het moment dat studenten de toets maken. • Het ontbreken van beleid op dit terrein: in toetsbeleid wordt niet alleen aangegeven waarom en hoe men digitaal wil toetsen, maar ook hoeveel belang men er aan hecht en waarin wordt geïnvesteerd (infrastructuur, faciliteiten en ondersteuning). Hols-Elders e.a. (2008) voegen daar specifiek voor het Nederlandse medisch onderwijs aan toe: • Gebrek aan technische kennis en vaardigheden op het terrein van digitaal toetsen bij medische docenten. • Gebrek aan tijd en gevoel van ‘noodzaak’. • Onvoldoende voorzieningen, zoals diverse vormen van ondersteuning en computerfaciliteiten. Het project beoogt antwoord te geven op de vraag aan welke randvoorwaarden moet worden voldaan - financieel, organisatorisch en in ander opzicht – om schriftelijke toetsing in de opleiding geneeskunde volledig te verlaten, welke mogelijkheden zijn er om aan die voorwaarden te voldoen, wat is de kosten/baten verhouding en is er draagvlak in en buiten het buiten het UMCU om aan deze overstap te werken? De antwoorden op deze vragen staan in deze rapportage, evenals een overzicht van de toegenomen (onderwijskundige) mogelijkheden van het elektronisch toetsen en een werkplan, waarin de volgende stap naar papierloos toetsen is uitgewerkt. De context van dit project is het onderwijs van het UMC Utrecht, de resultaten zijn eveneens bruikbaar in andere opleidingen van de Universiteit Utrecht. In het project zijn verschillende activiteiten uitgevoerd. De resultaten hiervan zijn per hoofdstuk beschreven. Hoofdstuk 2 bevat een inventarisatie van de huidige stand van zaken op het terrein

6

van toetsing binnen de directie Onderwijs en Opleidingen (dOO) van het Universitair Medisch Centrum Utrecht (UMCU): wat wordt getoetst, op welke manier en met welk doel (formatief of summatief). Hoofdstuk 3 beschrijft de resultaten van de pilots die in het kader van dit project zijn uitgevoerd, de pilots zijn uitgezet om het draagvlak, de mogelijkheden en de voorwaarden met betrekking tot digitaal toetsen in kaart te brengen. In hoofdstuk 4 wordt (onder andere naar aanleiding van de pilots) de hoofdvraag van het project beantwoord: aan welke randvoorwaarden moet worden voldaan - onderwijskundig, organisatorisch, technisch en financiëel- om digitaal te toetsen. Via deskresearch is onderzocht welke mogelijkheden er op dit moment zijn op het terrein van digitaal toetsen, de resultaten hiervan zijn samengevat in hoofdstuk 5. Per toetstool zijn voorwaarden geformuleerd. Het afgelopen jaar vonden bij iedere opleiding van de dOO brainstormsessies plaats waarin de wensen op het terrein van digitaal toetsen zijn geïnventariseerd. Hierbij waren zowel studenten, als docenten als coördinatoren/managers betrokken. Deze wensen (‘draagvlak voor digitaal toetsen’) zijn samengevat in hoofdstuk 6. Hoofdstuk 7 bevat het voorstel voor een vervolgproject op het terrein van digitaal toetsen. Het voorstel is gebaseerd op de resultaten van het huidige project en op de ‘Twelve tips for computerbased assessment in medical education’ die zijn geformuleerd door Hols-Elders e.a. (in publicatie bij Medical Teacher).

7

2. Digitaal toetsen in het UMCU: stand van zaken Het UMC Utrecht is verantwoordelijk voor de opleidingen geneeskunde (2 opleidingen: CRU’99 en 2006 en SUMMA), de opleiding Gezondheidswetenschappen en, samen met andere faculteiten, Biomedische wetenschappen en Biomedical science Geinventariseerd is hoeveel thans wordt gedaan aan digitale toetsing met een summatief doel. De Geneeskundeopleiding CRU (250-300 studenten per jaargroep) kent 70 toetsen die jaarlijks worden afgenomen (excl herkansingen). Daarvan vinden vier plaats in electronisch vorm. Overigens zijn dit toetsen die meermalen per jaar, bij kleine groepen dan de jaargroep, worden afgenomen. De Geneeskundeopleiding SUMMA (ca 40 studenten per jaargroep) kent geen electronische toetsing De opleiding BMW (ca 180 studenten per jaargroep) heeft circa 45 cursussen die met toetsing worden afgesloten, waarvan één in electronische vorm De Opleiding Gezondheidswetenschappen kent ca 15 toetsen waarvan er één electronische wordt afgenomen. In alle drie deze opleidingen is in het afgelopen jaar geëxperimenteerd met computergestuurde toetsing bij andere studieonderdelen, zij het dat een daadwerkelijke afnamen nog niet heeft plaatsgevonden.

8

3. Pilots met digitaal toetsen Olle neemt hoofdstuk drie voor zijn rekening In 2007-2008 zijn verschillende korte CBA projecten uitgevoerd bij diverse toetsen in het geneeskunde curriculum. TestVision, het programma waarmee al enkele jaren ervaring bestaat in het UMCU is als model gebruikt. I. Invoering van TestVision bij toetsing met hoge frequentie en kleine groepen Het derdejaars studieonderdeel Acute Chirurgie en Perioperatieve Zorg (ACPOZ) wordt 10 maal per jaar voor groepen van 24 studenten verzorgd. Er is 4 maal per jaar een schriftelijke toets waarover de mening verdeeld zijn. Een nadeel is dat de toets voor velen niet direct na het onderwijs volgt en ook is een veelgehoorde klacht dat de aansluiting bij het onderwijsgebrekkig is. De betrouwbaarheid is i.h.a. niet hoog. Mede op verzoek van de coördinator zijn voorbereiding getroffen op met ingang van 2008-2009 de toets met TestVision af te nemen. Deze voorbereiding is voor een belangrijk deel uitgevoerd door twee zesdejaar studenten geneeskunde die dit onderwijs als onderwijsadviesproject tijdens een onderwijsstage hebben uitgevoerd: Elize Berg en Marique Sorel. Als bijlagen (X, XX en XXX) zijn hun verslagen van dit project toegevoegd. De eerste bijlage betreft een algemeen verslag (verdiepingsonderwerp) over de toepassing van computer based assessment van Elize Berg, de beide andere verslag betreffen het eigenlijke adviesproject. Het resultaat van deze pilot is (a) een uitstekende beschrijving van een algemeen stappenplan voor de invoering van CBA, (b) een beknopte handleiding voor de docent bij de uitvoering van een toets met TestVision en (c) een nagenoeg startklare voorbereiding voor de invoering in het ACPOZ blok. De belangrijkste les voor de toekomst is dat een goede centrale bewaking va toetsvraagkwaliteit leidt tot de behoefte aan vervanging van veel vragen. Als voor een dergelijke toets ca 500 vragen beschikbaar komen in een vragenbank, dan kan CBA in een dergelijk blok de huidige schriftelijke toetsing bij alle afnames per jaar goed vervangen. Het inzetten van co-assistenten voor het ontwerpen van vragen is daarbij een goede optie, mits een staflid de vragen mee beoordeelt. Er zijn geen technische belemmeringen. II.

Toepassing van TestVision bij toetsing die driemaal per jaar met middelgrote groepen plaatsvindt Dit pilotproject is voorbereid onderwijsstagiaire, Annieke Bosker, bij het derdejaars blok Gezonde en Zieke Cellen III. Daarbij is gebruik gemaakt van TestVision. Een voorbeeldtoets is ontwikkeld en op het internet geplaatst (www.testvision/umcutrecht.nl). De uitvoering van deze electronische toets is evenwel niet doorgegaan, omdat in de randvoorwaarden niet tijdig kon worden voorzien. III

Toepassing van TestVision in bij toetsing met short-answer vragen voor grote groepen (Martien Quaak)

UVT Papierloos In 2007-2008 is er onderzocht in hoeverre het mogelijk is om de Utrechtse VoortgangsToets UVT af te nemen met behulp van het toets programma Testvision. Probleemstelling Voor de uitvoering van de UVT is erg veel werk nodig bij het nakijken van de vragen. De examens worden geprint. De antwoorden worden op papier geschreven en de papieren moeten geknipt en gedistribueerd worden per vraag naar de docent, de beoordelingen moeten vervolgens met de hand worden ingevoerd. Het zou een groot logistiek voordeel opleveren als de toets electronisch kan worden afgenomen waarbij de student zelf de antwoorden intypt. Vervolgens kan electronisch een sortering gemaakt worden, waarna de docent op het scherm de antwoorden kan bekijken en kan scoren.

9

Onderzoek Onderzocht is of met de bestaande functionaliteit van Testvision de UVT kan worden afgenomen. Sam Verdoes heeft verschillende tests gedaan om vragen in Testvision te zetten. Omdat in de UVT gewerkt wordt met een casus en twee soorten vragen biomedisch en klinisch en per vakgebied meerdere vragen kunnen worden gesteld en dus ook meerdere antwoorden kunnen worden gegeven in vrije tekst is het lastig te implementeren. Ook moet voor het nakijken de docent kunnen zien wat de antwoordvoorbeelden zijn. In meerdere sessies is gewerkt aan een uitwerking van een geschikte invulling van Testvision. De heer Molkenboer van Testvision was hierbij aanwezig om advies te geven. Uiteindelijk lijkt het mogelijk te zijn om Testvision te gebruiken voor het afnemen en nakijken van de UVT, zonder dat er specifieke aanpassingen moeten worden gedaan aan het programma zelf. Proef Het plan is om in een proef met Testvision in het studiejaar 2008 – 2009 een klein aantal vragen aan een aantal studenten electronisch voor te leggen en te laten beantwoorden en daarna enkele docenten deze vragen electronisch na te laten kijken. Als dit lukt dan kan daarna bij een UVT afname een deel van de studenten een electronische versie worden afgenomen. Uitvoeringsvoorwaarde Voor het uitvoeren van een volledig electronische afname van de UVT zijn veel computers nodig. Binnen het UMC zouden verschillende computerleerzalen en het studielandschap kunnen worden gereserveerd in de avonduren. Maar dan nog zijn er niet genoeg computers om iedereen (ongeveer 450) in een keer te examineren. Het zou goed zijn als er binnen de UU een grote zaal is met veel computers die gereserveerd kan worden voor electronische afname van toetsen. Database aanpassing Los van dit experiment met de afname en het nakijken van de UVT is het ook nodig om voor een beter beheer van de UVT een andere database opzet te maken. Omdat er veel bijkomende gegevens bij iedere vraag staan is het niet mogelijk om dit in de Testvision database in te voeren. De huidige opzet is niet geschikt om de vragen en het examineren efficiënt en goed te kunnen beheren. Er is begonnen met het analyseren en ontwerpen van een duidelijker databasestructuur. Deze zal dan vervolgens geïmplementeerd moeten worden, waarbij ook aandacht besteed moet worden aan de koppeling van de database met de Testvision database voor afname en het nakijken van de vragen. IV. Toepassing van stemkastjes bij toetsing met hoge frequentie en kleine groepen Dit project betreft een onderzoek naar de uitvoerbaarheid van het gebruik van stemkastjes voor toetsingsdoeleinden. Hiertoe werd bij de afdeling Kindergeneeskunde, die beschikt over een collegzaal en stemkastjes die ingezet worden bij een wekelijkse bijeenkomsten met artsassistenten, onderzocht aan welke voorwaarden dit systeem zou moeten voldoen bij inzet in blokonderwijs met frequente toetsing in kleine groepen van ca 24 studenten. Het project is uitgevoerd door onderwijsstagiaire Froukje Landsman met de volgende vraagstelling: “Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de organisatorische voorwaarden?” Het verslag van dit project is bijgevoegd als bijlage 5. De conclusie van het project, waarvoor 46 studenten en 27 arts-assistenten zijn geënquêteerd, is dat een toetsafname met stemkastjes een sturende functie kan hebben, c.q. maakt dan mensen zich beter voorbereiden op een onderwijsbijeenkomst, maar ook dat er sterke beperkingen zijn aan deze toepassing van ‘papierloos toetsen’ voor summatieve doeleinden. Eén daarvan is het gedwongen tempo van de toetsing; een andere is de techniek die altijd vlekkeloos is. Concluderend zijn een goede ‘toetssfeer’, een valide en betrouwbare toets en goede technische ondersteuning belangrijke organisatorische voorwaarden om een betrouwbare toetsuitslag te krijgen van toetsing

10

met gebruik van stemkastjes; toetsvragen met stemkastjes zorgen er voor dat een onderwijsdag voor artsassistenten beter wordt voorbereid en AIOS vinden het maken van de toetsvragen nuttig. Echter, de toetsvragen bevorderen de interactie met de sprekers niet. Dat laatst is uiteraard gene doel van summatieve toetsing, maar het gebruik van stemkastjes voor formatieve doelen zou deze functie in theorie wel kunnen hebben.

11

4. Randvoorwaarden digitaal toetsen in UMCU 4.1 Inleiding De hoofdvraag van het project luidt: ‘aan welke voorwaarden moet worden voldaan –financieel, organisatorisch en in ander opzicht- om schriftelijke toetsing bij de opleidingen van de Directie Onderwijs en Opleidingen volledig te verlaten, welke mogelijkheden zijn er om aan die voorwaarden te voldoen en wat is de kosten/baten verhouding’. Dit hoofdstuk geeft hierop een antwoord.

4.2 Onderwijskundige randvoorwaarden (o.a. itembanken) -

-

-

-

-

Toetsen bepalen het gedrag van studenten in grote mate. Daarom is het van belang dat er vanuit het onderwijs voortdurend naar wordt gestreefd, de toetsen zo representatief mogelijk te maken voor het onderwijs en de voorgeschreven studiestof. Een elektronische itembank maakt inzichtelijk welke onderwijsonderwerpen door de examenvragen worden gedekt. Aan de hand van de scores kan gezien worden welke kennis bij de student aanwezig is. Slechte vragen zijn te herkennen aan een afwijkend antwoordpatroon. Met deze instrumenten kan de kwaliteit van de examenvragen en van het gegeven onderwijs worden gemonitord en worden verbeterd. De toetsaanpak hangt samen met de manier waarop het onderwijs wordt uitgewerkt. Dat betekent dat een onderwijsvisie en daarmee samenhangend beleid de kaders vormen voor keuzes met betrekking tot toetsing. De Directie van de dOO is verantwoordelijk voor beleidsmatige ondersteuning en praktische uitvoerbaarheid, zij bepalen of en in welke mate er structureel van digitale toetsondersteuning gebruik gemaakt kan worden. Hierbij spelen ook praktische en financiële overwegingen een rol zoals bijvoorbeeld: verhoogde efficiëntie bij elektronisch toetsen in kleine groepen studenten, mogelijkheid tot een hoge frequentie van toetsafname en ondersteuning van docenten bij gebruik van TestVision. Voor de afstemming, kwaliteitscontrole en (op termijn) efficiëntie is het aan te bevelen een digitale itembank met toetsvragen op te zetten en in te richten. De opbouw van zo’n itembank dient gefaseerd te worden aangepakt. Om te beginnen kan gestreefd worden naar het opbouwen van itembanken per blokcoördinator. Iedere blokcoördinator zou een eigen versie van zijn/haar bank van vragen op de eigen pc moeten hebben. Door deze vragen zelf te beheren weet de coördinator welke vragen eerder zijn gesteld, hoe de ervaringen daarmee waren en welke probleemgebieden door de vragen worden gedekt. Door het zelf te beheren is de blokcoördinator/docent verantwoordelijk voor het up to date houden van de vragen. Het is technisch mogelijk om de verschillende bestanden te combineren in een systeem, zodat blokcoördinatoren/docenten ook van elkaar vragen kunnen bekijken en overnemen. Hier moeten goede afspraken over worden gemaakt in verband met beveiliging en auteursrechten. Op basis van een elektronische itembank kan een papieren examen worden gemaakt of een elektronische versie voor elektronische afname, dit mede afhankelijk van de praktische mogelijkheden en onderwijskundige wenselijkheid. Het programma moet gebruiksvriendelijk te bedienen zijn. Zowel voor de docent die vragen in de vragenbank zet, vragen kan aanpassen, examens samenstelt en resultaten verwerkt, als voor de student die de toets op de computer maakt.

4.3 Organisatorische randvoorwaarden -

-

12

Het is van belang dat er ondersteuning is bij het onderhouden van een vragenbank door docenten, hulp bij het installeren en opzetten van het programma en het inrichten van de vragenbank en hulp bij het maken van examens, het printen van examens en het klaarzetten van elektronische examens. Menskracht om het gebruik van de server te ondersteunen, te updaten en bij docenten beschikbaar te maken, evenals het gebruik bij het afnemen van toetsen. Beschikbaar zijn van surveillanten die bij elektronisch afgenomen examens de aanwezigheid van studenten controleren, evenals het juiste gebruik van het examenprogramma.

4.4 Technische randvoorwaarden -

-

Het toetsprogramma moet geïnstalleerd zijn op een server die wordt onderhouden en waar regelmatig back-ups van worden gemaakt. Verder moeten er toetszalen zijn met grote aantallen pc’s of laptops. Om het aantal werkstations te bepalen kan worden uitgegaan van aantal studenten dat wordt getoetst : 2. Dit veronderstelt toetsen in shifts (2 groepen na elkaar). De toetszaal moet overzichtelijk zijn ingericht om tijdens de toets gemakkelijk te kunnen surveilleren. Door gebruik te maken van een wireless netwerk kunnen laptops worden aangesloten op een examennetwerk. Deze laptops kunnen beveiligd worden afgestemd op het netwerk. Het netwerk moet degelijk afgeschermd worden van inbraakpogingen van buitenaf. PC’s van docenten moeten geschikt zijn om het toetsprogramma op te kunnen installeren en te laten werken.

4.5 Financiele randvoorwaarden -

-

-

-

Er zijn verschillende manieren waarop de kosten voor digitaal toetsen kunnen worden doorberekend. Draaijer (2004) noemt er drie: 1. centrale financiering door ‘afroming’, 2. decentrale financiering waarbij opleidingen vergoedingen betalen voor het gebruik van de centraal ondersteunde systemen en organisatie en 3. gedifferentieerde financiering waarin de toetstools worden bekostigd op basis van gebruik per cursus of toets. De kosten van de aanschaf en het gebruik van het toetsprogramma komen in de huidige opzet voor rekening van het Expertisecentrum van de dOO. Gebruikers van buiten de dOO betalen mee aan de licentie en het beheer. Kosten worden verdeeld over de gebruikers van het programma bij de verschillende divisies De divisies die gebruik maken van elektronisch toetsen hebben een organisatorisch voordeel bij het elektronisch afnemen van de toets in vergelijking met een papieren toets. De kosten van de papieren versie kunnen afgezet worden tegen de kosten van de elektronische toets. De kosten voor het gebruik van de centrale server worden gedragen worden door de dOO en verrekend met UMC gebruikers.. De kosten voor support worden door de dOO betaald en in rekening gebracht. Hiervoor is een SLA opgesteld voor de gebruikers van niet academische opleidingen Hierdoor zijn de divisies verzekerd van support voor het programma. Een kosten-baten analyse is lastig te maken. Er spelen teveel onbekende factoren een rol: welke opleidingen willen zoveel mogelijk digitaal toetsen, hoe hangt dit samen met de kosten die aan een opleiding worden doorberekend, welk financieringsmodel wordt gehanteerd? Hoe waardeer je de didactische voordelen van digitale toetsing en de kwaliteitsverbetering? Duidelijk is dat invoering van digitaal toetsen vraagt om grote investeringen. Een deel van die investeringen kunnen worden terugverdiend door bijvoorbeeld computerlokalen te verhuren aan andere instellingen en externe bedrijven.

4.6 Conclusie (inclusief haalbaarheid binnen UMCU) -

-

-

Tot nu toe zijn de ervaringen met elektronische toetsen positief bij het UMCU, al een aantal jaren wordt op relatief bescheiden schaal, maar wel continu, gebruik gemaakt van elektronisch toetsen. De uitvoering verloopt goed, maar vergt veel support. Op dOO Directie niveau zal er een keuze gemaakt moeten worden voor elektronisch toetsen (op grote schaal) en de organisatorische en financiële uitvoering daarvan. Het is van belang dat de verdeling van de kosten tussen dOO en divisies goed wordt besproken, zodat in de toekomst een garantie van het gebruik van het programma (TestVision) gecontinueerd wordt. Thans wordt de medewerker die ontwikkeling en toepassing van TestVision in het takenpakket heeft belast met oneigenlijk docentenwerk. Door het beheer van de vragen en de examens bij de docent te leggen wordt de verantwoordelijkheid van de docent voor het examen duidelijker. De gewoonte om bij electronische toetsing deze taken uit handen te geven zal moeten veranderen om deze werkwijze geaccepteerd te krijgen.

13

-

Voor het afnemen van toetsen bij grote groepen studenten is een grote zaal nodig, het zou wenselijk zijn als de UU centraal een grote zaal inricht met computers die voor elektronisch toetsen kan worden ingehuurd inclusief de daarbij behorende technische support.

4.7 Schets van toepassingsscenario elektronische toetsafname UMCU - dOO Betrokkenen

-

Coördinator beheert eigen vragenbank, ontvangt vragen van docenten. Secretariaat van coördinator is intermediair tussen coördinator en toets ondersteuner en regelt communicatie met studenten. Centrale toetsondersteuner beheert examenprogramma, plaatst examens en genereert toetsresultaten. Onderwijskundige ondersteuning en advisering

Fromatieftoetsen

-

Coördinator stelt examen samen en levert die aan om centraal te worden afgenomen. Secretariaat geeft gegevens studenten door en communiceert met studenten. Centrale ondersteuner plaatst examen en zet het klaar voor groep. Examen kan worden afgelegd in studielandschap. Technische ondersteuning is op afroep beschikbaar , wie? Na het examen kan de student het examen en de feedback op de antwoorden bekijken

Summatief toetsen

-

-

-

Coördinator stelt toets samen en levert die aan om centraal te worden afgenomen. Secretariaat reserveert examenruimte, surveillant en geeft gegevens studenten door. Centrale ondersteuner plaatst examen en zet het klaar voor groep. Examen wordt afgenomen in zaal met pc’s, en/of meerdere zalen met pc’s en/of studielandschap en/of zaal met laptops afkomstig uit een mobiele kar met laptops en/of zaal van de UU met pc’s of laptops. Bij het examen zijn surveillanten aanwezig en is technische ondersteuning op afroep beschikbaar. Open vragen moeten worden nagekeken, hier zit vaak een hele logistiek aan vast, als er een beoordeling door het toetsprogramma is gedaan moet deze gecontroleerd worden. Na het examen worden resultaten verwerkt door centrale ondersteuner en naar het secretariaat/coördinator verstuurd. Inzien van gemaakte examen door studenten wordt door secretariaat ondersteund. Coördinator verbetert op basis van vraagscores de vragen in de vragenbank en geeft wijzigingen door aan docenten.

Voorwaarden

-

14

Divisies betalen dOO voor ondersteuning door centrale ondersteuner en gebruik van computers, computerzalen en surveillanten. Divisies zorgen voor coördinator, docenten en functionerend secretariaat. dOO zorgt voor centrale toets ondersteuner en pc en/of laptops en geschikte zalen. dOO zorgt voor inroosteringsmogelijkheden van zalen en surveillanten dOO biedt onderwijskundige en inhoudelijke ondersteuning bij het maken van vragen en het opstellen en beoordelen van toetsen Voor de uitvoering van de administratie is het belangrijk dat er een koppeling is tussen de bestanden met medewerkergegevens en studentgegevens en Testvision.

Deze koppeling moet specifiek worden geprogrammeerd. Met behulp van een dergelijke koppeling kan de inschrijving van studenten en medewerkers die een toets willen afleggen worden vereenvoudigd. Ook de resultaten zullen rechtstreeks vanuit Testvision in Osiris terug kunnen worden gezet of in een portfolio van een medewerker. Tevens kan een koppeling met het kwaliteitssysteem worden gemaakt zodat er meteen een evaluatie kan worden ingevuld. Een variant in dit scenario is afname op papier van vragen die afkomstig zijn uit een elektronische vragenbank. Hierbij zal speciale aandacht moeten worden besteed aan opname van de antwoorden in het electronische bestand.. Voor elektronisch toetsen bij de UU geldt hetzelfde scenario, waarbij voor divisies faculteiten kunnen worden gelezen en centraal de UU een beheer en ondersteuningsservice kan leveren, maar het kan ook per faculteit worden opgezet.

15

5. Mogelijkheden van digitaal toetsen 5.1 Intro De manier waarop wordt getoetst hangt samen met de manier waarop het onderwijs is vormgegeven (vergelijk vakgericht onderwijs, probleem gestuurd onderwijs, competentiegericht onderwijs) en het doel van de toetsing (formatief of summatief). De dOO-UMCU omvat drie academische opleidingen geneeskunde (GNK), biomedische wetenschappen (BMW), algemene gezondheidswetenschappen (AGW) en de opleidingen van het Opleidingscentrum (OC). In deze opleidingen is aandacht voor de opbouw van een kennisbasis (met declaratieve en procedurele kennis), oplossing van praktijkproblemen en ontwikkeling van competenties. Deze worden op verschillende manieren getoetst: ict kan hierbij een belangrijke rol spelen. In de inleiding is aangegeven wat de voordelen zijn van digitaal toetsen. In dit hoofdstuk staan de mogelijkheden van digitaal toetsen centraal. De mogelijkheden worden gerelateerd aan de in geneeskunde opleidingen veel gehanteerde piramide van Miller.

5.2 Mogelijkheden Bij de beschrijving van mogelijkheden van digitaal toetsen wordt gebruik gemaakt van de piramide van Miller (1990, p. 63-67, geciteerd in van Tartwijk e.a. 2003, p. 15-17). Miller ontwikkelde een piramide waarmee de niveaus van bekwaamheid van geneeskunde-studenten kunnen worden beschreven. Een onderliggend niveau vormt steeds het fundament voor de bovenliggende laag.

Figuur 1: Millers driehoek Toelichting: Knows: het onderste niveau wordt gevormd door de kennis waarover een student moet beschikken om zijn toekomstige taken als arts uit te kunnen voeren. Knows how: de student weet hoe hij die kennis moet gebruiken bij het uitvoeren van zijn probleemoplossende taken. Shows how: de student laat zien dat hij kan handelen in een gesimuleerde omgeving, onder meer op basis van zijn kennis. Het gaat hier dus om kennen en handelen (cognitie en gedrag). Does: de student handelt zelfstandig in de complexe praktijk van alledag. Daarbij wordt een beroep gedaan op een geïntegreerd geheel van kennis, vaardigheden, houdingen en persoonlijke eigenschappen. In dit hoofdstuk worden de volgende toetsmogelijkheden beschreven: • Toetsprogramma’s met voorgestructureerde antwoorden • Toetsen met behulp van stemkastjes, mobiele telefoons en PDA’s • Adaptief toetsen • Essaytoetsing op basis van voorgestructureerde feedback • Essaytoetsing • Peerfeedback-tools • Portfolio Deze toetsmogelijkheden worden in onderstaande tabel gerelateerd aan de bekwaamheidsniveaus van Miller en vervolgens toegelicht.

16

Bekwaam-

Inhoud

Vorm

Digitale mogelijkheden

Kennis

Tentamen:

•

Toetsprogramma’s met

•

Toetsen met behulp van

heidsniveaus Knows

reproductievragen

voorgestructureerde antwoorden stemkastjes, mobiele telefoons en PDA’s

Knows how

Kennis op juiste manier

Tentamen op

gebruiken: waar moet je

basis van cases

op letten bij stellen van

•

Adaptief toetsen

•

Toetsprogramma’s met voorgestructureerde antwoorden

•

een diagnose

Toetsen met behulp van stemkastjes, mobiele telefoons en PDA’s

•

Adaptief toetsen

•

Essaytoetsing op basis van

•

Essaytoetsing

•

Peerfeedback-tools voor

voorgestructureerde feedback

schrijfopdrachten Shows how

Vaardigheid = handelen

Simulatie-

•

Peerfeedbacktool - samenwerken

in gesimuleerde

patienten,

•

Peerfeedback-tool - DIVIDU

omgeving, diagnose

assessment-

stellen na onderzoek bij

centers

gesimuleerde patient Does

Adequaat functioneren in

•

Peerfeedbacktool - samenwerken

praktijk

•

Peerfeedbacktool - DIVIDU

•

Portfolio

Digitale toets met voorgestructureerde antwoorden Digitaal toetsen met voorgestructureerde antwoorden (gesloten vragen) sluit het best aan bij de traditionele manier van (schriftelijke) meerkeuze vragen. De stap naar digitaal toetsen lijkt niet zo groot, maar de inzet van digitaal toetsen vereist een flinke voorinvestering (aanschaf software, training gebruikers, computerzalen) en samenwerking tussen docenten. Daarom komt digitale toetsing langzaam op gang. De meeste Elektronische Leeromgevingen (ELO’s als Blackboard, WebCT, zie http://www.blackboard.com/us/index.bbb’) beschikken over een toetsfunctionaliteit, maar de beveiliging en vraag– en analysemogelijkheden zijn in deze programma’s beperkt. Digitale toetsprogramma’s als Testvision (www.testvision.nl) en Question Mark Perception (http://www.stoas.nl/stoas_com/d8b2cbf34bd85b999007a875c4298359.php) worden steeds vaker in het onderwijs gebruikt. De meeste ELO’s en toetsprogramma’s beschikken over de mogelijkheid om beeld en geluid toe te voegen aan toetsvragen, bij toetsprogramma’s gaat dit gebruiksvriendelijker dan bij ELO’s. Beide type programma’s beschikken eveneens over de mogelijkheid op basis van een gegeven antwoord inhoudelijke feedback of studeeraanwijzingen te formuleren. Studenten waarderen deze mogelijkheid en vinden het prettig zichzelf (thuis of in de instelling) te toetsen: deze vorm van toetsing is motivatie-verhogend en het leereffect is groter dan bij feedback na verloop van tijd. Docenten krijgen op deze manier inzicht in de voortgang van de studenten en zijn minder lang bezig met het nakijken. De beslissing om digitaal te gaan

17

toetsen en een itembank in te richten, leidt vaak tot verbetering van de kwaliteit van toetsvragen: niet alleen in de fase van het ‘invoeren’ van de vragen, maar ook bij het analyseren van de antwoorden. De analyse geeft informatie op twee niveaus: over de kwaliteit van de meting

als geheel, en van de vragen afzonderlijk: is de meting betrouwbaar, is de toets voldoende consistent, differentieert het tentamen en de vragen in voldoende mate, is er voldoende variatie in moeilijkheidsgraad aangebracht? Het doel van de analyse is om aanwijzingen te vinden voor verbetering van de vragen en om evidentie te leveren voor evenwichtige samenstelling van nieuwe toetsen (zie verder http://www.ivlos.uu.nl/adviesentraining/aanboduniversite/toetsenenbeoorde/stappenplan /evaluatie/18404main.html). dOO-UMCU maakt gebruik van de toetsoptie in WebCT en van Testvision. WebCT wordt formatief en summatief ingezet, Testvision voornamelijk summatief. Werken met Testvision veronderstelt de inrichting van een ‘toetsmatrijs’, het invullen van zo’n matrijs (match onderwijsdoelen – toetsonderdelen) maakt de representativiteit van een toets aanzienlijk hoger. Met Testvision kunnen maatregelen worden genomen voor sequentiemanipulatie (wel/niet terugkijken). Dit type toetsprogramma’s groeit mee met gebruikerswensen (gegevens zijn goed afgeschermd, toename in vraagtypen, toename van mogelijkheden van toets- en vraaganalyse, webbased, gebruiksvriendelijkheid), en vervult vooral een functie bij toetsing van kennis en inzicht (‘knows’ en ‘knows how’). Toetsen met behulp van stemkastjes, mobieltjes en PDA’s Stemkastjes (http://www.interwritelearning.nl/interwrite_virtual_prs.php) kunnen worden ingezet bij colleges: de docent stelt een vraag en de student beantwoordt de vraag via een stemkastje (keuze uit alternatieven). De scores worden via een PowerPoint presentatie geprojecteerd. Voordeel is dat grote groepen studenten tegelijk kunnen worden getoetst, dat de volgorde van vragen vastligt -waardoor kan worden voortborduurd op bepaalde vragen/antwoorden- en dat na afloop direct feedback kan worden gegeven –bijvoorbeeld bij vragen die het slechtst zijn beantwoord-. In 2007 is in de UU een pilot uitgevoerd over stemkastjes (Paul, 2007). In het project zijn onder andere de toepassingsmogelijkheden van stemkastjes bij tentamens onderzocht. Studenten bleken erg tevreden over de inzet van stemkastjes bij proeftentamens (formatieve functie van toetsing). ‘Echte’ tentamens (summatieve functie van toetsing) met behulp van stemkastjes werden niet op prijs gesteld. Dit had onder andere te maken met het feit dat studenten (Turningpoint 2006) geen bevestiging kregen van het feit dat ze gestemd hadden. Stemkastjes kunnen ook worden ingezet bij het geven van peerfeedback, bijvoorbeeld na een presentatie van een mede-student. Mobieltjes en PDA’s kunnen worden ingezet voor dezelfde doeleinden als stemkastjes, hiermee is in Nederland nog weinig ervaring. Stemkastjes kunnen een functie vervullen bij het toetsen van kennis en inzicht (‘knows’ en ‘knows how’). Adaptief toetsten Bij computergestuurd adaptief toetsen (CAT) wordt de moeilijkheid van de toets tijdens het toetsen constant aangepast aan het niveau van de student (zie http://elearning.surf.nl/elearning/onderzoek/2321). Bij CAT krijgt de student niet in één keer een gehele toets voorgelegd: afhankelijk van de score op een beperkt aantal vragen beslist het programma om de student al dan niet vervolgvragen voor te leggen en te bepalen welke moeilijkheidsgraad dan voorgelegd wordt (lager, gelijk of hoger). Op deze manier kan met veel minder vragen een betrouwbaar oordeel worden gegeven over de beheersing van bepaalde stof door een student. Dit is van belang voor de student die veel sneller klaar is met de toets maar ook voor de toetsconstructie en docenten kan het besparingen opleveren in tijd en geld. Voordeel van CAT is dat iedere student een unieke toets krijgt voorgelegd. Dat maakt het mogelijk om studenten te toetsen op het moment dat het ze zelf schikt.

18

Adaptief toetsen vereist specifieke software, zie het programma FastTest via http://www.assess.com. Om een adaptieve toets betrouwbaar genoeg te maken dienen er veel items in de toetsbank te zitten waaruit een toets wordt gegenereerd en moeten deze items gekalibreerd zijn: het moet bekend zijn welke moeilijkheidsgraad een item heeft. Dat vergt een uitgekiende en arbeidsintensieve aanpak: de items moeten –als onderdeel van een toets- worden uitgetest op zo’n 1000 studenten (Thissen & Mislevy 2000). Dat is één van de grote struikelblokken voor het invoeren van dergelijke toetsen in het hoger onderwijs. De investering is erg hoog, waarbij – door voortdurende verandering van curricula en specifieke lokale eisen – de toepasbaarheid van een dergelijk programma klein is, zeker op een langere termijn (zie Draaijer 2004). Daarnaast worden als nadelen van adaptief toetsen genoemd: studenten vinden het vervelend dat ze niet terug kunnen kijken naar eerder beantwoorde vragen; het is niet mogelijk om studenten een toets te geven die wat betreft inhoud vergelijkbaar is (Van der Linden, 2005). Adaptief toetsen vervult voornamelijk een functie bij toetsing van kennis en inzicht (‘knows’ en ‘knows how’). Essaytoetsing op basis van voorgestructureerde feedback Software, waarin essay-opdrachten worden nagekeken op basis van voorgestructureerde feedback worden in deze rapportage getypeerd als ‘semi-geautomatiseerd’. Draaijer (2004) beschrijft twee programma’s voor het semi-geautomatiseerd nakijken, Markin en MarkThis. In Nederland is weinig ervaring met deze programma’s. De Vrije Universiteit voert pilots uit met een derde programma ‘Turnitin’ in het kader van het SURFproject ‘Proof’. • Markin Markin (http://www.cict.co.uk/software/markin) ondersteunt bij het nakijken van digitaal ingeleverde tekstdocumenten. Het biedt de mogelijkheid om tekstdelen te markeren met feedback, commentaar of hyperlinks. De docent selecteert uit het ingeleverde werk één of meerdere woorden (of zinnen) en kiest daarbij de gestandaardiseerde of zelf geformuleerde feedback die op het geselecteerde stuk van toepassing is. Het programma biedt een aantal knoppen waarmee negatieve feedback kan worden gegeven voor spelling, syntaxis, grammatica, morfologie, vocabulaire en inhoud. Verder heeft Markin een aantal knoppen waarmee positieve feedback kan worden geven. Aan elk aspect van deze feedback kan een waarde worden toegekend, zodat belangrijke aspecten zwaarder worden meegewogen dan andere aspecten. Als het werk is voorzien van feedback, kan de toets (als internetpagina) direct via e-mail naar de student worden teruggestuurd, met daarin de toegekende feedback, het cijfer en eventueel de statistieken over de feedback. Dit laatste is een soort samenvatting, zodat studenten snel kunnen zien hoeveel positieve en hoeveel negatieve feedback ze hebben gekregen. Het voordeel van Markin is dat studenten keurig geannoteerde inhoudelijke feedback op hun werk krijgen, en wel exact op de plaats waarop de feedback slaat. Nadeel is dat na het invoegen van alle feedback het programma niet de totale waarde berekent, dit blijft een handmatige taak van de docent. • MarkThis MarkThis (www.circle-of-excellence.com) is vergelijkbaar met Markin. Een nadeel van MarkThis is dat de gegeven feedback niet in de tekst komt te staan. De student ontvangt slechts de resultaten. • Turnitin Turnitin (http://www.turnitin.com/static/index.html) vervult twee functies: fraudedetectie en semi-geautomatiseerd nakijken. In het kader van dit project is de laatste functie relevant. Turnitin is –anders dan de eerder genoemde programma’s-, niet exclusief bedoeld voor de docent, maar ook voor de student (peerreview). Turnitin is wat betreft opbouw vergelijkbaar met Markin. Daarnaast biedt Turnitin de mogelijkheid om overall-categorieën te formuleren die gewaardeerd kunnen worden op en schaal van 1 t/m 5. Op deze manier voorziet de feedbackgever (docent of student) het paper van een cijfer (Kaandorp, 2007).

19

Het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij het tonen van bekwaamheid op het gebied van ‘knows how’. Essaytoetsing Sinds begin 2000 zijn er tools op de markt waarmee open vragen kunnen worden gescoord. • CODAS (Conceptuele Documenten Analyse Systemen) Codas (http://www.andromatics.nl) kan antwoorden op opdrachten en essayvraagstukken analyseren en heeft een fraudedetectie- en nakijkmodule. De nakijkmodule analyseert een klein aantal essays die handmatig zijn nagekeken. De docent kent scores toe (maximaal vier) en merkt een beperkt aantal essays daarvan als voorbeelden of tegenvoorbeelden. Deze scores worden in het programma toegevoegd, waarna CODAS alle opgaven aan de hand van deze gemarkeerde documenten ordent. De docent kan vervolgens in de ordening grenzen aangeven voor de gewenste beoordelingscategorieën. Steekproefsgewijs kan de ordening gecontroleerd en verfijnd worden. Vervolgens laat men het programma opnieuw de documenten ordenen en bepaalt de docent de cesuur. Het ordenen (nakijken) gebeurt op basis van een statistische analyse van woordfrequenties. CODAS beoordeelt de inhoud van documenten dus niet op het 'microniveau' van de precieze formulering en volgorde van zinnen, maar op een meer geabstraheerd, 'hoger', 'conceptueel' niveau. CODAS heeft een aantal kenmerken die het programma lastig maken in gebruik: minimale grootte van de essays is 300 woorden, betrouwbaarheid en tijdwinst gaan spelen vanaf 50 essays, het taalgebruik van populatie dient homogeen te zijn, het programma werkt beter als er grote spreiding is in antwoordkwaliteit (goede en slechte essays). Door deze kenmerken kan de betrouwbaarheid niet worden gegarandeerd en is summatieve toetsing geen optie. Formatieve toetsing is eveneens geen optie: in het programma kan geen inhoudelijke feedback worden gegeven (zie Draaijer 2004). • Intellimetric Intellimetric (http://www.vantagelearning.com/school/products/intellimetric) is de eerste tool voor essay-toetsing die gebruik maakt van kunstmatige intelligentie. Daarnaast worden scores gebaseerd op ‘natural language processing’ en statistische technologie (zie Eliot 2003, p. 71 geciteerd in Dikli, 2006, p.15). De inzet van zo’n programma vraagt om training: het programma leert op basis van essays die reeds gescoord zijn door experts. De gescoorde essays, worden door de tool gebruikt als basis voor de geautomatiseerde scoring. Dikli (2006) stelt dat er 300 ‘oefen’ essays nodig zijn om te komen tot een adequate scoring. De scoring gebeurt op basis van inhoudelijke en structuur aspecten. Inhoudelijk wordt er gelet op kenmerken die te maken hebben met de inhoud / het onderwerp, de reikwijdte van het onderwerp; cohesie en consistentie; en de opbouw van het betoog. Wat betreft de structuur wordt er gelet op overeenstemming met de conventies in de taal, zinscomplexiteit en variëteit. Het grootste bezwaar tegen Intellimetric zijn de kosten. De opstartkosten voor het nakijken van een essay (300 trials) zijn € 8.000,-. Dit maakt programma alleen geschikt voor steeds terugkerende opdrachten/essays en grote aantallen studenten. Het geautomatiseerd nakijken en beoordelen van essayvraagstukken vervult een functie bij het tonen van bekwaamheid op het gebied van ‘knows how’. Tools voor Peerfeedback In het onderwijs wordt op bescheiden schaal gebruik gemaakt van peer feedback: studenten geven elkaar feedback op teksten en/of inzet (samenwerken) en/of performance. In de UU zijn twee tools ontwikkeld voor het geven van feedback, namelijk het Annotatiesysteem en de Peerfeedbacktool. Dividu is ontwikkeld in het kader van (een project van) de Digitale Universiteit. De tools zijn in eerste instantie ontwikkeld voor peer2peer-contact, maar kunnen ook door de docent worden gebruikt bij de beoordeling van studenten. • Het Annotatiesysteem

20

Het Annotatiesysteem (AS) is ontwikkeld door het IVLOS en wordt gebruikt voor het aan elkaar voorleggen van teksten voor online peer feedback (zie Van den Berg e.a., 2005; Van der Pol, 2007). Het AS is het enige systeem waarin het mogelijk is om de gegeven feedback ‘te waarderen’ (rating). Het Annotatiesysteem werkt heel eenvoudig. In Aan de slag met het Annotatiesysteem staat precies welke stappen je moet volgen om rond te kijken, in te loggen (als docent of student), hoe je cursussen en groepen studenten aanmaakt, documenten upload (PDF) en deze in onderlinge samenwerking becommentarieert met behulp van annotaties (opmerkingen) en feedback op elkaars berichten. De tekst staat rechts op het scherm, annotaties en feedback verschijnen links in beeld. Met een rating kun je aangeven hoe belangrijk je een annotatie vindt (van 1 tot 5 sterretjes). Door de mogelijkheid op elkaars vragen en feedback te reageren ontstaat er een inhoudsgerichte discussie die helpt bij het bestuderen en verwerken van een tekst. • De Peerfeedback Tool De Peer feedback Tool is ontwikkeld bij het departement Informatica. Met de tool geven studenten elkaar feedback op aspecten van samenwerken (zie Van den Berg e.a., 2005). • Dividu DiViDU (http://info.dividu.nl) is een webgebaseerde videorepository waarin studenten en docenten hun eigen, in de beroepspraktijk opgenomen videofragmenten (van kritische praktijksituaties) onderbrengen, beschrijven en coderen met metadata. Daaraan gekoppeld zijn er drie didactische componenten: Analyse (student analyseert praktijksituaties op video, die ook theoretische concepten, zoals samenwerkend leren, illustreren); Reflectie (student reflecteert met behulp van video op het eigen handelen in een praktijksituatie en ontvangt hierop feedback van peers en begeleiders); Assessment (trainee toont eigen handelen en eigen ontwikkeling aan). In het kader van het SURF-project ‘Digitale videodossiers bij het begeleiden en beoordelen van studenten’ zijn onder andere bij de UU (Diergeneeskunde en Geneeskunde) pilots uitgevoerd waarin DIVIDU een rol speelde. In de projectrapportage is geconcludeerd dat het digitale videodossier ‘een effectief middel is voor begeleiding van studenten: het vermogen tot zelfreflectie van studenten wordt groter, de motivatie voor reflectie op het eigen handelen wordt groter, en studenten worden zich beter bewust van het eigen handelen. Het digitale videodossier geeft in de gevallen waarin ook het aspect van beoordeling aan de orde is gekomen aan dat de competenties van studenten valide kunnen worden weergegeven. Dit betekent dat het voor studenten duidelijk is welke competenties zij moeten laten zien en voor docenten op welke competenties zij hun begeleiding en beoordelingen moeten afstemmen’.1 Feedback op peers kan op verschillende manieren een rol spelen in de beoordeling: 1. de docent betrekt de feedback die de peer geeft op een medestudent, bij de beoordeling van de peer, 2. de docent betrekt de ‘reactie’ van de medestudent op de feedback bij de beoordeling van de medestudent, 3. De docent gebruikt de genoemde tools om zelf de studenten van feedback te voorzien. Het Annotatiesysteem is ontwikkeld voor peerfeedback (zie ook Turnitin), maar kan een rol vervullen bij het (semi-) geautomatiseerd nakijken en beoordelen van essayvraagstukken en vervult daarmee een functie bij het tonen van bekwaamheid op het gebied van ‘knows how’. De Peerfeedbacktool en Dividu kunnen een functie vervullen bij zowel ‘shows how’ als ‘does’ .

Portfolio-toetsing Een portfolio is een georganiseerde, doelgerichte documentatie van de professionele groei en van het leerproces van een student. Het portfolio bevat een (digitale) collectie van bewijsmateriaal waarmee de student zijn competenties, kennis en vaardigheden als

1

Meer informatie over de inzet van DIVIDU in het kader van beoordeling staat op https://www.surfgroepen.nl/sites/dividossier/handboek/Wiki%20Pages/Home.aspx

21

zich onwikkelende professional zichtbaar maakt. Het portfolio is een instrument in handen van de student (Kösters & Ritzen, 2002). Portfolio’s spelen een steeds grotere rol in het onderwijs en vervullen een belangrijke functie bij het tonen van bekwaamheid op het niveau van ‘Does’. Bij de dOO wordt reeds op diverse plaatsen gebruik gemaakt van het portfolio. Portfolio’s krijgen betekenis voor de student op het moment dat ze werken in een praktijk gerichte context (bijvoorbeeld co-schappen). Het onderzoek naar de validiteit en betrouwbaarheid van portfolio’s staat nog in de kinderschoenen: van Keulen & ter Braak (2008) geven aan dat het portfolio zowel beperkingen als mogelijkheden kent. Diverse klinische vaardigheden en de patiëntbejegening blijken bijvoorbeeld niet uit het portfolio, deze zullen via directe observatie beoordeeld moeten blijven. Cognitieve aspecten zoals het klinisch redeneren en de verslaglegging zijn wel goed te beoordelen via het portfolio. Driessen (2008) concludeert op basis van eigen en ander onderzoek, dat het portfolio een goed instrument is om reflectievaardigheden te stimuleren en te beoordelen. met acceptabele interbeoordelaarsbetrouwbaarheid. Er zijn verschillende digitale tools voor portfolio op de markt, via SURF kan een licentie worden aangeschaft voor een portfolio dat is gebouwd in SharePoint, de Uva werkt met een portfolio dat is ontwikkeld in het kader van de Digitale Universiteit. De dOO maakt (nog) geen gebruik van een digitale versie van het portfolio. Tot slot kan worden opgemerkt dat voor deze tools dezelfde voorwaarden gelden als voor eerder genoemde tools (zie ook hoofdstuk 4): licentiekosten, computers en zalen, bedrijfszekerheid, voorinvestering (waaronder ondersteuning van docenten), op termijn tijdwinst van docenten, presentatie goede voorbeelden, kwalitatief goede toetsvragen. Bijlage 1 bevat een matrix, die is bedoeld om de vraag ‘wel/niet digitaal toetsen’ te onderbouwen.

22

TOOL

MEERWAARDE

VOORWAARDE

Toetsprogramma’s met

•

toevoegen beeld en geluid

•

rechten op beeld/geluid

voorgestructureerde

•

sequentiemanipulatie

•

inrichten itembank

antwoorden

•

analyse vragen
Kwaliteitsverhoging

•

tijd beschikbaar stellen voor kwaliteitsverbetering

Toetsen met stemkastjes

Adaptief toetsen

•

formatief toetsen

•

beheer van stemkastjes is ‘nabij’

•

gerichte feedback

•

didactische ondersteuning

•

geen grote computerlokalen nodig

•

fraude-maatregelen bij

•

verhoogt interactie/levendigheid

•

iedere student unieke toets

•

kortere toetsen mogelijk

•

minder vragen

•

handig bij kennis die niet veroudert

summatief toetsen •

items uittesten op 1000 studenten

• Essaytoetsing met

•

voorgestructureerde feedback

mogelijkheid om feedback voor te

•

kies programma dat feedback

structureren

door docent en door student

•

gegeven feedback kan rol spelen in

mogelijk maakt (vergelijk

beoordeling

Turnitin met Markin).

•

op basis van feedback is waardering/cijfer mogelijk

Essaytoetsing

•

software beoordeelt essay / open vraag

•

handig bij terugkerende opdrachten en

•

programma vereist 300 oefentrials per essay

grote groepen studenten •

docent neemt slechts steekproef

Peerfeedback:

•

inhoudsgerichte discussie

schrijfproducten

•

feedback kan rol spelen in beoordeling

verantwoordelijkheid in

Annotatiesysteem

•

feedbackontvanger kan feedback

beoordelingsproces

•

student krijgt

waarderen (‘raten’) •

feedbackgever kan vragen om specifieke feedback

Peerfeedback:

•

samenwerken

studenten kunnen elkaar beter in

•

samenwerking beoordelen dan docent •

studenten in teams werken aan

student (feedback-vrager) kan zelf input leveren voor

veronderstelt onderwijs waarin een opdracht

•

beoordelingsinstrument

beoordeling van studenten betrekken bij beoordeling docent

Peerfeedback: gedrag

•

in context DIVIDU

ondersteunt analyse, reflectie en

•

veronderstelt leren in

•

intentie is om een

•

vraagt didactische

assessment van handelen in beroepspraktijk •

praktijksituaties

ondersteunt docent bij beoordeling

videorepository op te bouwen ondersteuning van de docent

Portfolio

•

geeft student verantwoordelijkheid voor beoordeling

•

•

portfolio speelt wezenlijke rol in beoordeling

beoordelen is ‘bewijzen’ (i.p.v. ‘afstraffen’)

23

5.3 Conclusie In dit hoofdstuk worden diverse mogelijkheden van digitaal toetsen beschreven. 1. Het opbouwen van kennis is een belangrijk onderdeel van competentieontwikkeling. In de praktijk blijkt dat het opbouwen van deze kennis en het meten of deze kennis verworven is, nog altijd efficiënt en effectief kan plaatsvinden via toetsvragen en toetsen (Draaijer 2004). Toetsen kunnen op verschillende manieren worden ondersteund door digitale tools. Tools zijn niet alleen beschikbaar voor het direct meten van kennis via ‘knows’ en ‘knows how’ , maar ook voor het indirect toetsen van kennis via ‘shows how’ en ‘does’. Dat betekent dat digitale toetsen kunnen worden ingezet om ieder niveau van bekwaamheid, zoals aangeduid in de piramide van Miller, te bewijzen of te checken. 2. Iedere tool heeft een specifieke meerwaarde. Deze meerwaarde kan alleen worden gerealiseerd als aan een aantal voorwaarden is voldaan. Deze zijn in bovenstaande tabel samengevat. Tot slot: Onlangs heeft het College van bestuur van de UU besloten Blackboard Next Generation UU-breed (Bb NG) te implementeren. Bb NG belooft veel op het gebied van toetsen. De inzet van digitale toetsen zal toenemen en efficiëntie opleveren als de ondersteuning goed is geregeld: hierin is een belangrijke rol weggelegd voor het IDC (onderhoud, beheer, computerlokalen, basale workshops) en het IVLOS (didactische inzet, kwaliteitsverhoging).

24

6. Wensen en beleid in UMCU m.b.t. digitaal toetsen 6.1 Algemeen Het UMCUtrecht voert al sinds de jaren 80 een actief beleid waar het gaat om electronische ondersteuning van het onderwijs. In 1999 een afdeling ICTO (ICT in onderwijs) ingesteld, in 2005 ondergebracht als team voor Onderwijstechnologie in het Expertisecentrum voor Onderwijs en Opleiding. Het accent in deze ondersteuning heeft steeds vooral gelegen op electronische leeromgeving en op hulp bij het gebruik van COO applicaties. Geleidelijk echter heeft electronische toetsing in de laatste jaren een sterkere plaats verworven. In het bijzonder het toetsprogramma TestVision wordt door de opleidingen en toenemend door andere gebruikers in het UMC toegepast. In vergelijking met andere UMC’s in Nedederland wordt in het UMCU relatief veel gedaan aan electronische toetsing. Ook worden toenemend aan voorlichting en training van docenten gedaan. Deze ontwikkeling kan anderzijds echter ook beschouwd worden als slechts een voorzichtige eerste stap in de richting van het ‘reduceren van papierwerk’ bij toetsing. Kwantitatief, in vergelijking met het aantal toetsen dat jaarlijks door opleidingen van het UMCU worden afgenomen, beslaat electronische toetsing niet meer dan enkele procenten, veelal voor kleine groepen studenten. Ook is er geen beleid van de examencommissie in deze richting. Dit EMP project beoogt een basis te leveren op grond waarvan beleid zou kunnen worden geformuleerd.

6.2 Medewerkers Er zijn drie brainstormsessies gehouden met medewerkers, studenten en leidinggevenden van de verschillende opleidingen in de dOO. De sessies waren bedoeld om de wensen van opleidingen m.b.t. papierloos toetsen /digitalisering uitgaande van de huidige situatie (toetsen) te inventariseren. Na een schets van de mogelijkheden mbt digitaliseren & toetsen kregen de aanwezigen de volgende twee vragen voorgelegd: Vraag 1: welke wensen zijn er m.b.t. digitalisering van (specifieke) toetsen? Vraag 2: wat is daarvoor nodig? Wensen Samenvattend kwamen de volgende wensen naar voren: 1. De meerwaarde van digitale toetsing zit in de feedback-mogelijkheid: instaptoets (drempel: weet student voldoende) en tussentoets (diagnostisch wat is niveau). 2. Digitale toetsing kan docenten tijdwinst opleveren, maar vraagt organisatie, afstemming (databank), ondersteuning en samenwerking. 3. De casustoetsing is een belangrijke vorm van toetsing vanwege de mogelijkheden van beeld en geluid. Deze vorm zal door steeds meer docenten worden gebruikt. 4. Toetsing van open vragen (essay toetsing) zou erg handig zijn, maar lijkt weinig reëel (zie hoofdstuk 5). 5. Toetsing met behulp van voorgestructureerde feedback (semi-geautomatiseerd) is een reële optie. 6. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en ook de mogelijkheden van de verschillende soorten vragen. 7. Gezamenlijk optrekken met andere UMC’s via landelijke SURF-projecten. Voorwaarden: 1. Ondersteuning: • gebruik toetsprogramma • inhoudelijk (onderwijskundig) • zoveel mogelijk just in time (via Doo).

25

2. Start maken met inrichten van een itembank met vragen. 3. Beschikbaarheid grote computerzalen (150 werkplekken)

6.3 Conclusie Gezien de snelle ontwikkeling van electronische en internet toepassingen in de maatschappij, waaronder de verschuiving van schrijven met de hand met pen en papier naar het gebruik van beeldscherm en toetsenbord, mag de toepassing van “paper-and-pencil” toetsen bijna als archaïsch worden beschouwd. De beperkte toepassing van computerondersteunde toetsing mag daarom enerzijds als verwonderlijk worden gezien. Deze voorzichtigheid bij de invoering ervan lijkt echter terecht. Zoals elders in deze rapportage van het EMP project Papierloos toetsen is te lezen zijn er talloze randvoorwaarden waar voldaan moet worden, ook andere, meer technische, dan die in de brainstormsessies zijn genoemd. Het is terecht dat beleid om toetsing in te voeren in dit stadium vooral moet komen vanuit individuele examinatoren die zelf verantwoordelijkheid nemen voor hun eigen toetsen. Veel docenten zijn nog onbekend met de mogelijkheden en voorwaarden van digitale toetsing op grote schaal. Het opleggen van een beleid vanuit een examencommissie zou waarschijnlijk thans tot veel problemen leiden. De resultaten van dit project kunnen echter wel beleidvorming in deze richting ondersteunen.

26

7. Het vervolg 7.1 Uitgangspunten Op basis van onderzoek naar de behoefte aan digitaal toetsen onder docenten komen onder andere de volgende punten naar voren: 1. De meerwaarde van digitale toetsing zit in de feedback-mogelijkheid: instaptoets (drempel: weet student voldoende) en tussentoets (diagnostisch wat is niveau). 1. De casustoetsing is een belangrijke vorm van toetsing vanwege de mogelijkheden van beeld en geluid. Deze vorm zal door steeds meer docenten worden gebruikt. 2. Toetsing met behulp van voorgestructureerde feedback (semi-geautomatiseerd) is een reële optie. 3. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en ook de mogelijkheden van de verschillende soorten vragen. In het artikel Twelve tips for computer-based assessment in medical education komen de volgende punten naar voren: 1. Maak duidelijk waarom digitaal getoetst moet worden 2. Gebruik een erkend software programma 3. Zorg voor adequate hardware en infrastructuur 4. Onderzoek de mogelijkheden van digitaal toetsen 5. Selecteer de vraagtypes 6. Start met een pilot maar hou rekening met schaalvergroting bij keuze van software en ondersteuning 7. Schipper niet op beveiligingsaspecten 8. Hoe er rekening mee dat technologie faalt 9. Informeer de studenten 10. Geef feedback over resultaten 11. Train de docenten 12. Evalueer de examens Aan bovenstaande punten wordt al deels voldaan in het UMCU. Een en ander resulteert tot de volgende EMP aanvraag waarin de nadruk ligt op het duidelijk krijgen door middel van onderzoek wat de meerwaarde is van verschillende vormen van digitaal toetsen in vergelijking met conventioneel toetsen, op het opzetten van een ondersteunende organisatie die het mogelijk maakt om deze vorm van toetsing ook op grote schaal adequaat en efficiënt uit te voeren en op het ontsluiten van goede voorbeelden.

7.2 EMP voorstel Ontwikkeling en invoering Digitaal toetsen Vervolg op EMP project voorwaarden voor papierloos toetstijdperk. Ontwikkeling en invoering digitaal toetsen Betrokken eenheden/medewerkers UMCU, Directie Onderwijs en Opleiding - dOO, ExpertiseCentrum - EC, afdeling OnderwijsTechnologie - OT. Martien Quaak, Sam Verdoes, Olle ten Cate, Lars van der Plank Coördinatoren en docenten van het onderwijs in Geneeskunde - GNK, BioMedische Wetenschappen - BMW, Algemene Gezondheids Wetenschappen - AGW en het OpleidingsCentrum - OC. Anke Lecluse, Cecile Ravesloot, Marijke Canninga, Saskia Mol, Joost Frenkel Projectteam:

27

Martien Quaak, Olle ten Cate, Anke Bootsma, Sam Verdoes, Cecile Ravesloot, Magda Ritzen Omschrijving project Het toenemend gebruik van digitaal toetsen wordt met dit project ondersteund. - Docenten/coördinatoren worden ondersteund met het opzetten en onderhouden van een eigen vragenbank en het samenstellen van een examen. - Voor het afnemen van de toetsen worden in dit project de mogelijkheden om op grote schaal toetsen af te nemen onderzocht (met aandacht voor fraudebestendigheid en draagbare apparatuur zoals stemkastjes). - In verschillende pilots wordt ervaring opgedaan met het afnemen van verschillende soorten toetsen (gesloten en open vragen, toetsen met voor-gestructureerde feedback) met een schaalgrootte van 60 -150 studenten. - Vergelijkend onderzoek van papieren en digitale toets. - Onderzoek van de manier van ondersteuning van de docenten bij het opzetten en onderhouden van de vragenbank en het afnemen en verwerken van de toetsen (aandacht voor toetskwaliteit). - Ontsluiten van goede voorbeelden In grote lijnen bestaat het project uit drie delen: 1. Onderzoek van de ervaringen met twee vormen van toetsing: op papier en digitaal. 2. Opstellen van een organisatieopzet waarbij de uitvoering van het digitaal toetsen is ingebed in de organisatie, afstemming met de directie ICT van de UU (o.a. vanwege toetslokalen). 3. Vervolg pilots die aansluiten bij het EMP Project Papierloos toetsen, met name gericht op de aspecten van toetsen op grote schaal en semi-geautomatiseerd toetsen. Voorwaarde Het is van belang dat het management van de dOO achter dit plan staat en bereid is om voor de uitvoering van de pilots en de inbedding van de uitvoering van het digitaal toetsen beslissingen te nemen die een continuering van de uitvoering van het digitaal toetsen waarborgen. Doel Het verder onderzoeken van de ervaringen met digitaal toetsen en het inbedden van digitaal toetsen (op grote schaal) in de organisatie. Gewenst resultaat - Een beschrijving van de onderzoeksresultaten van de vergelijking tussen papier en digitaal toetsen. - Een opzet van een organisatievorm waarin digitaal toetsen is ingebed in de organisatie. - Een evaluatie van de pilots van toetsen op grote schaal. Doorlooptijd project Start zomer 2008 en doorlopend tijdens studiejaar 2008-2009. Benodigde expertise IVLOS Onderwijskundige en strategische expertise om te komen tot een plan van aanpak en het ondersteunen en begeleiden van de uitvoering van dit project.

28

Literatuur Berg, I. van den, Pilot, A. & Admiraal, W. (2005). Peer assessment als leermiddel. Voorbeelden uit het hoger onderwijs (IVLOS-Reeks). Utrecht: IVLOS, Universiteit Utrecht. Bull, J. and Stevens, D. (1999). The use of QuestionMark software for formative and summative assessment at two universities IETI 36 (2) 128-136. Daniels, J. & Van der Vleuten, C. (2002). De rol van ICT in toetsen en beoordelen. In: Frencken, H., Nedermeijer, J., Pilot, A. en Dam, I. ten (2002). ICT in het hoger onderwijs. Stand van zaken. Utrecht/Leiden: IVLOS/ICLON, 37-51. Zie ook http://e-learning.surf.nl/e-learning/artikelen/1437. Dikli, S. (2006). An Overview of Automated Scoring of Essays. Journal of Technology, Learning, and Assessment, 5(1). Retrieved [October, 10, 2007] from http://www.jtla.org. http://www.vantagelearning.com/intellimetric/about.html Draaijer, S. (2004). Flexibilisering van Toetsing. Utrecht, Digitale Universiteit: pag. 20-21.

Adaptief Toetsen Driessen, E. (2008). Educating the self-critical doctor: using a portfolio to stimulate and assess medical students'reflection. Academisch Proefschrift, Universiteit Maastricht. Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong. Twelve tips for computer-based assessment in medical education. Medical Teacher 2008;30(7):673-678 Keulen, J. van, & Braak, E.W.M.T. ter, (2008). Beoordelen met een portfolio in de co-schappen: voldoende betrouwbaar?, presentatie NVMO-congres 2008. Kösters, J.M.P. en Ritzen, M. (2002), Educatieve faculteit Amsterdam: Portfolio's in de lerarenopleiding in Driessen, E., Beijaard, D. e.a. (ed.), Portfolio's (pp. 80-97), Groningen, Wolters Noordhoff. Langewis, E. (2008). Verslag Grassroot Elektronisch Toetsen (intern document). Utrecht: CPIO, Universiteit Utrecht. Linden, W.J. van der, (2005). A Comparison of Item-Selection Methods for Adaptive Tests with Content Constraints. Journal of Educational Measurement, Vol. 42, No. 3, pp. 283–302. Milius, J. (2007). Schriftelijk tentamineren. Een draaiboek voor docenten in het hoger onderwijs (IVLOS-Reeks Hoger Onderwijs). Utrecht: IVLOS, Universiteit Utrecht. Miller, G. (1990). The assessment of clinical skills/competence/-performance. Academic Medicine 65 (9), 63-67. Ogg, H., Beijering, J. & Moonen, J. (2004). W@@rde van E-learning. Utrecht: Digitale Universiteit. Paul, L., & Bergeijk, E. van (2007). Evaluatierapport Pilot Stemkastjes. Utrecht: Faculteit Geowetenschappen.

29

Pol, J. van der, (2007). Facilitating online learning conversations. Exploring tool and affordances in higher education. Utrecht: IVLOS, Universiteit Utrecht. Sambell, K., Sambell, A. and Sexton, G. (1999). Student perceptions of the learning benefits of computer-assisted assessment: a case study in electronic engineering, Chapter 19, 179-192 in Brown, S., Race, P. and Bull, J. (eds) Computer-Assisted Assessment in Higher Education London: Kogan Page/SEDA Tartwijk, J. van, E. Driessen, B. Hoeberigs, J. Kösters, M. Ritzen, K. Stokking en C. v.d. Vleuten, (2003). Werken met een elektronisch portfolio. Groningen: Wolters Noordhoff. Thissen, D., & Mislevy, R.J. (2000). Testing Algorithms. In Wainer, H. (Ed.) Computerized Adaptive Testing: A Primer. Mahwah, NJ: Lawrence Erlbaum Associates. Verkroost, M.J. (2002). Wel of niet geautomatiseerd toetsen? Geraadpleegd 29 augustus 2007, op de website van Digitale Didactiek: http://www.digitaledidactiek.nl/dd/toetsen/51

30

deze bijlage worden drie manieren van digitaal toetsen bekeken: De MC-toets via een toetstool (gesloten vragen). De Utrechtse VoortgangsToets (UVT) via een toetstool (korte open vragen). Inzet van tools als stemkastjes en mobiele telefoon bij gesloten en korte open vragen.

31

De nadelen van digitaal toetsen: • het invoeren van de vragen in een toetsprogramma kost extra tijd; • voor ad random samengestelde toetsen moeten veel vragen ontwikkeld worden. De mogelijkheden voor het stellen van open vragen beperkt, tenzij wordt gekozen voor essay-toetsprogramma
nadeel is dat t programma veel ‘leertijd’ nodig heeft; • een grote databank vraagt om veel ontwikkelwerk en samenwerking met collega’s, ook over opleidingen heen; • mogelijkheden m.b.t. fraude.

Algemeen De voordelen van digitaal toetsen: • tijd- en plaatsonafhankelijk toetsen; • tijdsbesparing voor docenten vanwege automatisch beoordelen; • werken met databank met toetsvragen
ad random toets samenstellen
studenten kunnen toets meerdere keren maken zonder dezelfde vragen te krijgen
vragen voorzien van moeilijkheidsniveau (goede studenten krijgen andere vragen); • een digitale toets kan veel informatie leveren voor de docenten: wie heeft de toets gemaakt en met welk resultaat, en waar zitten hiaten in de kennis van studenten. Sommige toetsprogramma’s (zoals Testvision) leveren uitgebreide analysetools waarmee onder andere de betrouwbaarheid van afzonderlijke vragen gecontroleerd kan worden. Goedkoper: bij het digitaal toetsen kan gebruik worden gemaakt van gedetailleerde kleurenfoto’s. Bij het gebruik van deze foto’s op papieren toetsen, lopen de kosten voor het drukken of printen van de toetsen al snel op; • mogelijkheid om adaptief te toetsen: d.w.z. dat het niveau van de vragen wordt aangepast aan de prestatie van studenten op eerder vragen.

Uitgangspunt: De SWOT-analyse is ondersteunend aan de keuze wel/niet digitaal (= papierloos). Het betreft toetsen die summatief (itt formatief) worden ingezet. Het betreft toetsen die digitaal kunnen worden afgenomen en/of verwerkt met speciale tools.

Deze drie manieren van digitaal toetsen worden nader bekeken: per fase in de toetscyclus is een swot-analyse uitgevoerd. Doel is te komen tot een gefundeerd besluit: wel of niet inzetten van een toetstool.

In 1. 2. 3.

Analyseschema dat ondersteunend is aan de beslissing: digitalisering van toets ja/nee (inclusief voorbeelden)

Bijlage 1 Matrix wel/niet digitaal toetsen

Toets kan worden gegenereerd uit (koppeling) toetsbank of specifiek bestand (aanvullend beeld/geluid).

Constructie

32

Afname

Voordelen digitaal toetsen.

Toetsontwerp

Inzet Multi-media.

Randomisatie, zowel op het niveau van de vraag als op het niveau van de alternatieven.

Eenvoudiger om toetsvarianten te construeren (meta-tags).

Strengths

Fase in cyclus / SWOT

Beschikbaarheid computers.

Adaptief toetsen alleen mogelijk op basis van grote investering (veel vragen, veel trialsi).

Ontwikkelen van een MCvraag kost veel docenttijd (onafh. van wel/niet digitaal).

Docenten moeten vragen invoeren en onderhouden, dit vereist: vaardigheid in omgaan met tool (zie bijv. Testvision).

Nadelen digitaal toetsen.

Weaknesses

MC-toets

Uitsluiten van bepaalde vragen via tags (bv. voor

Mogelijkheid om adaptief te toetsen (samenwerking met andere UMC’s).

Mogelijkheid om meta-tags aan vragen te koppelen (sequentieel toetsen).

Ondersteund door tool: toetsboom opstellen: duidelijkheid in relatie cursusonderdeel-toets.

Transparantie: wat moet student weten (know/know how) en hoe wordt dat getoetst (ontwikkeling vragen, beoordeling / evaluatie).

Opportunities

Netwerk ligt plat.

Let bij keuze van tool op gebruiksvriendelijkheid: wie voert vragen / antwoorden in; wie stelt toets samen; welke ondersteuning is voor wie nodig, hoeveel tijd vraagt dit?

Toetsen van kennis die snel veroudert vraagt om een tool die door docent zelf kan worden beheerd.

Threats

Statistische analyse op diverse niveaus, onder andere over de kwaliteit van de toets.

Analyse/evaluatie

-

-

-

Fraude maatregelen nodig.ii

Conclusie: Digitaliseren van een mc-tentamen is vooral zinvol wanneer: - er gewerkt wordt met verschillende varianten van een toets - beeld en geluid onderdeel uitmaken van de mc-vraag - een snelle terugkoppeling naar studenten is gewenst - er controle gewenst is op de kwaliteit van de vraag en de toets

Studenten kunnen onafhankelijk van tijd en plaats resultaten inzien.

Snelle beoordeling, snelle terugkoppeling naar studenten.

Nakijken van een mc-vraag kost weinig docenttijd (geautomatiseerd).

Rapporteren

Beoordelen

Tool-vaardigheid studenten.

Beperkingen Testvision, bijv. back up tijdens afname?

Randomisatie.

Hogere kwaliteit vragen.

Aan rapportage koppelen: mogelijkheid van afspraak/spreekuur.

Cijfer toekennen op basis van score.

Updaten van vraag-en antwoordmodellen.

Mogelijkheid om vraag (fout) ter plekke aan te passen.

Ook handig voor kleine groepen studenten.

hertentamen).

-

-

-

Onvoldoende grote zalen op gewenst moment.

Fraude.

33

34

Constructie

Fase in cyclus / SWOT Toetsontwerp

Eenvoudiger om

Alle vragen staan in 1 database. Toets kan worden gegenereerd uit toetsbank (aanvullend beeld/geluid).

Er zijn zowel bij ontwikkeling als beoordeling veel mensen betrokken!

Ontwikkelen van een open vraag kost minder tijd dan ontwikkelen van een mcvraag.

Ondersteund door tool: toetsboom opstellen: duidelijkheid in relatie cursusonderdeel-toets. Inhoudelijke check is mogelijk door coördinator van de UVT.

Tool moet mogelijk maken om vragen toe te kennen aan

Digitaliseren van correctie (nakijken van open vragen door computer=essaytoetsingvi) levert nog meer winst op (evt. aanvullen met vangnet van docenten bij uitschieters).

Digitaliseren van afname levert tijdwinst op (antwoorden invoeren in toetstool, makkelijker leesbaar).

Ontwikkelen van vragen (afstemmen tussen docenten) en toetsconstructie via toetstool levert tijdwinst op.

Opportunities

Docenten moeten vragen invoeren en onderhouden, dit vereist: vaardigheid in omgaan met tool (zie bijv. Testvision).

UVT via Testvision: veel klikwerk. v

Weaknesses

Strengths

Toets met open korte vragen: de UVTiiiiv

Door tussenkomst tool, minder betrokkenheid docent (minder aandacht voor updating vragen), meer aansturing van coördinator nodig.

Let bij keuze van tool op gebruikersvriendelijkheid en leertijd: wie voert vragen / antwoorden in; wie stelt toets samen; welke ondersteuning is voor wie nodig?

Kosten en leertijd van tool voor ‘essaytoetsing’ (benodigde aantallen testen / studenten is 300): bij UMCU te weinig studenten om gebruik rendabel te maken.

Indien wordt gekozen voor essaytoetsing: open vragen laten zich lastig automatisch beoordelen. Het ‘leren’ van het toetstool vraagt veel trials en inzet (bijsturing!) van docent.

Threats

Beoordelen

Afname

Snelle beoordeling (antwoorden digitaal beschikbaar), snellere terugkoppeling naar

Tijdsbesparing voor docenten: antwoorden zijn leesbaar, correctie kan eerder starten.

Beschikbaarheid computers.

Inzet Multi-media (filmpjes en plaatjes).

Bij ‘essaytoetsing’: - Tool moet input krijgen (trials) om te ‘leren’ / antwoorden te

Tool moet mogelijk maken om antwoorden toe te kennen aan verschillende docenten (Testvision=probleem).

Back-up tijdens correctie.

Mogelijkheid om als antwoord een plaatje te tekenen (meestal niet aanwezig in toetstools).

Tool-vaardigheid studenten.

Fraude maatregelen.

Beperkingen Testvision, bijv. back up tijdens afname?

verschillende docenten (Testvision=rechtenstructuur is onvoldoende fijnmazig).

Studenten voeren antwoord in de tool in.

Randomisatie: volgorde vragen (cases).

toetsvarianten te construeren (meta-tags).

Updaten van vraag-en

Inzicht krijgen in tijd die het kost om vraag na te kijken (relatie bep. type vraag-correctietijd?).

Bij ‘essaytoetsing’: docenten (tijd) eventueel alleen inzetten in gevallen van twijfel of extreme scores.

Mogelijkheid om vraag (waarin fout zit) ter plekke aan te passen.

Handig voor afname van kleine en grote groepen studenten.

Uitsluiten van bepaalde vragen (bv. voor hertentamen).

Voorstructureren van antwoorden.

Ontwikkelen van open vraag kost weinig tijd (vergelijk mc-vraag).

Mogelijkheid om meta-tags aan vragen te koppelen (sequentieel toetsen).

Weerstand oudere (i.t.t. jongere) docent.

Leertijd docent.

Netwerk ligt plat.

35

Onvoldoende grote zalen op gewenst moment.

Fraude.

Netwerk ligt plat.

Statistische analyse op diverse niveaus, onder andere over de kwaliteit van de toets.

Analyse / evaluatie

scoren. - Onwenselijk is beoordeling op spelfouten! -Twijfelgevallen moeten alsnog worden nagelopen door betrokken docent.

Betere kwaliteit van de vragen.

Aan rapportage koppelen: mogelijkheid van afspraak/spreekuur.

Automatische alert bij deadline correctie (mogelijk bij alle tools?).

Cijfer toekennen op basis van score.

antwoordmodellen.

36

Bij de inzet van één tool t.bv. de UVT is van belang: 1. zijn de vragen (beoordelingscheck) toe te wijzen aan specifieke docenten? 2. hoe kan een antwoord op een korte open vraag worden voorgestructureerd t.b.v. correctie door de tool?

De UVT is opgebouwd uit cases en korte open vragen (klinische en niet-klinische vragen). Deze vragen horen inhoudelijk bij elkaar. Loskoppeling van deze vragen is niet wenselijk.

Conclusie: Digitaliseren van een tentamen met korte open vragen is vooral zinvol wanneer: - er gewerkt wordt met verschillende varianten van een toets - beeld en geluid onderdeel uitmaken van de korte open vraag - een snelle terugkoppeling naar studenten is gewenst - er controle gewenst is op de kwaliteit van de vraag en de toets

Studenten kunnen onafhankelijk van tijd en plaats resultaten inzien.

Rapporteren

Correctie via print: alle antwoorden op 1 vraag kunnen worden geprint.

studenten.

Constructie

Afname

Docenten moeten vragen invoeren en onderhouden, dit vereist: vaardigheid in omgaan met tool en powerpoint

Toetsontwerp

Geen computers / zalen nodig

Randomisatie en fraude maatregelen zijn niet nodig

Inzet Multi-media

Geen meta-tags nodig.

Strengths

Voordelen stemkastjes/mobiel: de totaal score kan direct worden gepubliceerd

Fase in cyclus/SWOT

Studenten zien toets vraag voor vraag en missen het

Stemkastjes, mobieltjes en ondersteunend materiaal nodig, bijvoorbeeld laptop met verwerkingssoftware, beamer (uitschrijven).

Toetsvraag wordt geknipt/geplakt uit toetsbank.

Ontwikkelen van een MCvraag kost veel docenttijd (onafh. van wel/niet digitaal).

Studenten werken niet vanuit overzicht van alle vragen (hebben geen controle)

Weaknesses

Door gebrek aan overzicht: sequentieel toetsen mogelijk

Ook handig voor kleine groepen studenten

Mogelijkheid om handmatig adaptief te toetsen (bijv. bij totaalscore ≥ x)

Mogelijkheid om sequentieel te toetsen. Vragen worden na elkaar geprojecteerd.

Mobielnetwerk aanleggen ivm voorkomen van smskosten

Toetsen zijn heel eenvoudig up-to-date te houden door docent.

Transparantie: wat moet student weten (know/know how) en hoe wordt dat getoetst (ontwikkeling vragen, beoordeling / evaluatie).

Opportunities

Toetsen met stemkastjes / mobiele telefoons Threats

37

Mobiel: kosten voor student of kosten m.b.t. campusprovider

Stemkastjes: verveelt snel

Ter plekke mogelijkheid om te besluiten om vragen wel/niet in te zetten: duidelijkheid in relatie cursusonderdeel-toets.

Kosten: stemkastje aanschaffen? Kosten voor mobiel?

Studenten zijn onzeker over techniek (komen de antwoorden goed binnen)

Nodig? Studenten kunnen onafhankelijk van tijd en plaats resultaten inzien

Statistische analyse op diverse niveaus (o.a. meer informatie over kwaliteit van toets)

Rapporteren

Analyse/evaluatie

-

Beoordelen van open vragen (antwoorden) kost veel tijd.

Geen directe terugkoppeling op individueel niveau

Hogere kwaliteit vragen

Nodig? Aan rapportage koppelen: mogelijkheid van afspraak/spreekuur

Ter plekke kan worden besloten om bepaalde onderwijsonderdelen wel/niet te intensiveren

-

38

Inzet Digitaal potlood (electronic pencil). The pencil has a connection with a computer. Google did not give any meaningful results on electronic pencisl. In the key note presentation ALTc2007, the Anoto pen was mentioned. Anoto® digital pen/paper system that captures handwriting in digital form. The pen makes a pattern of tiny dots, which are too small to see in normal use - the paper just looks slightly off-white. The pen has a camera which reads the dot pattern and records exactly where the pen is on the page - 70 times a second, to the nearest 0.3 mm This means that you have a digital record of what was written that can be analysed, for example to score a questionnaire or

Let op: e.e.a. behoeft aanvulling op basis van info over stemkastjes en inzet mobiele telefoons..

Nakijken van een mc-vraag kost geen docenttijd en directe terugkoppeling op groepsniveau (geautomatiseerd).

Beoordelen

overzicht; het verloop van de toets wordt volledig door de docent gestuurd studenten kunnen zelf het tempo niet bepalen en niet teruggaan naar eerdere vragen

cognitive test automatically. Data are transferred to a PC via a docking cradle (or Bluetooth etc) and the resulting score is worked out automatically, without manual transcription. http://www.penscreen.com/Digital%20Pen.htm

39

Winer & Mislevy (2000): It is impossible to field an operational adaptive test with brand-new, unseen items; all items must be pretested with a large enough sample to

Fraude maatregelen: vragen in random volgorde, alternatieven in random volgorde, inloggen op bepaalde tijd of voor bepaalde tijdsduur, alleen vanaf de

De UVT: Per toets (20 vakgebieden), die 3 keer per jaar wordt aangeboden aan 4de en 5de jaars Geneeskunde studenten, worden er 40 vragen in de vorm van casuïstiek

Testvision vereist veel klikwerk: Voorbeeld 1: een toets klaarzetten op het web: Inloggen op Administratieve module
eerder gemaakte CSV-file met studentgegevens

40

scoring scale and the wisdom of the human raters: 300 essays are required for training (Dikli, 2006, p. 23).

vi IntelliMetric™ needs to be trained with a set of pre-scored essays with known scores assigned by human raters. These essays are then used as a foundation to extract the

website
Uploaden toets

inlezen
Inloggen op TestVision
Eerder samengestelde toets toewijzen aan studenten
Inloggen op Internetmodule
Toets exporteren
Inloggen op TestVision

v

aan de toets en om door te mogen naar het 6de jaar.

worden deze gedeelten weer samengevoegd. Per antwoord zijn er 3 punten te verdelen. De student heeft minimaal een 5 nodig als gemiddelde van de laatste 4 deelnames

antwoorden van studenten op deze casuïstiek worden vervolgens fysiek in tweeën gesplitst en per docent, die ook de vragen aangeleverd heeft, beantwoord. Vervolgens

gesteld en per casus is er een klinische en een biomedische vraagstelling. De voorzitter van de Examencommissie geeft opdracht voor het aanleveren van de vragen. De

iv

computerleerzalen, checken door surveillanten of inlognaam klopt met hun collegekaart, onmogelijk module te verlaten, onmogelijk te internetten.

ii

composed of unscored pilot test items.

obtain stable item statistics. This sample may be required to be as large as 1,000 examinees. Each program must decide what percentage of the test can reasonably be

i

Algemene conclusies m.b.t. inzet van een toetsbank (i.t.t. tentamenvarianten): • een toetsbank (veel toetsvragen) inrichten is vooral zinvol voor grote studentaantallen (ontwikkeltijd). • een toetsbank is zinvol wanneer meerdere docenten zijn betrokken bij het onderdeel / de toetsing (beheer) • een toetsbank inrichten is zinvol wanneer vragen om een of andere reden voorzien moeten worden van een meta-tag (bijv. specifieke volgorde)

Voorwaarden bij inzet van toetstools: - Ondersteuning en tijd voor docent - Gebruiksvriendelijke tool - Opzetten databank met toetsvragen (samenwerking)

ALGEMEEN:

Bijlage 2 Verslagen brainstormsessies 4 febr. 08 Resultaten brainstorm GNK ‘mogelijkheden digitaal toetsen’. Aanwezig: T.W. van Haeften, P.H. Steenbergh (Paul), C. van Hoven (Celine), A.L. Bootsma (Anke), G. Croiset (Gerda), A.H. Verdoes (Sam), M.J.Quaak (Martien), F. Landsman (Fraukje), W.P.M. Hols (Willie) en M. Ritzen (Magda). Mogelijkheden mbt digitaal toetsen: Algemeen Voordelen: Casus toetsing – realistisch (6 groene stippen= goed idee Audiovisuele mogelijkheden (5 groene stippen) In te zetten als staptoets bij blok (is beginniveau goed genoeg, o.a. bij co-schappen) (5 groene stippen) Adaptieve toetsen handig, bijvoorbeeld tav de UvT (proeftest) en Farmacotherapie (3 niveau’s) (3 groene stippen) Kwaliteitsanalyse (2 groene stippen) Mogelijkheid van databank (met andere UMC’s?) (1 groene stip) Alle toetsen digitaal en gevarieerd, behalve clinical skills (2 rode stippen=minder goed idee) Formatief: voordeel voor studenten: feedback-optie is verrijkend, want beeld krijgen van eigen niveau en beeld krijgen van waar het in het betreffende blok om gaat (4 groene stippen) Voordeel voor docenten: zicht krijgen op hiaten in de groep (1 groene stip) Summatief: voordeel voor docenten: • open vragen na laten kijken • ondersteunende vakken toetsen • toetsen van open vragen: KLO, Kennisvragen en histologie, pathologie, CT-scan, afbeeldingen. Voorwaarde: heen en weer springen tussen vragen moet mogelijk blijven Voorwaarden: 1. Ondersteuning: • gebruik toetsprogramma • inhoudelijk (onderwijskundig) • zoveel mogelijk just in time (via Doo). 2. Start maken met inrichten van een databank met vragen. 3. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en ook de mogelijkheden van de verschillende soorten vragen. 4. Gezamenlijk optrekken met andere UMC’s via SURF-projecten. Conclusie: - De meeste aanwezigen vinden Casustoetsing de belangrijkste vorm van toetsing. Digitaal toetsen ondersteunt dit doordat er plaatjes en bewegend beeld toegevoegd kunnen worden. - Digitale toetsing is handig omdat het meerdere functies kan vervullen en feedbackmogelijkheid heeft: instaptoets (drempel: weet student voldoende) en tussentoets (diagnostisch wat is niveau). - Digitale toetsing kan docent werk uit handen nemen, maar vraagt organisatie, afstemming (databank), ondersteuning en samenwerking.

41

13 mei 08 Resultaten brainstorm AGW en OC ‘mogelijkheden digitaal toetsen’. Aanwezig: Roely Witvoet (OC), Corinne Vollbehr (OC), Jeroen de Groot (AGW), Truus van der Hooft (AGW), Jaap van der Bijl (AGW), Claudia Gamel (AGW), Martien Quaak (Expertisecentrum) en Magda Ritzen (IVLOS). Mogelijkheden mbt digitaal toetsen: OC (2 personen): • Alle kennis digitaal toetsen (Testvision) (2 groene OC-stippen). • bij schrijftoetsen: mogelijkheid om te controleren op ongeoorloofd hergebruik (fraude door hergebruik van voorgaande jaren) (1 groene stip). • Digitaal portfolio inzetten: summatief en formatief. AGW (4 personen): • Twijfels over zin / mogelijkheden van digitaal toetsen bij het opzetten van onderzoek, opstellen van een onderzoeksverslag, schrijven van een artikel. Mogelijkheid: peerfeedback via tool! • Digitale ondersteuning (essay toetsing) bij het onderdeel ‘Kwaliteit van Zorg’ (studenten schrijven een samenvatting en een betoog) beoordelen studenten zichzelf a.d.h.v. het ideale (voorbeeld) antwoord. Pilot loopt. (1 groene stip). • Digitale correctie / feedback van open-vragen (3 groene stippen, waarvan1 van OC) • Toetsing waarin student kan laten zien wat hij weet: dit is een kwaliteitsaspect, toets sluit niet goed aan bij inhoud cursus. • Checklistpunten (criteria) die door een (toets)programma worden omgezet in een waardering / scoring (2 rode stippen) • feedback-optie is verrijkend, want beeld krijgen van eigen niveau en beeld krijgen van waar het in het betreffende blok om gaat (2 groene OC-stippen). Voorwaarden: OC: 1. Ondersteuning is goed geregeld (Lars en Sam), maar graag meer inzicht in mogelijkheden van het programma. Nu voelt men zich te afhankelijk van ondersteuners (scoring is weinig doorzichtig, enz.). Men wil het zelf doen (opm. dit is ook de bedoeling). 2. Te weinig computerzalen beschikbaar op gewenst moment (aantal computers is geen probleem = 30 studenten per keer) ( Er is ook een keer in het Studielandschap een toets afgenomen). AGW: 1. Essay toetsing : betrouwbaar programma ontbreekt, evenals massa (voldoende trials i.v.m. leercurve van programma) 2. Ontsluiten van goede voorbeelden waarin de kracht van het digitaal toetsen duidelijk wordt en ook de mogelijkheden van de verschillende soorten vragen. 3. Gezamenlijk optrekken met andere UMC’s via SURF-projecten. Conclusie: • OC en AGW: Digitale toetsing kan docent werk uit handen nemen, maar vraagt organisatie, afstemming (databank), ondersteuning en deskundigheidsbevordering van docent. • Het OC is al vanaf 2006 bezig met kennistoetsing via Testvision en merkt duidelijk meerwaarde (tijdwinst, kwaliteitscontrole). • AGW (enige opleiding in Nederland) ziet vooral mogelijkheden in essay-toetsing, een programma corrigeert de antwoorden op korte open vragen (wellicht t.z.t. ook op lange open vragen –artikelen-, maar daar is onvoldoende massa voor). Divers: Er ontstond een gesprek naar aanleiding van het feit dat studenten de toets soms niet goed afgestemd vinden op de kennis die de student in het blok heeft verworven. Dat heeft voor een deel te maken met een onvolledige match onderwijsinhoud – toets, maar er kan ook worden nagedacht over manieren waarop studenten hun kennis beter kunnen etaleren. Dit kan via een portfolio, maar wellicht zijn er meer mogelijkheden.

42

2 juni 08 Resultaten brainstorm BMW ‘mogelijkheden digitaal toetsen’. Aanwezig: Astrid Freriksen (opleidingscoördinator) , Elly Holthuizen, Marloes Letteboer, Paul Steenbergh, Isabel Thunnissen, Steven Bream (student), Evelien Berends (student), Martien Quaak (Expertisecentrum) en Magda Ritzen (IVLOS). Mogelijkheden mbt digitaal toetsen Nakijken open vragen: • Criteria voor beoordeling moeten zinvol / compleet zijn • Korte lijnen (niet complex): opzetten van een vragenbank moet makkelijk uitvoerbaar zijn • Just in time: nakijken van vragen moet snel uitvoerbaar zijn • Samenwerken binnen de opleiding en tussen opleidingen (is ook belangrijk buiten digitale toetsing) • Tekeningen en formules moeten ook beoordeeld kunnen worden • Inzetten computer bij open vragen in de zin van ‘voorselectie’. Mogelijkheid om tijdens tentamen digitale bestanden in te kunnen kijken (en af te kunnen sluiten). Mogelijkheid van een ander type vragen • Verschillende niveaus • Interactief / simulaties (BMS) • Compiler
check Mogelijkheid van verschillende soorten toetsen • multiple choice • open vragen elektronisch nakijken • open vragen handmatig nakijken, afname digitaal2 Vraag: tot wanneer kun je spreken van ‘open vragen’? Valt een voorgestructureerd antwoord hier ook onder? Opmerking: Op zich krijgt men voldoende tijd om een tentamen (met open vragen) na te kijken, maar iedereen voelt een enorme werkdruk en een tentamen moet binnen 10 werkdagen nagekeken zijn! Voorwaarden: Goede computerzalen (wat betreft grootte). Nu zijn er te weinig computerzalen beschikbaar op een gewenst moment. Toets in het Studielandschap is niet ideaal! Let op privacy van student bij het maken van de toets (‘afkijken’) Let op poorten die open/dicht moeten staan en programma’s die afgegrendeld moeten zijn. Conclusie: • Digitale toetsing kan docent werk uit handen nemen, vooral als dat kan met ‘open vragen’. • BMW ziet vooral mogelijkheden in digitale mogelijkheden bij toetsing van ‘open vragen’, een programma corrigeert de antwoorden op korte open vragen.

2

Studenten schrijven minder op wanneer ze de antwoorden digitaal moeten invoeren.

43

Bijlage 3 Tips om fraude te voorkomen Elly Langewis, 2008.

Toetsconstructie: randomisatie 1. Vragen in random volgorde • Eventueel klusters van gerandomiseerde vragen • Eventueel random trekken uit één of meerdere groepen vragen 2. Vraag zelf in random vorm • Alternatieven in random volgorde • Inhoud in random variatie (bv. links/rechts , of licht/donker verwisselen etc) 1. Niet bij alle vragen mogelijk 2. Exponentiële groei aantal varianten bij meerdere te verwisselen begrippen 3. Goede antwoord is daardoor niet hetzelfde voor elke variant Inloggen 3. Inloggen op bepaalde tijd • Ervóór: alleen docenten/studentassistenten • Erna: alleen mogelijk (eigen) antwoorden te bekijken • Checken van datum + tijd via de server, niet de locale pc (meestal alhet geval) 4. Alleen vanaf de computerleerzalen • Inloggen met een paswoord dat pas ter plekke wordt uitgereikt • Checken van collegekaart met inlognaam 5. Inloggen voor beperkte tijdsduur • Bij herstarten midden onder de toets wordt gebruikte tijd weer afgetrokken • Herstarten met goedkeuring docent 1. Docent moet dan ook ID en password geven • Waarschuwing ruim van te voren • Afmaken van huidige vraag • Aan einde tijd automatisch alle ongemaakte vragen fout Tijdens de toets 6. Onmogelijk module te verlaten • Geen taakbalk beschikbaar • Geen alt-tab mogelijk • Window schermvullend 7. Onmogelijk te internetten • Niet altijd af te schermen • Door surveillanten controleren

44

Bijlage 4 Twelve tips for computer-based assessment in medical education Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong.

Notes on contributors W.P.M. Hols-Elders, MSc is associate professor at the Center for Research and Development of Education at the University Medical Center Utrecht in the Netherlands. P.M. Bloemendaal, MSc is assistant professor at the department of Surgery at the Leiden University Medical Center in the Netherlands. N.R. Bos, MSc is E-learning consultant at the Academic Medical Center – University of Amsterdam in the Netherlands. Dr. M.J. Quaak is senior consultant at the Center for Research and Development of Education at the University Medical Center Utrecht in the Netherlands. R. Sijstermans, MSc is E-learning coördinator at the Academic Medical Center – University of Amsterdam in the Netherlands. Dr. P.G.M. de Jong is staff adviser E-learning at the Center for Education in Internal Medicine at the Leiden University Medical Center and chair of the NVMO Special Interest Group on E-Learning in the Netherlands.

All contributors are member of the Special Interest Group on E-learning of the Netherlands Association of Medical Education

Correspondence: Willie Hols-Elders, MSc Center for Research and Development of Education University Medical Center Utrecht P.O. Box 85090, HB4.05 3508 AB Utrecht The Netherlands Email: [email protected]

Word count: 3449

Willie Hols-Elders, Peter Bloemendaal, Nynke Bos, Martien Quaak, Roel Sijstermans, Peter de Jong. Twelve tips for computer-based assessment in medical education. Medical Teacher 2008;30(7):673-678

45

Abstract The use of computers in education in general and in medical education in particular is nowadays well established, but the use of computer-based assessment (CBA) in higher education lags behind. In this article we explore the reasons for this situation and provide tips for teachers to guide the introduction of CBA, based on our experiences. Attention is given to benefits and drawbacks of CBA hardware solutions, the choice of software, types of test questions, security, instructing students and teachers and evaluation.

Introduction Since decades, the use of computers in medical education, and in higher education in general, has become common in all sorts of settings, be it for classroom teaching, self-directed learning or other purposes (Kulik, Kulik and Cohen 1980; Sargeant 2005). By now, many handwritten activities have been replaced, and even in clinical settings electronic patient records rapidly replace scribbled dossiers. The era of written books is gradually transforming to an era of electronic media. Their use for assessment purposes however seems to lag behind. In most medical schools, paper-and-pencil tests are still common or even the only form of knowledge assessment, even though CBA can have clear advantages (Cantillon et al. 2004; Peterson et al. 2004; Hayes et al.1996; Grunewald et al. 2004; Kronz et al. 2000). CBA opens new ways for place-independent and time-independent testing; it provides possibilities for purposeful sequencing of questions; it gives the option to work with images, still or moving; to adapt the composition of tests to previous performances of the student; scores can rapidly be calculated and tailored feedback can be given to individual students, to name just a number of advantages. Even skills such as communication proficiency can be tested with computers (Hulsman et al. 2004; Kennedy et al. 2008; Salpeter 2003). Students have been found to appreciate CBA (Ogilvie et al. 1999; Sambell et al. 1999; King 1995; Johnstone 2006). The use of computers inherently makes the process of assessment subject to automation, can help relieve faculty from an administrative and time consuming burden, while potentially enhancing the test quality (Johnstone 2006; Doukas & Andreatos 2007; Bull & Collins 2002). In the Netherlands, CBA is still exceptional in undergraduate medical education, particularly for summative purposes, and we believe that this reflects the situation in many countries. Why is this the case? Several causes can be identified, such as the lack of technical knowledge and skills to develop CBA among medical teachers and no time or need felt to acquire this knowledge, a lack of resources and a lack of computer facilities to execute CBA. But we do observe a gradual increase of interest in CBA. With the following twelve tips, we want to share our experiences so far. We do not want to suggest that transforming the habit of paper-and-pencil testing to CBA is easy, particularly with large numbers of students. On the contrary, using computers for assessment of students on a large scale is a complex task and campus wide implementation is a challenging endeavour. Many aspects must be taken into account before CBA can be effectively and efficiently incorporated in the curriculum.

46

Tip 1 – Make explicit and communicate why CBA should be introduced It is important to determine why CBA is beneficial to the institution. Implementing CBA brings about investments in technology and human resources. Many individual teachers are not in a position to provide these conditions. There needs to be a plan, and it needs to land on the desk of the managers who decide. Convincing reasons are a necessary foundation of the plan. Which benefits can be listed? Assessment can be performed independently of time and place. You may like to give students the possibility to test their own level of knowledge at a self selected moment in time. Another reason to use CBA is the possibility to automatically calculate results at the end of an exam. Using a question bank with evaluation features can help to efficiently improve the quality of education and the validity of assessments in the curriculum. Other benefits include those mentioned in the introduction. An essential distinction is the use of CBA for formative or for summative purposes. If the CBA is for self-evaluation only, questions from former exams can be re-used and feedback can be provided for optimal learning of the student. Security is not important and students can take the CBA where and when they want for quizzes or self evaluation. Frequent formative evaluation of students’ progress is a clear advantage of CBA that is not easily attained without computers.

Tip 2 - Use an established item bank Many paper-and-pencil tests are constructed in the weeks before the examination, in integrated courses often by several teachers who send draft test questions. The drawback of this procedure is that test quality may vary considerably over occasions if no stable documentation of previous tests exists and is used. The computer is an excellent tool not only to deliver tests, but to manage item and test production (De Jong et al. 1998). An item bank with a thoughtful blueprint of topics that covers all essential elements of the course can greatly enhance the content validity of tests. Consistency of similar tests over time is specifically useful in outcome based education with specified objectives. This is not a prerogative of CBA, but the computer can be very helpful to manage an item bank. From such a databank, individual questions can be re-used in time, but also cross-field examination is possible. By adding statistics on used items, the quality of questions and tests can be monitored and improved. Items in the bank must be classified with labels of relevant characteristics to facilitate a balanced composition of the test. Labels with clinical questions could refer to (a) discipline, (b) stage of the clinical encounter or key-feature that is questioned such as diagnosis, examination, treatment or complications, and (c) relevance, significance or priority of the objective (must this topic be included in every test or only sometimes?). Industry offers several item bank systems for CBA. Question Mark Perception ® is one example; EGEL and TestVision ® are other examples, used in The Netherlands. Virtual learning environments such as Blackboard ® also offer facilities for online assessment, but lack the questionbank facilities. We strongly advise medical schools to choose one established model and to build experience.

Tip 3 - Ensure adequate computer hardware and infrastructure CBA requires adequate computer facilities. Many schools now have computer rooms for students, but often they are not necessarily designed for the purpose of CBA. Enough individual

47

workstations, sufficiently separated, are needed to prevent cheating. Workstations should be incorporated in a secured network for central data storage and backup services. During an exam, a failure of the computer system and / or network, even for only a few minutes, is not acceptable. Centralized facilities offer manageable services and equipment and easy ways to keep in control of the students while performing the exam. One problem that medical schools face, when summative CBA is to replace regular tests, is the number of stations needed. If CBA happens infrequently but requires hundreds of stations, this investment may not likely be made. What other solutions are there? -

First, is a collective test necessary? If a school or a subunit has a large high quality item bank, students may be tested in small groups or individually, by drawing sample tests from the bank. If well stratified tests are drawn, they may be considered equal.

-

Second, students may be tested in shifts (Kreitler et al. 2003). If a test is given twice, in immediate sequence, communication between students may be avoided and the required hardware may be reduced to 50%.

-

Third, multiple locations may be used, as long as a network connection can be established. Even facilities that are usually not applied for education could be used. Schuwirth has described this for assessment of medical problem solving during clerkships (Schuwirth, 1998)

-

Fourth, If an adequate wireless network exists, laptop computers can be used in places where usually no computer facilities are present. These can be stored and distributed when needed, or personal devices can be used, provided that sufficient security measures are taken. In some cases, other portable devices may be used, such as PDAs.

-

Fifth, campus-wide collaboration may also alleviate the capacity problem. If your enrolment is large and other studies (law, social sciences etcetera) face the same wish to apply large scale CBA, a central location to accommodate different groups may be established.

When CBA is regularly applied, a dedicated support team is recommended to be available to set up and maintain all computerized assessments. Such team should be compiled of experts in the fields of educational technology, IT development, IT infrastructure and security with medical teachers as content experts.

Tip 4. Explore the unique possibilities of CBA CBA differs from paper-and-pencil tests roughly in two ways: (a) how it stimulates cognitive processes in students during a test and (b) how information is managed. Cognitive features of CBA that are not possible in paper-and-pencil test include the presentation of moving visual information (e.g., for items that focus on diagnosing neurological disorders, or items that require the detection of significant features in microscopic slides or in CT images), the presentation of auditory information (e.g., to recognise heart or lung murmurs), the presentation of events that change over time and interact with students’ responses (examinees may handle cases by applying medication and respond to their effects). Information management possibilities of CBA include sequential and adaptive testing. An example of sequential testing is when pass/fail decisions are to be made for groups of student with a short test. Those scoring high and low may be categorized and leave the test, while those scoring around a cutting score may be provided with an extended test to allow for a more reliable pass/fail decision. Adaptive testing means that candidates are presented with test items of differential levels, according to there immediate past performance.

48

Adaptive testing is specifically useful in formative tests. Poorly performing students may want to practice with more easy items, whereas smart or advanced student may like to answer increasingly difficult test items. Other aspects of information management in CBA include item banking, automated score calculation and psychometric analysis – these are covered in other tips.

Tip 5 - Decide on the type of questions to be used The easiest types to use are closed format items of the multiple choice family, with alternatives ranging from 2 to 5. Closed format questions can be scored automatically. Other closed format questions are matching tests. Matching items with images urges candidates to move the cursor to a spot of choice. Extended matching questions (Case & Swanson 1993) use multiple case vignettes and up to 20 alternatives to be matched with cases. Comprehensive Integrative Puzzle tests require students to match diagnostic categories with clinical scenarios (Ber, 2003) and Script Concordance Tests ask candidates to estimate the change in likelihood of a diagnosis, after the addition of particular diagnostic information (Sibert et al. 2005). Both types of matching tests have been applied with computers. When very many alternative options are provided in so-called longmenu questions, students may type an answer that is recognised from a list, which resembles a constructed response item (Schuwirth at al. 1996). Open-ended questions require students to fill in answers by typing. Computerised open ended questions tests that require expert judgement may not seem to have advantages over paper-andpencil tests, but there are a few. For one thing, reading hand written answers is avoided. Also, paper handling is not present when answers are presented on the screen. The marking may take place at convenient moments and places if the communication is web based. When short-answerquestions are used, the grouping of candidates by questions may speed up the marking and enhance its quality. Finally, if marks are entered on the computer screen, automatic scoring and psychometric analysis is easily and quickly done, which is usually not executed with paper-andpencil constructed response tests. Variation in questions in one test is no problem. There is not one type intrinsically better than another (Perkin 1999), but question format should be related to the objectives of the test. On the other hand, to guide the production of questions by several teachers it may be helpful to allow only a limited number of formats. This can also minimise confusion among students during the test.

Tip 6 - Start small but think big in the choice of software and support Making your first CBA test is thrilling and relatively simple. If successful, other teachers may join this effort in their own course, all demanding their own functionality. As the use of computer tests increases, the ability to scale up depends on the software that is used and a dedicated support team is needed. This is where scalability becomes important. Keep in mind that you will probably want to integrate several computer exams to enable longitudinal follow-up of student’s performance. Another important fact you might want to think of is the possibility to integrate your CBA software with the campus wide software, such as student administrations systems. The key word here is “open standards”. The Sharable Content Objective Reference Model (SCORM) is the international standard for the exchange of e-learning specifications, including CBA questions. We advise to choose CBA software that supports open standards in their data structure. It is not so much the functionality of the CBA software that matters, but the way data (questions, answers of

49

students, categories and so on) are stored. Create databases you can read with standard database software, to enable switching to other CBA software in the future. Always think: ‘What if my project has any success and is adopted by many other teachers?’

Tip 7 - Don’t compromise on security issues in summative tests Examination is a driving force for students. Many students will do anything to pass their exams. The majority will actually study. But what if students can pass exams in a different way? Your database with questions is hot material for your students, so you must secure the system tightly. This also holds for scores and grades. Don’t let your students come near your CBA systems at any time. Computerised information may be accessed inadvertently more easily that paper copies of exams. Some students are likely to outreach your digital capabilities! At some point in time however you will have to let your students get nearby your database with questions and answers: that is when your students take the digital examination. This is the weakest moment in the defence. One reported method used by students to copy complete exams, is to prepare the computer(s) before taking the examination. A classroom with controlled computers can prevent misuse. Some students would like to know how the database is accessed by the examination software. Be sure to protect connection properties at all times and instruct secretaries and others working with it to do the same. Another aspect of security is to avoid access by students during the examination to other computers in the network or to the Internet. This can and should be blocked. You don’t want student to pass exams by googling the answers. A last security issue is authentication. At examination time, two entities are important; the exam itself and the student taking it. The exam is controlled by the teacher, but who controls the student? How do you know the proper student is taking the test? Even when the test is taken in a similar setting as a paper-and-pencil test, you must trust that students log on with their own identity. Randomisation of questions is an advantage for a class-based computer assessment (Rawles et al. 2002). It can decrease the security risks. Many medical schools have virtual learning environments including unique email addresses for all students with corresponding passwords. It is important to provide a secure way to enter this authentication. In the future, security measures such as biometrics or security devices that generate random numbers may be used. Integration of CBA software with authentication mechanisms already in use may further secure the students’ identity. Web-based testing at a distance poses additional security challenges. Obligatory web-cameras cannot exclude fraud, and neither can the repeated asking for pass words, although this helps a bit. Summative distance tests are therefore not recommended at this stage of technology.

Tip 8 – Be sure technology works, but be prepared in case of failure Technology problems are annoying during computer assisted instruction, but intolerable during exams. As full proof electronic devices do not exist, and CBA requires a chain of conditions that should be met, all with intrinsic risks, you should be able to provide alternative testing options when problems occur. We recommend the ability to provide paper exams if necessary. A printed version and a rapid copy facility nearby may help to prevent disasters (Brown et al. 1999; Bull &

50

McKenna 1999, 2003). Students’ work should also be backed up immediately after the exam on at least one safe server.

Tip 9 – Inform and instruct students As with all exams, students must be well informed about place, conditions, rules and regulations concerning the exam. In addition, CBA may present additional challenges for them. At any rate, the time available for the test must be fully available for cognitive processing of questions and answers. Computer facilities can hamper this if students do not understand exactly what to do. Remember, most of them are stressed anyway. It is very useful to provide a mock exam beforehand and to carefully instruct all students step-by-step. Specific attention may be given to security measures, see also tip 7. During the exam, the examiner and other staff are needed to supervise and explain procedures. When the available computer facilities do not allow all students to take the exam at the same time or the same place, additional instructions are needed. During many exams, announcements are given – this information should be uniform if students are not taking the exam together.

Tip 10 - Provide feedback on results Students should preferably learn from the results of their exams. CBA has excellent possibilities to do this. During a self test, immediate feedback can be given to each question as well as scores. Feedback to answers can be adjusted and when collective tests are taken, students can be presented with personal information, contrasted with group scores. Formative tests may provide immediate and tailored feedback to the student. Summative tests, with groups of students, cannot provide feedback until everyone has finished the exam. With CBA it is possible to give summative scores and grades straight after the test. In case the teacher wants to make some adjustments, based on raw scores, grades may be communicated at a later stage. Other feedback may include a descriptive summary of the test, with suggestions for further reading.

Tip 11 – Train teachers The effort teachers to master the technology is often underestimated in ICT rich environments if they are not well trained (Singer et al. 2000). Busy teachers need convenient ways to get acquainted with CBA. A one afternoon hands-on teacher course on how to start computer based testing is usually enough to get teachers thrilled about the possibilities. Let them bring their own test questions and apply them with a step-by -step instruction, to ensure that CBA training has maximum benefit (Margerum-Leys & Marx 2002).

Tip 12 - Evaluate exams Evaluation of the quality of a test can include opinions of students and psychometric analysis of the test. Obtaining quantitative and qualitative data rapidly about the exam is one of the strongest assets of CBA. The big advantage of CBA is that the efficient managing and administration of students’ data. If a test is taken individually, as is the case when tests are individually drawn from an item bank, the psychometric information tha can be generated in limited, as reliability

51

calculations require a group of students that have taken the test. But also individual remarks to questions by students may help to evaluate the test. Many tests can be improved after the test is taken before scores are made public. Psychometric analysis can identify items with unusual properties that may be discarded, leading to more reliable test scores. Statistical results provide useful information about the knowledge of the students, the effectiveness of a particular study program and the proficiency of the teacher preparing the questions.

Conclusions Computer-based assessment offers a range of advantages: place-independent assessment in formative test, the use of multimedia, the automatic processing of results, automatic statistical analysis of exams and the reusability of questions. However, before implementing CBA many things have to be considered. Summative tests do require conditions that are sometimes harder to meet than paper-and-pencil tests. The purpose and the aimed efficiency and costs must therefore be carefully considered.before implementing CBA The choice from the wide range of offered systems makes it necessary for an institution to prioritize the above tips and moreover to involve a team of experts at an early stage in the selection of a CBA system. Establishing a dedicated support team is necessary for implemeng CBA within the institution and for the maintenance of the technical and logistic processes it brings along.

References Ber R. 2003. The CIP (Comprehensive integrative puzzle) assessment method. Medical Teacher 25(2):171-176. Brown S, Race P & Bull J. 1999. Computer-assissted assessment in Higher Education. London: SEDA and Kogan Page. Bull J and Collins C. 2002. The use of computer-assisted assessment in engineering: some results from the CAA national survey conducted in 1999. International Journal of Electronic Engineering Education 39/2: Accessed 15 April 2008, available at http://findarticles.com/p/articles/mi qa3792/is /ai n9070277. Bull J, McKenna C. 2003. Blueprint for Computer-assissted assessment. London: Routledge Falmer. Bull J, McKenna C. 1999. Testing Times, 1(1). Available at; http://www.caacentre.ac.uk/dldocs/NEWSLETTER1.pdf (Accessed 14 April 2008). Cantillon P, Irish B, Sales D. 2004. Using computers for assessment in medicine. BMJ 329:606-609. Case SM, Swanson DB. 1993. Extended-matching items: a practical alternative to free-response questions. Teaching and Learning in Medicine 5(2):107-115. De Jong PGM, Bloemendaal PM, Van Leeuwen T. 1998. Experiences with a central item bank for computer-based testing. In: The Eighth International Ottawa Conference on Medical Education and Assessment Proceedings Melnick DE (eds), vol 1. Philadelphia (USA), 2000:151-4. Doukas N, Andreatos A. 2007. Advancing electronic assessment. International Journal of Computers, Communications and Control 2(1):56-65.

52

Grunewald M, Heckemann RA, Wagner M, Bautz WA, Greess H. 2004. ELERA: A WWW Application for evaluating and developing radiologic skills and knowledge. Acad Radiol 11:1381-8. Hayes KA, Lehmann CU. 1996.The interactive patient: a multimedia interactive educational tool on the world wide web. MD Comput 13:330-4. Hulsman RL, Mollema ED, Hoos AM, de Haes JCJM, Donnison-Speijer JD. 2004. Assessment of medical communication skills by computer: assessment method and student experiences. Med Educ 38:813-824. Johnstone. 2006 Comments to Senate Committee on Education Electronic Assessment Delivery. Available at: http://www.senate.state.tx.us/75r/Senate/commit/c530/handouts06/100406.c530.Johnston e_Comments.pdf

(Accessed 14 April 2008).

Kennedy G, Gray K, Tse J. 2008. “Net Generation” medical students: technological experiences of pre-clinical and clinical students, Medical Teacher, 30 (1):10-16. King T. 1995.Using computer-aided assessment (CAA) for objective testing in higher education: a case study at the University of Plymouth 121-128 in Hart J. Innovations in Computing Teaching SEDA Paper 88, Birmingham: Staff and Educational Development Association. Kreiter C, Peterson MW, Ferguson K, Elliott S 2003. The effects of testing in shifts on a clinical incourse computerized exam. Med Educ 37:202-04. Kronz JD, Silberman MA, Allsbrook WC, Epstein JI. 2000. A web-based tutorial improves practicing pathologists' Gleason grading of images of prostrate carcinoma specimens obtained by needle biopsy: a validation of a new medical education paradigm. Cancer 89:1818-23. Kulik JA, Kulik CC, & Cohen PA. 1980. 'Effectiveness of Computer Based College Teaching: A meta analysis of findings'; Review of Educational Research, 50(4): 525-544. Margerum-Leys J & Marx R. 2002.Teacher knowledge of educational technology: A study of student teacher/mentor teacher pairs. Manchester, New Hampshire: Journal of Educational Computing Research 26(4):427-462. Ogilvie RW, Trusk TC, Blue AV. 1999. Students attitudes towards computer testing in a basic science course. Med Educ Vol. 33:828-831. Perkin M. 1999. Validating Formative and Summative Assessment, Sta and Educational Development Series 55-62. Kogan Page. Peterson MW, Gordon J, Elliott S, Kreiter C. 2004. Computer-based testing: initial report of extensive use in a medical school curriculum. Teach Learn Med. Winter 16(1):51-9. Rawles S, Joy M & Evans M. 2002. Computer-Assisted Assessment in Computer Science: Issues and Software, Research Report 387, Department of Computer Science, University of Warwick, Coventry. Warren. Available at http://www.ics.heacademy.ac.uk/ (Accessed 14 April 2008). J. Salpeter, 2003. 21st Century Skills: Will Our Students Be Prepared? Available at http://www.techlearning.com, (Accessed 14 April 2008) Sambell K, Sambell A, and Sexton G. 1999. Student perceptions of the learning benefits of computer-assisted assessment: a case study in electronic engineering, Chapter 19, 179-192 in Brown S, Race P, and Bull J. (eds) Computer-Assisted Assessment in Higher Education London: Kogan Page/SEDA.

53

Sargeant JM. 2005. Medical education for rural areas: Opportunities and challenges for information and communications technologies. J Postgrad Med [serial online] 51:301-7. Schuwirth LWT. 1998. An approach to the assessment of medical problem solving: computerized case-based testing. PhD dissertation, Maastricht University. Schuwirth LWT, Van der Vleuten CPM, Stoffels HEHJ and Peperkamp AGW. 1996. Computerised long-menu questions as an alternative to open-ended questions in computerised assessment. Medical Education 30:50-55. Sibert L, Darmoni SJ, Dahamna B, Weber J, Charlin B. 2005. Online clinical reasoning assessment with the Script Concordance test: a feasibility study. BMC Med Inform Decis Mak. Jun 20 5:18. Singer J, Marx RW, Krajcik J and Clay-Chambers J. 2000. Constructing extended inquiry projects: Curriculum materials for science education reform. Educational Psychologist 35(3): 165-178.

Acknowledgements The authors thank Elize Berg, medical student at UMC Utrecht, for providing a recent paper on computer based assessment and Ali Leijen for reviewing the article.

54

Bijlage 5 Advies inzet stemkastjes als toetsmethode Froukje Landsman, 0145440. Onderwijsstage jan-mrt 2008; Schakeljaar 07-08; Groep P1-4

Inleiding Tijdens het blok Stofwisseling III en het daaropvolgende co-schap kindergeneeskunde wonen de studenten op vrijdagochtend interactieve colleges bij. Om de interactie met docenten te bevorderen is enkele jaren terug begonnen met het gebruik van stemkastjes. Omdat studenten weinig aanwezig waren op deze interactieve vrijdagochtend, zijn de colleges sinds enkele maanden verplicht gesteld en geldt daarbij ook de eis dat 80% van alle toetsvragen op vrijdagochtend voldoende moet zijn, wil je je co-schapcijfer op Osiris ontvangen. Ter evaluatie van de stemkastjestoetsing heb ik 6 weken lang de colleges bijgewoond en heb ik een enquête afgenomen onder de studenten. De vraag die ik stelde aan het begin van deze onderwijsstage was als volgt:

Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de organisatorische voorwaarden?

Deze vraag wilde ik beantwoorden dmv de uitkomst van mijn observaties bij de responsiecolleges, de uitkomst van de afgenomen enquête onder studenten en aan de hand van een literatuuronderzoek. Helaas heb ik door gebrek aan tijd geen kans gezien om een uitgebreide literatuurstudie te doen en wil ik me in dit verslag beperken tot een advies op basis van mijn eigen observaties.

Observaties interactieve colleges TOPS 1. Meestal goede technische ondersteuning. Apparatuur werkt (grotendeels), de kaarten worden goed op naam uitgedeeld. 2. Een aantal docenten gebruikt de antwoorden om te belangrijkste punten van het college aan te stippen. 3. Enkele docenten bespreken de antwoorden direct na, dit geeft een duidelijke feedback naar de studenten. TIPS 1. De studenten overleggen veel met elkaar, het resultaat van de toets lijkt me hierdoor minder betrouwbaar 2. De handout van een van de colleges worden voorafgaand aan de toetsvragen uitgedeeld waardoor de antwoorden opgezocht kunnen worden 3. Het komt regelmatig voor dat de vraagstelling niet helder is of dat vragen slecht gesteld zijn. Enkele vragen zijn verkeerd overgenomen in de presentatie en een aantal vragen komt niet overeen met de stof die daarna behandeld werd in het college. Deze vragen werden dan ook overgeslagen.

55

4. de vragen van medische psychologie waren voor een aantal studenten gelijk aan de vragen van enkele weken terug. 5. In verhouding met het aantal colleges is er veel pauze. Enkele docenten zijn zelfs na een half uur al klaar met hun verhaal. Aan de ene kant is het prettig dat er geen lange, saaie colleges zijn, aan de andere kant kan te veel pauze ook zorgen voor een lange ochtend waarin aan het eind weinig stof wordt opgenomen. 6. Nieuwe groepen krijgen niet uitgelegd hoe het stemkastjessysteem werkt en daardoor is het iedere 2 weken onrustig in de collegezaal. Resultaten enquête voor studenten ter evaluatie van de toetsvragen

Voorbereiding interactieve colleges

aantal studenten (n=46)

25 20 15 10 5 0 0.0

0.5

1.0

1.5

2.0

2.5

3 (of meer)

voorbereidingstijd (uren) 20/46 (43%) bereidt de interactieve colleges niet voor. 22/46 (48%) besteedt een half uur tot een uur aan de voorbereiding. 4/46 (9%) besteedt 2 uur of meer aan de voorbereiding van het interactieve college.

G e b ru ik te b o e k e n t e r v o o rb e re id in g 16 14

aantal studenten (n=47)

12 10 8 6 4 2 0 L is s a u e r

F ie ld

Van den B ra n d e

L is s a u e r e n F ie ld

L is s a u e r en Van den B ra n d e

F ie ld e n Van den B ra n d e

L is s a u e r , F ie ld e n Van den B ra n d e

A n d e rs

G een

22/47 (47%) gebruikt het boek Kindergeneeskunde van Van den Brande ter voorbereiding op het interactieve college. 14/47 (30%) gebruikt geen boeken om zich voor te bereiden op het interactieve college. Illustrated textbook of paediatrics van Lissauer wordt door 16/47 (33%)

56

gebruikt in de voorbereiding. Tutorials in paediatric differential diagnosis van Field wordt door geen van de studenten als enige bron gebruikt ter voorbereiding op het interactieve college. 2/47 (4%) gebruikt dit boek icm Lissauer en eveneens 2/47 (4%) gebruikt dit boek icm met Lissauer en Van den Brande. 10/47 (21%) bereidt zich voor uit 2 of meer boeken uit de opgegeven literatuur.

aantal studenten (n=46)

Gebruik Lissauer: Illustrated textbook of paediatrics en Field: Tutorials in paediatric differential diagnosis 45 40 35 30 Lissauer

25 20

Field

15 10 5 0 aangeschaft

studielandschap

niet

15/46 (33%) heeft het boek Illustrated textbook of paediatrics van Lissauer aangeschaft. 19/46 (41%) gebruikt dit boek in het studielandschap. De overige studenten gebruiken dit boek niet. 1/46 (2%) heeft het boek Tutorials in paediatric diffential diagnosis van Field aangeschaft. 4/46 (9%) gebruikt dit boek in het studielandschap. De overige studenten gebruiken dit boek niet.

zorgen de toetsvragen voor een betere voorbereiding op de interactieve colleges?

aantal studenten (n=45)

35 30 25 20 15 10 5 0 ja

nee

geen mening

32/45 (71%) bereidt zich door de toetsvragen niet beter voor op het interactieve college. 12/45 (27%) bereidt zich beter voor door de toetsvragen op het interactieve college.

57

Toetsing

aantal studenten (n=45)

25 20

interactie met docenten

15

nut toetsing

10 overeenkomst vragen en opgegeven literatuur

5 0 altijd

meestal even vaak meestal wel wel als niet niet

nooit

geen mening

31/45 (69%) vindt dat de toetsvragen de interactie met de docenten bevorderen. 7/45 (15%) vindt dat dit even vaak wel als niet het geval is. 19/46 (41%) vindt het altijd of vaak nuttig dat de stof getoetst wordt voorafgaand aan het interactieve college. 22/46 (48%) vindt dit niet. 5/46 (11%) vindt dit even vaak wel als niet nuttig. 26/46 (57%) vindt dat de toetsvragen op vrijdagochtend meestal niet of nooit overeenkomen met de opgegeven literatuur. 10/46 (22%) geeft aan niet te weten of de toetsvragen op vrijdagochtend overeenkomen met de opgegeven literatuur. 5/46 (11%) vindt dat de toetsvragen even vaak wel als niet overeenkomen met de opgegeven literatuur. 5/46 (10%) vindt dat de toetsvragen meestal of altijd overeenkomen met de opgegeven literatuur.

aantal studenten (n=47)

Moet het toetsresultaat meetellen voor het eindcijfer v/h coschap? 50 45 40 35 30 25 20 15 10 5 0 ja

nee

geen mening

44/47 (94%) vindt het niet goed als het resultaat van de toets mee gaat tellen voor het eindcijfer van het co-schap. 1/47 (2%) vindt het wel goed als het resultaat van de toets mee gaat tellen.

Vraag 10 Voor hoeveel procent zouden de toetsscores van de vrijdagochtenden mogen meetellen voor het eindoordeel van het co-schap? 0%

58

5% 10 % 15 % 20 % 25 % Totaal: ? studenten Helaas is bij deze vraag iets misgegaan met de antwoorden van de studenten…

Bespreking Voorbereiding Gemiddeld vulden 46 studenten de enquêtevragen in. Ruim 40% van de studenten bereidt de interactieve colleges niet voor. Van de studenten die zich wel voorbereiden, besteedt 85% maximaal een uur aan de voorbereiding. Kindergeneeskunde van Van den Brande wordt door 22 studenten gebruikt in de voorbereiding. Lissauer door 10 studenten en Field door 4 studenten. Waarbij Field alleen in combinatie met Lissauer en/of Van den Brande gebruikt wordt. 14 studenten gebruiken geen boeken ter voorbereiding op de interactieve colleges. Field is door 1 student aangeschaft, 4 studenten gebruiken dit boek in het studielandschap. 15 studenten hebben Lissauer aangeschaft en nog eens 19 studenten gebruiken dit boek in het studielandschap. Concluderend wordt er weinig gedaan aan de voorbereiding van de interactieve colleges. De voorbereiding geschiedt meestal uit Kindergeneeskunde van Van den Brande. Lissauer en met name Field zijn door weinig studenten aangeschaft. Lissauer is echter wel door een kleine 40% gebruikt in het studielandschap. Dit is niet per se ter voorbereiding op de colleges. Opvallend is dat slechts 14 studenten geen boeken gebruiken in de voorbereiding op het interactieve college, terwijl er 20 studenten zijn die zich niet voorbereiden. Toetsing 41% vindt het (bijna) altijd nuttig dat de opgegeven literatuur getoetst wordt voorafgaand aan de interactieve colleges. 48% is het hier niet mee eens. 69% vindt dat de toetsvragen de interactie met de docenten bevordert. 57% van de studenten vindt dat de toetsvragen op vrijdag ochtend (bijna) nooit overeenkomen met de opgegeven literatuur. 11% vindt dat de toetsvragen even vaak wel als niet overeenkomen met de opgegeven literatuur. 22% geeft aan niet te weten of de toetsvragen overeenkomen met de opgegeven literatuur. 94% vindt het op dit moment niet goed als het resultaat van de toets mee zou gaan tellen voor het eindcijfer van het co-schap. Concluderend vindt een kleine 70% van de studenten dat de toetsvragen de interactie met de docenten bevordert. Slechts een kleine 40% vindt het nuttig dat de opgegeven literatuur getoetst wordt voorafgaand aan de interactieve colleges. Daarnaast vindt een ruime meerderheid dat de toetsvragen niet overeenkomen met de opgegeven literatuur en bijna niemand wil dat de resultaten van de toets mee gaan tellen voor het eindcijfer van het co-schap. Beantwoording vraag Hoe zouden we de stemkastjes, die gebruikt worden op vrijdagochtend tijdens de responsiecolleges, kunnen gebruiken om te toetsen voor een resultaat dat mee telt in de beoordeling van het blok stofwisseling III en het co-schap kindergeneeskunde? Wat zijn de organisatorische voorwaarden? De eerste organisatorische voorwaarde is dat er een sfeer gecreëerd dient te worden waarin de studenten gaan ervaren dat er sprake is van een toetsmoment. Nu wordt er nog veel overlegd in de collegezaal en dat maakt de uitslag van de toets onbetrouwbaar. Daarnaast viel me op dat nieuwe studenten geen uitleg krijgen over het stemkastjessysteem. Dit zorgt iedere 2 weken voor

59

onrust in de collegezaal en onbegrip bij de studenten. Het niet weten wanneer de volgende vraag komt, maakt dat studenten verontwaardigd reageren als ineens de volgende vraag voorstaat. Tevens denk ik dat de onrust in de zaal verminderd kan worden door alle toetsvragen in één keer af te nemen. Hiermee wordt voorkomen dat de 1e spreker antwoord geeft op de vragen van de 2e spreker en weten de studenten en de organisatie precies wanneer er getoetst wordt. De ‘toetssfeer’ zou je kunnen creëren door aan nieuwe studenten uit te leggen hoe het stemkastjessysteem werkt (eigen id-kaart, welke knopjes gebruiken), door één toetsmoment op de dag te hebben, door te zorgen voor stilte tijdens de toetsing en door vooraf aan te geven hoeveel tijd studenten hebben om een vraag te beantwoorden. Een tweede voorwaarde is het opstellen van een goede toets waarvan je weet wat je toetst en waarom je dit wilt toetsen. Daarbij is het belangrijk dat de toetsvragen overeenkomen met de opgegeven stof. Volgens een kleine 60% van de studenten is dit nu niet het geval. Daarnaast moet er rekening gehouden worden met de raadkans van de antwoorden, de wijze van vraagstelling en de betrouwbaarheid van een toets. Eveneens is het belangrijk om rekening te houden met het feit dat een student tijdens de toets niet meer kan terugbladeren om vragen te corrigeren of alsnog in te vullen indien het antwoord in eerste instantie niet paraat was, maar in tweede instantie wel. Een laatste voorwaarde voor de organisatie is de technische ondersteuning. Weliswaar werkte de computer en de stemkastjes meestal goed, het kwam toch geregeld voor dat enkele studenten hun stemkastje omruilden omdat deze niet goed werkten. Indien de stemkastjes als toetsmiddel gebruikt gaan worden, moet de apparatuur voor 100% functioneren en moet ook diegene die de apparatuur bediend kennis van zaken hebben. Concluderend zijn een goede ‘toetssfeer’, een valide en betrouwbare toets en goede technische ondersteuning belangrijke organisatorische voorwaarden om een betrouwbare toetsuitslag te krijgen van toetsing met gebruik van stemkastjes.

Resultaten Enquête voor AIOS ter evaluatie van de toetsvragen

Voorbereidingstijd onderwijsdag 14 aantal aios (n=27)

12 10 8 6 4 2 0 1

2

3

4

5

6

7

8

tijd (uren) 13/27 (48%) besteedt 1 uur aan de voorbereiding van de maandelijkse onderwijsdag. Eén persoon besteedde 8 uur aan de voorbereiding van de onderwijsdag.

60

Geen

Andere bron

Kindertraumatologie (Kramer)

Nelson vorige druk

14 12 10 8 6 4 2 0 Nelson 2007

aantal aios (n=28)

Gebruikte boeken ter voorbereiding op onderwijsdag

20/28 (72%) heeft ter voorbereiding van de onderwijsdag het boek van Nelson gebruikt. Twaalf (43%) AIOS gebruikten de laatste druk uit 2007. Zes (21%) AIOS hebben geen boeken gebruikt om zich voor te bereiden. Niemand heeft gebruik gemaakt van het boek Kindertraumatologie van Kramer.

Toetsvragen

aantal aios (n=28)

25 20 15

bevorderen interactie met sprekers

10

overeenkomen met opgegeven literatuur

5 0 meestal wel om het even meestal niet geen mening

20/28 (71%) vindt dat de toetsvragen de interactie met de sprekers niet bevordert. 5/28 (18%) vindt dit wel, en 3/28 (11%) maakt het niet uit. 6/26 (23%) vindt dat de toetsvragen op de onderwijsdag meestal wel overeenkomen met de opgegeven literatuur. 7/26 (27%) vindt dit niet. De overige 13 (50%) AIOS weten het niet of maakt het niet uit.

61

Mening over toetsen 30

aantal aios (n=28)

25 20

betere voorbereiding door toetsvragen

15

nuttig om stof te toetsen

10 5 0 ja

nee

geen mening

23/28 (82%) vindt dat de toetsvragen er voor zorgen dat zij zich beter op de onderwijsdag voorbereiden. 4/28 (14%) vindt dit niet. En 1/28 (4%) heeft hier geen mening over. 24/28 (86%) vindt het nuttig dat er voorafgaand aan de onderwijsdag getoetst wordt. 3/28 (11%) vindt dit niet. 1/28 (3%) heeft geen mening.

Bespreking Voorbereiding Gemiddeld vulden 28 AIOS de enquête in. Een kleine 50% van deAIOS besteedde een uur aan de voorbereiding van de maandelijkse onderwijsdag. Maximaal werd er 8 uur besteed aan deze voorbereiding. Ter voorbereiding maakt 72% van de AIOS gebruik van het boek van Nelson, de helft van deze AIOS gebruikt de laatste druk. Niemand heeft gebruik gemaakt van het boek Kindertraumatologie van Kramer. Concluderend wordt er weinig tijd gestoken in de voorbereiding van de onderwijsdag en wordt er ter voorbereiding voornamelijk gebruik gemaakt van het boek van Nelson. Toetsing Ruim 70% vindt dat de toetsvragen de interactie met de sprekers niet bevordert. Een kleine 30% vindt dat de toetsvragen niet overeenkomen met de opgegeven literatuur, terwijl een ruime 20% dit wel vindt. De andere helft heeft hier geen duidelijke mening over. Ruim 80% vindt dat de toetsvragen er voor zorgen dat zij dit beter op de onderwijsdag voorbereiden en hetzelfde percentage vindt dat het nuttig is om voorafgaand aan de onderwijsdag te toetsen. Concluderend, zorgen de toetsvragen er voor dat de onderwijsdag beter wordt voorbereid en vinden de AIOS het maken van de toetsvragen nuttig. Echter, de toetsvragen bevorderen de interactie met de sprekers niet en de overeenkomst met de opgegeven literatuur is niet duidelijk.

62

Bijlage 6 Stappenplan implementatie computer based assessment Computer-based assessment in het Medisch Onderwijs; een handleiding voor implementatie van een digitale toets in een outcome based curriculum

Elize Berg Inleiding Computers worden al sinds de jaren ’60 gebruikt bij het afnemen van toetsen. In eerste instantie bleken zij met name bruikbaar als hulpmiddel bij het formatief toetsen, maar de laatste jaren wordt internationaal in toenemende mate gebruik gemaakt van computers bij het summatief toetsen.1 Een voorbeeld hiervan is het officiële artsexamen van de Verenigde Staten dat tegenwoordig als online digitale toets wordt afgenomen (www.usmle.com). In Nederland wordt op medische faculteiten echter nog weinig gebruik gemaakt van computers bij het testen van vaardigheden en kennis, terwijl uit recente literatuur niet alleen blijkt dat computerbased assessment (CBA) even adequaat toetst als toetsen met pen op papier 2 3 , maar ook dat studenten een CBA meer waarderen dan een traditionele toetsvorm. 4 Deze gegevens in combinatie met de positie die de computer in het dagelijkse leven van de huidige student inneemt, doen afvragen waarom de opleidingsbrede implementatie van het CBA in de verschillende medische curricula tot op heden op zich heeft laten wachten. Het antwoord op deze vraag is niet eenduidig, maar laat zich deels raden uit het antwoord op de vraag hoe een digitale toets gemaakt en geïmplementeerd moet worden. Mogelijk bestaat er een lacune in de kennis en vaardigheden van examinatoren en coördinatoren met betrekking tot de huidige mogelijkheden op dit gebied. Mogelijkheden die natuurlijk per onderwijsinstelling verschillen en deels afhankelijk zijn van de beschikbaarheid van hardware en software. Dat de praktische procedure voor het implementeren van een CBA per instelling verschilt wil echter niet zeggen dat er geen algemene richtlijn of handleiding ontwikkeld kan worden.

Dit artikel hoopt te voorzien in dergelijke algemene handleiding voor examinatoren en coördinatoren die hun huidige toets met pen op papier om willen vormen naar een CBA, onafhankelijk van de mogelijkheden die de verschillende faculteiten hebben op het gebied van ICT en toetsprogramma’s.

Wat is een computer-based assessment (CBA)? Een computer-based assessment is een toets die wordt afgenomen met behulp van de computer. Waar de computer tot op heden vooral werd ingezet bij de analyse en beoordeling van toetsen middels voorbedrukte antwoordformulieren, wordt deze bij een CBA daadwerkelijk gebruikt als toetsmiddel; studenten maken de toets achter de computer. Afhankelijk van het type toetsing (formatief of summatief) wordt respectievelijk gebruik gemaakt van feedback naar aanleiding van de gegeven antwoorden zodat studenten kunnen oefenen met de stof, of wordt de feedback achterwege gelaten en een zak-slaag beslissing verbonden aan het resultaat van de toets.

63

De software De feitelijke invulling en lay-out van een CBA is afhankelijk van het toetsprogramma dat wordt gebruikt. Tegenwoordig zijn de meeste toetsprogramma’s vanuit een centrale server via een internet- of netwerkverbinding op elke aangesloten computer te benaderen. Bij de keuze voor een bepaald toetsprogramma moet onder andere gelet worden op de type vraagstellingen die het programma invulling kan geven; alleen multiple-choice vragen of ook open vragen en bijvoorbeeld key-feature vragen. Inhoudelijk hebben de meeste toetsprogramma’s gemeen dat voor het samenstellen van de toets gebruik gemaakt wordt van een itemdatabase; een gestructureerd bestand van vragen. Een outcome based curriculum leent zich bij uitstek voor het gebruik van dergelijke itemdatabase omdat gewerkt wordt met eindtermen die eenvoudig hiërarchisch gestructureerd kunnen worden (figuur 1). De toetsvragen kunnen aan deze eindtermen worden gekoppeld waardoor zij gemakkelijk terug te vinden zijn. Een onderwijsblok Chirurgie zou bijvoorbeeld in de verschillende hoofdthema’s ‘Ziektebeelden’, ‘Anatomie’, ‘ATLS’ en ‘Medicatie’ kunnen worden opgesplitst. Elk hoofdthema heeft vervolgens een eigen boomstructuur welke leidt naar de specifieke eindtermen binnen dit thema.

-

Onderwijsblok (Chirurgie) > o

Hoofdthema (Ziektebeelden) > 

Onderwerp (Galblaas en galwegen) > •

Deelonderwerp (Cholelithiasis) > toetsvraag

Figuur 1. De op eindtermen gebaseerde hiërarchische structuur van een itemdatabase.

Stappenplan Implementatie van een valide en betrouwbaar CBA is afhankelijk van een aantal factoren. Voor de introductie van het CBA is niet alleen de vakinhoudelijke kennis van docenten essentieel, ook dient de nodige expertise op het gebied van ICT aanwezig te zijn. Smart et al. ontwikkelden een vragenlijst die zou kunnen helpen bij het ontwikkelen en toepassen van een CBA.5 Deze vragenlijst is op basis van ervaringen binnen het UMC Utrecht aangevuld waar nodig en omgezet in een duidelijke, stapsgewijze handleiding voor implementatie van een CBA in een outcome based curriculum zoals dat van het UMC Utrecht. In figuur 2 wordt een samenvatting van de hieronder beschreven handleiding weergegeven. Stap 1. Vaststellen dat toepassing van het CBA meerwaarde geeft aan de toetsing. Er zijn verschillende redenen te bedenken die aanleiding kunnen geven tot het overgaan van een toets met pen op papier op een CBA. Zo zou de coördinator van een willekeurig onderwijsblok dat in een collegejaar meerdere keren achtereenvolgens wordt gegeven, maar weinig frequent en in grote cohorten moet worden getoetst, misschien de toetsfrequentie op willen voeren, liever toetsen in de kleine groepen waarin ook het onderwijs wordt gegeven of sneller de uitslag willen weten na afname van de toets om zo de doorstroom van studenten te kunnen bevorderen. Een andere reden kan zijn dat de huidige toets niet aan gestelde kwaliteitseisen voldoet of niet goed genoeg geëvalueerd kan worden. Omzetting naar een CBA kan dan aanleiding geven om

64

kritisch naar de huidige toetsing te kijken en deze zo nodig te saneren van elementen die de kwaliteit niet ten goede komen. Met een CBA kan de toets eenvoudig worden gegenereerd uit een itemdatabase en hoog frequent worden afgenomen, mits de benodigde ICT faciliteiten (computers en software) aanwezig zijn. Huidige toetsprogramma’s bieden daarnaast de mogelijkheid de toetsresultaten grondig te analyseren en zij voeren deze analyse vrijwel direct na afnemen van de toets uit waardoor de resultaten direct beschikbaar zijn. Als deze eerste stap is gezet kan toegewerkt gaan worden naar de realisatie van het CBA. Het is daarbij praktisch met enkele enthousiastelingen een werkgroep te vormen die zich bezig gaat houden met de ontwikkeling van het CBA en die tevens aanspreekpunt is voor betrokken docenten. Het maken van een reële tijdsplanning is in deze fase essentieel.

Stap 2. Vaststellen wat getoetst moet worden. De feitelijke inhoud van toetsing is afhankelijk van het soort onderwijs, het doel van de toetsing en het type toetsing. Vaardigheidsonderwijs moet op een andere manier getoetst worden dan blokonderwijs

678

, formatieve toetsing heeft door de mogelijkheid van feedback een totaal andere

invulling dan summatieve toetsing en toetsen met behulp van multiple-choice vragen behoeft een heel andere organisatie en geeft een andere resultaat dan toetsen met open vragen. 9

Stap 3. Verkennen van de mogelijkheden van de onderwijsinstelling. Als men het over de inhoudelijke vorm eens is, moet geïnventariseerd worden wat de mogelijkheden zijn binnen de onderwijsinstelling waar men werkzaam is. In principe bestaan er dan twee opties; 1) er is een digitaal toetsprogramma beschikbaar via de onderwijsinstelling, 2) er is (nog) geen toetsprogramma beschikbaar. De eerste optie biedt de mogelijkheid gebruik te maken van het beschikbare toetsprogramma en de ervaringsdeskundigen die er binnen de onderwijsinstelling inmiddels zijn. Zo kan men instructie vragen over het gebruik van het programma en eventueel overgaan tot installatie op de eigen computer. Vragen over kosten en betrouwbaarheid zijn in deze situatie snel beantwoord, afhankelijk van de inmiddels opgedane ervaring. De tweede optie betekent een grotere tijdsinvestering, daar nu eerst de mogelijkheden tot aanschaf van een programma moeten worden verkend of, als dat geen optie is, er gekeken moet worden of zelf in samenwerking met ICT medewerkers van de instelling een programma gemaakt kan worden. In het UMC Utrecht wordt op dit moment het resultaat van beide opties naar tevredenheid gebruikt, zij het dat de implementatie van het zelf geschreven programma aanzienlijk meer tijd heeft gekost en dat de mogelijkheden van dit programma beperkter zijn dan die van het aangeschafte programma. Zonder toereikende computerfaciliteiten geen CBA. Voordat een programma wordt gemaakt of aangeschaft moet een schatting gemaakt worden van de beschikbaarheid van het benodigde aantal computers en de aanwezigheid van geschikte onderwijsruimten (o.a. internetverbinding).

65

Stap 4. Het maken van de toets. Het feitelijk samenstellen van de toets met behulp van een toetsprogramma is, mits een goede structuur in de itemdatabase is aangelegd, een routinematig proces dat naarmate men meer ervaring krijgt met het programma, minder tijdsintensief zal blijken. Bij het samenstellen van de eerste toets zal een toetsmatrijs moeten worden bedacht en opgesteld als deze nog niet beschikbaar is. Daarbij kan op basis van leerdoelen en eindtermen worden bepaald over welke onderwerpen toetsvragen relevant zijn en welk type vraagstelling het meest geschikt is voor de toetsing van de leerdoelen. 7 9 Een groot voordeel van toetsing via het CBA is dat relevante foto’s, röntgenopnamen of bijvoorbeeld labuitslagen kunnen worden toegevoegd aan een vraag. Daarmee worden de vragen niet alleen aantrekkelijker voor studenten, maar kunnen zij ook gerichter worden gesteld. Bestaande vragen kunnen vervolgens vaak eenvoudig worden ingevoerd in een toetsprogramma. Echter, als men met het invoeren van het CBA ook een kwaliteitsverbetering beoogt, dan is de beoordeling van bestaande vragen op validiteit en betrouwbaarheid met behulp van bijvoorbeeld de alfa-waarde en Rit-waarde essentieel voordat zij worden geïmplementeerd in de itemdatabase. 9 Het aantal benodigde vragen is afhankelijk van de frequentie waarop getoetst wordt en het aantal vragen per toets. Een toets van 50 vragen die 10 keer per jaar wordt afgenomen heeft idealiter een itemdatabase met 500 vragen. Dit is nodig om een goede randomisatie te kunnen garanderen en daarmee de veiligheid van de toets met betrekking tot frauderen door studenten te waarborgen. Indien de vragen geformuleerd zijn kunnen zij in het toetsprogramma worden gekoppeld aan de (deel)onderwerpen in de itemdatabase zoals hierboven is beschreven in het hoofdstuk over software. Deze koppeling maakt het samenstellen van de toets eenvoudig, al is de precieze methode natuurlijk afhankelijk van het toetsprogramma dat wordt gebruikt. Een coördinator of examinator hoeft alleen aan te geven hoeveel vragen van welk onderwerp er in de toets moeten komen, waarop het programma zelf de vragen selecteert per deelonderwerp en deze randomiseert per student. Het randomiseren betekent dat zowel de volgorde van vragen als die van de mogelijke antwoorden per vraag verschillend zijn voor elke student die de toets maakt. Daardoor maakt elke student een uniek samengestelde toets, maar beantwoordt het hele cohort wel dezelfde vragen en kunnen studenten vrijwel niet frauderen tijdens het maken van de toets.

Stap 5. Het testen van de toets. Studenten staan positief tegenover het gebruik van computers bij het afnemen van toetsen en waarderen een CBA meer dan het traditionele tentamen dat met pen en papier moet worden gemaakt.

4

Mits er een duidelijke handleiding wordt verstrekt en uitleg wordt gegeven over het

juist gebruiken van het toetsprogramma, is het CBA in de ogen van studenten tevens gebruiksvriendelijk. Als voor het eerst een CBA wordt afgenomen kan het lonen de toets op gebruiksvriendelijkheid te laten testen door zowel studenten als docenten. Daarmee kan tevens een inschatting worden gemaakt van de compatibiliteit van het CBA met de computervaardigheden van studenten (en docenten).

66

Stap 6. Beoordeling van de toets vaststellen. Nadat de toetsmatrijs is gevormd, de toets op basis van de itemdatabase is samengesteld en deze op gebruiksvriendelijkheid is getest kan worden nagedacht over de beoordeling van de toets. Het scoresysteem dat beoordeling mogelijk maakt zit in moderne toetsprogramma’s ingebouwd in de software; aan elke vraag kan een willekeurige weegfactor worden toegekend waarmee de computer het resultaat per student kan berekenen op basis van diens antwoorden. De gokkans wordt vanzelfsprekend meegenomen in deze berekening. Als het scoresysteem is vastgelegd kan met behulp van een testversie van de toets die wordt afgenomen bij docenten een idee worden verkregen van de validiteit en betrouwbaarheid van de toets.

Stap 7. Toetsevaluatiemethode bepalen. De mogelijkheden op dit gebied zijn afhankelijk van het toetsprogramma waarmee gewerkt wordt. Op het gebied van toetsevaluatie kan CBA meerwaarde bieden ten opzichte van toetsen met pen op papier, omdat niet alleen een uitgebreide vragenanalyse direct na afname van de toets beschikbaar is, maar ook toetsen onderling en resultaten van verschillende cohorten geanalyseerd kunnen worden.

Stap 8. Implementatie in het curriculum. Eenmaal zover gekomen is de implementatie van het CBA een kwestie van formaliteiten. Om zeker te zijn van een valide en betrouwbare toetsing dienen studenten de mogelijkheid te krijgen een of enkele keren met de nieuwe methode van toetsing te oefenen zodat hun prestaties ten tijde van de toets niet negatief beïnvloed worden door onwennigheid. Vervolgens moet een moment worden vastgesteld waarop het eerste cohort getoetst gaat worden met behulp van het CBA.

Een aandachtspunt bij de daadwerkelijke afname van het CBA is de veiligheid van de toetsing. Hierbij moet niet alleen gedacht worden aan betrouwbare computers die de software aankunnen en die zijn aangesloten op een beveiligd netwerk, ook moet zoveel mogelijk voorkomen worden dat de inhoud van de toetsen wordt gekopieerd door of uitlekt naar studenten. Kennis en kunde van ICT medewerkers op het gebied van beveiliging is hierbij essentieel, evenals de aanwezigheid van surveillanten tijdens het afnemen van de toets ter controle van de identiteit van de deelnemers en het eerlijk verlopen van de toetsing.

Stap 9. Evaluatie. De kwaliteit van toetsing kan alleen worden gewaarborgd als de toets en haar analyse regelmatig kritisch tegen het licht worden gehouden. Evaluatieresultaten van de toets als geheel (coefficiënt alfa) en de vragen zelf (P’, Rir-waarde) geven een indruk van de validiteit en betrouwbaarheid van de toets en haar onderdelen. Op basis van deze resultaten en met behulp van de ervaringen van studenten en docenten kan de toets indien nodig steeds weer worden aangepast en verbeterd.

Stap 10. Up-to-date houden van de itemdatabase. Voortvloeiend uit de vorige stap, is het up-to-date houden van de itemdatabase gebaseerd op het adequaat analyseren van gebruikte vragen. Indien nodig kunnen vragen worden aangepast of

67

vervangen door nieuwe vragen als de analyse daartoe aanleiding geeft. Ook moet worden gecontroleerd of de vragen adequaat aansluiten bij de leerdoelen en moeten zij als de leerdoelen wijzigen hierop worden aangepast.

Figuur 2. Handleiding bij de implementatie van een CBA in een outcome based curriculum.

Stap 1:

Stap 2:

Stap 3:

Stap 4:

Stap 5:

Stap 6:

Stap 7:

Stap 8:

68

CBA heeft meerwaarde: 1. Enthousiasmeren betrokken docenten en opleiders 2. Werkgroep vormen 3. Tijdsplanning Vaststellen wat getoetst moet worden: 1. Soort onderwijs 2. Doel toetsing 3. Type toetsing Verkennen van de mogelijkheden onderwijsinstelling: 1. Digitaal toetsprogramma beschikbaar? - JA: instructie en installatie programma, contact opnemen met ervaringsdeskundigen - NEE: oriënteren aanschaf toetsprogramma of zelf een programma schrijven mbv ICT medewerkers 2. Faciliteiten onderzoeken: computers (aantal toereikend, betrouwbaarheid, toetsruimten, veiligheid)

Maken van de toets: 1. Bepalen type vraagstelling(en) 2. Bestaande vragen evalueren (validiteit en betrouwbaarheid) 3. Opzetten itemdatabase o.b.v. leerdoelen en eindtermen 4.Vragen koppelen aan itemdatabase 5. Aantal vragen per toets bepalen 6. Toets samenstellen in programma

Testen van de toets: 1. Gebruiksvriendelijkheid studenten en docenten 2. Compatibiliteit met computervaardigheden 3. Validiteit en betrouwbaarheid

Beoordeling vaststellen: 1. Scoresysteem ontwikkelen Toetsevaluatiemethode vaststellen(afhankelijk programma) Implementatie in het curriculum: 1. Oefenmogelijkheid bieden aan studenten 2. Moment eerste CBA vaststellen 3. Beveiliging en surveillance Evaluatie: 1. Ervaringen studenten en docenten 2. Evaluatieresultaten vragen/toets (validiteit&betrouwbaarheid)

Stap 9:

Stap 10:

Up-to-date houden van itemdatabase: 1. Vragen aanpassen/vervangen o.b.v. analyseresultaten

Referenties 1) Cantillon P, Irish B, Sales D. ABC of learning and teaching: Using computers for assessment in medicine. BMJ vol. 329, September 2004: 606-609. 2) Russell M, Haney W. Testing writing on computers: an experiment comparing student performance on tests conducted via computer and via paper-and pencil. Education Policy Analysis Archives 1997; 5(3). 3) Wolfson PJ, Velosky JJ, Robeson MR Maxwell KS. Administration of open-ended test questions by computer in a clerkship final examination. Acad Med 2001 Vol. 76: 835-839. 4) Ogilvie RW, Trusk TC, Blue AV. Students attitudes towards computer testing in a basic science course. Med Educ 1999 Vol. 33; 828-831. 5) Smart C. Computer based assessment guide; Questions to guide the introduction of computer based testing. (www.is.bangor.ac.uk) 6) Smee S. ABC of learning and teaching: Skill based assessment. BMJ Vol. 326, March 2003: 703-706. 7) Lambert WT Schuwirth, Cees PM van der Vleuten. ABC of learning and teaching: Written assessment. BMJ Vol. 326 March 2003: 643-645. 8) Devitt P, Palmer E. Computers in medical education 3: a possible tool for the assessment of clinical competence? Austr.N.Z.J.Surg. 1998 vol. 68: 602-604. 9) Jaap Milius. Schriftelijk tentamineren. Een draaiboek voor docenten in het hoger onderwijs. 2007 IVLOS, Universiteit Utrecht. Met dank aan S. Verdoes, ICT medewerker directie Onderwijs en Opleidingen van de Faculteit Geneeskunde (UMC Utrecht) en dr. Y. van der Drift, KNO-arts UMC Utrecht.

69

Bijlage 7 Materialen TestVision Er is een uitgebreide Gebruikershandleiding beschikbaar bij Teelen Kennismanagement in Wilp. Zie www.teelen.nl

70