6 Softwareprogramma s

Flexibilisering van Toetsing

6

Softwareprogramma’s In hoofdstuk 4 is in een vogelvlucht stilgestaan bij allerlei ICT toepassingen en infrastructurele voorzieningen de gebruikt kunnen worden binnen de verschillende fasen van het toetsproces. In dit hoofdstuk laten we een aantal softwareprogramma’s de revue passeren om een beter idee te geven van de sterke en zwakke punten en de specifieke eigenschappen van deze programma’s. In het algemeen kan gesteld worden dat alle programma’s goed breed en diep zoeken. Alle programma’s vinden relevante bronnen. Om te beginnen behandelen we programma’s voor plagiaatdetectie. Deze inventarisatie is gebaseerd op een rapport van de Vrije Universiteit Amsterdam. In dat rapport staan ook de criteria waaraan een instellingsbreed systeem zou moeten voldoen en welke keuze voor een bepaald programma daaruit volgt. Die informatie kan instellingen helpen een vergelijkbare aanpak te volgen. Ten tweede komen programma’s aan de orde die docenten kunnen ondersteunen bij het nakijken van essayvraagstukken. De derde en laatste categorie programma’s die we in deze bijlage bespreken bevat programma’s voor het ontwikkelen, beheren, uitleveren en verwerken van schriftelijke en online toetsen. Deze programma’s zijn in een tabel weergegeven, zodat u snel kunt opzoeken wat de mogelijke toepassinggebieden van de programma’s zijn. Via de aangegeven URL kunt u doorklikken naar de website van de desbetreffende leverancier.

6.1

Plagiaatdetectieprogramma’s Plagiaatdetectieprogramma’s zijn er in soorten en maten. Er is op dit moment een hele range van ICT middelen beschikbaar om de docent te helpen om plagiaat te ontdekken. Deze programma’s zijn grofweg in twee categorieën te plaatsen. •

De eerste categorie betreft ‘stand-alone’ programma’s die elektronische documenten onderling kunnen vergelijken op tekstovereenkomst. Daar vallen de programma’s CODAS, CopyCatch, Pl@giarsm en WCopyfind onder. Om de vergelijking uit te voeren dient de docent alle documenten op zijn eigen PC te plaatsen en het programma opdracht te geven om de vergelijking uit te voeren.

•

De tweede categorie betreft programma’s die zowel documenten onderling kunnen vergelijken als de documenten vergelijken met bronnen op het internet. Deze programma’s zijn Turnitin, MyDropBox/SafeAssignment, Urkund en Ephorus. Daartoe moeten in principe studenten hun documenten plaatsen op een internet-site. De internetsite gaat vervolgens automatisch de vergelijking uitvoeren.

Samenvattend komen we dan tot onderstaande tabel. Tabel 4 Overzicht plagiaatdetectiesoftware Check onderling Check onderling en op internet

Check alleen op internet

Stand alone software CODA

CopyC

S

atch

Webbased software

WCopy Plagiari Find

sm

Turnitin

MyDropBox/

Ephorus

Stand alone Urkund

EVE2

SafeAssignment

pagina 93 van 127


6.1.1 CODAS CODAS is ontwikkeld door prof. dr. De Mulder en dr. Van Noortwijk, beiden verbonden aan de vakgroep Informatica en recht van de Erasmus Universiteit Rotterdam. Het programma kan documenten onderling vergelijken en controleren op plagiaat. CODAS wordt uitgegeven door Andromatics, Capelle a/d IJssel, www.andromatics.nl. Hoe werkt het? De antiplagiaatfunctie van CODAS werkt als volgt. De te controleren Word-documenten moeten in een directory op een harde schijf worden gezet. Via een batchbewerking van Microsoft Word worden alle documenten naar TXT-files omgezet. Daarna maakt CODAS woordfrequentieprofielen van de ingevoerde documenten en vergelijkt deze met elkaar. Overeenkomsten tussen paren van documenten worden geordend in een lijst. In de lijst kunt u zien of er in de buurt van het paar nog andere documenten zijn die overeenkomsten vertonen met het paar. De mate van overeenkomst wordt aangegeven door middel van een score; 10.000 is maximaal gelijkend, meer dan 7500 is indicatie voor plagiaat, lager dan 7500 is waarschijnlijk geen plagiaat. CODAS scant niet alleen op letterlijk overgenomen passages, maar ook herschreven of geparafraseerde passages detecteert het programma moeiteloos. Als het vermoeden bestaat dat er sprake is van plagiaat, kunnen de documenten verder inhoudelijk worden gecontroleerd. Daarvoor moet de beoordelaar twee Worddocumenten handmatig doorlopen. In de tekst zijn dan geen visuele indicaties van overlappende tekstgedeelten zichtbaar. CODAS genereert de rapportage binnen enkele tientallen seconden. In onderstaande figuur is een afbeelding te zien waarin met kleuren aangegeven staat hoe twee documenten lijken op andere documenten. Figuur 9 Afbeelding van CODAS: hoe twee documenten overeenkomen met andere documenten

Op nummer acht zijn twee studenten uitgelicht (een in het rood en een in het groen). Documenten van beide studenten hebben een gezamenlijke overeenkomst van 6308. Dit is onder de kritieke

pagina 94 van 127


grens van 7500. Daarnaast is te zien dat beide documenten ook veel op documenten van andere studenten lijken. Beide constateringen geven een indicatie dat er waarschijnlijk geen sprake zal zijn van fraude. Wat kost het? De fraudemodule wordt net als de nakijkhulp (zie paragraaf 6.2.3) in licentie afgenomen door opleidingen of instellingen. De prijs van het hele pakket is ongeveer € 7000,- per opleiding. Beoordeling Uit de door ons uitgevoerde uitgebreide test (zie casusbeschrijving 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit’ bij dit handboek, te vinden op de website http://www.du.nl/flextoets) bleek dat de fraudemodule van CODAS een prima instrument is om het afkijken of kopiëren van studenten onderling op te sporen. Het leren kennen van de fraudemodule vergt echter wel de nodige kennis die niet door individuele docenten zomaar is opgebouwd. Het invoeren van documenten in het programma gaat omslachtig doordat de documenten eerst geconverteerd moeten worden. Het daadwerkelijk identificeren van gelijke tekst is echter moeizaam omdat het programma daar geen ondersteuning voor biedt. De prijs-prestatieverhouding (licentie van € 7000,- per opleiding) maakt dit programma voor het opsporen van plagiaat een onaantrekkelijke optie. 6.1.2 EVE2 EVE2 is ontwikkeld door CaNexus.com. Een gratis trialversie van dit programma is te downloaden op http://www.canexus.com/eve/. EVE2 is een applicatie waarmee docenten internetplagiaat in werkstukken van hun studenten kunnen opsporen. Het programma accepteert, zonder verder conversie, essays in platte tekst, MS Word of Corel Word Perfect en rapporteert links naar webpagina’s waar de geplagieerde teksten op staan. Hoe werkt het? Via een eenvoudige interface geeft u aan welke bestanden het programma moet controleren op plagiaat. Deze bestanden worden vergeleken met documenten die te vinden zijn op het open internet. EVE2 voert een groot aantal zoekopdrachten uit waarbij met name gebruik wordt gemaakt van de zoekfunctionaliteit van Google. Het rapporteert de URL's van verdachte sites en maakt een directe vergelijking van de tekst op de sites met het essay en slaat het resultaat op in een resultaatbestand. Na de zoekopdracht kan van ieder verdacht essay een rapport worden opgevraagd met het percentage plagiaat en een geannoteerde versie van het essay met markeringen van overeenkomsten met de desbetreffende sites. De mate van plagiaat wordt bepaald door alle overeenkomsten van de internetbronnen met het essay te sommeren. De resultaatbestanden worden opgeslagen in Rich Text Format (RTF) en kunnen in de meeste tekstverwerkers worden gelezen.

pagina 95 van 127


U kunt de kracht van de zoekactie zelf instellen op ‘quick’, ‘medium’ of ‘extra strength’, afhankelijk van hoe snel of hoe uitgebreid EVE2 moet zoeken naar overeenkomsten tussen websites en het essay. Afhankelijk van de ingestelde snelheid duurt de zoekopdracht enkele tot vele tientallen minuten voor ieder ingevoerd document. De mate van plagiaat zal evenredig toenemen met de ingestelde kracht. Wat kost het? EVE2 kost $19.99 per kopie. Een sitelicentie kost $299.00 voor het voortgezet onderwijs en $399.00 voor hogescholen en universiteiten. Beoordeling Het programma wordt als weinig effectief gezien in het opsporen van plagiaat. Het is traag en de wijze waarop het percentage plagiaat wordt berekend is dubieus.

6.1.3 WCopyFind Ontwikkelaar van WCopyFind is Lou Bloomfield, Professor of Physics van de University of Virginia. WCopyfind vergelijkt documenten onderling op tekstuele overeenkomsten om eventuele plagiaat te detecteren. WCopyFind is gratis voor niet-commerciële doeleinden te verkrijgen op http://plagiarism.phys.virginia.edu/Wsoftware.html. Hoe werkt het? De documenten (Word, TXT, HTML) die WCopyFind moet controleren, plaatst u eerst in een directory op een harde schijf. Door bestandsnamen te slepen, kunt u aangeven welke documenten met elkaar vergeleken moeten worden. Vervolgens controleert WCopyfind deze documenten onderling op woorden die overeenkomen. Mogelijke criteria hiervoor zijn bijvoorbeeld de minimum woordlengte, het aantal woorden of het aantal karakters die u zelf opgeeft. WCopyfind blijkt

pagina 96 van 127


daarmee niet alleen in staat om letterlijk overgenomen passages te detecteren, maar ook om herschreven of geparafraseerde passages te signaleren. Overeenkomsten tussen paren van documenten worden in een lijst geplaatst, waarin in procenten staat aangegeven hoeveel de paren van documenten op elkaar lijken. Als het vermoeden rijst dat er sprake is van plagiaat, kunnen de documenten verder inhoudelijk worden gecontroleerd. Daarvoor moet de beoordelaar twee Worddocumenten handmatig doorlopen. In de tekst zijn dan geen visuele indicaties van overlappende tekstgedeelten zichtbaar.

Beoordeling Het programma zoekt niet het internet af om documenten te vergelijken. Als plagiaat vermoed wordt, dan kan een shortcut naar een website worden toegevoegd aan het programma. Een ander nadeel is dat WCopyFind maar in beperkte mate internetbronnen kan doorzoeken en vergelijken. Dat kan alleen met bronnen die u specifiek hebt aangeven. Het programma kan bovendien geen beveiligde websites doorzoeken waar je moet inloggen. Als er twee of meerdere documenten zijn met bepaalde overeenkomsten, dan maakt het programma een bestand in HTML-formaat aan, waarin de gedeelde woorden onderstreept zijn. Het aantal documenten dat in één keer kan worden vergeleken is gelimiteerd tot 500 documenten. Dat klinkt misschien wel ruim, maar dat is het niet, aangezien het niet mogelijk is een archief aan te leggen. Daardoor moet u de te vergelijken documenten telkens opnieuw aangeven. In de door ons uitgevoerde test was de procestijd bijzonder kort. Resultaten werden binnen een of enkele minuten weergegeven. 6.1.4 Turnitin.com Turnitin.com is een webgebaseerd programma, vergelijkbaar met MyDropBox. Turnitin is een internetbedrijf dat sinds 1996 bestaat. Het controleert digitaal, via het internet toegezonden documenten, met bronnen op het internet en met ander ingeleverd werk. De resultaten zijn ook weer via het internet in te zien door de docent. Turnitin onderzoekt op deze manier jaarlijks bijna 6 miljoen werkstukken op plagiaat van 25.000 instellingen in 51 landen. In Nederland maakt – naar ons weten – nog geen enkele instelling gebruik van Turnitin. Hoe werkt het? Een onderwijsinstelling met een abonnement moet de autorisatie van het systeem regelen volgens een hiërarchische lijn:

pagina 97 van 127


1.

administrator - departments

2.

instructors - klassen

3.

Studenten - opdrachten

De onderwijsinstelling stelt een administrator aan, die op zijn beurt departments en instructors aanmaakt. Deze instructors maken weer klassen, studenten en opdrachten aan. De opdrachten worden aan de klassen gekoppeld en voorzien van een deadline. Studenten krijgen van de instructor een inlogcode (dit is tevens de klasse-ID) en een wachtwoord. Als studenten inloggen moeten zij deze gegevens invoeren, waarna zij de openstaande opdrachten zien en kunnen kiezen welke opdracht ze willen inleveren. Een student kan dan verschillende documenten uploaden om te laten controleren: •

MS Word

•

WordPerfect

•

PostScript

•

PDF

•

HTML

•

RTF

•

plain text

Vervolgens wordt de ge-uploade content door Turnitin vergeleken met veel bronnen op het internet. De eerste stap in het opsporingsproces is het checken van het ingevoerde document met elke mogelijke bron op het internet. Hiervoor gebruikt Turnitin eigen en externe databases. De tweede stap is het analyseren van gepubliceerde werken in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en on-line referentiesites. Welke dat zijn is niet duidelijk. Het is waarschijnlijk dat dit voornamelijk Engelstalige databases zullen zijn. De derde stap is vergelijking van ingeleverde papers met de papers in de database van de eigen instelling. Documenten van studenten kunnen dus onderling worden vergeleken. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. Turnitin kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. Bij het vergelijken van teksten zoekt Turnitin naar letterlijke overeenkomsten tussen documenten. Volgens onze bevindingen houdt Turnitin een minimum aan van zes gelijke woorden achter elkaar in dezelfde volgorde om van tekstovereenkomst te kunnen spreken. Turnitin zoekt vindt dus minder goed documenten waarin de teksten enigszins vervormd zijn. Resultaten kunnen binnen een paar minuten bekend worden gemaakt op de persoonlijke webpagina van de eigenaar van het account. Resultaten bestaan uit vermelding van de originele bron waarop (een deel van) het nieuwe document lijkt en de mate van overeenkomst tussen de twee documenten. De originele bron kan een webpagina zijn of een eerder opgeslagen document in de databases van Turnitin. De resultaten worden in vijf kleuren weergegeven naar de mate van overeenkomst. Na toezending van de essays via internet, worden resultaten binnen 24 uur teruggestuurd. Vaak komen er binnen een paar minuten al resultaten terug.

pagina 98 van 127


Extra opties •

Mogelijkheid tot bulkupload, meerdere documenten in een keer uploaden zonder opnieuw alle gegevens te moeten invoeren.

•

’Peer review’: hiermee kunnen studenten elkaars werk bekijken en evalueren.

•

Digital portfolio: hiermee kunnen studenten en docenten hun eerdere ingezonden

•

GradeMark: een essayannotatiesysteem voor het online bewerken en beoordelen van

•

GradeBook: een managementsysteem voor het administreren van cijfers en beoordelingen.

documenten bekijken. essays.

Wat kost het? Turnitin werkt met licenties. Er zijn vier soorten. Welke licentie van toepassing is, hangt af van de hoeveelheid papers (documenten) en het aantal studenten: •

Individual Instructor Plan: Licentie $120,- per jaar voor 100 inzendingen, rapporten: $1.20 per rapport.

•

Department Plan: Licentie $950,- per jaar voor 50 klassen/groepen, onbeperkt aantal inzendingen/rapporten.

•

Single campus institution license (12 maanden): Licentie $500,- per jaar + $0.60 per student (minstens 1000 studenten), ongelimiteerd aantal klassen/groepen en inzendingen/rapporten. Daarnaast administratie op campus- en departementniveau.

•

Multicampus institution license: Licentie $500,- per jaar per campus + $0.60 per student (minstens 1000 studenten), ongelimiteerd aantal klassen/groepen en inzendingen/rapporten. Daarnaast administratie op centraal, campus- en departementniveau.

Beoordeling Dit systeem zoekt voornamelijk naar letterlijke tekstovereenkomsten tussen documenten. Bij het zoeken naar vergelijkbare passages in het ingeleverde document en het origineel, worden overeenkomstige tekstgedeelten onderstreept. U moet echter zelf door de documenten heen scrollen en de overeenkomsten zoeken. De Faculteit der Economische Wetenschappen en Bedrijfskunde van de universiteit van Maastricht heeft na het testen van verschillende systemen gekozen voor een combinatie van WCopyFind en Turnitin (zie http://www.fdewb.unimaas.nl/eleum/plagiarism/plagiarism.htm#Conclusion). Een free trial van het programma is bijna niet te krijgen. Turnitin zit op de centen. Testresultaten van deze plagiaatdetectietool zijn onder andere te vinden op http://www.oucs.ox.ac.uk/ltg/reports/pappendix1.html.

pagina 99 van 127


6.1.5 MyDropBox/SafeAssignment MyDropBox LLC is gevestigd in Canada. Het programma heeft een beetje een lastige start gehad omdat een van de medewerkers bij een zogenoemde papermill (bedrijf dat scripties verhandeld) heeft gewerkt. Ondertussen is het bedrijf echter geheel legaal bezig en zijn deze problemen opgelost. MyDropBox is het kleine broertje van Turnitin. In Nederland maakt nog geen enkele instelling gebruik van dit systeem. Hoe werkt het? MyDropBox is een webgebaseerd programma, vergelijkbaar met Turnitin. Een onderwijsinstelling met een abonnement moet de autorisatie van het systeem regelen volgens een hiërarchische lijn: 1.

administrator - departments

2.

instructors - klassen

3.

Studenten - opdrachten.

De onderwijsinstelling stelt een administrator aan, die op zijn beurt departments en instructors aanmaakt. Deze instructors maken weer klassen, studenten en opdrachten aan. De opdrachten worden aan de klassen gekoppeld en voorzien van een deadline. Studenten krijgen van de instructor een inlogcode (dit is tevens de klasse-ID) en een wachtwoord. Als studenten inloggen moeten zij deze gegevens invoeren, waarna zij de openstaande opdrachten zien en kunnen kiezen welke opdracht ze willen inleveren. Het inleveren kan door middel van het knippen en plakken van tekst in een invulvak of door een Word- of tekstdocument te uploaden. Daarbij moet de student wel aangeven wie hij/zij is aan de hand van de lijst met studenten die de instructor heeft ingevoerd. Ook kan de student aangeven of zijn opdracht met eerder ingeleverde opdrachten van hemzelf moet worden vergeleken op plagiaat. Dat is handig, aangezien eerder ingeleverde conceptteksten mogelijk grote overeenkomsten zullen vertonen met de definitieve teksten. De eerste stap in opsporingsproces is het ingevoerde document te checken met elke mogelijke bron op het internet. Hiervoor gebruikt MyDropBox eigen en externe databases. MyDropBox scant: •

Word-bestanden

•

PDF-bestanden

•

HTML

•

Tekstbestanden

De tweede stap is gepubliceerde werken analyseren in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en online referentiesites. Welke dat zijn is niet duidelijk. Het is waarschijnlijk dat dit voornamelijk Engelstalige databases zullen zijn. De derde stap is vergelijking van ingeleverde papers met de papers in de database van de eigen instelling. Documenten van studenten kunnen dus onderling worden vergeleken. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. MyDropBox kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. De docent kan de vergelijkingsresultaten uiteindelijk via het internet bekijken. Docenten kunnen overigens ook zelf documenten uploaden om ze op plagiaat te controleren.

pagina 100 van 127


Extra opties Onderdeel van het contract met instellingen is dat de startpagina van MyDropBox geïntegreerd kan worden in de website van de instelling zonder aanvullende kosten. Een van de belangrijkste extra opties van MyDropBox is dat dochterproduct SafeAssignment een volledige integratie met Blackboard mogelijk maakt. MyDropBox is partner met Blackboard, waardoor plagiaatoplossingen ingebouwd kunnen worden (zie www.safeassignment.com). Op dat moment vervalt een heel groot deel van de beheerslast doordat alle gebruikersgegevens niet meer opnieuw te hoeven worden ingevoerd en dubbellingen worden voorkomen. Bovendien komt een SafeAssignment-opdracht transparant terug in de GradeBook-functie van Blackboard, zodat ook cijfers bijgehouden kunnen worden. In de toekomst wil SafeAssignement de module verder uitbouwen zodat ook bulkdownloading en bulk-uploading mogelijk zijn. Een instelling kan een gecombineerde licentie op MyDropBox en SafeAssignment verkrijgen voor 10 procent extra van de licentie voor een van beide programma’s. Wat kost het? Er licentie kent twee basiscategorieën: 1.

licenties voor individuen; de basisprijs is $0.50 per ingeschreven student.

2.

licenties voor instellingen; de prijs hiervan is gebaseerd op het aantal fulltime ingeschreven studenten. Hierop kunnen nog kortingen worden gegeven afhankelijk van type instelling en gebruikersniveau.

Voor exacte berekening kan online een invulformulier worden ingevuld. Beoordeling De gebruikersinterface is rechttoe, rechtaan en gebruiksvriendelijk. Het vergt wat tijd om de logica van instructors, classes, assignments en students te doorgronden, maar daarna werkt het systeem vlot.

De rapportage is zeer overzichtelijk. Het eerste scherm geeft een overzicht van alle ingeleverde documenten die een docent heeft laten vergelijken. Zowel het originele document als het bekeken document kunnen geopend worden. Het document dat vergeleken is, oogt door de vier afgebakende kaders erg overzichtelijk. Het systeem detecteert tekstpassages die letterlijk zijn overgenomen maar ook passages die veranderd zijn. Elke geplagieerde passage is gecodeerd en wordt gelinkt naar de internetbron. De resultaten kunnen zelf geverifieerd worden en de docent kan ze ook aan de student laten zien. Over het algemeen worden de rapporten binnen 24 uur na inlevering gegenereerd.

pagina 101 van 127


Figuur 10: In de rapportinformatie staat de naam en het e-mailadres van de student, de datum, het nummer en de naam van de ingeleverde paper

In de algemene gelijkenisindex is in één oogopslag te zien in hoeverre een document gelijkenis vertoont met internetbronnen op een schaal van 1 t/m 5 (1=authentiek, 5 is compleet overgenomen van andere bronnen). In bovenstaand schermafdruk is er een 5 gegeven, de hoogste vorm van

pagina 102 van 127


plagiaat. Alle verdachte internetbronnen worden in het derde kader getoond, waarbij elke bron een andere kleur heeft. In het laatste kader staat de complete paper waarbij passages verschillende kleuren kunnen hebben. Tekst in het zwart betekent dat er geen plagiaat met internetbronnen is gevonden. Elke andere kleur komt voor een bepaald percentage overeen met een internetbron. Diverse passages in een document kunnen van een zelfde internetbron komen en zullen dan dezelfde kleur hebben. Door met de muis op een passage te gaan staan, wordt de mate van overeenkomst met de bron getoond, bijvoorbeeld: 67%, 97% of 100%. Door op een gekleurd stuk tekst (anders dan zwart) te klikken, verschijnt er een pop-up met daarin de URL van de internetbron, het stuk tekst van deze internetbron en de ingeleverde paper. Zo kan de beoordelaar snel vaststellen of de desbetreffende passage letterlijk is overgenomen, deels is overgenomen, geparafraseerd of samengevat. Een andere manier is om direct in een verdachte internetbron te kijken door deze te openen. Alle passages uit het ingeleverde document die uit deze bron komen, worden door middel van een andere kleur getoond. Zo is snel te zien hoeveel tekst van een bepaalde internetbron afkomstig is. De belangrijkste beperking van dit systeem is dat het beheer (instructors, studenten, classes, assignments) van het systeem vrij intensief is. Dat maakt de inzet moeilijker. Wel heeft MyDropBox aangekondigd om deze functie ingebouwd te hebben in de nieuwe release van het systeem (augustus 2004). Natuurlijk ondervangt SafeAssignment dit probleem geheel. Een andere belangrijke beperking is dat het niet mogelijk is om een bulk-upload (meerdere documenten in één keer) te doen. Een docent zal voor elk nieuw in te leveren documenten inleverhandelingen moeten verrichten. MyDropBox biedt een 24-uurshelpdesk voor vragen op het gebied van techniek, administratie of de rekening. Eén persoon is verantwoordelijk voor alles wat met je instellingsaccount te maken heeft. Als een instelling iets wil veranderen of een service wil toevoegen, kan dat binnen 24 uur geregeld worden. Naar aanleiding van het keuzetraject voor een plagiaatdetectiesysteem voor de VU is gebleken dat het bedrijf snel en adequaat reageert op vragen en verzoeken. Een free trial versie kunt u aanvragen op www.mydropbox.com of http://www.safeassignment.com. Deze gratis versie is één maand geldig. 6.1.6 Urkund Urkund is een bedrijf uit Zweden. Het heeft op dit moment ongeveer 600 klanten in Europa, variërend van het primair onderwijs tot hoger onderwijs. Het gelijknamige softwareprogramma is een systeem dat deels via het internet wordt aangeboden, maar voor een belangrijk deel via emailverkeer wordt afgehandeld. Hoe werkt het? Een instelling kan een abonnement nemen op Urkund en moet dan een administrator aanstellen. Deze kan instructors aanmaken. Een instructor krijgt een speciaal Urkund e-mailadres toegekend. Als een docent documenten op plagiaat wil controleren dan laat hij studenten een e-mail, met een Word-, TXT- of HTML-bestand, opsturen naar dat e-mailadres.

pagina 103 van 127


De eerste stap in het opsporingsproces is het ingevoerde document te checken met elke mogelijke bron op het internet. Urkund scant: •

Word-bestanden

•

PDF-bestanden

•

HTML

•

Tekstbestanden

•

ZIP

•

TAR.

Voor de laatste twee gecomprimeerde bestanden gebruikt Urkund een eigen database en externe databases. De tweede stap is gepubliceerde werken analyseren in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en online referentiesites. Welke dat zijn is niet duidelijk. De derde stap is ingeleverde papers vergelijken met de papers in de database van de eigen instelling. Plagiaat van de studenten onderling wordt hiermee ook opgespoord. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. Urkund kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. Als de bestanden vergeleken zijn, ontvangt de docent een e-mail met daarin eventueel een URL. Als de docent daar op klikt, ziet hij het document waaruit is geplagieerd. Studenten krijgen op hun eigen e-mail een ontvangstbevestiging dat het bericht is ontvangen. In die mail krijgen ze ook nog informatie over het plagiaat en de correcte wijzen van het citeren van bronnen. Studenten hebben zelf het recht om aan te geven of hun document gebruikt mag worden als vergelijkingsmateriaal voor andere instellingen om op plagiaat te controleren. Docenten kunnen overigens ook zelf documenten uploaden om ze op plagiaat te laten controleren door een e-mail naar hun eigen Urkund-e-mailadres te sturen.

pagina 104 van 127


Figuur 11: In de rapportinformatie staan de naam en het e-mailadres van de student, de datum, het nummer en de naam van de ingeleverde paper. Links de tekst van het ingeleverde document, in de rechterkolom de internetbron waar mogelijk uit is overgenomen.

Het document dat vergeleken is, wordt in de linkerkolom getoond. Rechtsboven is een frame waarin bronnen aangeklikt kunnen worden waarin overeenkomstige tekst is gevonden met het ingediende werkstuk. Als op zo’n link wordt geklikt, verschijnt dat in de rechterkolom. De onderstreepte tekst in de linkerkolom is tekst die overeenkomt met een geplagieerde bron. Door in de linkerkolom te klikken op deze onderstreepte tekst verschijnt de geplagieerde tekst in de rechterkolom, en ook die is dan onderstreept. Tekstpassages die letterlijk zijn overgenomen, maar ook passages die veranderd zijn worden door het systeem gedetecteerd. De resultaten kunnen zelf geverifieerd worden en de docent kan ze aan de student laten zien. Over het algemeen worden de rapporten binnen 24 uur na inlevering gegenereerd. Wat kost het? Urkund kent twee licentiemogelijkheden: 1.

licenties voor individuen; de basisprijs is € 1,- tot € 2,- per ingeschreven student.

2.

licenties voor instellingen; deze prijs is gebaseerd op het aantal fulltime ingeschreven studenten. Hierop kunnen nog kortingen op worden gegeven afhankelijk van type instelling en gebruikersniveau.

Beoordeling De belangrijkste beperking van dit systeem is het intensieve beheer en het aanmaken van accounts voor instructors en studenten. Dat maakt de inzet moeilijker. Wel heeft Urkund aangegeven dat het dit aspect wil automatiseren. Een andere beperking is dat een docent alle documenten van studenten één voor één moet bekijken en beoordelen op plagiaat. Het systeem geeft niet in één overzicht aan welke documenten een verhoogde kans op plagiaat hebben. Ook ontbreekt een mogelijkheid om documenten te koppelen aan opdrachten, deadlines of cursussen. Dit vermindert wel weer de beheerslast. Urkund wordt op dit moment gebruikt bij de rechtenfaculteit van de universiteit van Tilburg. Urkund biedt vijf dagen per week een helpdesk. Naar aanleiding van het keuzetraject voor een plagiaatdetectiesysteem voor de VU is gebleken dat het bedrijf snel en adequaat reageert op vragen en verzoeken.

pagina 105 van 127


6.1.7 Ephorus Ephorus is een webbased programma dat in Nederland is ontwikkeld en ook hier wordt vermarkt. Hoe werkt het? U moet inloggen met een gebruikersnaam en wachtwoord op het besloten deel van de website van Ephorus (www.ephorus.nl). Vervolgens kunnen documenten worden ge-upload. Dan speurt Ephorus zijn eigen database af naar vergelijkbaar materiaal. Dit gebeurt op basis van vooraf bepaalde logaritmische formules. U hebt de keuze uit drie licenties (diensten): •

Ephorus Internet: vergelijkt het ingeleverd werk met internetbronnen en genereert bij elk

•

Ephorus Campus: vergelijkt het ingeleverd werk met internetbronnen én met het eigen

ingeleverd document een rapport; opgebouwde archief, waarin het ingeleverde werk van scholen en faculteiten wordt bewaard. Hierdoor hebt u zicht op (en beheer van) álle werkstukken van álle studenten. Daarnaast kunt u statistische informatie en gepersonaliseerde studentenprofielen samenstellen. De database is overigens ook beschikbaar op cd-rom; •

Ephorus Connect: voegt tot slot de mogelijkheid toe ook instellingsdatabestanden te doorzoeken.

Om gebruik te maken van onze diensten hoeft u zelf niets te installeren. Ze zijn te bereiken via www.ephorus.nl . Ephorus zoekt uitgebreid. Dat wil zeggen dat wij op alle mogelijke samenstellingen van alinea’s zoeken, binnen deze alinea’s op verschillende zinsvolgorden en binnen zinnen op woordverplaatsingen. De mate van gelijkenis wordt per bron aangegeven van groen (niets gevonden) via oranje (enkele zinnen) tot rood (veel tot alles zit ook in die bron). In het linkerkader staat het origineel, in het rechterkader het gedeelte uit een bron. De docent moet de twee stukken tekst handmatig vergelijken. Ephorus doorzoekt de volgende bestandsformaten op het internet: •

(plain)text

•

Microsoft Word

•

HTML

Een belangrijke beperking is dat PDF-files niet kunnen worden doorzocht.

pagina 106 van 127


Figuur 12: Rapportvoorbeeld: bovenaan staan zeven gevonden bronnen die in min of meerdere mate lijken op het origineel. Daaronder links: het ingeleverde werk (het origineel), rechts de eerste bron die de meeste gelijkenis vertoont. De schaal staat op 8.

pagina 107 van 127


Figuur 13: Passages die niet teruggevonden zijn in internetbronnen, worden gewoon afgebeeld (niet in kaders)

Beoordeling Ephorus zoekt breed en diep. De tabelweergave heeft echter een te grove indeling (slechts drie categorieën, terwijl het vaak gaat om het ontdekken van een ‘sprong’ in overeenkomende hoeveelheid tekst. Bij het onderzoeken van de tekstovereenkomst is gekozen voor een onduidelijke weergave en onduidelijke functies (de sliderweergave). Elke gevonden bron dient apart (één voor één) te worden aangeklikt. Hierdoor ontbreekt het overzicht over het aantal ingeleverde teksten dat uit bronnen is overgenomen. De overeenkomsten in passages worden niet gemarkeerd in het originele document. Ephorus zegt dat in één oogopslag duidelijk wordt waar de gelijkenis om gaat: plagiaat, slordige bronvermelding of toeval. Hierover hebben wij een afwijkende mening. De docent dient zelf naar overlappingen te zoeken. Het handmatig vergelijken van het ingeleverde werk en de gevonden bron is nog wel veel werk. Uit een test van de universiteit van Utrecht (UU) is gebleken dat Ephorus gemiddeld binnen vijf minuten resultaten terugkoppelt. Ephorus zelf garandeert resultaten binnen 24 uur terug. Een aantal scholen en docenten maakt inmiddels gebruik van de diensten van Ephorus. Een korte evaluatie van Ephorus (en webcrawler) door de UU staat op http://www2.let.uu.nl/Solis/ictcentrum/informatie/ICTOnderzoek-text.htm.

6.2

Software voor het nakijken en beoordelen van essayvraagstukken

6.2.1 Markin (nakijkhulp) Markin is een applicatie die de docent ondersteunt bij het systematische nakijken van digitaal ingeleverde tekstdocumenten. Markin geeft de docent de mogelijkheid om tekstdelen te markeren

pagina 108 van 127


met feedback, commentaar of hyperlinks. Het ingeleverde werk dient als RTF- of TXT-bestand in het programma te worden ingeladen of handmatig in het tekstvak te worden ingevoegd. Vervolgens selecteert de docent één of meerdere woorden (of zinnen) en kiest hij de gestandaardiseerde feedback die op het geselecteerde stuk van toepassing is. Deze gestandaardiseerde feedback is er in de talen: Engels, Frans, Italiaans, Tsjechisch en Spaans. Het programma biedt een aantal knoppen waarmee negatieve feedback kan worden gegeven voor spelling, syntaxis, grammatica, morfologie, vocabulaire en inhoud. Verder heeft Markin een aantal knoppen waarmee positieve feedback kan worden geven. Aan elk aspect van deze feedback kan een waarde worden toegekend, zodat belangrijke aspecten zwaarder worden meegewogen dan andere aspecten. Figuur 14: Markin voor de docent: links het tekstvak, rechts het knoppenpallet (hier in het Engels)

Naast de standaard feedbackknoppen kan een docent ook zelf knoppen met feedback aanmaken en toevoegen aan het programma.

pagina 109 van 127


Figuur 15: Zelf feedbackknoppen aanmaken

Als het werk eenmaal is voorzien van feedback, kan dit binnen het programma worden geëxporteerd als een internetpagina (voor browsers vanaf versie 3 en hoger) of als een tekstdocument (*.RTF of *.TXT). Vervolgens kan de toets direct via e-mail naar de student worden teruggestuurd, met daarin de toegekende feedback, het cijfer en eventueel de statistieken over de feedback. Dit laatste is een soort samenvatting, zodat studenten snel kunnen zien hoeveel positieve en hoeveel negatieve feedback ze hebben gekregen.

pagina 110 van 127


Figuur 16: Afdrukvoorbeeld van een internetpagina zoals de student die ontvangt. In subschrift is de negatieve feedback aangegeven in rood en de positieve feedback in groen. Onderaan staan het toegekende cijfer en de statistieken over de gehele tekst.

Wat kost het? Een kopie van de complete versie van Markin versie 3.1 kost circa € 35,-; een lichte versie (circa 120 woorden of 1000 karakters) is gratis te downloaden op: http://www.cict.co.uk/software/markin Beoordeling Markin ziet eruit als een tekstverwerkingsprogramma. De gebruikerinterface is redelijk intuïtief. Door het gebruik van Markin moet de docent de beoordelingscriteria expliciteren, waardoor deze voor zowel de docent als de student inzichtelijk wordt gemaakt. De tijdsinvestering die hiermee gemoeid is, is in het begin hoog, maar wordt minder naarmate het programma vaker wordt gebruikt. Op een gegeven moment wordt een constante bereikt, waarna het geven van feedback minder arbeidsintensief wordt dan het handmatige proces. Of de tijd voor het nakijken van een essayvraag (of -toets) door het gebruik van Markin toe- of afneemt, is eigenlijk meer afhankelijk van het verschil in hoeveelheid feedback voorheen en in de nieuwe situatie. Het grote voordeel van Markin is dat studenten keurig geannoteerde inhoudelijke feedback op hun werk krijgen, en wel exact op de plaats waarop de feedback slaat. Markin is erg geschikt voor de diagnostische en certificerende toetsfunctie. Over het algemeen zullen docenten geen feedback geven op toetsen die slechts als oefening zijn bedoeld, maar dit is wel mogelijk met Markin. Markin heeft een aantal extra opties, zoals de eerdergenoemde statistieken over de feedback die wordt gegeven en de mogelijkheid om vanuit het programma het gecorrigeerde werk terug te mailen naar studenten. Nadeel is wel dat na het invoegen van alle feedback het programma niet de totale waarde berekent, dit blijft een handmatige taak van de docent.

pagina 111 van 127


6.2.2 MarkThis (semi-automatische nakijkhulp) Met MarkThis is het mogelijk essays meer gestandaardiseerd te beoordelen en van feedback te voorzien. Ook dit programma ondersteunt systematisch het nakijken van schriftelijk of elektronisch ingeleverd materiaal. Hiervoor houdt de docent in het programma per student en per criterium bij welke score een student daarop krijgt. Nadat van een groep studenten de namen zijn ingevoerd, wordt een aantal beoordelingscriteria opgesteld. Vervolgens moet bij ieder criterium een aantal feedbackopties worden bepaald en aan elke feedbackoptie een gewicht wordt gegeven. Vervolgens wordt voor ieder werkstuk een beoordeling ingevoerd in een feedbackrapport. Automatisch wordt op deze manier een kwantitatieve beoordeling voor het werkstuk bepaald, door de gewichten van elke feedbackoptie. Ook kunnen handmatig aanvullende commentaren worden toegevoegd aan het rapport. Optioneel kunnen hiervoor een aantal standaardcommentaren worden opgesteld. Het eindrapport kan de student via e-mail worden toegestuurd. Figuur 17: Lijst met studenten

Figuur 18: Lijst met criteria en beoordelingseenheden

pagina 112 van 127


Figuur 19: Feedbackoverzicht

Wat kost het? Het programma is freeware (gratis) en kan worden gedownload vanaf de website van MarkThis: www.circle-of-excellence.com. Beoordeling Door het gebruik van MarkThis moeten de beoordelingscriteria en de wegingsfactoren worden geëxpliciteerd; deze zijn dan niet alleen voor de docent maar ook voor de student inzichtelijk gemaakt. Daardoor neemt de betrouwbaarheid van de scoring toe. Daarnaast berekent het programma de scores en maakt het mooie rapportages die direct naar alle studenten gemaild kunnen worden. Het opstellen van de beoordelingscriteria en de wegingsfactoren vereisen evenwel de nodige tijdinvestering. De benodigde tijd die aan het nakijken en beoordelen van een essay wordt besteed, kan toe- of afnemen, afhankelijk van de tijd die er voorheen aan werd besteed. Ten opzichte van Markin is een nadeel van MarkThis dat de gegeven feedback niet in de tekst komt te staan. De student ontvangt slechts de resultaten. Daarnaast blijft het nakijkproces arbeidsintensief. MarkThis is ook geschikt voor certificerende toetsen (hoge betrouwbaarheid), maar wel bij lage studentenaantallen.

6.2.3 CODAS (automatische nakijkhulp) CODAS staat voor Conceptuele Documenten Analyse Systemen. Het programma kan antwoorden op opdrachten en essayvraagstukken analyseren. CODAS bestaat uit twee modulen: de fraudedetectie- en de nakijkmodule. De nakijkhulpmodule in CODAS ordent de documenten op basis van voorbeelden en tegenvoorbeelden. Een docent moet hiervoor eerst teksten als goed of slecht aanmerken, voordat het programma de rest zelf kan beoordelen. De fraudedetectiemodule is eerder in deze bijlage beschreven. . Hoe werkt het? Allereerst moeten documenten als TXT-documenten in het programma worden geladen. Het programma maakt een eerste sortering van goed naar slecht op basis van gemiddeld en afwijkend

pagina 113 van 127


woordgebruik. Random wordt een klein aantal essays gekozen die handmatig dienen te worden nagekeken. De docent kent scores toe (maximaal vier) en merkt een beperkt aantal essays daarvan als voorbeelden of tegenvoorbeelden. Deze scores worden in het programma toegevoegd, waarna CODAS dan alle opgaven aan de hand van deze gemarkeerde documenten ordent. De docent kan vervolgens in de ordening grenzen aangeven voor de gewenste beoordelingscategorieën. Steekproefsgewijs kan de ordening gecontroleerd en verfijnd worden. Vervolgens laat men het programma opnieuw de documenten ordenen en bepaalt de docent uiteindelijk de cesuur. Het ordenen door deze nakijkmodule van CODAS gebeurt met behulp van een (Bayesiaanse) statistische analyse van woordfrequenties. CODAS houdt van elk document bij welke woorden er voorkomen in het document en hoe frequent. In elk document komen andere woorden voor en woorden in andere verhoudingen, waardoor ieder document zijn specifieke 'profiel' heeft van de frequentie van aan- en afwezige woorden. Als deze frequentieprofielen erg op elkaar lijken, dan is de kans groot dat de documenten ook erg op elkaar lijken en kan er dus een indicatie zijn voor fraude. Verder kan worden verwacht dat een door een menselijke beoordelaar als 'goed' beoordeeld document een profiel zal hebben dat meer overeenkomt met andere 'goede' documenten dan met 'slechte' documenten en vice versa. CODAS beoordeelt de inhoud van documenten dus niet op het 'microniveau' van de precieze formulering en volgorde van zinnen, maar op een meer geabstraheerd, 'hoger', 'conceptueel' niveau. Figuur 20: De eerste sortering gemaakt door het programma zelf op basis van overeenkomsten en verschillen; bovenaan het best gewaardeerde werk

pagina 114 van 127


Figuur 21: In deze figuur is de tabel weergegeven waarbij aan specifieke documenten waardering is gegeven

Wat kost het? Door de hoge kosten moet serieus worden overwogen of dit programma zijn geld opbrengt. De licentie voor één opleiding kost ongeveer € 7000,- per jaar. Beoordeling Het is het meest logisch om eerst de fraudedetectiemodule aan te zetten om na te gaan of studenten (gedeelten van) teksten van elkaar hebben overgenomen. Vervolgens kan de set documenten in de nakijkmodule worden ingevoerd, voor een eerste ordening van goed en slecht. Op deze manier hoeft een menselijke beoordelaar slechts een beperkte groep documenten te beoordelen zodat de andere documenten uit dezelfde set automatisch gescoord kunnen worden. Dit levert een aanzienlijke tijdwinst op: de nakijktijd neemt significant af bij grote aantallen na te kijken essays. Afhankelijk van het aantal deelnemers kan een tijdswinst worden geboekt van 50 tot 90%. Die tijdwinst maakt het programma geschikt voor de oefenfunctie van toetsen doordat studenten vaker opdrachten kunnen maken, terwijl de docent er dan relatief weinig beoordelingsinspanning aan kwijt is. Voor de docent die met extra toetsen een stok achter de deur wil hebben, zou CODAS een uitkomst kunnen zijn. Er is evenwel een aantal randvoorwaarden waaraan voldaan moet worden om profijt te hebben van het programma. Uit de literatuur en onze eigen tests komt naar voren dat: •

de leerstof 'talig' moet zijn (dus niet te veel formules en schema’s);

•

de minimaal vereiste grootte van de essays 3/4 A4-blad is, oftewel circa 300 woorden;

•

CODAS pas (enigszins) betrouwbaar wordt vanaf tientallen essays (minstens vijftig);

•

tijdwinst met CODAS pas wordt behaald met een set van minstens 50 essays;

•

de populatie waaruit de essays worden betrokken homogeen moet zijn in taalgebruik;

pagina 115 van 127


•

voorbeeldessays van experts of van de docent de performance van het programma niet verbeteren (men beoordeelt slechts de documenten binnen de doelpopulatie);

•

er een grote spreiding in antwoordkwaliteit vereist is (dus goede en slechte essays), maar juist geen grote spreiding in onderwerpsinhoud. Begrips- en argumentatie-essays leveren in dat verband beter resultaat dan meningswerkstukken;

•

de beste resultaten worden verkregen als de scores in maximaal vier categorieën vallen.

Deze beperkingen en verfijningen en het feit dat de betrouwbaarheid niet kan worden gegarandeerd, maken dat CODAS niet geschikt is voor de certificerende toetsfunctie. Een andere beperking is dat er geen inhoudelijke feedback gegeven kan worden binnen het programma. Hierdoor is het weinig geschikt voor diagnostische toetsfunctie. De CODAS-nakijkmodule is aan te raden als de studentenaantallen groter worden, terwijl de capaciteit om na te kijken relatief klein blijft en betrouwbaarheid en feedback minder belangrijk zijn (zoals bij oefentoetsen). Ten slotte is nog bijzonder om te noemen de mogelijkheid om beoordelingen van drie verschillende docenten tegen elkaar uit te zetten, zodat verschillen in stijl van beoordelen zichtbaar worden. Ervaringen CODAS is het in het kader van het project Flexibilisering van Toetsing extra aandacht bekeken omdat het het enige programma is (naast BETSY) dat op een enigszins serieuze wijze voor het Nederlands hoger onderwijs interessant kan zijn. Faculteit Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) Bij de Faculteit der Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) wordt CODAS gebruikt bij het vak Introductie computergebruik, waaraan jaarlijks ongeveer 300 studenten deelnemen. Gedurende een semester maken de studenten enkele opdrachten; de omvang van de opdrachtuitwerkingen bedraagt rond de drie pagina's. Normaliter zou de docent veel tijd kwijt zijn met het nakijken van alle opdrachtuitwerkingen (zo'n 1500 in totaal). Met CODAS hoeft de docent elke week slechts 30 tot 50 opdrachten na te kijken om het programma in staat te stellen de opdrachtuitwerkingen betrouwbaar te beoordelen. Ook kan het programma beoordelaareffecten achterhalen (kennen verschillende docenten aan dezelfde opdrachtuitwerkingen een gelijke beoordeling toe?). Het programma wordt inmiddels in verschillende onderwijssectoren gebruikt. De docenten hebben weinig moeite met het bedienen van het programma en zijn met name tevreden over de hoeveelheid tijd die het programma hen bespaart bij het elektronisch nakijken van open vragen. Studenten vinden het vooral prettig dat zij nu ook bij vakken waar veel studenten aan deelnemen de mogelijkheid hebben tijdens een vak (in plaats van enkel na afloop van een vak) credits op te bouwen. Hierdoor worden zij gestimuleerd de leerstof bij te houden en krijgen zij tussentijdse feedback op hun kennis en begrip van de leerstof. Rechtenfaculteit van de Rijksuniversiteit Leiden CODAS is in 2002-2003 als pilot ingezet bij het vak Bachelor 1 Inleiding Straf- en strafprocesrecht van de Rechtenfaculteit van de Rijksuniversiteit Leiden (RUL). 650 studenten moesten twee keer een opdracht inleveren. De eerste opdracht bestond uit 12 vragen, de tweede uit drie vragen met a, b en c. Bij deze pilot zijn beide functionaliteiten van CODAS ingezet: het opsporen van fraude en hulp bij het nakijken van de opdrachten. Voor wat betreft het opsporen van plagiaat is CODAS een succes gebleken. In de eerste ronde van opdrachten kwamen 79 gevallen van plagiaat naar voren. De tweede ronde waren dit er nog slechts 19. Daarnaast is CODAS ook ingezet als hulp bij het nakijken. De opdrachten waren digitaal aan de studenten verstrekt. Studenten mochten voor deze opdracht niet samenwerken, wel mochten ze van tevoren overleggen. Studenten moesten de opdrachten in MS Word maken en via de digitale

pagina 116 van 127


leeromgeving Teletop inleveren. De ondersteuner importeert de opdrachten uit Teletop in CODAS. CODAS geeft een initiële ordening. Docenten beoordelen random een aantal opdrachten met de hand en kennen die een A, B, C of D toe (van hoog naar laag), waarbij ze aangeven of de opdracht een representatieve (een typische, standaard, voor de hand liggende) of juist een a-typische A, B, C of D is. Deze krijgen een + respectievelijk een – toegekend. Vervolgens sorteert CODAS opnieuw, maar nu met verwerking van de plussen en minnen. Deze procedure wordt een vijftal keer herhaald. In totaal zijn 129 opdrachten nagekeken. Overgebleven grensgevallen zijn met de hand nagekeken. De studenten die betrapt zijn op plagiaat hebben een onvoldoende gekregen. De tweede serie opdrachten was goed voor een bonuspunt voor het uiteindelijke cijfer. De RUL noemt de volgende voordelen van het gebruik van CODAS. Als docenten een grote hoeveelheid opdrachten via Teletop binnenkrijgen, moeten zijn die stuk voor stuk afdrukken en met de hand nakijken en beoordelen. Met CODAS zijn alleen de opdrachten geprint die de docent met de hand heeft nagekeken. CODAS heeft een aanzienlijke tijdsbesparing opgeleverd van circa 50%. Er is 108 uur besteed aan het leren kennen van CODAS, het invoeren van de opdrachten in CODAS, het interpreteren van de resultaten uit CODAS en het handmatig nakijken van circa 10% van de opdrachten. Waren de opdrachten handmatig nagekeken, dan zouden de docenten circa 200 uur kwijt geweest zijn. De plagiaatdetectietool heeft naar grote tevredenheid gewerkt. De kwaliteit van de nakijkhulp is voldoende gebleken, en zal onderwerp zijn van verbetering en verdere afstemming. Unit Welzijn van het Alfa College in Groningen Aan een toets (een tiental open vragen) namen 149 leerlingen/studenten deel. Voor de desbetreffende docent betekende dat in de regel zo’n 20 uur handmatig nakijkwerk. Met behulp van de nakijksoftware werd dat teruggebracht naar nog geen 6 uur. Bij een herhaling van dezelfde toets in bijvoorbeeld een volgend leerjaar is de waarderingsgrondslag dus al aanwezig en kan het programma direct aan de slag met het berekenen van de scores. De tijdwinst zal dus alleen maar toenemen. De toets werd zowel met de hand als met de computer nagekeken. Na controle bleek er een correlatie van 0,86 te zijn. Het nakijkprogramma bleek bovendien gemakkelijk door de docent te bedienen. Faculteit der Sociale Wetenschappen van de Vrije Universiteit In het kader van het DU-project Flexibilisering van Toetsing is bij de faculteit Sociale Wetenschappen ook een uitgebreide test gedaan met CODAS. De uitgebreide rapportage daarvan is als PDF-document te vinden op de website Flexibilisering van Toetsing van de Digitale Universiteit als casus 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit’. Een beschrijving van een toepassing van CODAS in een praktijksituatie (met dezelfde opdracht die is gebruikt voor de benchmark test) is te vinden in dit boek als Kader 29 Gebruik van CODAS in een cursus Massacommunicatie en Journalistiek. 6.2.4 BETSY11 Betsy is een freeware programma dat ontwikkeld is door Lawrence M. Rudner, Department of Measurement, Statistics and Evaluation van de University of Maryland. Het werkt met verschillende modellen om tekstvergelijkingen uit te voeren. Dat zijn Multinominal-technieken, Bernoullitechnieken en handmatige aanpassingen. In zijn aanpak lijkt het programma erg veel op het programma CODAS. We behandelen het daarom hier ook slechts summier.

11

http://edres.org/betsy/

pagina 117 van 127


Het Multinomial-model kijkt naar de kansverdeling voor alle gekalibreerde woorden in een document. Het Bernoulli-model onderzoekt elk gekalibreerd woord en kijkt naar de probabilistische mogelijkheid dat een woord juist wel of juist niet in een document aanwezig is. Dit is een klassiek Bayesiaanse benadering omdat het ieder woord uit het geheel van het aantal woorden moet onderzoeken. Naast deze opties kunnen heel veel andere opties handmatig worden ingesteld: •

Multinomial & Bernoulli Naive Bayes models

•

Optional Porter stemming

•

Infrequent term purge

•

Phrase search

•

Diagnostic information

Ook in de mate van nauwkeurigheid lijkt BETSY veel op CODAS. De scoring kan alleen op vrij grove schaal plaatsvinden met een maximum van ongeveer 5 beoordelingscategorieën (voldoende/onvoldoende tot A/B/C/D/E). Om het programma te trainen om goede beoordelingen te geven moeten de volgende stappen worden ondernomen. 1.

In het programma moeten trainingswoorden worden ingebracht

2.

Daarna moet de database worden onderzocht.

3.

Alle infrequente woorden kunnen uit de database worden gehaald.

4.

Geef aan wat stopwoorden zijn

5.

Train woordparen

6.

Evalueerde database statistieken weer.

7.

Verwijder alle infrequente woordparen

8.

Maak nu een score van alle documenten.

Het idee van BETSY is echter dat het programma eerste getraind wordt om daarna een nieuw ingeleverd document direct met behulp van het programma te scoren. Het inleveren van een nieuw document zou via een webformulier kunnen. Met CODAS zou in principe iets vergelijkbaars kunnen worden ontwikkeld, maar dat is nog niet op de markt. 6.2.5 Intelligent Essay Assessor, Intellimetric en Criterion (geavanceerd automatisch nakijken) Intelligent Essay Assessor (http://www.knowledge-technologies.com/ ), Intellimetric (http://www.intellimetric.com) en Criterion (http://www.ets.org/criterion/ ) zijn voor eindgebruikers webprogramma’s. Studenten kunnen vrije tekst invoeren in een invulveld waarna de programma’s een beoordeling geven. Ze kunnen de tekst beoordelen op structuur, grammatica en schrijfstijl, en ze kunnen een inhoudelijk oordeel vellen. De programma’s werken met allerlei technieken om deze beoordeling mogelijk te maken. Voor een uitgebreidere beschrijving daarvan verwijzen we naar de volgende bronnen: Automated Assessment for Large Groups (Dennis, Mills et al. 2002) , Advances in Computerized Scoring of Complex Item formats (Clauser 2002), The debate on automated essay grading (Hearst 2000) en Using New Technology to Improve Assessment (Bennet 1999). IEA is een internetprogramma voor de eindgebruiker dat automatisch vrije teksten kan beoordelen en feedback terug kan geven. IEA is een zelflerend systeem en moet eerst getraind worden. Hiervoor moet een subjectspecifieke tekst (bijvoorbeeld tekstboek) in het programma worden ingevoerd. De docent moet vervolgens gerichte feedback ontwikkelen en algemene feedback per topic opstellen. Ook moet de docent aangeven welke taalaspecten beoordeeld worden en de bijbehorende feedback formuleren. De student vult in het tekstvak van het webbased programma het antwoord in. Na 5 tot 20 seconden krijgt een student feedback terug.

pagina 118 van 127


Figuur 22: Links het tekstvak waarin de student zijn essay inzet, in het midden het rapport, rechts de toelichting op het rapport

Wat kost het? Het grootste struikelblok van IEA zijn de kosten. De opstartkosten voor het nakijken van één essayvraagstuk zijn ongeveer € 8000,-. IEA is hierdoor alleen geschikt voor steeds terugkerende stof voor zeer grote aantallen studenten. Beoordeling De hierboven beschreven aspecten zijn gebaseerd op literatuurstudie en informatie die IEA heeft verstrekt. We hebben zelf geen test uitgevoerd. Het meest in het oog springende voordeel is dat de scoring op topics en die op taal direct beschikbaar zijn voor de student. IEA zou een acceptabele betrouwbaarheid hebben waardoor het geschikt is voor de certificerende toetsfunctie. Hoewel er alleen algemene feedback wordt gegenereerd, kan het ook geschikt zijn voor de diagnostische en oefentoetsfunctie. 6.3

Software voor beheer en uitlevering van gesloten toetsvragen Er is op de markt zeer veel software beschikbaar voor het aanmaken, beheren, uitleveren en analyseren van toetsen. Het zou te ver voeren om alle programma’s op te sommen en te bespreken. Onderstaande tabel bevat enige informatie over de in dit boek behandelde programma’s.

pagina 119 van 127

Beeldscherm/o

URL

Opmerkingen

Toetsverwerkin Schriftelijk

Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


Toepassingen gericht op toetsverwerking SPSS

-

-

-

X

-

All-round statistisch pakket. Het bekendste statistische pakket

http://www.spss

in onderwijswereld; flexibel te gebruiken voor allerlei soorten

.nl

statistische analyses. Een vereiste is wel dat u enige kennis hebt van statistiek MULTO

X

X

-

X

-

-

Een al ouder analysepakket. Het is ontworpen door de firma Omega. Na het verdwijnen van deze firma is het pakket in eigendom overgegaan naar VETO (Vereniging Toetsbeheer). Verder informatie is verkrijgbaar bij Ab van Beek, secretaris Veto, [email protected]. Er is echter al jaren niet meer ontwikkeld aan dit pakket. De feedbackinformatie die Multo biedt, is (nog) niet terug te vinden bij andere pakketten. Er zijn daarom voornemens om de functionaliteiten van Multo in te bouwen in (of te koppelen aan) programma's als Testvision en N@Tschool! Vooralsnog staan de gebruikers van Multo voor een moeilijke opgave om in de toekomst opvolgers te kiezen.

Teleform

X

Dit is het bekendste pakket binnen Nederland voor aanmaken

http://www.telef

van optische formulieren en het scannen daarvan inclusief

orm.com

datageneratie. Als bijlage in dit boek is de handleiding Teleform van Onderwijscentrum VU te vinden. Sonate

-

-

-

X

-

Schriftelijke ONdersteuning en Analyse van TEntamens.

http://www.icto.

Sonate werkt samen met het programma Etude

tudelft.nl/sonat

(oorspronkelijk voor beeldschermtoetsen, maar ook in te

e/

zetten voor papieren toetsen).

Toepassingen die alle functies ondersteunen Etude

X

X

X

X

X

Eigen product van de TU-Delft. Maakt gebruik van eigen

http://www.icto.

Windows-omgeving voor opbouw itembank en

tudelft.nl/etude/

beeldschermafname. Questionm

X

X

X

ark

1/2

X

X

Perception

Marktleider wereldwijd. In gebruik bij veel instellingen voor

http://www.qma

hoger onderwijs (o.a. DU, UvA, VU, Utwente). Schriftelijke

rk.com,

afname moeizaam, uitgebreide statistische en itemanalyse

http://www.stoa

mogelijk. Aanpassen van cesuur en herberekening van

s.nl

toetsuitslagen niet rechtstreeks mogelijk. Daarvoor dienen gegevens eerst geëxporteerd te worden en daarna herberekend in bijvoorbeeld SPSS of Excel. TestVision

X

X

X

X

?

Onder andere in gebruik bij de Saxion Hogescholen.

http://www.test

pagina 120 van 127

Beeldscherm/o

URL

Opmerkingen


Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


Programma biedt veel functies voor toetsontwikkeling, beheer,

vision.nl

uitlevering en analyse. Bezit uitgebreide statistische en itemanalyse mogelijk. The

X

X

X

-

X

Examiner

Nationaal op een paar plaatsen in gebruik. Zeer goed in

http://www.xmn

itembanking, minder in beeldschermafname. Goede

.com

toetsanalysse mogelijkheden. Ondersteunt geen QTI. Online beeldschermtoetsing mogelijk via Citrix-ontsluiting. Diploma

X

X

X

X

X

Compleet itembanksysteem, online toetsafname ondersteund

http://www.bro

via bijpassende website EDU of uitlevering via WebCT of

wnstone.net/

Blackboard, schriftelijke uitdraai mogelijk, toetsanalyse. Verschillende Amerikaanse uitgevers leveren itembanken uit in Diploma.. FastTest

X

X

X

X

X

Compleet itembanksysteem, gericht op produceren

http://www.ass

schriftelijke toetsen en online toetsafname. Zeer goede

ess.com

mogelijkheden voor adaptief toetsen. Goede toetsanalyse mogelijkheden. Geen QTI. SecureExa

-

-

X

-

-

http://www.soft

Programma om computers te beveiligen

waresecure.co

m

m/what.htm Basanos

X

X

-

-

-

-

Ontwikkeld binnen Fontys en op slechts enkele plaatsen binnen Fontys en op één plaats buiten Fontys in gebruik; het programma wordt niet meer onderhouden en zal van de markt verdwijnen.

MicroTest

X

X

-

-

-

III

Compleet itembanksysteem, gericht op produceren van

http://www.char

schriftelijke toetsen. Online toetsafname via WebCT mogelijk.

iot.com/microte

Geen toetsanalyse. Verschillende Amerikaanse uitgevers

st/index.asp

leveren itembanken in Brownstone. Geen QTI. Respondus

X

X

-

-

-

Eenvoudig itembanksysteem, gericht op produceren van

http://www.resp

schriftelijke toetsen en online toetsafname via standaard

ondus.com

digitale leeromgevingen. geen toetsanalyse. Verschillende Amerikaanse uitgevers leveren itembanken in Respondus. Ondersteunt QTI. Canvas

X

-

X

-

Programma om toetsvragen en quizzes in aan te maken en

http://www.can

via Flash uit te leveren. Levert zeer interactieve

vaslearning.co

toetsomgeving op. Ondersteunt QTI.

m/

Compleet online itembanksysteem, gericht op produceren van

http://www.toia.

online toetsen. Gemaakt voor onderwijs in het Verenigd

ac.uk/

Modules in Digitale leeromgevingen en complete online toetsomgevingen TOIA

X

-

Koninkrijk. Conformeert geheel aan QTI. Examsoft

X

-

X

-

X

Compleet toetssysteem, gericht op produceren van online

http://www.exa

pagina 121 van 127

Beeldscherm/o

URL

Opmerkingen


Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


toetsafname. Ook toetsanalyse.

msoft.com/

Eenvoudig itembanksysteem. Eenvoudige

http://www.web

assessmen

analysemogelijkheden. Beperkt tot beschrijvende kenmerken

ct.com

tmodule

van de toets. Cesuurbepaling niet mogelijk en daardoor in

WebCT

X

X

X

-

-

feite niet geschikt voor certificerende doeleinden. Ondersteunt QTI. Eenvoudig itembanksysteem. Slechts eenvoudige

http://www.blac

assessmen

analysemogelijkheden. Beperkt tot beschrijvende kenmerken

kboard.com

tmodule

van de toets. Cesuurbepaling niet mogelijk en daardoor in

Blackboard

X

-

X

-

-

feite niet geschikt voor certificerende doeleinden. Ondersteunt QTI via Respondus. Een onderdeel van de elektronische leeromgeving

http://www.thre

l! /

N@Tschool!!; deze DLO wordt binnen het hbo gebruikt op de

eships.nl

N@Tsmart

HRO en Fontys. Het toetsgedeelte binnen N@Tschool! is

est

geschikt voor papieren en beeldschermtoetsen. Uit de

N@Tschoo

X

-

X

-

-

itembanken kunnen papieren toetsen worden samengesteld. Er is een ontwikkeling om de analyse (gedeelte van de verwerking) ook te integreren in N@Tschool. Ondersteunt QTI. X

-

X

-

X

Compleet online toetssysteem van Brownstone. De omgeving

http://www.bro

werkt samen met het programma Diploma.

wnston.net

WebAssign X

-

X

-

X

Compleet online toetssysteem, direct bruikbare content,

http://www.web

gerelateerd aan studieboeken uit beta vakgebieden

assign.com

Compleet itembanksysteem, gericht op produceren van online

http://www.clea

toetsen. Matige toetsanalyse mogelijkheden. Geen QTI.

rlearning.com

Compleet online toetssysteem. Nauwelijks geschikt voor

http://www.quia

itembanking, vooral gericht op produceren van leuke online

.com

EDU

TestPilot Quia

X X

-

X X

-

X -

quizzes. Geen QTI.

pagina 122 van 127


7

Literatuurlijst

Adamson, M. (2003). CAA Case Study. Chalkdust. University of Dundee, Learning Enhancement Unit. Semester 2, 2003-4. Baltzer, J. (2002). Principes van activerend onderwijs. Professionaliseringscursus voor beginnende docenten VU. Amsterdam, Onderwijscentrum VU, Vrije Universiteit Amsterdam. Bax, A. (2001). Cursusinformatie cursus Toetsen en Beoordelen. Amsterdam, Onderwijs Adviesbureau, Vrije Universiteit Amsterdam. Bennet, R. E. (1999). "Using New Technology to Improve Assessment." Educational Measurement: Issues and Practice(fall): 5-12. Berkel, H. v. (1999). Zicht op toetsen, toetsconstructie in het hoger onderwijs. Assen, Van Gorcum. Berkel, H. v. and A. Bax (2002). Toetsen in het Hoger Onderwijs. Houten/Diegem, Bohn Stafleu Van Loghum. Boonstra, J. J. (2000). Lopen over Water. Over dynamiek van organiseren, veranderen en leren. Amsterdam, Universiteit van Amsterdam. Brakel, G. v. and I. Heijmen-Versteegen (2003). Continu zicht: Toetsing als spiegel voor zelfgestuurd leren en competentiegericht opleiden. Eindhoven, SKIF. Brands, J. A. (2001). Het gebruik van ICT als veranderstrategisch vraagstuk, Free Man Management Consultants. http://www.freeman.nl/verander.htm Bull, J. and C. McKenna (2003). Blueprint for Computer-assisted Assessment, RoutledgeFalmer. Caluwé, L. d. and H. Vermaak (2002). Leren veranderen: een handboek voor de veranderkundige. Deventer, Kluwer. Clauser, B. E. (2002). "special issue: Advances in Computerized Scoring of Complex Item formats." Applied Measurement in Education 15(4). Collis, B. and J. Moonen (2001). Flexible Learning in a Digital World: Experiences and Expectations. Dekker, A. J. (1983). Variaties in gesloten vraagvormen. Arnhem, CITO. Dennis, L., S. Mills, et al. (2002). Automated Assessment for Large Groups. http://www.cs.nott.ac.uk/~smx/PGCHE/ Dirkzwager, A. (1998). "A Bayesian Testing Paradigm: Multiple Evaluation, a feasible alternative for Multiple Choice." Psychometrica. Dochy, F. (2002). Lezing op de Hanzehogeschool, Hanzehogeschool Groningen. Dousma, T., A. Horsten, et al. (1997). Tentamineren, Wolters-Noordhoff. Draaijer, S. (2001). Appendix 3, Ontwikkelen van inspirerende gesloten vragen. Amsterdam, Vrije Universiteit, ICT Onderwijscentrum. Draaijer, S., P. W. Groen, et al. (2003). A web-based course in quantitative basin analyses. Amsterdam, Vrije Universiteit, Onderwijsadviesbureau. Fenrich, P. (1997). Practical guidelines for creating multimedia applications. Orlando, The Dryden Press.

pagina 123 van 127


Gorissen, P. (2003). Quickscan QTI. Utrecht, Digitale Universiteit. Graaff, R. d., M. E. v. d. Hulst, et al. (2002). Het afnemen van toetsen met de computer. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax, Bohn Stafleu Van Loghum: Hoofdstuk 5. Gruiter, D. N. M. d. (1999). Hoofdstuk 2: De scoring van open vragen. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeders. Utrecht, Stichting SURF. SURF Educatie reeks. Hearst, M. A. (2000). The debate on automated essay grading. IEEE INTELLIGENT SYSTEMS: 22-37. Heijnen, G. and S. Meeder (1999). Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. Utrecht, Stichting SURF. Heijnen, G. and S. Meeders (1999). Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. Utrecht, Stichting SURF. Hermans, B. M. J. (2001). TOETSEN EN BEOORDELEN, interne notitie Onderwijsadviesbureau Vrije Universiteit. Hermans, P. and J. Hofstee (2004). "Toetsinterfaces en testbias." Onderwijs Innovatie, Open Universiteit Nederland(1): 14-16. Heuvelmans, T. (2003). "De computer als corrector." Examens 1(1): 11-14. Hulst, M. E. v. d. (2003). Rapportage opfristoets biologie, Vrije Universiteit Amsterdam, ICT Onderwijscentrum, Onderwijsadvies Bureau. Huyck, S. v. (2002). Tussentijdse toetsen als concrete begeleidingsmaatregel voor studenten in eerste kandidatuur, Katholieke Universiteit Leuven. http://www.kuleuven.ac.be/onderwijs/beleidsinfo/semex/tussentijdsetoetsen.htm Jaspers, M. and M. I. S. Schade (2002). Toets & Beleid, Fontys Hogescholen. Jong, T. d., K. Veermans, et al. SimQuest Discovery Learning: Advice Tool, Universiteit Twente. http://www.simquest.to.utwente.nl/simquest/autadv.htm Keller, J. M. (1983). Development and Use of the ARCS Model of Motivational Design. Enschede, Twente Univ. of Technology. Kor, R. (2002). Werken aan Projecten, Kluwer. Kotter, J. P. (1998). Winning at Change. Leader to Leader: 27-33. Leiblum, M. D. (1994). Biological Psychology for first year University Students. De kwaliteiten van computer ondersteund onderwijs. M. J. A. Mirande. Bussum, Coutinho. Leijen, J. J. (2002). Eindverslag vernieuwingsproject Permanent Toetsen, Universiteit Leiden. Leunissen, R. (2004). Voortgangstoets, Universitair Medisch Centrum Sint Radboud. Mazur, E. and C. H. Crouch (2001). "Peer Instruction: Ten Years of Experience and Results." American Journal of Physics 69(9): 970-977. Merriënboer, J. J. G., van. (2002). De Ontbrekende Didactiek van E-leren. OnderwijsResearchDagen (ORD), Anwerpen, België.

pagina 124 van 127


Mirande, M. J. A. (1994a). De kwaliteiten van computer ondersteund onderwijs. Bussum, Coutinho. Mirande, M. J. A. (1994b). Deel IV Efficiënte toetsing en toetsvoorbereiding. De kwaliteiten van computer ondersteund onderwijs. Bussum, Coutinho. Mirande, M. J. A. (2000). Stilstaan bij een haastig medium, over de betekenis van het Internet in het Onderwijs, Coutinho. OAB (2003). Toetsen en beoordelen, Vrije Universiteit Amsterdam. Oosterhuis-Geers, J. A. (2002). Copy-paste van het Internet. Enschede, Universiteit Twente. Pilot, A. (1998). verbazing. http://listserv.surfnet.nl/scripts/wa.exe?A2=ind9802&L=toets-ho&P=R1936&I=-3 Polderdijk, M., M. d. Volder, et al. (april 2004). Handboek toetsplanontwikkeling. Verantwoord plannen van toetsing en examinering in het hoger onderwijs, Digitale Universiteit. Poteralski, P. (1994). Computer based assessment: Design considerations. Learning Environment Technology 94, Australian Society for Educational Technology. Quia (1999-2004). Quia, Quia. Rayne, R. (2002). OnLine Assessment And Feedback: Checklist for Effective Feedback. OLAAF, Birkbeck College. http://www.bbk.ac.uk/olaaf/index.htm Respondus (2004). StudyMate, Respondus. Ricketts, C., Wilks, S., Crocker, C. (2001). WHAT FACTORS AFFECT STUDENT OPINIONS OF COMPUTERASSISTED ASSESSMENT? 5th CAA Conference, Loughborough. Schoonenboom, J., F. Roozen, et al. (2004). ICT-onderwijsmonitor Hoger Onderwijs 2002-2003. Amsterdam / Leiden, Research voor Beleid en SCO-Kohnstamm Instituut. Schuwirth, L. (2002). Hoofdstuk 8 Toetsen met korte casussen. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax. Houten/Diegem, Bohn Stafleu Van Loghum. Segers, M. S. R. (1998). "Het toetsen van probleemoplossende vaardigheden, Ervaringen met de OverAll Toets." Tijdschrift voor Hoger Onderwijs 16(3): 155-177. Senechal, G. (1997-2004). Plagiarized.com, The definitive guide to internet plagiarism. Ottawa. http://www.plagiarized.com/ Smuling, E. B., J. Brants, et al. (1990). Oriëntatie op leren en onderwijs, Wolters-Noordhoff. Steenkamp, F., S. d. Tuinder, et al. (2003). DE STUDENTENOORDELEN VAN CHOICE:, EEN STAPSGEWIJZE TOELICHTING, Centrum Hoger Onderwijs Informatie voor Consument en Expert (CHOICE). Straetmans, G. J. J. M. (1999). In Hoofdstuk 3: Adaptieve toetspakketten voor het opsporen van deficiënties op het gebied van rekenen en wiskunde. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeders. Utrecht, Stichting SURF. SURF Educatie reeks. Strookman, V. (2002). Plagiaat via internet. http://www.edusite.nl/edusite/specials/10759 Thalheimer, W. (2003). The Learning Benefits of Questions, Work Learning Research. Twijnstra and Gudde (2003). Verandermanagement, Twijnstra en Gudde. http://www.tg.nl/Diensten/HumanTalent/verander.html

pagina 125 van 127


Verkroost, M. J. Variatie in gesloten vraagvormen, TU-Delft. Vermunt, J. D. and N. Verloop (1999). "Congruence and friction between learning and teaching." Learning and Instruction 9: 257-280. Vleuten, C. P. M. v. d. and J. Daniëls (2002). Toetsen en ICT. ICT in het hoger onderwijs. H. Frencken, A. Nedermeijer, A. Pilot and I. t. Dam. Utrecht, IVLOS, Universiteit Utrecht: Hoofdstuk 3. Vleuten, C. P. M. v. d., L. W. T. Schuwirth, et al. (1999). De rol van ICT in studietoetsen: een verkenning. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland, SURF Educatie reeks. G. Heijnen and S. Meeder. Utrecht, Stichting SURF. VSSD (1987-2003). Delft, Vereniging voor Studie- en Studentenbelangen Delft. White, S. (2002). e3an Question Metadata. http://www.e3an.ac.uk/ Wijnen, W. H. F. W. and A. Muijtjens (2002). Hoofdstuk 12 Toetsen met voortgangstoetsen. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax. Houten/Diegem, Bohn Stafleu Van Loghum. Wilbrink, B. (1983). Toetsvragen schrijven. Utrecht/Antwerpen. Wolters, G. (1999). Examiner, niet volmaakt, wel goed bruikbaar. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeder. Utrecht, Stichting SURF: 97-100. Wolters, L. (1998). Toetsvormen voor academische vaardigheden, Universiteit Leiden, ICLON, sectie Onderwijsontwikkeling.

pagina 126 van 127


pagina 127 van 127

6 Softwareprogramma s

Recommend Documents