Flexibilisering van Toetsing

Flexibilisering van Toetsing Silvester Draaijer

Creëren van voorwaarden voor een breed toetsrepertoire in het hoger onderwijs

05-07-2004

Flexibilisering van Toetsing

Colofon Flexibilisering van Toetsing Creëren van voorwaarden voor een breed toetsrepertoire in het hoger onderwijs

Stichting Digitale Universiteit Nijenoord 1, 3552 AS Utrecht Postbus 182, 3500 AD Utrecht Telefoon

030 - 238 8671

Fax

030 - 238 8673

e-mail

[email protected]

Auteurs Silvester Draaijer, Leendert van Gastel, Vic Peeters, Pascale Frinking, Christoffel Reumer Copyright Stichting Digitale Universiteit Deze uitgave is binnen het consortium van de Digitale Universiteit vrijelijk te gebruiken, mits voorzien van adequate bronvermelding. Niets uit deze uitgave mag buiten het consortium openbaar worden gemaakt, verspreid en/of verveelvoudigd door middel van internet, druk, fotokopie, microfilm of op welke andere wijze dan ook zonder voorafgaande schriftelijke toestemming van het bureau van de Digitale Universiteit. Datum 05-07-2004 Kenmerk 204A.PROD.082.Handboek Flexibilisering van Toetsing Voorwoord

5

1

Inleiding

6

1.1

Definitie en doelstelling

6

1.2

Voor wie is dit boek?

7

1.3

Leeswijzer

7

2

Toetsing in soorten en maten

8

2.1

8

Toetsen in fasen

2.1.1 Oriëntatiefase (kennisverwerving)

9

2.1.2 Oefenfase (kennistoepassing)

10

2.1.3 Certificeringsfase (kennismeting)

10

2.2

10

Toetsen in vormen

2.2.1 Zelftoetsing

10

2.2.2 Formatieve toetsing

11

2.2.3 Summatieve toetsing

14

2.2.4 Tussentoetsen: formatief of summatief?

15

2.2.5 Overzicht toetsvormen

15

2.3

Flexibeler toetsen binnen flexibeler onderwijs

16

2.4

Toetsen en ICT

18

pagina 2 van 2


3

2.4.1 Beeldschermtoetsen

18

2.4.2 Digitale vraagtypen

23

Beleid in dienst van flexibele toetsing

32

3.1

Ontwikkelingen in het onderwijs

33

3.1.2 Activerender onderwijs

33

3.1.3 Competentiegerichter onderwijs

34

3.1.4 Meer aandacht voor kwaliteitszorg

34

3.1.5 Meer digitaliseren

35

3.1.6 Meer effectiviteit en efficiëntie

36

3.2

37

Beleid op instellingsniveau

3.2.1 Toetsbeleid

37

3.2.2 Verandermanagement

38

3.2.3 Voorwaardenscheppend beleid

40

3.2.4 Sturend beleid

41

3.2.5 Financiële consequenties

42

3.2.6 Rekenvoorbeelden

43

3.3

49

Beleid op het niveau van de opleiding/faculteit

3.3.1 Vergelijking met instellingsniveau

49

3.3.2 Aandacht voor toetsing vergroten

49

3.3.3 Toetsorganisatie instellen

50

3.4

4

32

3.1.1 Vraaggerichter onderwijs

Beleid op het niveau van docenten

52

3.4.1 Toetsontwikkeling

54

3.4.2 Samenwerking binnen een vakdiscipline

56

De mogelijkheden van ICT in het toetsproces

60

4.1

60

Gesloten toetsvragen ontwikkelen en beheren in een itembank

4.1.1 Een itembank ontwerpen

60

4.1.2 Digitaal toetsbeheer

64

4.1.3 Automatische toetssamenstelling via een itembank

66

4.1.4 Itembank bevordert hergebruik en uitwisseling van toetsvragen

67

4.2

68

Randvoorwaarden voor digitale toetsafname

4.2.1 Support en ondersteuning voor docenten

69

4.2.2 Een bedrijfszekere infrastructuur

70

4.2.3 Een beveiligde infrastructuur

71

4.2.4 Een faire infrastructuur

72

4.3

Digitale toetsverwerking van gesloten vragen

75

4.3.1 Analyseren van toetsen, toetsvragen en resultaten

76

4.3.2 Verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen Toepassingsgebied van formatief en summatief toetsen met ICT

78

4.5

Toetsverwerking van vrije tekstopdrachten

79

4.5.1 Ondersteuning door middel van ICT

5

6

77

4.4

81

4.5.2 Toepasbaarheid van de software

83

4.5.3 Plagiaat

85

Samenvatting/conclusie

90

5.1

Negen inzichten voor flexibeler toetsen

90

5.2

Toekomstverwachtingen

91

Softwareprogramma’s

93

6.1

93

Plagiaatdetectieprogramma’s

pagina 3 van 3


6.1.1 CODAS

94

6.1.2 EVE2

95

6.1.3 WCopyFind

96

6.1.4 Turnitin.com

97

6.1.5 MyDropBox/SafeAssignment

100

6.1.6 Urkund

103

6.1.7 Ephorus

106

6.2

108

Software voor het nakijken en beoordelen van essayvraagstukken

6.2.1 Markin (nakijkhulp)

108

6.2.2 MarkThis (semi-automatische nakijkhulp)

112

6.2.3 CODAS (automatische nakijkhulp)

113

6.2.4 BETSY

117

6.2.5 Intelligent Essay Assessor, Intellimetric en Criterion (geavanceerd automatisch

7

nakijken)

118

6.3

119

Software voor beheer en uitlevering van gesloten toetsvragen

Literatuurlijst

123

pagina 4 van 4


Voorwoord Dit boek is tot stand gekomen in het kader van het project Flexibilisering van Toetsing van de Digitale Universiteit. Het project heeft gelopen van maart 2003 tot en met juli 2004. In het kader van dat project heeft een projectgroep aan verschillende zaken gewerkt: •

Het ontwikkelen van een website met informatie over het onderwerp

•

Het verzamelen, beschrijven en ontsluiten van casussen over het onderwerp

•

Het ontwikkelen van beleidssessies over het onderwerp

•

Het verzorgen van presentaties over het onderwerp

•

Het ontwikkelen van het onderhavige boek

De projectgroep bestond uit personen van de volgende instellingen: •

Vrije Universiteit Amsterdam: Silvester Draaijer, Christoffel Reumer, Michel Jansen

•

Universiteit Twente: Pascale Frinking, Jan de Goeijen, Henk Roossink

•

SAXION Hogescholen: Alexander Kremers, Henny Groot-Zwaaftink

•

Fontys Hogescholen: Vic Peeters

•

Universiteit van Amsterdam: Leendert van Gastel, Wolter Kaper, Thijs Jansen, Wies Verschoor

Elk van deze personen heeft input geleverd voor teksten in dit boek, niet in de laatste plaats door over het onderwerp uitgebreid te discussiëren om daarmee de inzichten te scherpen. Daarnaast hebben het Audiovisueel Centrum van de VU (Mirjam Nooij, Hans Wevers, Hans Quatfass) en het Taalcentrum-VU (Annette van der Schee en Ben Lange) een belangrijke bijdrage geleverd om het onderwerp en de inzichten in dit boek en bijbehorende video’s, overtuigend te visualiseren en te presenteren. We bedanken daarnaast de personen die acte de présence wilde geven in de video’s Flexibilisering van Toetsing: Toon Stuitje, Marianne Schade, Petra van Heugten, Wim Oostindiër, Josef Sennekool, Cees van der Vleuten, Wynand Wijnen, Steve Aitken, Linda Morris, Richard Parsons, Nicholas Part, Martyn Ward, David Walker en Geoffrey Ward. Uit vele verschillende bronnen is informatie verzameld over het onderwerp. Er is actief getracht om nieuwe informatie te formuleren door experimenteren en praktijksituaties te beschrijven. Hopelijk leidt deze nieuwe informatie ertoe dat het onderwerp Flexibilisering van Toetsing – dat een zeer veelvormige duiding kent – na het lezen van dit boek voor u in een overzichtelijker en meer richtinggevend kader komt te staan. Na het lezen van het boek bent u dan ook extra goed toegerust om gerichter beleid voor hun eigen instellingen of situatie te formuleren. Het geeft mogelijk een (hernieuwd) startpunt om in de eigen organisatie veranderingen te realiseren. Ir. Silvester Draaijer, Onderwijscentrum VU Projectleider

pagina 5 van 5


1

Inleiding De klant is koning, ook in het onderwijs. Het uitgangspunt verschuift steeds meer naar de behoefte van de studenten en die van de maatschappij. Vraag- en competentiegericht onderwijs zijn hierbij sleutelwoorden. Parallel daaraan zal kwaliteitszorg – in de vorm van accreditatie – een steeds grotere rol gaan spelen. Deze veranderende cultuur vraagt een flexibelere en efficiëntere invulling van het onderwijs en van toetsing. Met name summatieve toetsing (competentie- en kennistoetsing) vormt daarbij in de onderwijscarrière van iedere student een rode draad. Deze toetsen zijn een ijkmiddel voor zowel docenten als studenten. Maar toetsing is meer dan dat. Zelftoetsen en formatieve toetsen kunnen studenten helpen om kennis te verwerven en hun eigen leerproces te sturen. Toetsen en leren zijn onlosmakelijk met elkaar verbonden. Voor beter onderwijs zullen onderwijs en toetsing daarom steeds beter geïntegreerd en op elkaar afgestemd moeten worden. De inzet van ICT biedt daarbij vele kansen. De potentie om die kansen te benutten maakt toetsing flexibeler. Daarnaast heeft ICT ook zijn eigen invloed op het onderwijs. Naast klassikaal onderwijs, ontstaat door ICT een heel spectrum van mogelijkheden om kennis te verwerven. Zowel bij de traditionele kennisoverdracht van docent op student, als bij nieuwe stimulerende werkvormen waarin studenten actief en verantwoordelijk zijn voor hun eigen leren en onderwijs steeds meer plaatsvindt in een elektronische omgeving. De kansen die ICT biedt bij toetsing creëren dus ook hun eigen dynamiek. De cultuuromslag naar vraag- en competentiegericht onderwijs en de rol die toetsing daarin speelt, vragen om een flexibele kijk op de rol en de aard van de toets en om een realistische kijk op de mogelijkheden van ICT. De huidige ICT-middelen stellen docenten, opleidingen en instellingen in staat een groter assortiment aan toetsingsmogelijkheden in te zetten. Om dat effectief te doen zijn aanpassingen nodig in het beleid en zal ook een ICT-omgeving moeten worden gecreëerd die toetsontwikkeling, toetsbeheer, toetsafname en toetsanalyse laagdrempelig beschikbaar maakt en de beveiliging rondom digitaal toetsen waarborgt. Docenten, opleidingen en instellingen zullen keuzes moeten maken en randvoorwaarden moeten creëren om de mogelijkheden die de techniek biedt optimaal te gebruiken. Schaalvergroting en standaardisering zijn daarbij belangrijk. Opleidingen ontkomen er niet meer aan om systematisch na te denken over hun toetsbeleid en het operationaliseren daarvan.

1.1

Definitie en doelstelling In dit boek draait het om flexibeler toetsen in het onderwijs. Onder flexibele toetsing verstaan we het volgende: Flexibele toetsing is een situatie waarbij er in het onderwijs een breed repertoire van toetsingsmogelijkheden beschikbaar is, waaruit student, docent, opleiding en instelling in onderlinge interactie voor hun leer- of onderwijssituatie een geschikte keuze kunnen maken en tot uitvoer kunnen brengen. In dit boek lichten we toe wat er allemaal komt kijken bij flexibeler toetsen. We focussen daarbij op de veelheid aan functies die toetsen in het onderwijs kunnen vervullen, de rol en invloed van ICT daarbij en we schetsen welk beleid en welke organisatie-inrichting noodzakelijk zijn om de kansen die flexibeler toetsen biedt ten volle te kunnen benutten. Hiermee willen we u een overzicht bieden en u helpen richting te geven aan het onderwijs om flexibeler toetsen mogelijk te maken.

pagina 6 van 6


Ter illustratie vindt u op de website Flexibilisering van Toetsing, te vinden via http://www.du.nl/flextoets, casussen uit de praktijk van het hoger onderwijs, die laten zien hoe verschillende functies, beleidsbeslissingen en randvoorwaarden in de praktijk kunnen uitpakken. 1.2

Voor wie is dit boek? Toetsen en de organisatie rondom toetsen kennen in het hoger onderwijs een grote diversiteit. In de ene instelling geeft de docent vorm aan het toetsbeleid, in de andere instelling gebeurt dat op vakgroep- of opleidingsniveau. Soms wordt het beleid op instellingsniveau bepaald. Dit handboek richt zich in principe op iedereen die het toetsbeleid bepaalt. Daarnaast is dit boek geschikt voor:

1.3

•

beleidsmedewerkers

•

leden van examencommissies

•

leden van toetscommissies

•

toetsdeskundigen

•

deskundigen op het terrein van ICT in het onderwijs

Leeswijzer Hoofdstuk 2 van dit boek gaat in op toetsen in soorten en maten en de mogelijke functies die toetsvragen en toetsen in het onderwijs kunnen vervullen. Ook wordt het ‘ideale’ toetsproces beschreven. Dat proces vormt een leidraad om specifieke aspecten van het toetsproces later aan op te kunnen hangen. Het hoofdstuk vormt een algemene inleiding op de wijze waarop toetsing in de rest van het boek wordt beschouwd. ICT is een belangrijk middel om toetsen te flexibiliseren. Om de kansen die ICT biedt in het onderwijs te realiseren zal een instelling, opleiding of docent systematisch aan de slag moeten gaan. Er is beleid nodig dat de juiste randvoorwaarden creëert en daarnaast de juiste sturing geeft om de kansen systematisch te kunnen benutten; niet alle kansen hoeven te worden benut. De beleidsmatige aspecten van flexibeler toetsen komen aan de orde in hoofdstuk 3 van dit boek. Dit hoofdstuk is uitermate geschikt voor beleidsmedewerkers van instellingen en opleidingen. Het vierde hoofdstuk gaat dieper in op de bredere ‘omgeving’ die nodig is om de kansen te realiseren. Het gaat in op verschillende ICT-programma’s, de benodigde IT-infrastructuur en de vereiste ondersteuningsorganisatie. Dit hoofdstuk is met name interessant voor IT-beheerders, toetsdeskundigen en onderwijskundigen. Het laatste hoofdstuk van dit boek bevat in een notendop de negen belangrijkste inzichten die dit boek ons inziens verschaft. In de bijlage tenslotte, vindt u een uitgebreidere beschrijving van allerlei software programma’s die in de tekst van de vorige hoofdstukken is genoemd.

pagina 7 van 7


2

Toetsing in soorten en maten Toetsen spelen een cruciale rol in het onderwijs. Alle studenten en docenten hebben ermee te maken en ze bepalen in hoge mate het gedrag van deze studenten en docenten (Heijnen en Meeders 1999; Vleuten en Daniëls 2002). Studenten hebben tijdens het leerproces op de eerste plaats behoefte aan een regelmatige beoordeling, zowel formatief als summatief, van hun prestaties en informatieve feedback. Die beoordeling kan dienen om het leerproces tijdig bij te sturen of als ondersteuning van hun inspanningen. Toetsing kan in het onderwijsproces leiden tot rendementsverbetering en/of het verbeteren van het niveau van afgestudeerden. Instituten, opleidingen en docenten hebben de taak om dit zo efficiënt en effectief mogelijk te doen. In dit boek beschouwen we een toets als een ‘opdracht’ en een ‘toetsvraag’ als een ‘miniopdracht’ . Met die gedachte in het achterhoofd zal blijken dat het toepassingsgebied van de toetsvraag en de toets veel breder is dan alleen maar ‘een meting’ doen, een ‘waardering’ geven of een ‘beslissing’ nemen aan het eind van een leerfase (Bax 2001). Het toepassingsgebied betreft juist álle leerfasen. Kader 1 De kwaliteiten van Computer Ondersteund Onderwijs In 1994 beschrijft Marcel Mirande in het boek ‘De kwaliteiten van computerondersteund onderwijs’ (Mirande 1994a) een uitgebreid aantal casussen over de inzet van computers in het onderwijs. De focus ligt op Computer Ondersteund Onderwijs (COO); meestal stand-alone programma’s die studenten helpen om zich op actieve wijze de leerstof eigen te maken. Het internet was nog niet in zicht. Een indeling voor de toepassing van COO die Mirande ziet is de volgende: •

Het wegwerken van deficiënties;

•

Het uitbreiden van oefenmogelijkheden;

•

Het vervanging van werkcolleges;

•

Het vernieuwen van practica;

•

Efficiënte toetsing en toetsvoorbereiding.

Wat opvalt in het boek is dat in alle voorbeelden een belangrijke plaats is weggelegd voor toetsvragen en toetsen. Ze worden echt ingezet als miniopdrachten. In dit boek over Flexibilisering van Toetsing wordt deze zienswijze opnieuw belicht en uitgewerkt voor het internet tijdperk. Het is de taak van onderwijsgevenden om toetsvragen en toetsen op een zinvolle wijze te verweven in het onderwijs. Deze zienswijze levert in dit boek een belangrijke dimensie op voor ‘flexibel toetsen’. Flexibel toetsen gaat over het aanbieden van toetsvragen en toetsen om het leerproces zo optimaal mogelijk in te richten. In dit hoofdstuk staat het groeiende repertoire aan toetsingsmogelijkheden centraal. Dit groeiende repertoire wordt met name veroorzaakt door de voortschrijdende techniek. Toetsen kunnen in de eerste plaats worden afgenomen in verschillende onderwijsfasen. Deze fasen komen aan bod in paragraaf 2.1. Daarnaast zijn er verschillende mogelijke toetsvormen. Deze worden uitgebreid beschreven in paragraaf 2.2. In paragraaf 2.3 gaan we nader in op flexibeler toetsen binnen flexibeler onderwijs. Tot slot gaan we in de laatste paragraaf van dit hoofdstuk (paragraaf 2.4) nader in op de mogelijkheden ICT bij toetsen. 2.1

Toetsen in fasen In het onderwijs kunnen de volgende fasen onderscheiden worden (Smuling, Brants et al. 1990):

pagina 8 van 8


•

de oriëntatiefase

•

de oefenfase

•

de certificeringsfase

In elk van deze fasen onderscheiden we verschillende onderwijsfuncties. In de onderstaande paragrafen gaan we dieper in op deze onderwijsfuncties. 2.1.1 Oriëntatiefase (kennisverwerving) In de oriëntatiefase zet de student de volgende zaken op een rijtje: •

essentiële kenniscomponenten

•

vakspecifieke hulpmiddelen

•

methoden

•

denkwijzen

•

oplossingsmethoden

•

begrippen en doelen die binnen het vakgebied vanzelfsprekend zijn

De onderwijsinstelling helpt de student hierbij door hem de stof aan te bieden en kennis te laten verwerven. Vervolgens moet de student in de gelegenheid worden gesteld om deze kennis te operationaliseren. Het devies voor de onderwijsgevende is om bij deze fase niet te veel met de deur in huis te vallen en niet uit te gaan van ten onrechte veronderstelde voorkennis. Het gebruik van toetsvragen of toetsen in deze fase kan zeer zinvol zijn (Thalheimer 2003). Toetsvragen kunnen heel goed een integraal onderdeel vormen van het instructieontwerp van het onderwijs. Goed ontworpen vragen zijn effectief omdat ze: 1.

oefening aanbieden aan lerenden om kennis te reproduceren en het geheugen te trainen;

2.

lerenden feedback geven over hun misconcepties;

3.

de aandacht van lerenden richten op het meest belangrijke leermateriaal;

4.

de belangrijkste concepten herhaald onder de aandacht kunnen brengen zodat het begrip en de toepassing van kennis versterkt kunnen worden.

Toetsvragen kunnen worden voorgelegd voorafgaand aan, gedurende of aan het eind van de bestudering. Toetsen hebben in deze fase een motiverende functie doordat ze de lerende een gevoel geven van constructieve frictie (Vermunt en Verloop 1999): wat weet ik nog niet, maar kan ik gaan leren (zie ook onderstaand voorbeeld). Ze hebben een activerende functie doordat ze de lerende aanzetten tot nadenken over wat ze nog aan kennis moeten verwerven. Kader 2: Voorbeeld van een toetsvraag die ‘constructieve frictie’ oproept Welke factor heeft de meeste invloed op de mening van studenten over summatieve beeldschermtoetsen? a)

De ‘on-screen’ stijl en lay-out van de toets.

b)

Het wel/niet tonen van feedback op de vragen van de toets.

c)

De kwaliteit van de toetsvragen.

d)

De computervaardigheid van de student.

e)

De kwaliteit van de cursus in het kader waarvan de toets plaatsvindt.

Denk eerst goed na voor u de volgende zin leest. Het goede antwoord op bovenstaande vraag is letter 5 van de volgende reeks: DEABACA.

pagina 9 van 9


2.1.2 Oefenfase (kennistoepassing) Tijdens de oefenfase van het leerproces leert de student de verworven kennis op operationeel niveau toe te passen. Het gaat hier bijvoorbeeld om: •

handelingen leren uitvoeren

•

middelen kiezen

•

de juiste verwaarlozingen doen

•

de juiste theorie toepassen

De instelling reikt de middelen aan waarmee de student zich deze vaardigheden eigen kan maken. Het is van het grootste belang dat de student tijdens deze oefenfase feedback krijgt om de voortgang in kennisopbouw te kunnen evalueren en om bij te kunnen sturen. Ook in deze fase kunnen toetsvragen en toetsen een belangrijke rol spelen. Met name in de bètawetenschappen worden studenten aangespoord om natuurwetenschappelijke kennis toe te passen door problemen op te lossen in de vorm ‘sommen maken’. In andere vakgebieden (alfa, gamma) kunnen studenten oefenen door ‘casussen op te lossen’. Dit kan in de vorm van inventarisaties of rapporten schrijven en het analyseren aan de hand van theorieën. 2.1.3 Certificeringsfase (kennismeting) De derde fase van het leerproces is de certificerende meting, ofwel het vaststellen van het totale leerresultaat door ‘een meting’ doen, een ‘waardering’ geven en een ‘beslissing’ nemen aan de hand van en criterium (wanneer voldoende of onvoldoende). Toetsen aan het einde van een onderwijsonderdeel dienen met name om de prestaties van de student te beoordelen. Deze toetsen hebben vaak de vorm van een tentamen met gesloten of open vragen. In de reguliere literatuur over toetsing (Dousma, Horsten et al. 1997; Berkel 1999; Bax 2001; Berkel en Bax 2002) wordt vooral dit aspect van het gebruik van toetsvragen en toetsen behandeld. Het gaat daarbij om de aspecten rondom het realiseren van een systematisch en verantwoord meetproces met veel aandacht voor validiteits- en betrouwbaarheidsvraagstukken. 2.2

Toetsen in vormen Toetsvragen en toetsen kunnen niet alleen in verschillende leerfasen worden ingezet, maar ook in verschillende vormen. Hieronder hebben we die verschillende vormen voor u op een rij gezet. In Tabel 1 op bladzijde 15 wordt dit overzicht schematisch weergegeven.

2.2.1 Zelftoetsing Een belangrijke vorm van toetsvragen of toetsen is zelftoetsing. Met een zelftoets wordt een student in staat gesteld kennis te verwerven en toe te passen of om zijn beheersing van de stof te meten. Het is aan de student om dit initiatief te nemen en deze toetsen met de voldoende aandacht te beantwoorden en van de feedback te leren. Het vergt een specifieke opbouw van de toetsvragen, de kalibrering van de toetsen en de feedback om dergelijke toetsing effectief te laten zijn. Psychometrisch analyse van dergelijk toetsen is niet zinvol. De reden daarvoor is dat de condities waaronder de toets wordt gedaan niet gecontroleerd zijn. Een interessante categorie van zelftoetsing is de directe voorbereiding op eindtoetsen zoals een tentamen. Deze toetsen combineren elementen van kennisverwerving, oefening en diagnosestelling. De directe voorbereiding biedt studenten zicht op de manier waarop een eindtoets wordt afgenomen en geeft antwoord op de vraag of ze voldoende kennis hebben om een dergelijke

pagina 10 van 10


eindmeting positief af te ronden. Vaak worden dergelijke toetsen door lerenden en onderwijsgevenden aangeduid met de term ‘oefentoets’, maar deze term dekt de lading van zelftoets zoals bedoeld in dit boek niet helemaal. Omdat zelftoetsing door studenten zelf moet worden geëntameerd, is het belangrijk dat materiaal voor zelftoetsing, met name als het gericht is op kennisverwerving en kennistoepassing, zeer aantrekkelijk en motiverend is voor studenten. Door Keller (Keller 1983) worden daarvoor de volgende aanwijzingen gegeven: •

Aandacht. Zorg ervoor dat de opdracht de aandacht van de lerenden zal trekken door

•

Relevantie. Zorg ervoor dat de relevantie van de oefening voor de lerende duidelijk is. Geef

•

Vertrouwen. Zorg ervoor dat complexiteit en het niveau van oefeningen niet te laag en niet te

•

Bevrediging. Als oefeningen zijn afgerond dienen lerenden feedback te krijgen die hen

onverwachte en spannende elementen. een interessante context weer waar de lerenden zich mee kan identificeren. hoog is zodat studenten vertrouwen krijgen in hun eigen kunnen. stimuleert om verder te gaan. Deze aanwijzingen houden voor de vormgeving van zelftoetsingsmateriaal gericht op kennisverwerving en -toepassing in dat dergelijk materiaal er bij voorkeur niet uitziet als een ‘toets’ of ‘tentamen’, maar veel meer als een (interactief) spel. 2.2.2 Formatieve toetsing Een andere toetsvorm is de zogenoemde formatieve toetsing. Formatieve toetsing kan worden gebruikt om lerenden kennis te laten verwerven of te laten toepassen. Deze toetsing heeft geen directe invloed op de eindbeoordeling van een onderwijsonderdeel, maar vindt wel onder beter gecontroleerde condities plaats dan de zelftoetsing. Hierdoor kunnen de met deze toetsing verkregen gegevens gebruikt worden om een diagnose te stellen. Bijvoorbeeld de diagnose welke kennis nog ontbreekt en nog dient te worden verworven en welke toepassing van kennis nog niet wordt beheerst. Het geeft lerenden en onderwijsgevenden informatie (feedback) om het leerproces bij te sturen of de didactische aanpak te wijzigen. Voorbeelden van formatieve toetsen zijn opfristoetsen (Draaijer 2001; Draaijer, Groen et al. 2003; Hulst 2003), voorkennistoetsen, instaptoetsen, ConcepTests (Mazur en Crouch) en Tutorials (Adamson 2003). In de Engelstalige literatuur worden formatieve toetsen en zelftoetsing vaak aangeduid met ‘low-stakes’ testing. Ook de terugkoppelingsfunctie voor docenten van formatieve toetsing is belangrijk. Docenten moeten erachter zien te komen wat studenten wel of niet weten en daar bij voorkeur ook actie op kunnen nemen. Zie onderstaande tekstkaders voor voorbeelden. Kader 3 Peer Instruction en de rol van ConcepTests1 Binnen de context van traditionele instructie (zoals colleges) wordt in het algemeen gezocht naar technieken om grotere groepen studenten te activeren. Een vrij prominente en vaker toegepaste techniek daarin is Peer Instruction. Hierbij activeert de docent studenten door ze zogenoemde ConcepTests voor te leggen. Dat zijn over het algemeen meerkeuzevragen waarin studenten bevraagd worden op hun (mis)concepties van (natuurwetenschappelijke) theorieën. Deze conceptuele vraag moeten studenten via onderling overleg proberen te beantwoorden tijdens een college. Aan de hand van de ‘score’ van de studenten – die de docent eenvoudig kan meten door studenten hun hand op te laten steken voor het antwoord dat ze denken dat goed is – kan de 1

http://galileo.harvard.edu/

pagina 11 van 11


docent besluiten om de theorie nogmaals uit te leggen of door te gaan met een volgende onderwerp.

In één van de casussen die te vinden is op de website Flexibilisering van Toetsing via http://www.du.nl/flextoets wordt de Galileo casus uitgebreider behandeld.

pagina 12 van 12


Kader 4 Toetsen als ‘collegeverbeteraar’ Een docente van het vak Historische pedagogiek aan de VU wilde het onderwijs graag verbeteren. Zij vond dat de gehele kwaliteit van de cursus verhoogd moest worden. Zij besloot om zelftoetsen te gaan maken voor studenten en deze aan studenten aan te bieden via de digitale leeromgeving Blackboard. Het inzetten van zelftoetsen via Blackboard zag zij als een mogelijkheid om: •

Colleges beter te kunnen voorbereiden. Het maken van de toetsen helpt haar om lastige concepten beter uit te leggen tijdens het college.

•

De stof zelf beter te leren beheersen. Het maken van toetsen dwingt haar om de stof weer helemaal door te pluizen.

•

De inhoud en leerdoelen van het vak beter te formuleren. Het maken van toetsen dwingt haar om de stof weer helemaal door te pluizen.

•

De studenten meer te motiveren voor het vak. Door studenten vragen te laten beantwoorden komen ze op een andere manier met de stof in aanraking.

•

De studenten beter voor te bereiden op de toets. Door studenten vragen te laten beantwoorden komen ze meer met de stof in aanraking.

Samen met haar collega heeft ze voor elk hoofdstuk uit de literatuur vragen opgesteld. Wat vonden zij zelf waardevol aan deze onderneming? “Het werken hieraan heeft me veel voldoening opgeleverd en de doelen zijn ook behaald. Ik heb een veel beter inzicht gekregen in mijn eigen vak. De studenten reageerden positief, alhoewel lang niet iedereen de zelftoetsen maakte. Degenen die ze wel maakten waren tijdens het college actiever en stelden meer vragen. Dat maakte het college veel interessanter, zowel voor de studenten als voor mezelf. De studenten in het algemeen waardeerden daarnaast het feit dat een deel van de vragen uit de zelftoetsen terugkwamen in de eindtoets. Dat was voor hen een goede stimulans om gebruik te maken van de zelftoetsen. De eindtoets bestond uit 60 multiplechoicevragen (waarvan 20 uit de zelftoetsen) en 10 open vragen.” Kader 5 De opfristoets Aan het eind van de propedeuse krijgen studenten Biologie van de Vrije Universiteit het vak Plantenfysiologie. Tot dan toe is er in de propedeuse geen aandacht geweest voor plantenfysiologie en de kennis die studenten op het vwo over dit onderwerp hebben opgedaan blijkt meestal diep te zijn weggezakt. Daarom heeft Anneke Wagner in 2001 een voorkennistoets gemaakt zodat zij beter inzicht zou hebben in de voorkennis van studenten (en de leemtes daarin). Zij maakte deze opfristoets met de toetsmodule van Blackboard. De toets bestaat uit 22 vragen, telkens bij een afbeelding. Als studenten de toets afhebben, zien ze direct welke vragen ze goed en fout hebben beantwoord. Het maken van de toetsvragen gebeurt onder gecontroleerde condities in een pc-zaal. De studenten mogen overleggen en de literatuur erbij gebruiken. Dat gebeurt dan ook veelvuldig. De studenten waarderen deze werkvorm zeer. De docente leert vooral dat studenten eigenlijk nog best veel weten, als ze maar – via een geschikte werkvorm – actief met de stof moeten omgaan. Ook komt ze erachter dat ze in haar cursus meer aandacht zou moeten besteden aan het vakspecifieke Engels. De studenten blijken moeilijk de overstap te kunnen maken van Nederlandse biologiekennis naar Engelstalige biologiekennis. Wat is bijvoorbeeld de Engelse term voor scharnier? Het verhaal van Anneke Wagner is uitgebreider te vinden op de e-learningsite van SURF:

pagina 13 van 13


http://elearning.surf.nl/e-learning/artikelen/1118 Haar verhaal wordt helemaal visueel gemaakt op een streaming video. Deze is te bekijken via: http://stream1.surfnet.nl/cgi-bin/users/launch.cgi?v/vu2/mpeg/AnnekeW_ict_totaal.mpg 2.2.3 Summatieve toetsing De derde toetsvorm is de groep toetsvragen of toetsen die in het onderwijsprogramma worden voorgelegd onder gecontroleerde condities en die leiden tot een bindende beslissing. Er zijn, met andere woorden, consequenties verbonden aan de resultaten. Dit noemen we summatieve toetsing. Het gaat op dat moment om certificering. Consequenties kunnen zijn dat studenten een studiepunt wel of niet behalen, dat ze wel of niet een studiefase kunnen afsluiten, of – vaak gekoppeld daaraan – of ze wel of niet een negatief bindend studieadvies krijgen. De term certificering geeft aan dat de opleiding erkent en kan garanderen dat een lerende een bepaald (minimum)niveau heeft behaald. Voorbeelden van summatieve toetsen zijn voortgangstoetsen, tentamens, opdrachten of een praktijkproef. Het spreekt voor zich dat de eisen die studenten mogen stellen aan summatieve toetsen hoog zijn. De toetsen moeten ‘fair’ zijn met een optimale balans tussen betrouwbaarheid, validiteit en uitvoerbaarheid. Dergelijke toetsen moeten systematisch ontwikkeld worden. Fasen in het summatieve toetsproces Er zijn verschillende methoden om de fasen in een summatief toetsproces te onderscheiden. Wij gaan in dit boek uit van de zogenoemde toetscyclus (Jaspers en Schade 2002). Figuur 1 De toetscyclus

Evalueren

Ontwerpen

Construeren items/toetsen

Sanctioneren

Toetsbeheer Samenstellen toets

Analyseren

Scannen

Afnemen toets

Bovenstaande toetscyclus is een model om het werkproces van summatieve toetsing te structureren. Het model is ook geschikt voor formatieve toetsing. In het kader van kwaliteitszorg behoort een formatieve toets ook aan hoge standaarden te voldoen. Idealiter zal dit proces in het geheel en nauwkeurig worden doorlopen. Het model geeft aan dat het onderwijs ontwikkeld moet worden in samenhang met de toetsing: de fase ‘ontwerpen’ is van

pagina 14 van 14


belang om de doelen van het onderwijs en de te ontwikkelen toetsen met elkaar in overeenstemming te brengen, de fase ‘evalueren’ is van belang om terugkoppeling te krijgen of die overeenstemming er is of dat er bijstelling moet plaatsvinden. Toetsen worden ontwikkeld en afgenomen om te kunnen meten of studenten competenties (of leerdoelen) van een curriculum of een cursus hebben gehaald. Nadat de competenties zijn vastgelegd in de fase ‘ontwerpen’, wordt de blauwdruk van de toets ontworpen. Deze blauwdruk geeft in hoofdlijnen aan hoe de toetsing eruit zal zien. Ook bevat de blauwdruk al een aanzet voor de onderwerpen en het niveau waarop getoetst zal worden (toetsmatrijs – garanderen van validiteit). Vervolgens (maar bij voorkeur vormt het ontwikkelen van toetsitems een continu proces).worden toetsitems ontwikkeld, op basis waarvan een toets wordt samengesteld. Dat laatste kan handmatig of geautomatiseerd gedaan worden. Hierna kan de toets worden afgenomen. Dat kan schriftelijk of via het beeldscherm plaatsvinden. De antwoorden van de studenten worden geregistreerd en daarna geanalyseerd. Aan de hand van de analyse zal de kwaliteit van de toetsitems worden beoordeeld en zullen mogelijk toetsitems uit de toets moeten worden gehaald. Ook zal een cesuur worden vastgesteld en beoordeeld. Tot slot zal het gehele proces geëvalueerd worden en zullen aan de hand daarvan de leerdoelen, het toetsplan en de items eventueel worden aangepast. In het midden van het model staat de functie Toetsbeheer. Deze functie geeft aan dat er in elke fase van de ontwikkeling aandacht moet zijn voor het opslaan en bewaken van de gegevens. Dit speelt bij individuele docenten een minder belangrijke rol, maar bij meer complexe toetsorganisaties en een toename van het aantal toetsitems wordt dat aspect steeds belangrijker. Samengevat zijn de belangrijkste onderdelen van het model binnen de context van dit boek: toetsontwikkeling (ontwerpen, construeren van items en toetsen), toetsafname, toetsverwerking (scannen, analyseren, sanctionerern, evalueren) en toetsbeheer. 2.2.4 Tussentoetsen: formatief of summatief? Een interessante categorie toetsen zijn de zogenoemde tussentoetsen, deeltoetsen of tussenopdrachten. Dergelijke toetsen worden door onderwijsgevenden vaak meegerekend in de beoordeling voor het totale eindresultaat. In strikte zin zijn deze toetsen dus summatief. En dat onderscheid is belangrijk: juist bij de overgang van formatieve naar summatieve toetsen wordt veel sturing in het onderwijsproces ingebracht. “[Summatieve] Toetsing dicteert namelijk in belangrijke mate het leren. Voor studenten vormen de toetsen de sleutel voor succes in hun onderwijsloopbaan. De vorm, de inhoud, de programmering en de regelgeving bepalen feitelijk wat en hoe studenten zullen leren. Voor studenten is de toetsing het feitelijke curriculum.” (Vleuten, Schuwirth et al. 1999). Als het gaat om flexibilisering van toetsing, is de keuze tussen formatief of summatief toetsen erg belangrijk.

2.2.5 Overzicht toetsvormen In onderstaande tabel hebben we de verschillende toetsvormen nog eens voor u op een rij gezet. Tabel 1: Overzicht van verschillende toepassingen van toetsvragen in het onderwijsproces Formatief

Summatief

Leren Oriënteren

Meten Oefenen

Diagnose

Certificeren

pagina 15 van 15


stellen Zelftoetsing (niet-gecontroleerde condities)

X

X

X

-

(bijv. Flash

(bijv. COO-

(bijv.

Card

oefening

oefententamen)

X

X

X

X

(bijv. Peer

(bijv. Begeleid

(bijv.

(bijv. deeltoets,

Instruction)

COO)

instaptoets)

tentamen)

oefening) Gecontroleerde condities

2.3

Flexibeler toetsen binnen flexibeler onderwijs Flexibel toetsen kan alleen binnen het kader van flexibel onderwijs. Nog niet zo lang geleden werd het begrip 'flexibel onderwijs' bijna gelijkgesteld aan afstandsonderwijs en plaatsen tijdonafhankelijk leren. In het boek 'Flexible learning in a digital World' van Collis en Moonen wordt een specifiekere omschrijving gegeven (Collis en Moonen 2001): “Het centrale idee hierbij is dat de lerende keuze heeft uit verschillende aspecten van de leerervaring. Flexibel leren is een beweging weg van een situatie waarin sleutelbeslissingen over de leerdimensies genomen worden door de docent of de instelling, naar een situatie waar de lerende een keuze heeft uit een repertoire van mogelijkheden ten aanzien van deze sleuteldimensies.” De onderwijsinstelling en de onderwijsgevenden moeten dit repertoire realiseren. Zij moeten daarom in staat worden gesteld om dit repertoire te kunnen ontwikkelen en aan te bieden en zij moeten op verschillende dimensies keuzen maken en deze tot uitvoer kunnen brengen. In dit handboek betreft het het repertoire op het gebied van het gebruik en de ontwikkeling van toetsvragen en toetsen in verschillende leerfasen en voor diverse formatieve en summatieve functies. Juist bij de sleuteldimensie summatieve toetsing zal dit spanningsveld zeer sterk aanwezig zijn. Het behoeft geen betoog dat een student niet volledig vrij kan zijn in het kiezen van de soort summatieve toetsing. Dit is alleen al strijdig met het feit dat een instelling garant moet staan voor een bepaalde eindkwalificatie en eindniveau. Daarnaast is ook de programmering in de tijd van certificerende toetsmomenten van belang om studenten een studeerbaar onderwijsprogramma te bieden (OAB 2003) We komen dan uit op de volgende definitie van 'flexibele toetsing': Flexibele toetsing is een situatie waarbij er in het onderwijs een breed repertoire van toetsingsmogelijkheden beschikbaar is, waaruit student, docent, opleiding en instelling in onderlinge interactie voor hun leer- of onderwijssituatie een geschikte keuze kunnen maken en tot uitvoer kunnen brengen. In deze definitie is ook de onderlinge interactie van belang. Hiermee bedoelen we dat studenten en docenten elkaars signalen lezen en daar ook iets mee doen (zie onderstaande kadertekst voor een voorbeeld). Kader 6 Reageren op de vraag van studenten De postdoctorale opleiding Fiscaal en beleggingsanalist van de Vrije Universiteit heeft een onderzoek gedaan onder studenten die de opleiding hadden afgerond. Als belangrijk verbeterpunt

pagina 16 van 16


voor het onderwijs noemde zij dat toekomstige studenten meer in de gelegenheid zouden moeten worden gesteld om te oefenen met formatieve toetsen. Het was de afgestudeerden namelijk gebleken dat die eindtoetsing van de opleiding (een examen met multiplechoiceopgaven) uiteindelijk het allerbelangrijkste criterium was waarop het wel of niet slagen voor de opleiding was gebaseerd. Het idee van de studenten was nu dat de opleiding – liefst online – multiplechoicetoetsvragen beschikbaar zou stellen om mee te oefenen. De uitslag van deze formatieve toetsing zou dan besproken moeten worden in de colleges. De opleiding besloot deze wens serieus te nemen. Daartoe formeerden ze een kleine projectgroep die besloot om gebruik te maken van het toetsprogramma Questionmark Perception. Het programma zou gehost worden door een externe partij. In Questionmark Perception zou de opleiding wekelijks een toets klaarzetten voor studenten, precies toegesneden op het onderwerp en de literatuur van die week. Mogelijk dat de studenten ook de eindtoets via het beeldscherm zouden kunnen maken. Ze ontwikkelden een uitgebreide toetsbank met in totaal ongeveer 3000 toetsvragen. In het academisch jaar 2002/2003 en 2003/2004 lukte het - met veel inspanning - om dit aanbod gerealiseerd te krijgen. In de colleges werden de studenten regelmatig aangespoord om gebruik te maken van de mogelijkheden om zichzelf te toetsen. Het gebruik door de studenten van het systeem bleek echter dramatisch laag. Ook na extra aansporing. Van de 80 studenten die de opleiding volgden, bleek gemiddeld slecht 7 tot 8 studenten gebruik te maken van het systeem. Waardoor de participatie laag was werd niet geheel duidelijk. Door deze lage participatie waren ook de resultaten van de toetsen statistisch nietszeggend zodat er ook geen zinvolle feedback tijdens de colleges op kon worden gegeven. Het project op zich om een toetsbank te ontwikkelen en aan studenten aan te bieden was geslaagd. Het probleem werd echter niet opgelost. Wat moest de opleiding gaan doen … Kader 7 Voorkennistoets (Draaijer, Groen et al. 2003) In de cursus Basin analysis (bekkenmodelleren) van faculteit Aard- en Levenswetenschappen van De Vrije Universiteit, is een practicum opgenomen waarin studenten simulaties moeten uitvoeren over de vervormingen van de aardkorst. Het practicum verloopt niet zo goed; de studenten hebben verschillende niveau’s van voorkennis waardoor veel tijd tijdens het practicum verloren gaat aan het ophalen van kennis die de studenten eigenlijk al hadden moeten bezitten. De docenten besluiten om de studenten – voorafgaand aan het uitvoeren van de simulaties – voorkennis vragen aan te bieden, bedoeld voor studenten om weer ‘van te leren’. De vragen worden online via Blackboard voorgelegd aan de studenten.

pagina 17 van 17


Studenten kunnen ze beantwoorden en krijgen na het beantwoorden van de vragen feedback. Uit observaties wordt duidelijk dat de studenten heel verschillend omgaan met de vragen. De postdoctorale studenten maken de vragen geconcentreerd en de feedback geeft aanleiding tot veel discussie met de practicumleiding. De jongvolwassen studenten maken de vragen vrij ongeconcentreerd, slaan de vragen liever over en nemen snel genoegen met de gegeven feedback. Ze willen direct door naar de simulaties. Beide groepen studenten vinden dat ze ‘teveel getoetst’ worden; ze ervaren de voorkennistoets niet als instrument om ‘iets te leren’, maar om ze ‘af te rekenen’. Het resultaat van de nieuwe cursusopzet is dat studenten sneller en met een hoger niveau de cursus afsluiten. Of dat komt door de invoering van de voorkennistoetsen is niet geheel duidelijk omdat de docenten tegelijkertijd meer onderdelen van de cursus en het practicum hebben gewijzigd. De practicumleiding vindt dat ze een beslissing moeten nemen of ze deze voorkennistoetsen wel of niet in het practicum moeten handhaven … Het is duidelijk: het inzetten van een bepaald toetsidee biedt nooit een 100% ‘werkende’ oplossing. Het benutten van kansen vergt inzet van mensen en middelen. Beide zijn echter beperkt voorhanden, daarom zal dit ongetwijfeld spanningen opleveren. Vraag en aanbod moeten in evenwicht worden gebracht. 2.4

Toetsen en ICT Binnen het domein van toetsen en beoordelen met ICT worden veel termen gebruikt die ambigu zijn. Daaronder vallen bijvoorbeeld de termen kennistoetsing, objectieve toetsing, ComputerAssisted Assessment (CAA), Computer Based Assessment (CBA), Computer Based Testing (CBT), computerondersteund toetsen, digitaal toetsen, etc. In dit boek focussen wij op de elementen en processen die vallen onder het begrip computerondersteund toetsen (Computer-Assisted Assessment, kortweg CAA). Wij kiezen daarvoor omdat CAA in de Angelsaksische literatuur een vrij duidelijke inkadering kent (Bull en McKenna 2003). CAA refereert aan het gebruik van computers om toetsen en toetsitems voor zelfstudie, formatieve of summatieve doelen te beheren, aan te bieden aan studenten en te analyseren. Daarnaast omvat CAA ook de processen om toetsgegevens van optische formulieren te verzamelen en te analyseren. ICT kan ingezet worden in elke fase van het toetsproces. In deze paragraaf gaan we met name in op het gebruik van ICT bij toetsafname. Dat kan door middel van beeldschermtoetsen. De voor- en nadelen van beeldschermtoetsen bespreken we in paragraaf 2.4.1. In vergelijking met schriftelijke toetsen kun je bij beeldschermtoetsen meer verschillende vraagtypen inzetten. Deze vraagtypen komen aan de orde in paragraaf 2.4.2.

2.4.1 Beeldschermtoetsen Toetsvragen en toetsen kunnen via het beeldscherm afgenomen worden. Het belangrijkste kenmerk van beeldschermtoetsen is dat de computer in staat is om de antwoorden van de studenten (automatisch) te ontvangen, te analyseren en feedback terug te geven. We kunnen drie soorten digitale toetsvragen en toetsen onderscheiden:

pagina 18 van 18


•

Kennistoetsing: Voornamelijk gesloten vragen zoals multiplechoice-, ja/nee- of multiple-answervragen, gericht op lagere orde cognitieve bevraging.

•

Inzichttoetsing of complexe inzichttoetsing: Gericht op bevraging van hogere orde cognitieve kennis, kennistoepassing en probleemoplossing. De vraagvorm kan gesloten of open zijn.

•

Vaardigheidstoetsen: Geschikt voor hogere orde cognitieve kennis, probleemoplossende of zelfs vaardigheidstoetsen. Deze toetsen worden vaak uitgevoerd in simulatievorm (bijvoorbeeld een online businessgame of een virtuele patiënt).

Veel onderwijsgevenden veronderstellen dat met gesloten vragen alleen een laag cognitief niveau bevraagd kan worden (feiten en weetjes). Volgens onder andere Wolters (Wolters 1998) kan gesteld worden dat de gesloten vraagvorm eigenlijk vooral geschikt is voor de eerste fase van een opleiding, waarin het erom gaat begrippen en terminologie uit vakgebieden te leren kennen. Dit leidt echter snel tot het idee dat ook beeldschermtoetsen alleen geschikt zijn om eenvoudige kennis te bevragen. Ook met gesloten vragen is het echter wel degelijk mogelijk om vragen te formuleren die gericht zijn op hogere cognitieve niveaus (Berkel 1999). Het vraagt echter wel tijd en expertise van toetsontwikkelaars om dergelijke vragen te maken. Daar staat tegenover dat beeldschermafname bevraging op hoger niveau makkelijker maakt, doordat bijvoorbeeld vraagtypes zoals de ordeningsvraag, de parenzoekenvraag of de numerieke vraag zonder veel problemen kunnen worden ingezet (Draaijer 2001). Bij schriftelijke afname zijn dergelijke vraagtypes veel moeilijker automatisch te analyseren. Tot slot maakt beeldschermafname het mogelijk om multimediale en simulatieaspecten toe te voegen aan het vragenrepertoire. Dit kan de authenticiteit en het te bevragen niveau van vraagstukken sterk verhogen. Probleemoplossende vaardigheden kunnen op deze manier beter worden geoefend. Er bestaat ook programmatuur om de computer automatisch (of semi-automatisch) tekstvraagstukken te laten beoordelen. Het gaat dan om de interpretatie van de kwaliteit van open vragen met een omvang van een half A4 tot een aantal pagina’s A4. De toepasbaarheid daarvan voor summatieve doeleinden in het hoger onderwijs is in Nederland echter nog wel beperkt (Hearst 2000; Heuvelmans 2003). Voor formatieve doeleinden kan echter bijvoorbeeld met het programma CODAS al heel wat bereikt worden. In paragraaf 4.5.1 wordt dieper ingegaan op de toepassing van CODAS in het onderwijs en in de bijlage zijn ook een aantal voorbeelden uitgewerkt. Didactische voordelen van beeldschermtoetsing Het afnemen van toetsen via het beeldscherm heeft een aantal belangrijke didactische voordelen. Het belangrijkste voordeel is de interactiviteit. Deze interactiviteit kan zorgen voor een vraagantwoordspel tussen de lerende en de computer. De computer kan feedback geven. Feedback kan verschillende dingen inhouden: •

inhoudelijke terugkoppeling betekenen op gegeven antwoorden;

•

terugkoppeling door het direct geven van een score en resultaatanalyse;

•

terugkoppeling door het aanbieden van andere vragen (adaptief toetsen).

Voor zelftoetsing geldt bovendien dat online toegankelijke beeldschermtoetsen in principe echt tijden plaatsonafhankelijk aan studenten voorgelegd kunnen worden. Opgesomd zijn de didactische voordelen van beeldschermtoetsing:

pagina 19 van 19


•

Interactieve vragen kunnen op elk willekeurig plaats in digitaal onderwijsmateriaal worden ingebouwd;

•

Beeldschermtoetsing kan tijden plaatsonafhankelijk geschieden;

•

Studenten kunnen direct inhoudelijke feedback krijgen als ze de vragen hebben beantwoord;

•

Studenten en docenten kunnen direct de analyse (de score) van een toets ontvangen;

•

Met beeldschermtoetsing kunnen gemakkelijker andere vraagtypen worden gebruikt in

•

Multimediale componenten (zoals video of simulaties) maken authentieke vragen mogelijk;

•

Beeldschermafname maakt het mogelijk studenten verschillende toetsen voor te leggen:

toetsen dan met schriftelijke afname;

•

o

willekeurige vragen uit een bestand van vragen

o

vragen in willekeurige volgorde

o

alternatieven van vragen in willekeurige volgorde

Beeldschermafname maakt het mogelijk dat er conditioneel of adaptief getoetst wordt, zodat er minder toetsvragen nodig zijn;

•

Beeldschermtoetsing maakt het mogelijk dat studenten tijdens het toetsen gebruikmaken van bijvoorbeeld kantoorprogramma’s of beroepsapplicaties voor het beantwoorden van vragen.

Efficiencyvoordelen van certificerende beeldschermtoetsing Een erg belangrijk voordeel voor instellingen om te kiezen voor summatieve beeldschermtoetsen is dat er steeds stringentere eisen worden gesteld aan de snelheid waarmee toetsen worden geanalyseerd. Die snelheid speelt met name een rol bij onderwijskwaliteit en accreditatiemogelijkheden. Om summatieve beeldschermtoetsing optimaal te gebruiken, zal een instelling behoorlijk moeten investeren in tijd, mensen en middelen. Niet in de laatste plaats is er voor summatieve toetsing een betrouwbare en beveiligde infrastructuur nodig. Voor de ontwikkeling van summatieve beeldschermtoetsing geldt zeker de regel: de kost gaat voor de baat uit. Samenvattend zijn de efficiencyvoordelen van certificerende beeldschermtoetsing: •

Minder nakijktijd voor de docent;

•

Eenvoudiger hergebruik van toetsitems voor verschillende doeleinden (zelftoetsing, formatief, summatief);

•

Mogelijkheid om toetsitems eenvoudig voor geavanceerdere doeleinden in te zetten, bijvoorbeeld voor adaptief toetsen (zie onderstaande tekstkader) of toetsing door Multiple Evaluation Testing (Dirkzwager 1998).

Kader 8 Adaptief Toetsen Adaptief toetsen is een toetswijze waarop een student niet in één keer een gehele toets voorgelegd krijgt: afhankelijk van de score op een beperkt aantal vragen besluit de computer om de student al dan niet vervolgvragen voor te leggen en te bepalen welke moeilijkheidsgraad dan voorgelegd wordt (lager, gelijk of hoger). Op deze wijze kan met veel minder vragen een betrouwbaar oordeel worden gegeven over de beheersing van bepaalde stof door een student (Straetmans 1999). Bovendien krijgt iedere student een unieke toets voorgelegd. Dat maakt het mogelijk om studenten te toetsen op het moment dat het ze zelf schikt. Er is software op de markt verkrijgbaar die adaptief toetsen specifiek ondersteund (het programma FastTest via http://www.assess.com). Tijdonafhankelijk toetsen wordt dan sneller mogelijk. Om een adaptieve toets betrouwbaar genoeg te maken dienen er veel items in de toetsbank te zitten waaruit een toets wordt gegenereerd en moeten deze items gekalibreerd zijn: het moet bekend zijn welke moeilijkheidsgraad een item heeft. Dat vergt een uitgekiende en arbeidsintensieve aanpak. Dat is dan ook direct één van de grote struikelblokken voor het invoeren

pagina 20 van 20


van dergelijke toetsen in het hoger onderwijs. De investering is erg hoog, waarbij – door voortdurende verandering van curricula en specifieke lokale eisen – de toepasbaarheid van een dergelijk programma klein is, zeker op een langere termijn. De hierboven genoemde voordelen van beeldschermtoetsing leiden er vaak toe dat beeldschermtoetsing wordt gelijkgesteld aan ‘flexibel toetsen’. Het grootste deel van dit boek gaat erover om deze voordelen ook daadwerkelijk te realiseren. Didactische nadelen van beeldschermtoetsen Beeldschermtoetsen hebben niet alleen maar voordelen, er kleeft ook een aantal nadelen aan vast. De belangrijkste zijn: •

Een slechte programma-interface kan bediening door de student moeilijker maken;

•

de leesbaarheid van een computerbeeldscherm is minder dan van papier, zeker van langere stukken tekst; o

het ‘bladeren’ door de vragen is moeilijker, waardoor het de student meer moeite kost om overzicht te krijgen over de totale toets. Het gevolg kan zijn dat de student gedurende de toets niet goed kan inschatten of alle vragen zijn beantwoord;

o

te veel functies en knoppen leiden af van de eigenlijke taak bij een toets (het beantwoorden van de toetsvragen);

•

De cesuur van een toets moet bij beeldschermafname van tevoren zijn vastgesteld. In de praktijk blijkt dat na de analyse van de toets, de cesuur vaak moet worden aangepast of bijvoorbeeld dat vragen uit de toets worden verwijderd omdat ze niet deugdelijk bleken. Ook kan blijken dat een toets veel te moeilijk of gemakkelijk is geweest. Dan is een hercijfering noodzakelijk, met alle bijbehorende communicatie en organisatie van dien. Alleen adaptief toetsen ondervangt dat probleem.

Aandachtspunten voor het ontwikkelen van beeldschermtoetsen Bovengenoemde voor- en nadelen brengt met zich mee dat ontwikkelaars van beeldschermtoeten veel aandacht moeten besteden aan een duidelijk, uniform en goed interfaceontwerp (Poteralski 1994; Ricketts 2001; Hermans en Hofstee 2004). Ook moeten de didactische voor- en nadelen worden meegenomen bij het ontwikkelen van oriënterende en oefentoetsen en het stellen van een diagnose. Waar op moet worden gelet bij het ontwikkelen van zelf- en diagnostische toetsen is afhankelijk van de functie van de beeldschermtoets. Hieronder vindt u de aandachtspunten per functie. Als de beeldschermtoets een oefenfunctie heeft (Graaff, Hulst et al. 2002; Rayne 2002): •

ontwerp dan oefeningen van eenvoudiger niveau dan de eindtoets (bijvoorbeeld leren toepassen van sleutelconcepten uit de leerstof) en maak de studenten duidelijk dat het niveau niet representatief is voor de eindtoets;

•

maak dan vragen over lastige onderdelen van de leerstof;

•

overweeg dan om een keuzemenu te maken, zodat studenten kunnen kiezen voor vragen

•

laat de antwoordalternatieven bij de stam van een gesloten vraag niet direct zien zodat

•

maak dan meerdere vragen per onderwerp en geef liefst gedetailleerde feedback na iedere

•

plaats dan de vragen in oplopende volgorde van moeilijkheid, zodat studenten niet direct

over bepaalde onderwerpen; studenten eerst voor zichzelf antwoorden kunnen formuleren; vraag, zodat studenten van hun fouten kunnen leren; stuklopen;

pagina 21 van 21


•

voorzie dan de eerste opgaven van aanwijzingen of suggesties in welke richting de oplossing moet of kan worden gezocht of verdeel de opgaven in kleine stappen die voorafgaan aan de uiteindelijke hoofdoplossing;

•

zorg dat de oefeningen een aantrekkelijke vormgeving hebben en niet direct tonen als een ‘tentamen’.

Als de beeldschermtoets een formatief diagnostisch karakter heeft, o.a. naar (Graaff, Hulst et al. 2002): •

dan moet de inhoud representatief zijn voor het niveau van de eindtoets en moet duidelijk zijn

•

dan moet de feedback zowel een totaalscore (voldoende/onvoldoende) als informatie over de

welke leerdoelen/onderwerpen worden bevraagd; beheersing van de verschillenden onderdelen van de leerstof bevatten; •

dan wordt de feedback gegeven nadat de toets geheel is gemaakt;

•

dan moet de registratie gegevens per student én over de hele groep bevatten. Eventueel moeten resultaten kunnen worden weggeschreven naar het studentvolgsysteem van de opleiding.

Feedback geven bij beeldschermtoetsen Anders dan bij schriftelijke toetsen, moet feedback bij computerondersteund toetsen vooraf geformuleerd worden. Er moet dus geanticipeerd worden op mogelijke goede en foute antwoorden. In theorie is het mogelijk om voor ieder antwoordalternatief specifieke feedback te formuleren, maar in de praktijk blijkt dit lastig. Bij vragen op kennisniveau is er vaak niet zo veel verschil tussen feedback op verschillende foutieve antwoorden, terwijl het bij vragen op inzichtniveau moeilijk te voorspellen is welke (redeneer)fout de student kan maken. Meestal kunt u zich daarom beperken tot twee soorten feedback (bij goed respectievelijk fout antwoord) of tot een modelantwoord (bij open vragen). Als het wel belangrijk is om de feedback verder te differentiëren, raden we aan om de verschillende feedback niet automatisch te koppelen aan een specifiek antwoordalternatief, maar om de student zelf uit een menu te laten kiezen voor passende feedback. U gebruikt dan de intelligentie van de student in plaats van de ‘intelligentie’ van het programma. Studenten zijn meestal goed in staat om te beoordelen waarom ze een fout gemaakt hebben, om daar vervolgens de meest passende feedback bij te kiezen. Overigens bestaat deze mogelijkheid alleen in meer geavanceerde toetsprogramma’s. In de meeste eenvoudige programma’s is de mogelijkheid voor feedback beperkt tot twee feedbackteksten: feedback bij een goed antwoord op de vraag en feedback die getoond wordt bij een incorrect antwoord. Feedback op beeldscherm kan ook een negatief effect hebben op de leerprestatie. Feedback moet dan ook zorgvuldig geformuleerd worden. In onderstaande opsomming staan enkele aanwijzingen voor het formuleren van inhoudelijke feedback. Aanwijzingen bij het geven van feedback Naar: (Fenrich 1997; Rayne 2002).

•

Geef pas feedback nadat zeker is dat de lerende een oprechte poging heeft gewaagd om een antwoord te formuleren, bijvoorbeeld door een drempel op te werpen om direct feedback te verkrijgen. Dan kan door pas feedback te geven:

o

als alle vragen zijn beantwoord;

o

als het antwoord goed is of als 80 procent van de antwoorden goed is;

o

door in de feedback niet het juiste antwoord te vermelden maar de student aanwijzingen te geven om het juiste antwoord zelf te vinden.

pagina 22 van 22


•

Formuleer feedback beknopt.

•

Houd de toon van feedback positief/neutraal; feedback bij verkeerd beantwoorde vragen mag nooit neerbuigend zijn, feedback bij goed beantwoorde vragen moet de student niet de hemel in prijzen.

•

Varieer de formulering van feedback (wissel alternatieven zoals ‘goed’, ‘correct’, ‘juist’ af).

•

Geef bij goed beantwoorde vragen aan waarom het gekozen antwoord goed is en waarom de andere antwoorden fout zijn; een student kan door gokken het goede antwoord gekozen hebben.

•

Geef bij gedeeltelijk correct of fout beantwoorde vragen aan wat het juiste antwoord is, waarom dat het juiste antwoord is, waarom het door de student gekozen antwoord fout is en waarom de andere antwoorden fout zijn.

•

Lange antwoorden op open vragen kunnen niet automatisch worden nagekeken, feedback kan hier gegeven worden in de vorm van een antwoordmodel waarmee de student zijn eigen antwoord kan vergelijken. Geef hierbij ook een beoordeling aan (‘Als je ten minste drie van deze punten hebt genoemd, is de vraag voldoende beantwoord.’).

•

Zorg dat de vraag nog te zien is als de feedback verschijnt, herhaal zonodig de vraag in de feedback.

•

Feedback is meestal tekstueel maar soms is een andere vorm duidelijker, zoals een afbeelding.

•

Gebruik geen speciale effecten (zoals geluid of humoristische afbeeldingen) in feedback,

•

Geef studenten zo mogelijk de gelegenheid te kiezen uit verschillende soorten feedback.

•

Behalve inhoudelijke informatie kan feedback ook informatie geven voor strategieën of

deze kunnen studenten afleiden of irriteren.

suggesties om verder te gaan: soms is een hint waarmee een student zelf de oplossing kan zoeken zeer leerzaam. Uiterlijk na de derde poging moet het goede antwoord gegeven worden en moet de student verder kunnen met de volgende vraag. •

Alle informatie die nodig is om de vraag te beantwoorden moet in de vraag staan (het is frustrerend voor studenten als noodzakelijke informatie pas achteraf wordt gegeven in de feedback).

2.4.2 Digitale vraagtypen Digitale vragen kunnen grofweg ingedeeld worden in gesloten en open vragen. Bij gesloten vragen kan de student kiezen uit een aantal alternatieven. Voorbeelden hiervan zijn ja/nee-vragen en multiplechoicevragen. Bij open vragen moet de student zelf het antwoord formuleren. Hieronder vallen bijvoorbeeld aanvullende vragen, mondelinge vragen, kort-antwoordvragen en essayvragen. Met computers kunnen vele toetstypen gemaakt worden, ook open vragen. Zowel open als gesloten vragen brengen voor ICT-innovatie zo hun eigen problematiek mee. Zo zijn er veel ICT-gereedschappen beschikbaar voor de gesloten vraag, maar zeer weinig voor de open vraag. Bij het toetsen met tekstuele open vragen is vooral de verwerking van de vragen interessant, andere fasen uit het toetsproces veel minder. Meer informatie over ICT-systemen voor toetsing met open vragen vindt u in hoofdstuk 4. Hieronder gaan we eerst nader in op het vraagtype ‘gesloten vragen’. We bespreken onder andere de moeilijkheidsgraad, hoe je slechte en irrelevante gesloten vragen kunt voorkomen en variaties in gesloten vragen. Daarna komen de open vragen nader aan bod. Open vragen noemen we ook wel essayvragen; ook hiervan beschrijven we de belangrijkste voor- en nadelen.

pagina 23 van 23


2.4.2.1 Gesloten vragen Gesloten vragen hebben een imagoprobleem. De gedachte is vaak dat een gesloten vraag synoniem is voor multiplechoicevraag en dat hiermee alleen simpele weetjes en feiten kunnen worden bevraagd. Binnen een categorie gesloten vragen zijn echter grote niveauverschillen aan te brengen. Daarbij moet worden bedacht dat voor het niveau van een vraag, de formulering van de stam van de vraag (de stimulus) belangrijker is dan de antwoordvorm of formulering van de antwoordalternatieven (de respons). Er is in dat opzicht ruime ervaring in het ontwikkelen van vragen waarin deze aanpak expliciet wordt gehanteerd: de zogenoemde korte casustoets (Schuwirth 2002) of de Overall Toets (Segers 1998). Daarbij wordt aangenomen dat items die zich richten op het bevragen van essentiële beslissingen binnen probleemsituaties, appelleren aan een hoger cognitief niveau. Een hulpmiddel om vragen van een bepaald niveau te bedenken is het gebruiken van werkwoorden uit Tabel 2, in de stam van een vraag. Tabel 2 Indeling van moeilijkheidsgraad van vragen naar een verkorte versie van de taxonomie van Bloom (Bloom, Krathwohl et al. 1971) Cognitief

Omschrijving

Processen/werkwoo

niveau Kennis-vragen

Geschikt vraagtype

rden Vragen waarbij het voor het beantwoorden

herinneren

TRUE/FALSE

alleen nodig is dat de student zich bepaalde

benoemen

Multiple choice

zaken herinnert.

opsommen

Multiple answer

onthouden

Matching

herhalen

Fill-in-the-blank

definiëren

Hot spot

Begrips-

Vragen die verlangen dat de student

begrijpen

TRUE/FALSE

vragen

classificeert. Hij moet dan hoofdzaken van

beschrijven

Multiple choice

bijzaken onderscheiden, verschillen en

herformuleren

Multiple answer

overeenkomsten noemen, voorbeelden

verklaren

Matching

geven, een begrip hanteren e.d.

samenvatten

Ordering

identificeren

Hot spot

Toepassings-

Vragen waarbij de student bekende en voor

gebruiken

TRUE/FALSE

vragen

de hand liggende regels moet toepassen.

uitvoeren

Multiple choice

Hieronder vallen ook routineberekeningen,

toepassen

Multiple answer

standaard oplosmethoden, algoritmen e.d.

oplossen

Matching

demonstreren

Ordering

construeren

Numeriek Algebraïsch Essay

Analyse-

Voor dit soort vragen is het vereist dat de

uit elkaar

Matching

vragen

student regels weet te vinden die weliswaar

nemen

Ordering

eerder geleerd zijn, maar die bij dit probleem

classificeren

Essay

niet voor de hand liggen. Hij moet de

sorteren

probleemsituatie daartoe analyseren, zodat

categoriseren

hij kan beslissen welke regels geschikt zijn

vergelijken

om erop toe te passen.

contrasteren

Synthese-

Vragen die van de student iets van

creëren

vragen

creativiteit vergen: een voor hem nieuwe

componeren

Essay

pagina 24 van 24


regel zelf ontdekken of een bekende regel

ontwerpen

generaliseren naar een voor hem nieuw

ontwikkelen

toepassingsgebied.

combineren plannen

Evaluatie-

Bij deze vragen moet de student relevante

beoordelen

vragen

criteria ontwikkelen, zoals bruikbaarheid,

evalueren

wenselijkheid en efficiëntie, en deze kunnen

inschatten

toepassen.

beslissen

Essay

meten bekritiseren verdedigen

Dit hulpmiddel kan bij elk vraagtype worden toegepast en stuurt als het ware de moeilijkheidsgraad van een vraag. Sommige vraagtypes lenen zich daarbij beter voor gebruik bij een bepaalde moeilijkheidsgraad dan andere vraagtypen. Zo passen werkwoorden zoals classificeren, sorteren en categoriseren goed bij het vraagtype Matching of Ordering. Door de vraagstelling binnen de basisvorm van dat vraagtype te variëren, kan daarnaast gericht aansluiting gezocht worden bij een hogere moeilijkheidsgraad. Daarbij kan worden meegenomen dat een docent zich bij het samenstellen van oriëntatie- of oefentoetsen minder hoeft te bekommeren om betrouwbaarheid en validiteit. Voor het leereffect van studenten is het belangrijker als de inspanning van de docent zich richt op het aanzetten tot nadenken over leerstof (wellicht ook gewoon ‘begrijpend lezen’). Variatie in de constructie van gesloten vragen kan daarvoor heel behulpzaam zijn. Voorbeelden van deze aanpak vindt u in verschillende publicaties (Verkroost; Dekker 1983; Draaijer 2001; Bull en McKenna 2003). Gesloten vragen kennen bovendien een grote diversiteit, én ze zijn eenvoudig automatisch na te kijken. We geven hieronder een opsomming van verschillende typen gesloten vragen. a.

Eén goed uit meerdere alternatieven (multiple choice)

Een specifieke uitvoering daarvan is de ja/nee- of waar/onwaar-vraag (true/false)

b.

Eén of meer goed uit alternatieven (multiple correct of multiple answer)

pagina 25 van 25


c.

Rangordenen

d.

Paren zoeken (matching)

Het aardige van dit vraagtype is dat deze in vele verschillende verschijningsvormen gepresenteerd kan worden. Bijvoorbeeld als aanwijsvraag (wijs verschillende elementen van een figuur aan), als sleepvraag (drag-and-drop – sleep de juiste term naar de juiste plaats op de figuur) of als matrixvraag (dat is eigenlijk een verzameling van multiplechoicevragen). Het belangrijkste kenmerk van dergelijke vragen is dat in één vraag een grote hoeveelheid gelijksoortige kennis bevraagd kan worden. Zie als voorbeeld onderstaande vraag over variabelen die een bepaalde functie vervullen in een onderzoeksdesign2

2

Voorbeeld afkomstig van Rob Hartog, Wageningen Universiteit http://www.fbt.eitn.wau.nl/

pagina 26 van 26


e.

Aanwijzen (hot spot)

f.

(Variabel) numeriek antwoord

3

Toetsprogramma’s kunnen heel veel met numerieke vragen. Zo kan bijna altijd aangegeven worden binnen welke marges een numeriek antwoord zich moet bevinden. In een aantal programma’s kan een opgave ook variabele parameters krijgen zodat elke student een uniek

3

Voorbeeld van WebAssign

pagina 27 van 27


numeriek antwoord moet geven. g.

Algebraïsch antwoord

h.

Samengestelde vragen/itembank (toetsvragen met een combinatie van bovenstaande typen)

i.

Casusvragen (een gegeven stam waarover meerdere vragen worden gesteld)

j.

Een grote serie vraagvormen gericht op zelftoetsing met speelelementen erin, zoals No Answer, Fact Cards, Flash Cards, Pick A Letter, Glossary, Practice Quiz, Challenge, Battle Ship (Quia 1999-2004; Respondus 2004)

pagina 28 van 28


4

In tegenstelling tot de situatie in 1994 (Mirande 1994a) is het is nu bij vrijwel alle programma’s voor beeldschermtoetsen eenvoudig mogelijk om afbeeldingen, geluid, video of simulaties toe te voegen in zowel de vraag- als de antwoordalternatieven. Daarnaast kunnen gesloten vragen (al dan niet met speciale programma’s) op uiteenlopende manieren ingebouwd worden in digitaal onderwijsmateriaal, zeker als die via het het internet worden aangeboden. Zo kunnen bij een digitale online syllabus eenvoudig een aantal vragen gesteld worden die betrekking hebben op de informatie op het scherm (zie onderstaand voorbeeld).

4

Voorbeeld van Quia

pagina 29 van 29


Figuur 2 Schermafbeelding van een online syllabus met bijbehorende vragen om de leerstof actiever te bestuderen5

Een ander voorbeeld kan zijn om binnen een ‘game’ of ‘simulatie’ progressie te boeken of naar een volgend onderdeel van de game te geraken door bijvoorbeeld een aantal vragen te beantwoorden. In digitale leeromgevingen kunnen toetsvragen ingebouwd worden in digitale leerobjecten. 2.4.2.2 Open vragen Programma’s voor beeldschermtoetsen bieden meestal twee typen open vragen aan: 1.

Aanvulvragen (ook wel gatenvragen, of in het Engels ‘fill in the blank’); deze kunnen automatisch nagekeken worden door ze te vergelijken met vooraf opgegeven juiste antwoorden. De gaten kunnen in veel programma’s op willekeurige plaatsen in een tekst worden opgenomen.

2.

Essayvragen; deze kunnen beperkt automatisch nagekeken worden. In hoofdstuk 4 en bijlage 1 gaan we hier dieper op in.

Essayvraagstukken zijn behoorlijk anders van karakter dan gesloten vraagstukken. Daarom staan we iets langer stil bij deze open vragen.

5

Bron: http://www.brookes.ac.uk/geology/8307/a40frame.html

pagina 30 van 30


Een essayvraagstuk kan op twee manieren ingezet worden als toets(middel): •

Een beeldschermtoets waarbij studenten in een beveiligde omgeving een tekstdocument

•

Het produceren van een tekst door individuele studenten of een groep studenten (rapportage,

moeten produceren in een korte tijdspanne (zeg één uur). De toets is summatief van karakter. verslag, essay, onderzoeksverslag, scriptie) onder niet gecontroleerde condities. De toets kan formatief of summatief van karakter zijn. Essayvragen worden gezien als een geschiktere methode om studenten op een hoog niveau te bevragen dan gesloten vragen. Studenten moeten bij open vragen immers aantonen dat ze zelfstandig redeneringen op kunnen zetten en verbanden kunnen leggen. Of dit vraagtype gebruikt zou moeten worden, is onder meer afhankelijk van het vakgebied en de doelen die daarbij nagestreefd worden. Daarnaast spelen ook andere afwegingen een rol bij de keuze voor open vragen. De voordelen van essayvragen •

een dergelijke toets is efficiënt als de groep studenten klein is;

•

de constructie van een open vraag is eenvoudiger dan die van andere toetsvormen. Bij een gesloten vraag maken de antwoordmogelijkheden deel uit van de vraagstelling, bij een open vraag daarentegen moet het volledige antwoord van de student komen;

•

de student heeft vrijheid in het beantwoorden van een vraag;

•

het is een goede manier om na te gaan of en hoe de student in staat is uitleg te geven, te

•

het biedt een goede mogelijkheid om na te gaan wat de redactionele eigenschappen van de

vergelijken en samen te vatten; studenten zijn; •

het is goed mogelijk om een combinatie van vaardigheden te toetsen;

•

een student kan het goede antwoord niet raden.

De nadelen van essayvragen (met name op het gebied van validiteit, betrouwbaarheid en efficiency) •

de constructie van een essaytoets vraagt nog altijd tijd, van tevoren moeten de ideale

•

een toets die slechts bestaat uit open vragen zal meestal een beperkt aantal vragen bevatten.

antwoorden worden geformuleerd; Hierdoor daalt de validiteit en evenwichtigheid (de verdeling van de vragen over de stof van de toets); •

de correctie van een open vraag vergt veel tijd; de docent besteedt de meeste tijd aan de correctie;

•

een hoge betrouwbaarheid van de beoordeling is moeilijk te realiseren (maar kan wel goed onderzocht worden (Gruiter 1999);

•

goede schriftelijke uitdrukkingsvaardigheid van de student leidt tot een positievere uitslag, met andere woorden een dergelijke toets meet meer dan alleen of de student de stof kent of heeft begrepen;

•

een student kan bluffen door om de kern heen te draaien.

pagina 31 van 31


3

Beleid in dienst van flexibele toetsing Uit het vorige hoofdstuk is gebleken dat toetsvragen en toetsen een belangrijke rol kunnen en moeten spelen in de verschillende fasen van het onderwijs. ICT kan daar een belangrijke rol in krijgen. Om dat te realiseren is schaalvergroting het belangrijkste ingrediënt. Schaalvergroting betekent dat er gezocht moet gaan worden naar standaardisering op het gebied van werkwijzen en techniek. Schaalvergroting betekent ook dat er verder gespecialiseerd moet gaan worden op het gebied van vraagontwikkeling, vraagbeheer, ICT-inrichting en ICT-beheer en evaluatie. Standaardisering en specialisatie maken het dan mogelijk om toetsvragen en toetsen flexibeler te ontwikkelen en inzetbaar te maken; voor zelfstudie, formatieve en summatieve toetsen. Daarmee bestaat ook de mogelijkheid het toetsen los te koppelen van specifieke – beperkende – onderwijscontexten, zoals de toevallige aanwezigheid van een enthousiaste docent. In dit hoofdstuk beschrijven we hoe beleid ingezet kan worden om flexibele toetsing te realiseren. Daarbij moet het beleid inspelen op een aantal belangrijke ontwikkelingen op het gebied van onderwijs. Zo moet het onderwijs vraaggerichter worden en meer competentiegericht zijn. Deze ontwikkelingen in het onderwijs komen aan bod in paragraaf 3.1. Daarnaast kan beleid vorm krijgen op verschillende niveaus: het niveau van de instelling, van de vakgroep en van de docent. De armslag die instelling, vakgroep en docent hebben om beleid te bepalen, te ontwikkelen en uit te voeren komt uitgebreid aan de orde in de paragrafen 3.2 tot en met 3.4.

3.1

Ontwikkelingen in het onderwijs Veel van het huidige aanbod in het hoger onderwijs is geconcentreerd rond de docent. Zonder duidelijke sturing van bovenaf kan deze zelf invulling geven aan het onderwijs en de toetsing. Hoewel een docent expert kan zijn op het gebied van toetsen en beoordelen, is de kans groot dat onderwijs gecentreerd rondom de docent leidt tot een suboptimale inrichting van dat onderwijs en de toetsing. Zonder afstemming kan op deze wijze namelijk een gebrek aan verband ontstaan tussen de verschillende onderdelen van het onderwijsprogramma en de vormgeving van de toetsing. Vooral als het gaat om het inspelen op de meer abstracte ontwikkelingen, zoals digitalisering, vraaggericht onderwijs, competentiegericht opleiden, vraaggestuurd leren en accreditering, kan niet verwacht worden dat individueel opererende docenten daar vorm aan kunnen geven. Het realiseren van bijvoorbeeld competentiegericht onderwijs vergt visie en van daaruit een duidelijke vertaling naar beleid en het operationaliseren daarvan op het gebied van toetsing. Er moet een goede mix van kennistoetsing en competentietoetsing worden gekozen. Op het gebied van kennistoetsing kan het zijn dat zelfstudietoetsen in elke curriculumonderdeel moeten worden opgenomen, dat er al of niet een vorm van voortgangstoetsing moet worden geïntroduceerd of dat toetsing met de computer moet gebeuren. Voor competentietoetsing moet een goede mix van bijvoorbeeld portfoliotoetsing, integrale assessments of 360-graden feedback worden vastgesteld. (Polderdijk, Volder et al. april 2004). Maar ook als het gaat om dergelijke operationalisaties – die al minder abstract zijn – zal onderwijs geconcentreerd rondom de docent nog steeds leiden tot een suboptimale inrichting. Docenten kunnen op individuele basis niet werken aan dergelijke nieuwe onderwijsmethoden. Daar is vooral afstemming, onderwijskundige en technische ondersteuning, professionalisering en specialisatie voor nodig.

pagina 32 van 32


In de praktijk van het hoger onderwijs blijkt dat docenten weinig samenwerken en weinig geschoold zijn in de kunde van toetsen en beoordelen en dat ze er nauwelijks systematisch aandacht aan besteden (Hermans 2001; Berkel en Bax 2002). Zelfs als duidelijk is welke rol en welke soort onderwijs en toetsing moeten worden georganiseerd en afgenomen. Dat komt vooral door het gebrek aan aandacht voor dit onderwerp bij beleidsmakers op het gebied van onderwijs en bij de verantwoordelijken op het terrein van de techniek. Alles wijst erop dat onderwijs en de daarmee verbonden toetsing alleen op het niveau van een opleiding en op het niveau van een instelling een rol moeten spelen. Hieronder gaan we eerst dieper in op de ontwikkelingen in het onderwijs die het noodzakelijk maken om zelftoetsing, formatieve en summatieve toetsing serieus te nemen. Daarna beschrijven we het beleid per niveau: van de instelling, de opleiding/faculteit en van de docent. 3.1.1 Vraaggerichter onderwijs Door veranderende kenmerken van studenten en opleidingen moeten onderwijsinstellingen steeds meer inspelen op vraaggericht onderwijs. De kenmerken van de huidige generatie studenten zijn: •

jongvolwassen studenten hebben vaak weinig tijd om te studeren door bijbaantjes of deeltijdbanen;

•

oudere studenten hebben om dezelfde reden weinig tijd;

•

studenten komen vanuit steeds gevarieerdere culturen en vanuit verschillende talen;

•

studenten stellen zich steeds meer op als kritische consumenten binnen het onderwijs, ze willen kwaliteit en adequate begeleiding en sturing;

•

onderwijsprogramma’s bestaan steeds minder uit programma’s waarvoor het principe ‘one size fits all’ geldt. Door de introductie van de bachelor-masterstructuur en de invoering van de major-minorstructuur volgen studenten in toenemende mate individuele leerroutes en moet dezelfde vakinhoud op meerdere niveaus aangeboden worden.

De uitvoering en de inhoud van het onderwijs moeten worden geplooid rondom de eisen die deze doelgroep stelt. Het is daarom van belang om hen bijvoorbeeld een breder repertoire van toetsmogelijkheden aan te kunnen bieden, om snel in te kunnen spelen op hun specifieke onderwijsvraag. Dit moet gebeuren zonder dat het onderwijs didactisch te vrijblijvend wordt. Ook is het van belang dat de organisatorische en financiële haalbaarheid in het oog wordt gehouden. 3.1.2 Activerender onderwijs Naast vraaggerichter moet het onderwijs ook activerender worden. Baltzer (Baltzer 2002) schrijft hierover het volgende. “Docenten worden vaak geconfronteerd met het feit dat studenten passief en weinig betrokken de colleges volgen en het grondig bestuderen van de stof uitstellen tot het moment waarop de tentamendatum in zicht komt. De vraag is hoe men studenten ertoe kan bewegen tijdig en planmatig met de stof aan het werk te gaan, waarbij leerstrategieën worden aangewend die passen bij het leerdoel en de taaksituatie. De kunst die de docent moet beheersen is het activeren van studenten en een beroep doen op de eigen verantwoordelijkheid van studenten op het juiste moment. Gebeurt dit niet als de tijd er rijp voor is, dan ontstaat een frictie tussen leer- en doceerstrategieën. Bij een te grote kloof tussen zelfwerkzaamheid en sturing is deze frictie destructief. De kloof is constructief wanneer de docent gedeeltelijk stuurt en dit de student aanzet tot meer zelfstandigheid. Omgekeerd kan de frictie ook destructief zijn als de docent alles in de hand houdt en strak stuurt, daar waar studenten al geleerd hebben bepaalde strategieën uit te voeren. Zij zouden deze dan zelfs weer af kunnen leren. Wanneer docenten precies die activiteiten overnemen die studenten nog niet eerder zelfstandig hebben uitgevoerd, dan is er weliswaar sprake van evenwicht (of naadloze aansluiting) tussen leer- en docentstrategie maar zal de student niet verder komen in het

pagina 33 van 33


ontwikkelen van zijn eigen leer- en denkstrategieën. Er is dan dus sprake van stilstand. Om iets te leren is een zekere frictie dus altijd nodig.” Activerend onderwijs gaat uiteindelijk over manieren om studenten actief met de kennis en vaardigheden te laten omgaan, zodat ze deze zichzelf ‘eigen maken’. Gegeven de veranderende studentpopulatie en de noodzaak om vraaggerichter te kunnen zijn, is het van groot belang om toetsvragen en toetsen flexibel in een curriculum te verweven. 3.1.3 Competentiegerichter onderwijs De meeste instellingen voor hoger onderwijs (vooral het hbo) onderkennen dat het onderwijs erop gericht moet zijn om studenten op te leiden tot beginnende beroepsbeoefenaars. Daarom moet het verwerven van beroepscompetenties centraal staan in het ontwerp van het curriculum. Het grote voordeel hiervan is dat het onderwijs hierdoor beter aansluit op de beroepspraktijk. Competentiegericht onderwijs houdt in dat studenten zo veel mogelijk worden getraind en beoordeeld op hun beheersing van complexe beroepsvaardigheden. Dit maakt een realistischer toetsing mogelijk waarin kennis, vaardigheden en attitudes tegelijkertijd worden bevraagd. Voorbeelden van toetsen die hiervoor ingezet kunnen worden zijn portfoliotoetsing, integrale assessments en stages. De klassieke vorm van onderwijs voor de student - zo veel mogelijk vakkennis verwerven – krijgt daarmee minder nadruk. Dit betekent echter niet dat de rol van kennis(toetsen) zal verdwijnen. Ook in competentiegericht onderwijs spelen het opbouwen van kennis en het (separaat) toetsen van die kennis nog een belangrijke rol. Deeltaakoefening door bijvoorbeeld practice-and-drill blijven belangrijk om kennis te verwerven en toe te passen. De computer blijft daarbij het meest geschikte medium om dit soort oefeningen aantrekkelijk en effectief te maken (Merriënboer 2002). Daarnaast is er volgens bijvoorbeeld Dochy (Dochy 2002) een noodzaak om kennis (in context) te toetsen. Hij geeft het advies om met een mix van toetsvormen te werken, waarbij (traditionele) kennistoetsen voor ca. 1/5 meetellen naast bijvoorbeeld overall toetsen (of koepeltoetsen) en (professionele) producten in kader van projecten. Daarnaast blijkt voorkennis in het algemeen een van de belangrijkste factoren die het leergedrag en dus het leerresultaat beïnvloeden bij het werken aan complexe, zelfgestuurde leertaken (Jong, Veermans et al.). Mirande (Mirande 2000) geeft aan dat ‘know what’, in de vorm van basiskennis, belangrijk is om de juiste vragen te stellen voor het ‘know why’ en ‘know how’; de theorie en de toepassing in praktijksituaties. Daarom is het belangrijk om iets van de voorkennis van de leerling te weten (diagnostisch toetsen) en het leermateriaal hieraan te kunnen aanpassen. Als de benodigde voorkennis niet aanwezig is, moet dit een van de leerdoelen zijn van het curriculum. Competentiegericht onderwijs betekent ook dat studenten meer verantwoordelijk worden gemaakt voor hun eigen leerproces. Ze moeten in hun studieloopbaan meer en meer zelf keuzes maken, prioriteiten stellen en individuele leertrajecten uitstippelen en volgen. Het bieden van een breed repertoire van onderwijs(vormen) en toetsmogelijkheden is dan de taak van een onderwijsinstelling om studenten die zelfverantwoordelijkheid te kunnen geven. 3.1.4 Meer aandacht voor kwaliteitszorg In het kader van studenttevredenheid, visitatie en accreditatie is goede kwaliteitszorg van het onderwijs van steeds groter belang voor opleidingen (Jaspers en Schade 2002). In studieconsumentengidsen wordt tentaminering daarbij ook vak als belangrijk thema gekozen (VSSD 1987-2003; Steenkamp, Tuinder et al. 2003). Vaak zijn studenten geïnteresseerd in:

pagina 34 van 34


•

Is het cijfer snel genoeg bekend?

•

Worden verkeerd geformuleerde vragen uit toetsen verwijderd?

•

Sluit de toets aan bij het college?

•

Zijn de condities tijdens de tentamenafname optimaal (licht, temperatuur, geluid)?

Vanuit de accreditatie gelden algemenere thema’s. Zo heeft het Nederlandse Accreditatie Orgaan (NAO) het volgende criterium geformuleerd voor toetsing en beoordeling: “Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.” Over het algemeen scoren opleidingen bij visitaties slecht op het gebied van toetsing. Nu accreditatie gekoppeld is aan visitaties en 'geen accreditatie' betekent 'geen erkenning en financiering van de opleiding', is het des te noodzakelijker om (ook) de toetsing op orde te hebben. Bij de visitaties wordt er in het bijzonder op gelet dat alle beslissingen weloverwogen en goed gedocumenteerd zijn. Kortom: er dient toetsbeleid te zijn en daarvan afgeleide toetsplannen. Dit houdt in dat opleidingen alle eisen die aan toetsing worden gesteld aan kwaliteitszorg en kwaliteitsborging moeten onderwerpen. Het hebben van beleid en het effectueren van dat beleid is daarom belangrijk. 3.1.5 Meer digitaliseren Studenten zijn steeds meer digitaal geletterd. Omgaan met computers en werken met gespecialiseerde computerprogramma’s en internet worden al geïntroduceerd op de basisschool. Informatie die gebruikt wordt binnen de onderwijscontext is bijna allemaal digitaal beschikbaar in on-lineboeken, journals en voorlichtingswebsites. In veel beleidsstukken van instellingen voor hoger onderwijs staat de implementatie van ICT nog steeds hoog op de agenda. De instellingen erkennen dat de inzet van ICT in het onderwijs belangrijk is om tegemoet te komen aan de wensen van de studenten en het bedrijfsleven. De aandacht voor ICT is niet in de laatste plaats noodzakelijk omdat de meeste medewerkers onvoldoende ICT-vaardigheid of ideeën hebben om ICT in te zetten om vernieuwend onderwijs te maken. Het lukt nog wel om ICT in te zetten bij de informatievoorziening, administratieve functies en standaardapplicaties, maar bij inhoudelijke communicatie en informatie (zoals digitaal leermateriaal in een elektronische omgeving) is het al veel lastiger. En zeker als het gaat om het inzetten van computers bij toetsing worden de kansen volkomen onbenut gelaten (Vleuten en Daniëls 2002; Schoonenboom, Roozen et al. 2004). Dit is opmerkelijk, omdat er voldoende initiatieven zijn geweest om toetsing met de computer in het onderwijs in te voeren. Deze zijn ook bekend uit de literatuur en de in het kader van dit project verzamelde casussen. (Mirande 1994b; Heijnen en Meeder 1999). In de casussen bij dit handboek Flexibilisering van Toetsing die te vinden zijn op de website van de Digitale Universiteit (http://www.du.nl/flextoets) worden ook een aantal van die initiatieven. Hoe komt het dan dat de indruk bestaat dat daarmee nog zo weinig is gedaan? Die indruk wordt wellicht veroorzaakt door het misverstand dat ‘toetsing met computers’ hetzelfde is als ‘beeldschermtoetsing’. Als we daarvan uitgaan, dan blijkt inderdaad dat er in het onderwijs nog steeds veel meer schriftelijk wordt getoetst dan via het beeldscherm. Beeldschermtoetsing is beperkt tot inzet bij ‘die ene docent’ of bij ‘die ene vakgroep’ of dat ‘specifieke vak’. Vaak worden initiatieven gestart, maar blijken die door veranderende omstandigheden weer afgebouwd te worden. Dat versterkt de indruk dat computers nog weinig worden ingezet bij toetsing.

pagina 35 van 35


Deze indruk is echter onjuist: computers worden wel degelijk al op vrij grote schaal ingezet bij bijvoorbeeld het opbouwen en beheren van itembestanden en bij toetsverwerking (scannen van formulieren en automatische toetsanalyse). Toetsanalyse en toetsafname met behulp van een computer wordt al meer dan dertig jaar toegepast. Sinds een jaar of twintig bestaan er ook programma’s om toetsen digitaal op te slaan en te beheren. Bovenstaande laat onverlet dat er nog een wereld te winnen is als ICT op veel grotere en systematische schaal gebruikt zou worden in het toetsproces. 3.1.6 Meer effectiviteit en efficiëntie Bij de efficiëntie van toetsen gaat het om de (gunstige) verhouding tussen enerzijds de kwaliteit van het middel (de toets) en anderzijds de kosten daarvan (de tijd die het kost om de toetsen te ontwikkelen en de tijd en de middelen die het toetsen zelf kost). De druk op de onderwijsbegroting is de afgelopen jaren steeds sterker geworden. Vergeleken met andere OESO-landen investeert Nederland relatief weinig in het onderwijs in relatie tot de steeds groter wordende studentenaantallen. Bovendien wordt steeds meer geld afgeroomd van begrotingen van onderwijsinstellingen om centrale voorzieningen te realiseren. Deze tendensen maken dat de onderwijsuitvoering met zelftoetsing, formatieve toetsen en certificerende toetsing, voortdurend effectiever en efficiënter moet worden. Hoeveel tijd wordt besteed aan toetsing? Naar schatting besteden docenten zo’n 30 procent van hun onderwijstijd aan toetsing, dat wil zeggen aan het maken, het organiseren, afnemen en nakijken ervan (Pilot 1998). In zijn algemeenheid is natuurlijk niet vast te stellen hoeveel tijd het toetsen kost, omdat dat afhangt van het vakgebied, aantallen studenten en hoe de lokale organisatie geregeld is. Maar ook als het toetsen 20 procent van de docententijd zou kosten, gaat het om een economisch belang van jewelste. Duidelijk is in elk geval dat nakijken arbeidsintensief is. Alleen al vanuit dat perspectief is het interessant om te proberen alternatieven of verbeteringen te vinden. Een summatieve toets is effectief als voldaan wordt aan de complete lijst van kwaliteitseisen voor validiteit en betrouwbaarheid. Voor de certificeringsfunctie zijn dat andere eisen dan voor de formatieve of de zelftoets. De efficiëntie kan met ICT op verschillende manier vergroot worden, namelijk door: •

beheer en administratie van resultaten te automatiseren;

•

samenwerking met anderen (deskundigen, opleidingen, andere vakgenoten);

•

toepassing van dezelfde toetsing voor meer studenten (schaalvergroting);

•

besparing van studenten- en docententijd door kortere toetsen (bij gelijke kwaliteit) of

•

de toetskwaliteit te verhogen (bij gelijke kosten).

Soms is er niet veel op tegen om de efficiëntie te verlagen. Bijvoorbeeld als kwaliteitsstijging echt noodzakelijk is of als op andere aspecten van het onderwijs kosten bespaard kunnen worden. Er kan dan een soort uitruil plaatsvinden tussen bijvoorbeeld contacttijd van het onderwijs en tijd voor toetsing. Het inzetten van hetzelfde toetsmiddel voor verschillende doeleinden kan minder effectief zijn, omdat de gestelde kwaliteitseisen zo verschillend zijn. Met voldoende inzicht in het ontwikkelen van toetsvragen en toetsen kunnen desondanks wel tegelijkertijd verschillende varianten van toetsen en

pagina 36 van 36


toetsitems ontwikkeld worden Dit kan leiden tot een efficiënter onderwijsontwikkelings- en uitvoeringsproces.

3.2

Beleid op instellingsniveau Vanuit instellingsniveau is de roep om flexibilisering van onderwijs en toetsing vaak het meest ambitieus. Bestuurders en managers zouden graag met hun onderwijs omgaan als met een doos lego. Voor elke vraag kan, met kleine standaardblokjes, voor iedere student een specifiek onderwijsaanbod worden gecreëerd. Door te spelen met de soort, de grootte en de kleuren van de blokjes, kan een variatie aan bij elkaar behorende grotere bouwwerken worden aangeboden. Helaas is het onderwijs wat minder flexibel dan dat. Veel zaken binnen het onderwijs zijn moeilijk in een bepaalde richting te ‘kneden’, laat staan te veranderen. Onderwijs aanbieden dat geschikt is voor zowel deeltijdstudenten als voltijdstudenten is al een hele opgave. Vaak wordt voor beiden een compleet ander programma bedacht, maar net zo vaak krijgen deeltijders een afgeslankte versie van het onderwijs van de voltijders voorgeschoteld of moeten deeltijders zich maar schikken naar de voltijders. ICT-middelen maken een grotere flexibilisering van het onderwijs mogelijk, maar niet alles kan. Om te beargumenteren welke keuze gemaakt moeten worden is het essentieel dat een instelling beleid formuleert. Zonder dergelijk beleid zullen investeringen in flexibeler toetsen op langere termijn verloren moeite blijken te zijn. Daarnaast moet de instelling ook oog hebben voor de wensen en behoeften die spelen ‘op de werkvloer’. De werkvloer bestaat in dit verband uit het management van de opleidingen en de docenten, waarbij docenten professionals zijn op hun vakgebied en willen werken met een gevoel van ‘academische vrijheid’. Hieronder bespreken we de verschillende mogelijkheden van instellingen om het beleid op toetsgebied vorm te geven. Allereerst gaan we in op het toetsbeleid zelf. Daarna komen verandermanagement, voorwaardenscheppend beleid en sturend beleid aan de orde. Aan het slot van deze paragraaf over de armslag voor instellingen bespreken we ook de financiële consequenties van deze beleidsvormen.

3.2.1 Toetsbeleid Bij veel instellingen voor hoger onderwijs staat het hebben of ontwikkelen van centraal toetsbeleid sterk in de belangstelling. Het besef groeit dat toetsing een belangrijk en integraal onderdeel van het onderwijs vormt en dat om vele redenen een centrale visie, strategie en beleid op dat terrein noodzakelijk zijn (Jaspers en Schade 2002). In het Digitale Universiteitproject ‘Toetsplanontwikkeling’ wordt veel aandacht geschonken aan dat aspect (Polderdijk, Volder et al. april 2004). Wat is goed toetsbeleid? Schade en Jaspers (1997) schrijven daarover het volgende. “Toetsbeleid wordt onder andere bepaald door externe (wettelijke) regels, zoals voorgeschreven in de Wet hoger onderwijs en wetenschappelijk onderzoek (WHW), en door het stelsel van visitatie en accreditatie. Daarnaast zijn allerlei interne factoren van onderwijskundige, organisatorische, financiële en personele aard van invloed op het toetsbeleid. Vast staat in ieder geval dat toetsing een vak apart is en een prominente rol dient te vervullen in het onderwijsleerproces.”

pagina 37 van 37


Toetsbeleid is uiteindelijk de keuze uit de methoden, de mensen en de middelen waarmee de opleiding doelen wil realiseren ten aanzien van het beoordelen van competenties van de student. In deze doelen dienen prioriteiten gesteld te worden, omdat niet alles mogelijk is en bovendien niet alles haalbaar is. Vragen die bij de formulering van toetsbeleid beantwoord moeten worden, zijn: •

Heeft de opleiding kaderstellend toetsbeleid geformuleerd?

•

Wat is het doel van het geformuleerde beleid?

•

Wat betekent het gewenste beleid voor de huidige manier van toetsing?

•

Wat betekent het beleid voor de toetscultuur van de opleiding?

•

Is het onderwijs vertaald naar adequate toetsvormen?

•

Is de onderwijsvisie zichtbaar in het toetsbeleid?

•

Wat is de invloed van de toetsen op het studeergedrag van de student?

•

Wordt de kwaliteit van de toetsing bewaakt door reflectie en evaluatie?

•

Worden studenten ingeschakeld in het ontwikkelen en beoordelen van toetsen?

•

Is het toetsbeleid betaalbaar?

•

Zijn de toetsen te organiseren voor onderwijsgevenden, studenten en onderwijsorganisatie?

•

Zijn procedures transparant en beoordeelbaar?

•

Hoe beoordelen studenten het toetssysteem?

•

Bevordert het toetsbeleid doorstroom van studenten?

•

Voldoet het toetsbeleid aan formele kaders en externe regelgeving?

•

Welke deskundigheidsbevordering hebben onderwijsgevenden nodig ten aanzien van toetsing?

Kortom: veel vragen die beantwoord moeten worden waarbij er vanuit het centrale niveau sprake moet zijn van luisteren naar de wensen, het scheppen van randvoorwaarden en tegelijkertijd sturen. Dit proces wordt bij verschillende instellingen met een grote variëteit aan diepgang en succes ingezet. Daarbij moet ook bedacht worden dat de operationalisering op drie niveaus gestalte krijgt, namelijk op het niveau van de instelling (macro), de opleiding of faculteit, (meso), vakgroepen, disciplines en individuele docenten (micro). Binnen deze drie niveaus worden weer grote en vooral veel kleine beslissingen genomen over de opzet en de vormgeving van de toetsing en de inzet van digitale middelen hierbij. Hoe, welke en met welke mate van succes en coherentie innovaties op toetsgebied plaatsvinden is afhankelijk van de organisatie van een onderwijsinstelling en van de verdeling van taken. 3.2.2 Verandermanagement Computers zijn op steeds grotere schaal beschikbaar in onderwijsinstellingen en de software wordt steeds gebruiksvriendelijker. Ook het gebruik van elektronische leeromgevingen neemt toe. Hoe kunnen we dan bevorderen dat toetsen met ICT meer benut wordt binnen onderwijs? Het innoveren van het onderwijs door verrijking met zelftoetsen, formatieve en summatieve toetsmogelijkheden vraagt om een expliciete innovatiestrategie en veranderingsaanpak. Het succes van die veranderingsaanpak wordt uitgedrukt door het resultaat dat gerealiseerd is of het effect dat tot stand gebracht is (Twijnstra en Gudde 2003). Veranderen heeft echter niet alleen betrekking op een resultaat, maar ook op een proces: de weg van de ene toestand naar een andere of de werkwijze die gevolgd wordt. Daarnaast heeft veranderen onbewustere betekenissen die de zienswijzen en strategieën betreffen die achter veranderingen schuilgaan. Bekendheid met deze zienswijzen blijkt een krachtig middel om communicatie tussen managers, medewerkers en adviseurs eenduidiger en helderder te maken. Veranderen is nodig om ICT een grotere rol te laten spelen in het onderwijs. In dat opzicht behoort verandermanagement per definitie tot de verantwoordelijkheid van het management van een instelling of opleiding.

pagina 38 van 38


Voor zowel kleine als complexe toetsinnovaties moet er heel wat gebeuren. Innovaties worden bijna altijd in projectvorm uitgevoerd en bij innovatie op opleidingsniveau moet een tijdpad uitgezet worden. Voor een verandering die het niveau van een individuele docent overstijgt moet er een nieuwe organisatie opgezet worden voor het toetsen. Ook moet er voldoende aandacht besteed worden aan de betrokkenen bij de innovatie. De vernieuwing kan namelijk pas slagen als de betrokkenen zich achter de vernieuwing opstellen. Hiervoor moet gecommuniceerd worden en vaak is het ook nodig dat de betrokkenen (meer) kennis en kunde op toetsgebied opdoen. Het is niet eenvoudig om een dergelijk traject goed te doorlopen (Hermans 2001). Over projectmatig werken en veranderkunde is veel literatuur beschikbaar (Kotter 1998; Boonstra 2000; Caluwé en Vermaak 2002; Kor 2002). Ook binnen het project ‘Portfolio Implementatie’ van de Digitale Universiteit is op dat terrein veel informatie verzameld die ook van toepassing is op het realiseren van flexibel toetsen (zie http://www.du.nl/portfolioimplementatie voor meer informatie). In dit boek willen we echter onderstaande aanwijzingen geven waarvan we denken dat ze vooral op het gebied van flexibel toetsen als ‘gouden regels’ kunnen worden gezien. Planmatige aanpak Brands (Brands 2001) schrijft het volgende over de invoering van ICT in het onderwijs. “Het is nogal opvallend hoezeer in tal van publicaties de nadruk wordt gelegd op de planmatigheid waarmee ICT ingevoerd en versterkt zou moeten worden. […] De gedachte echter dat het gebruik van ICT op strategisch niveau planmatig aangepakt moet en kan worden, berust enerzijds op een (tamelijk hardnekkig) misverstand en anderzijds op een bureaucratische noodzaak. Het misverstand is dat strategievorming een (gezamenlijk) rationeel proces is. In werkelijkheid is het enerzijds vrij onbewust meegaan met wat ieder op een bepaald moment tamelijk vanzelfsprekend acht en anderzijds is het juist het (telkens weer opnieuw) zien van de mogelijkheden en kansen in een veranderende omgeving, die juist niet voorbedacht konden worden. Op een terrein waar ook deskundigen nauwelijks harde voorspellingen over toekomstige gebruiksmogelijkheden kunnen doen, is des te meer sprake van kansen zien (door de voorlopers) en op een gegeven moment meedoen.” Zeker het wetenschappelijk onderwijs heeft karakteristieken die planmatige verandering moeilijk maken: •

de academische cultuur is zeer individualistisch;

•

autonomie en academische vrijheid worden gekoesterd;

•

universitaire systemen en structuren zijn zo ingesleten, dat iedere verandering langzaam gaat, voortdurend aandacht behoeft en complex is.

Realistische doelstellingen In aansluiting daarop geeft Van der Vleuten (Vleuten en Daniëls 2002) nog een aantal andere aanwijzingen om de kans op succes van innovatie op toetsgebied te vergroten. De belangrijkste aanwijzing daarbij is dat bij de formulering van doelen van innovaties de verwachtingen vaak niet realistisch zijn: hoge ambities worden duur betaald. Verstandiger is de ambities realistisch te formuleren: •

erken dat de meerwaarde van ICT vaker ligt in efficiëntiebevordering dan in een echte

•

erken dat onderwijskundige meerwaarde komt in kleine stapjes;

•

bedenk geen problemen voor technische oplossingen;

•

koop in plaats van maak, want zelf maken is duur en gevaarlijk;

educatieve meerwaarde;

pagina 39 van 39


•

maak het samen en houd het simpel.

Tot slot kan gesteld worden dat voor een succesvol veranderingsproces in dat opzicht minimaal nodig is: •

een gepassioneerde leider;

•

een gepassioneerd ‘product champion’: iemand die gelooft in de kracht van een bepaald idee.

Succesvol veranderingsproces in acht stappen Om dat kracht bij te zetten citeren we hier John Kotter (Kotter 1998), die acht stappen in een grootschalig veranderingsproces aangeeft die de kans op succes vergroten: 1.

Creëer een dwingende noodzaak Zonder een duidelijke noodzaakbeleving komen mensen niet in beweging. De noodzaak dient voelbaar te zijn.

2.

Formeer een krachtig en leidend team Een sterk en krachtig ‘leidend team’, met autoriteit, leiderschapskwaliteiten, deskundigheid en geloofwaardigheid, is onontbeerlijk. Uit analyses blijkt dat leiderschap voor 25 procent uit management bestaat en voor de rest uit echt leiderschap. Het management behartigt de dagelijkse zaken, zorgt voor consolidatie, planning/budgettering, organiseren/bemensen, controle en ziet zo toe op orde en voorspelbaarheid. Leiderschap is meer gericht op de toekomst. Geeft nieuwe richtingen aan, zorgt voor de verbindingen, motiveert, inspireert en brengt de veranderingen op gang.

3.

Ontwikkel een heldere visie De visie en de doelen moeten helder zijn, opdat de richting bekend is. Beide dienen herkenbaar zijn voor medewerkers.

4.

Communiceer die visie Communicatie is een onmisbaar element in het veranderingstraject. Duidelijke, heldere, open en eerlijke communicatie bevordert het veranderingsklimaat. Een visie moet daarbij niet vier of vijf keer worden gecommuniceerd, maar voortdurend, waarschijnlijk tientallen tot honderden malen.

5.

Rust anderen toe om naar de visie te handelen Betrek medewerkers bij het invullen van de gewenste veranderingen. Beloon initiatieven die passen binnen de gewenste veranderingen, pak obstructie aan.

6.

Plan en zorg voor kortetermijnwinsten Creëer meer draagvlak door aan te tonen dat met de veranderingen zichtbare of meetbare verbeteringen worden geboekt.

7.

Consolideer de winst en vergroot deze Het is belangrijk tempo in de veranderingen te houden. Timing en introductie van steeds nieuwe stappen houden het veranderingsproces in gang. In de dagelijks praktijk komt bij veel veranderingen de ‘waaromvraag’ niet of nauwelijks aan de orde. Het kan verhelderd zijn de vraag te stellen wat er gebeurt als de veranderingen niet worden doorgevoerd. Alle belanghebbende groepen dienen de urgentie te voelen.

8.

Institutionaliseer de nieuwe aanpak Zorg dat veranderingen niet tijdelijk van aard zijn. Zij dienen ingebed te worden in de dagelijkse handelingen en worden overgedragen aan nieuwkomers.

3.2.3 Voorwaardenscheppend beleid Welke activiteiten en voorzieningen kunnen nu op centraal instellingsniveau worden gerealiseerd om flexibilisering van toetsing op de werkvloer uiteindelijk mogelijk te maken? Op centraal niveau moeten op zijn minst de technische en organisatorische randvoorwaarden worden gecreëerd om verdere innovatie met ICT mogelijk te maken. Daarin spelen de centrale eenheden van instellingen

pagina 40 van 40


voor hoger onderwijs de hoofdrol. Instellingsbreed moet de expertise worden gebundeld en moeten standaardvoorzieningen worden gecreëerd. Dit gaat de armslag van opleidingen – laat staan individuele docenten – namelijk te boven. In dit kader moeten we vaststellen dat de meeste instellingen op centraal niveau beschikken over een service voor de zogenoemde tentamenanalyse. Het betreft dan over het algemeen een deskundig medewerker en apparatuur om automatisch gestandaardiseerd antwoordformulieren te verwerken en te analyseren. Als het erom gaat toetsen met ICT verder te flexibiliseren, zullen daar diensten aan toegevoegd moeten worden. Vooral onderwijsinstellingen met grote aantallen (>~3000) studenten kunnen veel voordeel halen uit een centraal toetssysteem waarin naast de reguliere ‘tentamenverwerking’ ook diensten worden opgenomen om itembanken aan te leggen, toetsen te genereren en summatieve beeldschermafname mogelijk te maken. Deze diensten moeten organisatorische, technische, didactische, juridische en toetstechnische kennis en kunde bieden om een dergelijk systeem op de werkvloer te ondersteunen en succesvol in te zetten. Dat resulteert in iets wat we een centrale toetsservice kunnen noemen. Zo’n centrale service is een noodzakelijke voorwaarde om toetsen te kunnen standaardiseren en van daaruit te flexibiliseren. De portee van dit boek is dat een dergelijke faciliteit en de ondersteuning in de toekomst tot de reguliere infrastructuur van een onderwijsinstelling gerekend worden. Een aantal instellingen heeft al een centraal systeem, maar zijn nog in de beginfase van het opzetten van een toetsorganisatie. Vooral dat laatste wordt verder uitgewerkt in hoofdstuk 4. 3.2.4 Sturend beleid Naast het scheppen van randvoorwaarden moeten instellingen ook aangeven welke functies toetsvragen en toetsen kunnen dienen en hoe ze ingebed moeten worden in het onderwijs. Hiervoor kunnen de instellingen richtlijnen geven die opleidingen en docenten kunnen helpen te bepalen welke soort en welke kwantiteit toetsvragen en toetsen ze moeten inzetten. Daarnaast kunnen de instellingen eisen stellen aan de kwaliteit van de toetsing. Kader 9 Voorschrijven van tussentijdse toetsen aan de Katholieke Universiteit van Leuven In het academiejaar 2001-2002 is de KU Leuven overgegaan van een jaarexamensysteem naar een semesterexamensysteem. Bij de invoering werd grote aandacht besteed aan ondersteuningsmaatregelen voor eerstejaarsstudenten. Een van deze maatregelen was de introductie van tussentijdse toetsen (Huyck 2002). Deze toetsen zijn bedoeld om, als formatieve evaluatie, studenten te ondersteunen in het verwerken van de leerstof en om zo nodig hun leergedrag bij te sturen. Om dit proces voor docenten te faciliteren, kunnen docenten voor het aanmaken en aanbieden van hun tussentijdse toets(en) gebruikmaken van een webgebaseerd toetsplatform, dat de KU Leuven centraal aanbiedt. Zoals we eerder hebben aangegeven, speelt het beheer van de toetsen en de itembank bij centraal toetsbeleid een grote rol. Een van de belangrijkste problemen bij het opzetten en beheren van een centrale itembank is dat de structuur, de kwaliteitscontrole en de benodigde communicatie rondom het systeem veel complexer zijn dan wanneer een docent zijn eigen toetsvragen beheert, zie o.a. Leijen (Leijen 2002). De sturende rol van het toetsbeleid moet daarom op alle fronten en niveaus ondersteund worden, zie o.a. Wolters (Wolters 1999). Toetsitems en toetsen moeten via geëigende schijven behandeld worden, formeel worden vastgelegd en aan kwaliteitscontrole worden

pagina 41 van 41


onderworpen. Het opbouwen van een groot en kwalitatief goed bestand is dus een onderneming op zich, zoals ook blijkt uit onderstaand voorbeeld. Kader 10 Fontys Toets- en Evaluatie Service Organisatie (FTESO) Binnen Fontys Hogescholen heeft de afdeling Onderwijs van het Facilitair Bedrijf met ingang van 1 januari 2004 de dienstverlening FTESO gestart. De dienstverlening bestaat uit twee delen: enerzijds de centrale verwerking van papieren toetsen (op termijn ook van beeldschermtoetsen en evaluaties) en anderzijds ondersteuning bij de implementatie van het itembanksysteem en toetsorganisatie. Deze twee delen kunnen uiteraard ook beide plaatsvinden. Ter voorbereiding is het gehele toetsproces in 2003 uiteengerafeld in verschillende processtappen. Vervolgens is vastgesteld welke van de processtappen door wie zou moeten worden uitgevoerd. Hieronder als voorbeeld de fase Construeren items: Verantwoordelijkheid resp. uitvoering door:

4.3.2 Construeren items Verdelen van taken voor de constructie van de items onder de docenten (evt. op contractbasis) u Signaleren dat nieuwe items nodig zijn v Geven van opdracht tot het produceren van items v Ontwikkelen of wijzigen van items u Invoeren items (met status initieel) v+u Screenen van nieuwe of herschreven items op basis van vastgestelde criteria inhoudelijk/vraagtechnisch v+u Screenen van nieuwe of herschreven items op basis van vastgestelde criteria vormtechnisch (metadata) u Statuswijziging items: vrijgave voor toets v

Technisch - en applicatiebeheer

Helpdesk

Funct. Beheer

Administratie

Surveillanten

Centraal

Admin. HS

Funct. aanspreekpunt HS

Docent

Toetscommissie

Screeningscommissie

Decentraal

Examencommissie

Type taak

Processen

x x x

x x x

x

x x x

In dit schema worden de taken voor de verschillende rollen duidelijk. Voor de andere fasen van het toetsproces heeft deze uitsplitsing ook plaatsgevonden. 3.2.5 Financiële consequenties De verantwoording van de financiering van flexibilisering moet onderdeel zijn van het beleid van een instelling. Bij de opstelling van financieringsmodellen wordt vaak een belangrijk aspect veronachtzaamd: innovaties moeten verankerd worden en dat heeft langetermijn financiële consequenties. Projecten zijn nodig om innovaties te initiëren en te ontwikkelen (systemen en werkwijzen). Wat daarna echter vaak vergeten wordt is dat een gerealiseerd systeem met werkwijze via een implementatiefase (bijvoorbeeld scholing) naar een exploitatiefase en institutionalisatiefase moet worden geleid (bijvoorbeeld ondersteuning, beheer, uitbreiding, aanpassing, integratie van systemen). Dergelijke systemen brengen ook na afloop van het project – en tot in lengte van dagen – kosten met zich mee. Binnen de uitvoering van het initiële project dient daarom veel aandacht te zijn voor dat aspect. In het licht van flexibilisering van toetsing moeten instellingen voor hoger onderwijs in hun langetermijnbegroting dus eigenlijk al aanzienlijke budgetten opnemen voor toetsing en assessment. Het is duidelijk: flexibiliseren kost geld. Welke mogelijkheden hebben instellingen om dat geld te vergaren? Dan kan ten eerste door centrale financiering door ‘afroming’. Andere mogelijkheden zijn

pagina 42 van 42


decentrale financiering en gedifferentieerde financiering. Hieronder bespreken we deze financiële mogelijkheden meer in detail. Centrale financiering door ‘afroming’ Een instelling kan de financiering voor flexibilisering ten eerste krijgen via afroming van de financiële toewijzing aan opleidingen. Uit de centrale financiële beleidsruimte die hierdoor ontstaat, kunnen deze diensten aan opleidingen ‘gratis’ worden aangeboden. Decentrale financiering Een tweede mogelijkheid is dat opleidingen vergoedingen betalen voor het gebruik van de centraal ondersteunde systemen en organisatie. De hoogte van de vergoeding kan bijvoorbeeld gebaseerd zijn op het aantal studenten dat aan een opleiding is ingeschreven of het aantal cursussen dat aangeboden wordt. In feite vindt hier afroming plaats op opleidingsniveau. De voordelen van deze aanpak zijn dat: •

opleidingen bewuster zijn van de kosten van dergelijke systemen;

•

opleiding meer aandacht zullen hebben om deze systemen met rendement te exploiteren;

•

opleidingen meer aandacht zullen hebben voor de implementatie van deze systemen.

Het nadeel van deze aanpak is dat opleidingen de investering en doorlopende kosten van dergelijke systemen moeten afwegen ten opzichte van andere investeringen. De kans is aanwezig dat daarom de prioriteit ergens anders wordt gelegd. Gedifferentieerde financiering Een derde mogelijkheid om de financiering voor flexibilisering rond te krijgen is dat de systemen worden bekostigd per cursus of per toets. Maatgevend is dan hoe vaak het systeem wordt gebruikt of hoeveel toetsen ermee worden afgenomen. De voor- en nadelen zoals genoemd bij ‘decentrale financiering’ zullen dan echter nog scherper zichtbaar worden. De huidige financieringsmethodiek van opleidingen en de geringe budgetten voor onderwijsuitvoering maakt dit financieringssysteem niet realistisch. 3.2.6 Rekenvoorbeelden Een aantal instellingen voor hoger onderwijs speelt met de gedachte om een gezamenlijk en gespecialiseerd toetsservicecentrum in te richten. In zo’n centrum wordt expertise op het terrein van toetsen en assessment gebundeld, maar zijn ook de middelen samengebracht om deze processen te ondersteunen of uit te voeren. Een dergelijk centrum zou deel uit kunnen maken van een onderwijsinstituut. Centrale voorzieningen voor itembanking Aan de hand van een eenvoudig rekenvoorbeeld laten we zien wat de kosten kunnen zijn voor een instelling om een ‘gewone’ tentamenzaal te gebruiken en in stand te houden voor pen-enpapiertoetsen die verwerkt worden met behulp van schrapkaarten. Dit voorbeeld zullen we gebruiken als referentie voor de kosten voor certificerende beeldschermtoetsing. In onderstaande berekening nemen we daarbij aan dat een instelling in ieder geval een itembanksysteem gaat voeren, maar verwaarlozen wij de investering die gedaan moet worden om toetsitems te ontwikkelen. Ten eerste geven we een voorbeeld van de kosten die gemoeid zijn met een centraal te beheren en ontsluiten itembanksysteem.

pagina 43 van 43


Investering servers en netwerk €

40.000

Afschrijvingstermijn

5 jaar

Afschrijving servers en netwerk per jaar Licentiekosten toetssoftware Systeembeheer, functioneel beheerkosten per jaar Scholing, voorlichting, ondersteuning docenten Totaal per jaar

1,0 fte 1,0 fte

€ € € € €

8.000 20.000 40.000 40.000 108.000

Ten tweede schetsen we in onderstaande berekening de kosten voor het afnemen van toetsen. Daarbij gaan we uit van toetsing in een zaal waarin 200 studenten tegelijkertijd kunnen worden getoetst en dat er 4 toetsperiodes zijn die elk 2 weken duren. Per dag kunnen 4 toetsen worden afgenomen. Kosten gewone tentamenzaal met schriftelijke toetsing per jaar Aantal te toetsen studenten Aantal toetsen per student per tentamenperiode Aantal tentamenperiodes Aantal toetsen in de zaal per student per jaar Totaal af te nemen aantal toetsen

4.000 2 4 8 32.000

Duur tentamenperiode Maximaal aantal studenten in zaal Aantal toetsen per dag Aantal verschillende toetsen per periode derhalve Maximaal aantal toetsafnames

2 200 4 40 32.000

Kosten itembanksysteem per jaar M2-prijs van toetszaal per jaar Benodigde ruimte per student Totaal oppervlak Totaal zaalkosten Zaalbezetting per jaar Zaalbegeleiding/surveillance per jaar (2 personen) Totaal/jaar Kosten per student/jaar Totaal per toets

€

€

108.000

€ € € €

180.000 0,2 16.000 304.000 76

€

9,50

300 per m2 3 m2 600 m2 8 weken 0,4 fte

Om het itembankprogramma en het toetsafnameprogramma vervolgens te kunnen benutten voor gecontroleerde formatieve en summatieve beeldschermtoetsen is eigenlijk een beveiligde pcinfrastructuur noodzakelijk. Tot op heden is bij geen enkele instelling een dergelijk centrum speciaal en alleen voor dit doel gerealiseerd, maar hieronder werken we een fictief voorbeeld uit, uitgaande van een fysieke pc-zaal omgeving voor grootschalige summatieve toetsing (200 studenten tegelijkertijd). Dit leidt tot de volgende berekening.

pagina 44 van 44


Aantal tentamenperiodes Aantal toetsen in de zaal per student per jaar Totaalaantal af te nemen toetsen

4 8 32.000

Duur tentamenperiode Maximaal aantal studenten in zaal Aantal toetsen per dag Aantal verschillende toetsen per periode Maximaal aantal toetsafnames

2 weken 200 4 40 32.000

M2-prijs zaal per jaar Benodigde ruimte per student Benodigd totaal oppervlak Totaal zaal per jaar

€

nieuwprijs werkstation € werkstations afschrijvingstermijn afschrijving werkstation per jaar € Kosten werkstations per jaar

300 4 m2 800 m2

Kosten itembanksysteem per jaar Zaalbezetting per jaar Zaalbegeleiding/surveillance per jaar (2 personen) Totaal/jaar Kosten per student/jaar Kosten per toets

€

240.000

€

66.667

€

108.000

€ €

16.000 430.667

€ €

108 13,46

1.000 200 stuks 3 jaar 333

8 weken 0,4 fte

Aan de hand van dit voorbeeld kunnen we vaststellen dat met een jaarlijkse investering van ongeveer k€ 125 de kosten per afgenomen toets (ten opzichte van pen-en-papiertoetsing) toenemen met ongeveer € 4,-. Deze jaarlijkse kosten en toename van prijs per afgenomen toets zijn wellicht acceptabel in het licht van de didactische voordelen en kwaliteitsverbetering die nagestreefd worden. Daarnaast gaan we in het rekenmodel uit van een zaalbezetting van slechts 20 procent van het academisch jaar (8 van de 40 weken). De berekening ziet er anders uit als de zaalvoorziening in de andere delen van het academisch jaar gebruikt wordt voor gewone ‘werkplekken’. Daarmee kan een belangrijk deel van investerings- en afschrijvingskosten ‘terugverdiend’ worden. Sterker nog, mogelijk kan het inzetten als beveiligde toetszaal juist de investering in dergelijk grootschalige voorzieningen interessanter maken. Bovendien kan de zaal in de tussenliggende periodes ook gebruikt worden als certificerende toetsomgeving; bijvoorbeeld om hertoetsen af te nemen. De casussen van de TU-Delft, Hanzehogeschool Groningen, Saxion Hogescholen en de University of Dundee op de website van Flexibilisering van Toetsing van de Digitale Universiteit laten zien dat deze aanpak goed kan werken. Kader 11 University of Dundee (Parsons 2003, 2003) In 2001 heeft het Universiteitsbestuur van de Universiteit of Dundee een signaal van de ‘werkvloer’ opgepikt. Bij de faculteit Life Science wordt veelvuldig gebruik gemaakt van Questionmark Perception voor het maken van zelftoetsen, tutorials en het afnemen van tentamens. De faculteit brengt dit onder de aandacht van het Universiteitsbestuur met het verzoek of dit initiatief Universiteitsbreed navolging kan krijgen. Het Universiteitsbestuur is zeer ontvankelijk voor dit initiatief. Het speelt al langer met de gedachte om het leren met ICT en toetsen en ICT hoger op de Universitaire agenda te krijgen. Ze besluiten daarop om een flinke investering te plegen. Het uitbouwen van de e-learninginfrastructuur wordt toegewezen aan de Centre for Learning and

pagina 45 van 45


Teaching van de Universiteit. Een senior projectleider wordt belast met deze taak. Op de korte termijn krijgen ze budget om de digitale leeromgeving Blackboard te installeren en het toetsysteem Questionmark Perception. Voor de langere termijn wordt budget gereserveerd om het systeem goed te implementeren en exploiteren. Technisch wordt het systeem grondig opgezet en er worden koppelingen gemaakt tussen verschillende omgevingen. Het team wordt uitgebreid met een aantal specialisten om Questionmark Perception goed te ondersteunen: een technisch beheerder die het systeem in de lucht moet houden, een toetsdeskundige die tevens zeer IT-vaardig is om docenten te scholen en te ondersteunen bij het ontwikkelen van toetsen en het verwerken van toetsresultaten. Ook de bestaande IT-dienst wordt ook in het proces betrokken en zij geven actief ondersteuning. De totale unit opereert onder de naam ‘Central Assessment Support’. Er wordt door de unit actief ondersteuning verleend aan de opleidingen om Questionmark Perception zowel voor zelftoetsing als summatieve toetsing in te zetten. Met name voor de summatieve toetsing verlenen ze al het werk dat nodig is om docenten en opleidingen over de streep te trekken om deze toetsvorm in te zetten. Daartoe zijn draaiboeken ontwikkeld en zijn voorzieningen getroffen om in diverse PC-zalen onder toezicht toetsen af te kunnen nemen. Op een dergelijk toetsmoment staan de IT-dienst en de toetsdeskundige paraat om de docent te ondersteunen en eventuele technische problemen direct op te lossen.

Het resultaat van deze investering en het in het leven geroepen team is dat de University of Dundee al in 2003 op een grootschalige en flexibele wijze zowel formatieve als summatieve toetsen aan haar studenten voor kan leggen. Zo worden er soms al 1700 formative toetsen per dag

pagina 46 van 46


afgelegd en worden er meer dan 50 summatieve toetsen per jaar afgenomen. Een verdere toename van deze aantallen wordt verwacht. Van deze casus komt een video beschikbaar op de internetsite Flexibilisering van Toetsing van de Digitale Universiteit http://www.du.nl/flextoets Kader 12 Deeltoetsen op de TU-Delft (Staal, Kunst et al. 1993; Staal, Boekbinder et al. 1994) In het begin van de jaren negentig ziet de vakgroep mechanica van de faculteit Werktuigbouwkunde van de Technische Universiteit Delft zich genoodzaakt om drastisch te gaan werken aan het verbeteren van het rendement van haar inleidende mechanica cursussen. De studenten besteden over het algemeen te weinig tijd aan deze vakken, het tijdsbeslag op docenten om tentamens na te kijken is erg groot en de tentamenuitslagen zijn over het algemeen niet bekend binnen de termijn die gesteld is (twee weken). De vakgroep wil stimuleren dat studenten systematischer en meer ‘time on task’ aan zelfstudie doen en wil studenten daarbij gaan ondersteunen. Het idee wordt uitgewerkt om studenten de mogelijkheid te bieden om deeltoetsen te laten maken waarvan het resultaat meegenomen kan worden in het eindresultaat. Door de grote aantallen studenten is het echter niet mogelijk om dit proces handmatig te ondersteunen, maar is de wens om dit met IT middelen op de lossen. In 1990 wordt een aanvraag gedaan bij het Studeerbaarheidsfonds van de Universiteit. Het faculteitsbestuur ondersteunde de plannen. Het ontwerp werd gemaakt voor een complete toetsinfrastructuur bestaande uit: •

Netwerksoftware om betrouwbaar en veilig mee te kunnen toetsen (Tempo+)

•

Een netwerk met fysieke toetszaal met PC’s waar 75 studenten gelijktijdig getoetst konden worden. Deze zaal was in principe een reguliere computerzaal, maar kon met enkele ingrepen (o.a. roostering op avonduren) systematisch beschikbaar komen.

•

Afspraken over een ondersteuningsinfrastructuur bestaande uit programmeurs, systeembeheerders en zaalwachten om de bedrijfszekerheid van het gehele toetssysteem te waarborgen en de logistiek van het aanbieden van de toetsen de garanderen.

•

Een itembank met toetsvragen voor de verschillende deelvakgebieden en doelen (deeltoetsen met Tempo+, summatieve tentamens met Presto+)

pagina 47 van 47


In 1992 worden de eerste deeltoetsen afgenomen. Later worden ook met een iets aangepast systeem (Presto+) tentamens via het beeldscherm afgenomen. Daarna worden de zalen met een hoge bezettingsgraad ingezet voor deze toetsingsdoeleinden. Het blijkt dat er een aantoonbare stijging in het slagingspercentage kan worden vastgesteld, hoewel op meer gehoopt werd. Dan zou echter ook de rest van het onderwijs aangepakt moeten gaan worden. Ook blijkt dat er een duidelijk verband is tussen de gemiddelde score op de deeltoetsen en het tentamencijfer. Dat doet de vakgroep besluiten om studenten bij een gemiddelde score boven het cijfer 7 op de deeltoetsen vrij te stellen van het tentamen. Het zelfstudiesysteem functioneert tot en met academisch jaar 2003/2004. Voor een uitgebreidere beschrijving van deze casus verwijzen we naar de website van Flexibilisering van Toetsing van de Digitale Universiteit via http://www.du.nl/flextoets Synergie is het sleutelwoord als het erom gaat een toetsinfrastructuur te realiseren. Synergie is nodig om de grote investering die instellingen doen in ICT-middelen en mensen rendabel in te zetten. Middelen en mensen zouden zo veel mogelijk gebruikt moeten worden voor verschillende doeleinden, om de bezettingsgraad zo hoog mogelijk te krijgen. Uitbesteding Uitbesteding aan derden is de meest rigoureuze manier om een beveiligde toetsomgeving mogelijk te maken. De instelling investeert dan zelf niet in een centraal toetsysteem, deskundigen en fysieke omgeving, maar betaalt een externe partij per afgenomen toets. Er zijn momenteel partijen op de markt die deze diensten aanbieden en de expertise in huis hebben om beeldschermtoetsen af te nemen. Zeker op het terrein van beroepsopleidingen in de informatica en kantoorautomatisering wordt deze vorm van uitbesteding van toetsing ingezet. Voorbeelden van Nederlandse bedrijven die deze diensten kunnen overnemen zijn Lamark, Andriessen, Exxin en Prometric in Nederland. In de VS en Groot-Brittannië zijn nog meer van dergelijke bedrijven. Een nadere beschrijving van Lamark is beschikbaar op de website van Flexibilisering van Toetsing. Het grote voordeel van uitbesteding is dat een instelling voor hoger onderwijs zich kan concentreren op datgene waar ze goed in is, namelijk onderwijs ontwikkelen, onderwijs verzorgen, toetsinhoud bepalen en toetsen maken. Het afnemen van de toetsen – een expertise op zich – kan worden overgelaten aan specialisten. De nadelen voor deze vorm van uitbesteding zijn natuurlijk de relatief hoge kosten. Een gemiddelde toetsafnamesessie voor één student kost ongeveer € 40,-. Ten opzichte van pen-en-papiertoetsing is dat een kostenstijging van ongeveer € 30,- per toets. Op dit moment lijkt uitbesteding daarom een weinig reële optie. Als er een instellingsbreed toetscentrum met beveiligde toetszaal beschikbaar zou zijn, kan toetsing echtere in bulk worden afgenomen. Dit zou de prijs per toets drastisch kunnen drukken. Ook zou deze optie interessant zijn voor opleidingen als de inzet van bijvoorbeeld multimediale aspecten in de toetsing belangrijk of noodzakelijk zijn. Is betalen per toets een optie? In het Nederlandse hoger onderwijs is het niet gebruikelijk dat studenten apart betalen voor toetsing, zoals bij een rijbewijs. Een student accepteert dat hij collegegeld moet betalen en de kosten voor boeken, literatuur en readers moet dragen. Zou het niet zo kunnen zijn dat ze ook voor toetsing moeten betalen? Wat zou er dan veranderen in het denken over toetsen en ICT bij instellingen voor hoger onderwijs?

pagina 48 van 48


3.3

Beleid op het niveau van de opleiding/faculteit Niet alleen instellingen moeten beleid formuleren op het gebied van toetsen en beoordelen, ook opleidingen en faculteiten moeten dat doen. Daarbij worden ze aan de ene kant gestuurd door het centrale instellingsbeleid, anderzijds hebben ze de verantwoordelijkheid om hun eigen richting daarin aan te geven. Hieronder maken we eerst een vergelijking van de armslag van de opleiding/faculteit met die van instellingen. Vervolgens beschrijven we hoe een opleiding/faculteit de aandacht voor flexibel toetsen kan vergroten. We sluitend deze paragraaf af met de mogelijkheid voor de opleiding/faculteit om een toetsorganisatie in te stellen.

3.3.1 Vergelijking met instellingsniveau Ook op het niveau van opleidingen moet er gestreefd worden naar schaalvoordelen door standaardisering en specialisatie om een flexibelere inzet van toetsvragen en toetsen in het onderwijs mogelijk te maken. Daarbij is de armslag voor veel opleidingen vaak niet zo groot dat ze hun eigen medewerkers en apparatuur kunnen bekostigen om tentamenanalyses te doen. Ook het licenseren en beheren van één toetsprogramma om toetsvragen in aan te maken en beheren is vaak al te kostbaar. Daarvoor zijn voorzieningen op instellingsniveau eigenlijk onontbeerlijk. Op opleidingsniveau is dan ook zaak om de randvoorwaarden die op centraal niveau zijn geschapen zo goed mogelijk te benutten. Daarvoor is ook beleid nodig. Innovatieprojecten om dergelijk beleid te kunnen effectueren zullen wat minder ingrijpend zijn dan projecten op instellingsniveau. Toch is de inzet van het management om de juiste extra voorwaarden te creëren (tijd en middelen vrijmaken), sturing (cultuurverandering bewerkstelligen) en controle uit te oefenen (systematische evaluatie) minstens zo groot. De adviezen over verandermanagement zijn voor het niveau van de opleiding/faculteit dus minsten zo van toepassing als voor het niveau van een instelling. Ook de regels voor projectmatig werken zijn op opleidings- of vakgroepniveau goed te gebruiken. Door de wat lagere complexiteit en de grotere rol van informele afspraken kunnen deze processen echter wel eenvoudiger zijn. Bij een innovatie die een individuele docent of klein groepje van docenten uitvoert, is die complexiteit nog weer minder. Daar staat tegenover dat een klein groepje minder tijd beschikbaar heeft en dat er een groot gebrek aan expertise kan zijn. Daardoor wordt de innovatie mogelijk veel minder effectief doorlopen of leidt de innovatie tot ongewenste resultaten. Ook zullen andere delen van de opleiding of de instelling niet van de resultaten kunnen profiteren. 3.3.2 Aandacht voor toetsing vergroten Een goed beheer en goede functionaliteit van de itembank zijn kritische succesfactoren om de itembank zo volledig mogelijk te kunnen benutten. De itembank is de basis voor bijna alle processen van de toetscyclus. Een goed gevulde itembank is in principe een kostbaar bezit en moet vanuit die optiek goed beheerd en gebruikt worden. Als het daaraan ontbreekt, zal een itembank snel een verzameling toetsvragen en toetsen van onbekende kwaliteit en inhoud bevatten die de verzameling zo goed als waardeloos maken. Het is dus noodzakelijk om gezamenlijke afspraken te maken om goed beheer en uitwisselbaarheid mogelijk te maken. Goed beheer betekent dat er voldoende capaciteit en expertise beschikbaar zijn en duidelijke procedures en werkwijzen. Goed itembankbeheer vergt bovendien expliciete bekostiging, maar hoeft niet kostbaar te zijn in verhouding tot de opbrengsten die uit dat beheer kunnen voortkomen. Als meerdere opleidingen dezelfde systemen gebruiken of afspraken maken over de uitwisselingsstandaard, worden de opbrengsten nog hoger. Afhankelijkheid van individuele

pagina 49 van 49


personen wordt geminimaliseerd als een instelling - los van onderwijsgevenden - toetsen kan samenstellen. Het vullen van een itembank is dus bij voorkeur een continu proces. Dat is over het algemeen niet in lijn met de huidige werkwijze en cultuur in het hoger beroepsonderwijs en het wetenschappelijk onderwijs. Daar worden toetsvragen en toetsen nog vaak zeer discontinu ontwikkeld: als de deadline voor de start van een cursus nadert begint men pas met het maken van bijvoorbeeld oefentoetsen. Nadert een tentamen, dan begint men met het maken van de tentamenvragen en het tentamen. Het instellen van een toetsorganisatie (zie volgende paragraaf) kan dit proces natuurlijk al verbeteren. De instelling van een toetscoördinator en een toetsteam kan de aandacht voor dit proces vergroten en de continuïteit en kwaliteit van het werk doen toenemen. Toetsheidag Een interessante en eenvoudige mogelijkheid voor opleidingen om de aandacht voor toetsing te vergroten en het functioneren van toetsteams te verbeteren, is het organiseren van zogenoemde toetsheidagen. Toetsdeskundige Marianne Schade wordt regelmatig door opleidingen uitgenodigd om het toetsbeleid vorm te geven en helpen uitvoeren. Tijdens een toetsheidag probeert ze docenten aan het nadenken te krijgen over toetsen en het ontwikkelen van toetsen. In zo’n dag verzoekt ze alle docenten om hun onderwijsmaterialen en andere informatie over hun vakken mee te brengen. Eerst frissen de docenten hun kennis over toetsen en beoordelen op en daarna gaan ze in groepen aan de slag om systematisch toetsitems en toetsen te ontwikkelen. 3.3.3 Toetsorganisatie instellen Op dit moment staat de docent met 'zijn' programma nog centraal bij toetsing, terwijl in het kader van flexibilisering van toetsing zoals gezegd gestreefd moet worden naar schaalvergroting, standaardisering en een collectieve verantwoordelijkheid. Hoe kan een opleiding/faculteit toetsen zo organiseren dat deze doelen tot hun recht komen? Een van de mogelijkheden hiervoor is om een toetscommissie in te stellen (Brakel en Heijmen-Versteegen 2003). Deze commissie zou moeten bevorderen dat een grote hoeveelheid niet direct samenhangende toetsen en deeltoetsen omgezet wordt naar een transparant, door de opleiding vastgesteld en uitgevoerd toetsplan. Het niveau van een opleiding is bij uitstek geschikt om het gehele toetsproces gestructureerd aan te pakken. Binnen die context kan een toetsorganisatie worden opgezet die het mogelijk maakt om op een werkbare wijze de verantwoordelijkheid te verdelen over verschillende samenwerkende partners: de directie, de opleidingscommissie, de examencommissie, de toetscommissie, het toetsbureau, secties, individuele docenten, mentoren, tutoren en assessoren en vertegenwoordigers van het werkveld. Hieronder beschrijven we een aantal van deze betrokkenen in meer detail zoals gegeven door Brakel en Heijmen (Brakel en Heijmen-Versteegen 2003). Opleidingscommissie Elke opleiding heeft een opleidingscommissie die advies uitbrengt over de onderwijs- en examenregeling (OER) en de uitvoering ervan jaarlijks beoordeelt. Benoeming en samenstelling geschieden volgens het Bestuursreglement. De helft van de commissie bestaat uit studenten. In relatie tot toetsing heeft een opleidingscommissie de volgende bevoegdheden: •

advies uitbrengen over de onderwijs- en examenregeling voordat het instellingsbestuur de regeling vaststelt;

pagina 50 van 50


•

de uitvoering van de onderwijs- en examenregeling jaarlijks beoordelen;

•

gevraagd of ongevraagd advies uitbrengen aan de directie, mede ter kennisgeving aan de medezeggenschapsraad van de opleiding.

Examencommissie Elke opleiding heeft ook een examencommissie, die door het bevoegd gezag is aangesteld. Het bevoegd gezag mandateert deze bevoegdheid aan de instituutsdirecteur. Deze stelt het aantal leden van de examencommissie vast en benoemt de deelnemende personen. De examencommissie stelt regels vast voor de goede gang van zaken tijdens de tentamens en de in dat verband te nemen maatregelen. De examencommissie kan richtlijnen en aanwijzingen geven voor de beoordeling van degene die het tentamen aflegt en voor de vaststelling van de uitslag van het tentamen. De taken van de examencommissie zijn vastgelegd in de WHW. Toetscommissie Een toetscommissie kan zich bezighouden met: •

de advisering over toetsbeleid, toetsplan en de vormgeving van toetsen binnen de opleiding;

•

het realiseren van toetsen of tentamens, het ontwerpen, afnemen en de beoordeling van toetsen (op mandaat of ad hoc handelen);

•

het bewaken van de werkprocessen in samenwerking met een toetsbureau;

•

de kwaliteitsborging van de toetsen;

•

het bijstellen van toetsplannen.

Naast de uitvoering van toetsen heeft de toetscommissie ook de taak de kwaliteit van toetsen te handhaven en te verbeteren. Zij beschikt uiteindelijk bij voorkeur ook over een procedure het totale bestand van toetsen te screenen op de relevantie voor de geformuleerde competenties of onderwijsdoelen van de opleiding. Om de toetscommissie efficiënt en daadkrachtig te kunnen laten functioneren, bestaat deze uit een beperkte groep mensen met een beperkte zittingstermijn en een roulatieschema, zodat niet de hele commissie tegelijkertijd vervangen wordt. Voor een goede uitoefening van de taken heeft een lid van de toetscommissie een substantiële inzet nodig. Een toetscommissie zou een veel centralere rol kunnen en moeten spelen in het toetsbeleid van een opleiding of faculteit om op die wijze te komen tot meer flexibilisering. Hiertoe zou de toetscommissie efficiënter moeten werken bij het doorvoeren van veranderingen binnen de opleiding. Dit is mogelijk als de toetscommissie meer verantwoordelijkheden gedelegeerd krijgt van de examencommissie dan de gebruikelijke, ietwat symbolische verantwoordelijkheid. Hoe verder de delegatie van verantwoordelijkheden voor 'het kunnen veranderen' binnen een opleiding kan gaan, hoe beter de commissie kan werken. Behalve met een toetscommissie kan ook gewerkt worden met een screeningscommissie. Zo’n commissie heeft als taak de items te screenen die docenten voor een itembank ontwikkelen. Maar de toetsorganisatie kan ook zo geregeld worden dat de toetscommissie deze taak zelf uitvoert. Toetscoördinator De toetscommissie wordt bij voorkeur geleid door een toetscoördinator. Deze coördinator onderhoudt het contact met en kan lid zijn van de examencommissie. De coördinator heeft als belangrijkste taken: •

een toetsplan maken op basis van een door de opleiding vastgesteld toetskader;

pagina 51 van 51


•

het toetsplan afstemmen met de staf, de leiding, de examencommissie en het toetsbureau;

•

de productie en constructie van nieuwe toetsitems en toetsen coördineren;

•

de administratie, registratie en het toetsen itembankbeheer verzorgen;

•

de toetsafname verwerken en organiseren;

•

toetsgegevens verstrekken aan de betrokkenen;

•

kwaliteit handhaven en de voorgaande punten voortdurend verbeteren en updaten;

•

de toetsing afstemmen op het bestaande beleid;

•

het management adviseren over de verdere ontwikkeling van het toetsbeleid.

Toetsbureau Voor al het uitvoerende werk beschikt elke opleiding bij voorkeur over een toetsbureau, dat eventueel deel uitmaakt van een instellingsbrede toetsservice zoals omschreven in de vorige paragrafen. Een dergelijke toetsservice kan ondersteuning bieden bij en de uitvoering verzorgen van: •

de administratie en registratie vanuit het toetsplan;

•

de (digitale) toetsaanmaak;

•

de toetsen cijferbeoordelingsverwerking;

•

het toetsen itembankbeheer;

•

de toetsgegevens;

•

de toetsen itemanalyses;

•

het updaten van toetsen en items voor een eventueel centraal toetsbureau van samenwerkende opleidingen dat bijvoorbeeld beschikt over een digitale itembank.

De uitvoering kan verzorgd worden door administratief personeel dat is bijgeschoold in toetsbeheer en toegepaste soft- en hardware. Een toetscommissie, een toetscoördinator en een toetsbureau zouden kunnen functioneren onder de noemer toetsteam. Een dergelijk toetsteam (met de hierboven beschreven activiteiten en bevoegdheden), zou uiteindelijk een fundamentelere overstap naar beeldschermtoetsing mogelijk kunnen maken. Een dergelijk team kan namelijk gezien worden als een randvoorwaarde om op enige schaal tot beeldschermtoetsing over te kunnen gaan. Elke opleiding zou moeten beschikken over een dergelijk toetsteam. 3.4

Beleid op het niveau van docenten Instellingen en opleidingen/faculteiten hebben zo hun verantwoordelijkheden voor de juiste invulling van het beleid om flexibel toetsen mogelijk te maken, maar ook docenten kunnen hieraan wel degelijk een steentje bijdragen. In de praktijk van het dagelijks hoger onderwijs bestaat een meerderheid van de onderwijsontwikkelaars en onderwijsuitvoerders nog steeds uit zelfstandig opererend docenten. Aan deze onderwijsontwikkelaars worden hoge eisen gesteld. Ze worden geacht expert te zijn op het gebied van: •

hun vakgebied

•

onderwijsontwerpen

•

onderwijsuitvoering

•

onderwijsontwikkelingen

•

toetsing

Vaak is het echter zo dat ze alleen op hun vakgebied professioneel kunnen handelen, maar op onderwijskundig en didactisch gebied op een lager niveau opereren. Dat laatste geldt zeker ook op

pagina 52 van 52


het gebied van toetsing (Berkel en Bax 2002). Meestal worden ze vrijgelaten in de wijze waarop ze het onderwijs en de toetsing inrichten. Daarom worstelen veel docenten/toetsontwikkelaars niet met vragen op het terrein van validiteit en betrouwbaarheid van toetsing, maar met ogenschijnlijk meer ‘triviale’ en ‘ongedifferentieerde’ vragen zoals: •

Hoe kan ik tijd besparen op toetsing?

•

Hoe kan ik goede vragen formuleren?

•

Kan ik ook open vragen automatisch laten nakijken?

•

Hoe kan ik studenten meer laten oefenen met vragen?

•

Hoe kan ik mijn investering in het ontwikkelen van toetsen en toetsvragen zo goed mogelijk uitbaten?

We zouden hier een betoog kunnen opzetten dat zou eindigen met de conclusie dat er op het niveau van de docent maar beter geen serieuze aandacht aan toetsinnovatie besteed zou moeten worden. Er zijn namelijk heel veel docenten en om een beetje vakkundig te worden op het terrein van toetsen en beoordelen is een inzet in tijd nodig die het overgrote deel van de docenten simpelweg niet heeft. Kwaliteitsverhoging en flexibilisering zou dan alleen bereikt kunnen worden via de centraal gestuurde, opgeschaalde en gespecialiseerde weg van de toetscommissie en de centrale toetsbureaus. We willen hier echter betogen dat – ondanks deze situatie – ondersteuners en beleidsmakers toch moeten worden voorzien van instrumenten om – binnen de gegeven grenzen – deze docenten te ondersteunen en op hun niveau te komen tot kwaliteitsverbetering en meer flexibilisering. Hun problemen en de kansen die zij zien moeten serieus worden genomen. De docent is de schakel naar student en elke goede verandering vertaalt zich direct naar de onderwijsuitvoering. Deze paragraaf is dan ook bedoeld om ondersteuners te helpen antwoorden te formuleren op vragen van individuele of groepen docenten. De casus uit onderstaande kader maakt bijvoorbeeld duidelijk welke ideeën docenten hebben om hun onderwijs te verbeteren door op een bepaalde manier toetsvragen en toetsen te gaan verweven in het onderwijs. De ideeën zijn veelvorming en dienen vele doelen. Voor goede communicatie met docenten is respecteren van deze ideeën en doelen belangrijk. Kader 13 Voorbeeld: doelen die docenten nastreven en waarbij toetsen een rol spelen Een docente van het vak Historische pedagogiek van de Faculteit Psychologie en Pedagogiek van de VU wil het onderwijs graag verbeteren. Zij vindt dat de gehele kwaliteit van de cursus verhoogd moet worden. Zij besluit om zelftoetsen te gaan maken voor studenten en deze aan studenten aan te bieden via de digitale leeromgeving Blackboard. Het inzetten van zelftoetsen via Blackboard ziet zij als een mogelijkheid om: •

Colleges beter voor te kunnen bereiden. Het maken van de toetsen helpt haar om lastige

•

De stof zelf beter te leren beheersen. Het maken van toetsen dwingt haar om de stof weer

•

De inhoud en leerdoelen van het vak beter te stellen. Het maken van toetsen dwingt haar om

•

De studenten meer te motiveren voor het vak. Door studenten vragen te laten beantwoorden

•

De studenten beter voor te bereiden op de toets. Door studenten vragen te laten

concepten beter uit te leggen tijdens het college. helemaal door te pluizen. de stof weer helemaal door te pluizen. komen ze meer spelenderwijs met de stof in aanraking. beantwoorden komen ze meer spelenderwijs met de stof in aanraking. Samen met haar collega heeft ze voor elk hoofdstuk uit de literatuur vragen opgesteld. Ze hebben de hoofdstukken onderling verdeeld. Wat vonden zij zelf waardevol aan deze onderneming?

pagina 53 van 53


“Het werken hieraan heeft me veel voldoening opgeleverd en de doelen zijn ook behaald. Ik heb een veel beter inzicht gekregen in mijn eigen vak. De studenten reageerden positief, alhoewel lang niet iedereen de zelftoetsen maakte. Degenen die ze wel maakten waren bijvoorbeeld waren tijdens het college met vragen stellen. Dat maakte het college veel interessanter. De studenten in het algemeen waardeerden vooral het feit dat een deel van de vragen uit de zelftoetsen terugkwamen in de eindtoets. Dat was voor hen een goede stimulans om gebruik te maken van de zelftoetsen. De eindtoets bestond uit 60 multiplechoicevragen (waarvan 20 uit de zelftoetsen) en 10 open vragen.” Hieronder gaan we nader in op de armslag die docenten hebben en de rol die ze kunnen spelen bij het bepalen van het toetsbeleid voor de ontwikkeling van toetsen. Een van de mogelijkheden hiervoor is samenwerking binnen een vakdiscipline. 3.4.1 Toetsontwikkeling Docenten ontwikkelen toetsen helaas nog vaak op een achternamiddag. Dat is lastig, omdat het ontwikkelen van goede toetsvragen en toetsen veel tijd en inspanning vergt. Bovendien is hulp van ICT-tools dan vaak niet beschikbaar. Er zijn geen intelligente systemen bekend die een docent kunnen helpen goede toetsvragen te formuleren of goede toetsen samen te stellen. Toch hebben docenten wel degelijk mogelijkheden om de kwaliteit van hun toetsen te verbeteren. De belangrijkste verbetertip voor iedere docent is om elkaars toetsen te beoordelen en te verbeteren. Daarnaast kunnen individuele docenten studenten inschakelen om toetsvragen te ontwikkelen. Vaak levert dat echter niet het gewenste resultaat op. De student heeft geen mentaal beeld over de stof die belangrijk en relevant is voor de toetsing en de kwaliteit van de vragen die ze opstellen is dan ook vaak mager. Het stellen van bijvoorbeeld toepassingsvragen in gesloten vorm vergt veel expertise. Maar er zijn meer mogelijkheden om de kwaliteit van toetsvragen te verbeteren, zoals Questionbank. Kader 14 Questionbank Een interessante toepassing is ontwikkeld door de Faculteit der Economische Wetenschappen en Bedrijfskunde van de Vrije Universiteit. Deze faculteit heeft een omgeving gecreëerd waarin studenten zelf toetsvragen kunnen inbrengen. Door een doeltreffend systeem van beoordelen van de vragen door medestudenten, wordt er zo gedurende een cursus een compleet itembestand opgebouwd. Het doel van het systeem is om studenten gedurende de loop van een cursus acatiever met de stof om te laten gaan. Het is echter ook zo dat uit het opgebouwde bestand door de docent vragen kunnen worden overgenomen in de eindtoets. Binnen de Digitale Universiteit wordt gewerkt aan een project om dit systeem verder te ontwikkelen. Steeds vaker worden toetsbanken meegeleverd bij studieboeken en studiemethoden. De toetsen kunnen dan meestal worden geprint of via het beeldscherm worden afgenomen. Bij het printen van deze toetsen kunnen de docenten zonder verdere ondersteuning gebruikmaken van het materiaal. Daarnaast komen er meer kant-en-klare, vrij te gebruiken toetsbanken beschikbaar. In het Engelse taalgebied zijn ze al op vele terreinen beschikbaar (zie onderstaande kaderteksten). Kader 15 Gebruik van toetsbanken op de VU Kant-en-klare toetsbanken komen steeds meer beschikbaar. Vooral bij Engelstalige boeken en uitgevers wordt het beschikbaar stellen van deze toetsbanken bij boeken gezien als een extra motivatie voor docenten om deze boeken voor te schrijven aan studenten. Op de Vrije Universiteit

pagina 54 van 54


is ervaring opgedaan met het gebruik van een dergelijke toetsbank bij de cursussen Marketing en Consumentengedrag. In deze modules ligt het accent op het leren kennen en in enige mate beheersen van begrippenkader en terminologie. De cursus is geheel gebaseerd op Engelstalig literatuur en het tentamen is ook gesteld in de Engelse taal. Voor de module Marketing maakt de docent gebruik van boek Consumer Behavior, waarbij ongeveer 3000 gesloten toetsvragen worden meegeleverd in een itembank van Brownstonesoftware. Deze software maakt het eenvoudig om deze toetsen via het internet te ontsluiten (bijvoorbeeld rechtstreeks binnen Blackboard) en om met deze vragen schriftelijke toetsen samen te stellen. Om te zorgen dat studenten niet op het verkeerde been gezet worden, neemt de docent voor aanvang van de cursus alle toetsvragen door en verwijdert hij vragen die bijvoorbeeld een hoog cultuurbepaald karakter hebben (zoals het kiezen van zeer Amerikaanse voorbeelden om vragen aan te relateren). Op deze wijze verwijdert hij zo’n 800 vragen, maar er blijven er genoeg over om een breed spectrum van onderwerpen te kunnen bevragen. De docent maakt volop gebruik van deze toetsbanken om efficiënter te kunnen werken en studenten tegelijkertijd een variëteit aan toetsvragen en toetsen te kunnen voorleggen.

De aanpak (met dezelfde software, maar dan een eerdere versie daarvan), zoals geschetst in deze casus is ook al eens beschreven door Leiblum (Leiblum 1994). Daarin trekt hij een voorzichtige conclusie dat het rendement van cursussen die op deze wijze worden ondersteund, verbeterd. Kader 16 Dialang

Dialang is een website met daarin een groot aantal toetsen, gericht op het diagnosticeren van de beheersing van verschillende Europese talen (http://www.dialang.org). Dialang is een Europees project en gratis te gebruiken door het onderwijs. Een aantal instellingen gebruikt Dialang om buitenlandse instromers in hun opleiding te diagnosticeren op hun taalvaardigheid en om ze voldoende Nederlands of Engels te leren zodat ze kunnen deelnemen aan het reguliere onderwijsprogramma.

pagina 55 van 55


Toch maken docenten niet vaak gebruik van kant-en-klare toetsbanken en wisselen ze niet of nauwelijks toetsvragen met elkaar uit. Daar zijn meerdere redenen voor te noemen: •

De gebruikte terminologie of notatiewijzen binnen de toetsvragen wijken af van de gebruikte terminologie van de docent en zijn vak.

•

De toetsvragen zijn in een formaat opgeslagen (digitaal of op papier) die bewerking door de docent moeilijk maakt.

•

De toetsvragen hebben een vraagvorm die niet geschikt is of niet past bij de onderwijsvorm (bijvoorbeeld ja/nee-vragen versus multiplechoicevragen of casustoetsen met multiplechoicevragen).

•

Er zijn zo veel toetsvragen dat een docent zich geen mentaal beeld kan vormen van de opbouw, inhoud en kwaliteit van de toetsvragen.

•

De toetsvragen zijn niet terug te voeren op de door de docent gebruikte literatuur of de docent moet elke vraag apart gaan herkoppelen aan de door hem gebruikte literatuur.

•

De toetsen zijn opgesteld in een buitenlandse taal.

Deze problemen kunnen in principe opgelost worden door voldoende prioriteit en middelen ter beschikking te stellen om conversies te plegen of de gegevens te analyseren. In de weerbarstige onderwijspraktijk met een gebrek aan tijd, middelen en expertise is die oplossing echter nog niet dichtbij. 3.4.2 Samenwerking binnen een vakdiscipline Toetsontwikkeling zou zeer goed in samenwerking binnen een vakdiscipline aangepakt kunnen worden. Samenwerking tussen docenten zou ertoe kunnen leiden er gezamenlijk een toetsbestand wordt opgebouwd, waarbij de bovengenoemde problemen worden ondervangen. Docenten en vakgroepen participeren zo nu en dan in landelijke of internationale netwerken. Deze kunnen een springplank vormen voor dergelijke samenwerking. Bekend in Nederland is bijvoorbeeld de Vereniging voor Wiskundeleraren (zie onderstaande kadertekst). Kader 17 Wiskundetoetsbank In een samenwerkingsverband van de Haagse Hogeschool, de Hogeschool Enschede, de Hogeschool Drenthe en de Hogeschool Utrecht wordt vanaf 1992 gewerkt aan het opzetten en onderhouden van een databank voor wiskundetoetsen. Inmiddels bevat deze toetsbank 2500 items, die zijn ondergebracht in acht categorieën. Die categorieën zijn elk weer onderverdeeld in subcategorieën. Het merendeel van de items bestaat uit ja/nee-beweringen, maar er zijn ook multiplechoicevragen in opgenomen. Één van de casussen op de website Flexibilisering van Toetsing gaat dieper in op dit initiatief. Ook binnen de Digitale Universiteit wordt een aantal projecten uitgevoerd om op disciplineniveau toetsen en toetsitems te ontwikkelen. We noemen hier het voorbeeld ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen’. Het verschil met het voorgaande voorbeeld is echter dat de ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen’ niet vanuit een vakgroep is voortgekomen, maar vanuit een onderwijs- en toetsvisie die beide betrekking hebben op een gehele opleiding. In Groot-Brittannië worden ook veel initiatieven ontplooid om gezamenlijke toetsbanken op de te zetten. Twee van deze Britse initiatieven noemen we hieronder.

pagina 56 van 56


Kader 18 Electrical and Electronic Engineering Assessment Network (White 2002)

Het e3an-project behelst het ontwikkelen van een itembank voor het vakgebied Elektrotechniek en elektronica. Het project wordt gefinancierd via projectgelden voor een periode van drie jaar. De resultaten kunnen door iedereen zonder verdere kosten worden gebruikt. In mei 2000 is een plan opgesteld hoe deze toetsbank ontwikkeld moet gaan worden. Daarin zijn een aantal belangrijke uitgangspunten geformuleerd: •

er moet een netwerk van belanghebbenden worden opgebouwd;

•

de toetsbank moet via een peer-reviewproces worden opgebouwd;

•

toetsen moeten door betaalde consultants worden gemaakt en deze consultants moeten ook

•

de toetsen moeten op verschillende manieren geëxporteerd kunnen worden (Word, QTI,

•

docenten moeten zelf selecties van toetsvragen kunnen maken en wijzigingen kunnen

in het reviewproces participeren; QML); aanbrengen. In juni 2003 waren er al 1500 vragen in de databank opgenomen. Het ontwikkelproces is erg goed gestructureerd. Door de manier van samenwerken is de kans op implementatie in het onderwijs toegenomen. Kader 19 LTSN Physical Sciences Introductory Chemistry

De Universiteit van Ulster heeft een project uitgevoerd dat werd gefinancierd door het ‘Learning and Teaching Support Network’ (LTSN). Doel van het project was om een toetsbank ook te gebruiken voor formatieve toetsing op het gebied van Introductory Chemistry/Biological Chemistry. In totaal zijn er 300 vragen ontwikkeld. Deze vragen zijn zonder verdere kosten downloadbaar in zowel Questionmark Perceptionformaat als QTI-formaat. Bovenstaande voorbeelden gaan over samenwerkingsverbanden waarbij de vakdiscipline het bindende element is. Een ander, Amerikaans, initiatief betreft een samenwerkingsverband waarbij niet zozeer de vakdiscipline centraal staat, maar een bepaalde manier van activerend onderwijs. In dit onderwijs spelen concepttests een belangrijke rol (zie onderstaande kadertekst). Kader 20 Peer Instruction, ConcepTests en Project Galileo

Binnen de context van traditionele instructie (zoals colleges) wordt in het algemeen gezocht naar technieken om grotere groepen studenten te activeren. Een vrij prominente en vaker toegepaste techniek daarin is Peer Instruction (Mazur en Crouch). Hierbij activeert de docent studenten door ze zogenaamde conceptests voor te leggen. Deze conceptuele vraag moeten studenten via onderling

pagina 57 van 57


overleg proberen te beantwoorden tijdens een college. Het oorspronkelijke idee van deze aanpak is afkomstig van Mazur van Harvard University. Het vindt vooral toepassing binnen de natuurwetenschappen. Het ontwikkelen van goede concept test is echter niet eenvoudig. Daarom heeft Mazur een website opgezet waarin concepttests kunnen worden aangemaakt, vervolgens beoordeelt het Mazurteam de vragen. Docenten maken online selecties van vragen, studenten kunnen ze online bekijken. Het materiaal is ook eenvoudig uit te printen. Aangezien Mazur het idee van concepttesting gebruikt binnen zijn onderzoek naar Physics Education, heeft hij belang bij een goede database van concepttests. Zijn inzet, financiering en gedrevenheid zorgen ervoor dat er een professionele set van concepttest beschikbaar is. Zo nu en dan voegen externe docenten daar zelf materiaal aan toe. Vooral als het gaat om vakgebieden waarop Mazur zelf niet kundig is (biologie en scheikunde) wordt de database gevuld door anderen. Helaas kunnen de vragen niet in een standaard formaat worden gedownload. Één van de casussen op de website Flexibilisering van Toetsing gaat dieper in op dit initiatief. Een ander initiatief is voortgekomen uit een oorspronkelijk innovatieproject in de Verenigde Staten. Daarbij heeft de North Carolina State University de eerste aanzet gemaakt om een toetsbank aan te leggen, die door andere universiteiten online gebruikt kan worden. In een paar jaar is deze toetsbank uitgegroeid tot een service die commercieel haalbaar is gebleken. Kader 21 WebAssign

WebAssign is een e-learningomgeving waarvan de assessment engine het belangrijkste onderdeel is. In de database zitten op dit moment meer dan 100.000 toetsvragen op het gebied van astronomie, biologie, scheikunde, wiskunde, natuurkunde, natuurwetenschap en statistiek. WebAssign heeft de vragen zo opgeslagen dat ze als belangrijkste zoeksleutel een studieboek hebben. Van alle grote uitgevers relateren ze de vragen aan de hoofdstukken en paragrafen uit studieboeken.

Dat maakt het gemakkelijk voor docenten om de omgeving en de toetsvragen in te zetten in het onderwijs, omdat de vragen exact ‘passen’. De complete elektronische leeromgeving maakt het bovendien eenvoudig voor docenten om het juiste materiaal te selecteren en klaar te zetten en om studenten aan te sturen en te monitoren. WebAssign werkt met een abonnementsysteem. De kosten hiervan zijn: •

per docent ongeveer € 150,- per jaar

•

per student ongeveer € 7,- per half jaar

pagina 58 van 58


De hoogte van deze bedragen maakt WebAssign voor veel instellingen aantrekkelijk. Voor WebAssign is levert dit business model een levensvatbaar bedrijf op.

pagina 59 van 59


4

De mogelijkheden van ICT in het toetsproces In dit hoofdstuk staat de vraag centraal op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen te ontwikkelen, te beheren, af te nemen en te verwerken. Ook staan we stil bij de vraag aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Bij het ontwikkelen en beheren, en bij het afnemen van toetsen gaan we uitsluitend in op de mogelijke rol van ICT bij gesloten toetsvragen. Pas bij het verwerken van toetsen gaan we ook in op vrije tekstopdrachten. De reden daarvoor is dat ICT alleen bij de verwerking van dit type vragen een betekenisvolle rol kan spelen.

4.1

Gesloten toetsvragen ontwikkelen en beheren in een itembank Het beheer van toetsen en toetsvragen is de verantwoordelijkheid van de toetsmakers en toetsgebruikers. In de toetscyclus neemt het beheer een centrale plaats in (zie ook het toetsfasenmodel in hoofdstuk 2 van dit boek). Vanuit het oogpunt van efficiency en effectiviteit is het het beste om alle vragen en alle toetsen per instelling onder te brengen in één systeem. Te vaak nog hebben docenten al hun vragen in hun eigen computer in Word-bestanden gezet. Het kan makkelijker en beter, bijvoorbeeld met behulp van een itembank. Een itembank is een geautomatiseerd toetssysteem, waarin een groot aantal toetsvragen opgeslagen kan worden. De programmatuur om deze database te vullen, doorzoeken, ordenen en om selecties van toetsvragen te maken het een ‘itembanksysteem’. Bij sommige instellingen bevat een itembank meer dan 10.000 vragen. Het gebruik van een itembank voor de opslag van vragen en het samenstellen van toetsen heeft een aantal belangrijke voordelen (Dousma, Horsten et al. 1997): •

een vraag hoeft slechts éénmaal te worden ingetypt;

•

een vraag is snel te verbeteren, waardoor typografische fouten voorkomen kunnen worden;

•

kwalitatief slechte vragen zijn snel op te sporen en te verbeteren;

•

er is een goed zicht op de totale itembank en de verdeling naar leerstofonderdelen (eenvoudig te onderhouden);

•

toetsvragen zijn eenvoudig te selecteren voor opname in een toets;

•

meerdere toetsversies, bijvoorbeeld om spieken tegen te gaan, zijn simpel te produceren;

•

opslag van analyseresultaten kan worden geautomatiseerd.

4.1.1 Een itembank ontwerpen Voordat een itembank op instellings-, opleidings- of disciplineniveau gevuld wordt met toetsvragen, is het van essentieel belang om de hoofdindeling van de itembank vast te leggen. Daarvoor zijn de volgende beslissingen van belang: 1.

bepaal de doelen die de itembank moet dienen;

2.

bepaal de hoofdstructuur van de itembank en metadatamodel.

Het doel van een itembank Om te beginnen is het van belang om na te gaan voor welke functie een itembank in het onderwijs ingezet gaat worden. Gaat het om toetsvragen voor digitaal onderwijsmateriaal, om toetsvragen en toetsen voor zelfstudie en oefendoeleinden, of gaat het om toetsvragen en toetsen voor diagnostische of summatieve doeleinden? Het kan zijn dat binnen één itembank toetsvragen en toetsen worden opgenomen voor al deze functies. Het is echter ook mogelijk om voor elke

pagina 60 van 60


toepassing een andere itembank op te zetten. Een vuistregel kan zijn om toetsvragen die ingezet worden in digitaal onderwijsmateriaal niet in een itembank op te slaan. De inzet in dergelijk materiaal moet bij voorkeur direct gekoppeld worden aan dat materiaal. Zelfstudie en oefening Gaat het om materiaal voor zelfstudie en oefening, dan kan het lonen om daarvoor een aparte itembank op te zetten. Een itembankfunctionaliteit zoals die beschikbaar is in standaard digitale leeromgevingen kan hiervoor al erg geschikt zijn. De kwaliteitsbewaking van dergelijk toetsmateriaal hoeft aan minder stringente eisen te worden onderworpen en hangt direct samen met de inhoud van een specifieke cursus of vakinhoud. Voor dergelijke toetsbanken is het aan te raden om zo contextrijk mogelijk toetsvragen te ontwikkelen; door contextrijke formulering van de stam van vragen, door te variëren in vraagtype, door plaatjes, geluid of film te gebruiken en goede feedback te formuleren, wordt de inzet van ICT bij toetsing waardevoller. Hiermee komen de didactische voordelen van ICT en beeldschermafname het best tot hun recht. Houd er echter wel rekening mee dat het formuleren van goede feedback de ontwikkeltijd voor toetsvragen erg kan vergroten. Sterker nog, het formuleren van feedback kan net zo veel of zelfs meer tijd kosten dan het maken van een goede toetsvraag. Voor de oefenfunctie kan die inspanning echter zeker de moeite waard zijn. Diagnose en certificering Gaat het om materiaal voor zelfstudie-, formatief-diagnostische of summatieve doeleinden, dan is het aan te raden om deze in één itembank onder te brengen. Gezien de kwaliteitseisen voor dergelijke toetsvragen en toetsen is het dan ook zinvol om die uitgebreid te beheren. Wel is het belangrijk om binnen de structuur van die itembank het onderscheid duidelijk te maken tussen vragen die worden gebruikt voor de enerzijds diagnostische en anderzijds summatieve doeleinden. Toetsvragen die aan studenten voorgelegd worden voor summatieve doeleinden, moeten immers goed beschermd worden zodat deze niet al bekend zijn en verspreid kunnen worden voorafgaand aan dergelijke toetsen. Verder kan gesteld worden dat in itembanken voor diagnostische of summatieve doeleinden meer gestandaardiseerd zou moeten worden op vraagtype. Grote variatie in vraagvormen maakt het namelijk moeilijker om de psychometrische kwaliteit van dergelijke vragen te kunnen. Als we uitgaan van een systematisch proces van toetsvraagontwikkeling, levert veel variatie in vraagvorm bovendien een extra complex proces op voor wat betreft scholing, screening e.d. Ook maakt veel variatie in vraagvorm het moeilijker om gestructureerd toetsmatrijzen te ontwikkelen. Vraagvormen zoals matrixvragen en matchingsvragen bevragen studenten immers op veel informatie en onderwerpen tegelijkertijd. Dat maakt dat het moeilijker wordt om representatieve selecties uit een databestand te maken. De kans op overlap van vragen of de kans dat vragen antwoorden weggeven voor andere vragen, neemt dan sterk toe. Tot slot kan gezegd worden dat de inzet van veel complexere vraagtypes en het gebruik van multimedia bij summatieve beeldschermafname sneller kan leiden tot technische onbetrouwbaarheid van dergelijke systemen. De complexiteit van de techniek maakt dat deze eerder kan falen. Juist om die reden moet het dan ook mogelijk zijn om terug te vallen op schriftelijke afname, waarvoor bij voorkeur vraagtypen worden gekozen die ook op die wijze te beantwoorden en snel nagekeken kunnen worden. Welke primaire vraagvorm kiest u?

pagina 61 van 61


•

Ja/nee-vragen: Geschikt voor bevragen van een breed spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 70 en 100 vragen moeten bevatten om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking

•

zodat beeldschermafname niet per se nodig is. Multiplechoicevragen met vier alternatieven: Geschikt voor bevragen van een smaller spectrum van onderwerpen doordat certificerende toetsen in het algemeen tussen de 40 en 50 vragen moeten bevatten. Dat is nodig om enerzijds de toetslengte acceptabel te houden en anderzijds nog een waardevolle toetsanalyse te kunnen doen. Bovendien geschikt voor afname met pen en papier met automatische verwerking zodat beeldschermafname niet per se nodig is.

•

Multimediale vraagvormen (hot-spot, drag&drop, matching, dropdown, aanvulvragen): dit is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen & papierafname met automatische verwerking. Als summatieve beeldschermtoetsing plaatsvindt zal er een betrouwbare omgeving beschikbaar moeten zijn.

•

Een casusachtige vraagvorm (stam met meerdere vragen of stellingen): deze vorm is meer geschikt voor het bevragen op een hoger cognitief niveau, niet meer geschikt voor pen-en-papierafname met automatische verwerking. Voor itembankdoeleinden met een certificerend karakter veroorzaakt een dergelijke vrijheid een exponentiële toename van de complexiteit om toetsvragen te selecteren.

De hoofdstructuur van de itembank bepalen Een itembank moet gezien worden als een relationele database. In die database zitten verschillende toetsvragen met de daarbij behorende gegevens (stam, alternatieven, feedback, teksten, plaatjes, beoordelingscriteria, etc.). Meestal zijn databases zo ingericht dat per vakinhoudelijk onderwerp een subverdeling duidelijk zichtbaar is: •

domein/competentie, o

subdomein/subcompetentie, •subsubdomein/subsubcompetentie •

toetsvraag A

•

toetsvraag B

•

toetsvraag C

Het kiezen en afbakenen van deze onderwerp-/domeinindeling is vaak al een moeilijk proces en dient ook op het hoogste niveau bediscussieerd te worden. Vaak komt boven op deze indeling bijvoorbeeld nog een indeling naar organisatorische eenheid, zoals een faculteit of vakgroep, waartoe het domein behoort, en soms zelf een specifieke docent. Dat laatste zou echter vanuit het oogpunt van schaalvergroting en specialisatie ongewenst zijn. Daarnaast bevat een itembank de mogelijkheid om aan toetsvragen metadata te koppelen. Metadata betekent letterlijk: data over data (gegevens over gegevens), het is beschrijvende informatie over eigenschappen van data, in dit geval toetsvragen. Een metadatabeschrijvingsmodel bestaat over het algemeen uit een verzameling van kenmerken, waarbij elk van die kenmerken een (vastgestelde) waarde aan kan nemen. Een kenmerk kan bijvoorbeeld ‘moeilijkheidsgraad’ zijn en deze kan alleen de vastgestelde waarden ‘gemakkelijk’, ‘gemiddeld’ of ‘moeilijk’ aannemen. Een metadatamodel kan de volgende kenmerken bevatten:

pagina 62 van 62


•

Gebruiksgegevens (bijvoorbeeld ‘wie’ heeft een vraag het laatst bewerkt of wie is inhoudelijk verantwoordelijk voor een vraag);

•

Validatie (bijvoorbeeld wanneer gescreend en door wie);

•

Bevragingsniveau (bijvoorbeeld kennis, begrip, toepassing of denken);

•

Kenmerken over functie van toetsvraag (bijvoorbeeld ‘oefenen’, ‘diagnostisch’, ‘summatief’);

•

Inhoudelijke kenmerken of attributen, zoals onderwerpen of trefwoorden;

•

Levenscyclus(bijvoorbeeld wanneer beantwoord en door wie);

•

Vraagvorm (bijvoorbeeld multiple choice, multiple answer, TF en Match);

•

Psychometrische kenmerken (bijvoorbeeld moeilijkheidsgraad van de toetsvraag).

Een metadatamodel heeft een verband met de structuur van de itembank. Elk van de kenmerken zou namelijk kunnen resulteren in aparte databestanden, waarbij het gegeven kenmerk de primaire ordeningssleutel is. Over het algemeen is het vakinhoudelijk onderwerp echter de belangrijkste ordeningssleutel. Daaroverheen worden dan metadatagegevens geplaatst. Als de metadata erg uitgebreid zijn, dan zal ook de tijd voor het invoeren en beheren (met name volledigheidscontrole) van de itembank toenemen. Het invoeren zal dan zeker niet meer overgelaten kunnen worden aan individuele docenten. Kader 22 Voorbeeld van een metadatamodel (White 2002) e3an staat voor Electrical and Electronics Engineers Assessment Network. Het e3an-project houdt zich bezig met bouwen en in de lucht houden van een netwerk voor toetsing van engineering assessments voor docenten in Groot-Brittannië. Het project wordt geleid door Su White en is een samenwerking tussen de universiteiten van Southampton, Bournemouth en Portsmouth. Voor dit project zijn richtlijnen geschreven voor de makers van de toetsvragen. Veel van deze richtlijnen hebben betrekking op technische aspecten. In dit voorbeeld zijn het echter de metadata die van belang zijn. In het project wordt aan de makers van toetsvragen een Word-sjabloon aangeleverd6. Het sjabloon zorgt ervoor dat de metadata gestructureerd ingevoerd worden, waardoor de kwaliteit van de metadata gewaarborgd blijft. Type of Item

What sort of question?

Time

Expected to take in mins

Level

Introductory, intermediate, advanced or postgraduate

Discrimination

Threshold Students, Good Students, Excellent Students

Cognitive Level

Knowledge, understanding, application, analysis, synthesis, evaluation

Style

Formative, Summative, Formative or Summative, Diagnostic

Theme

Which Subject Theme was this question designed for?

Subthemes

What part of that theme?

Related Themes

What Other Themes might find this question useful?

Description

Free text for use by people browsing the database

Keywords

Free Text, for use by people searching the database. e.g. mention theorem tested

Validation

Can you confirm that this question has been validated and conforms to the e3an

question guidelines?

6

Peer Reviewed

Date of peer review (dd/mm/yyyy)

Reviewer(s)

Who was/were the reviewer(s)?

Comments

Comments made by the reviewer.

http://www.e3an.ac.uk/consultants/portal/writing/new/metadata.dot

pagina 63 van 63


Veel meer informatie over het opzetten van een gezamenlijke itembank is ontwikkeld in het kader van een project van de Digitale Universiteit ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleiding’. Daarvan komt informatie beschikbaar via de website van de Digitale Universiteit: http://www.digiuni.nl > Producten > Digitale Toetsen > Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen > On-line presentatie 4.1.2 Digitaal toetsbeheer Individuele docenten zien het beheer van toetsen en toetsvragen in een itembank al snel als een probleem. Het beeld van de docent die al zijn vragen in MS-Word heeft staan is bekend. Het nadeel van uitgebreide toetsbestanden in Word is dat het niet eenvoudig is om vragen toe te voegen of te selecteren. Zonder verdere technologische of organisatorische ondersteuning kunnen deze docenten zo echter wel hun werk uitvoeren. Flexibilisering op dit terrein zou een eerste innovatiestap kunnen zijn. Soms hebben docenten zelf een toetsbank aangelegd in een eenvoudig databasesysteem. De toetsen worden per tentamen geprint. Kader 23 Docenten van de Haagse Hogeschool zetten zelf een Filemaker-bestand in elkaar De Haagse Hogeschool, afdeling Industrieel Productontwerpen, biedt probleemgestuurd onderwijs (PGO). De studenten moeten gedurende een aantal weken werken aan verschillende probleemtaken. De afsluiting bestaat uit een toets over het gehele blok. De toets bepaalt het grootste deel van het eindcijfer. De opleiding heeft bepaald dat deze eindtoetsen altijd moeten bestaan uit ja/nee/-vragen. In elke toets moeten minimaal 80 vragen gesteld worden. Elk jaar staan de docenten weer voor de taak om deze toetsen samen te stellen. Een lastig karwei. Met het programma TIBS kan aan een itembank gewerkt worden, maar de docenten ervaren het als een te grote drempel om dat programma te ‘bemachtigen’: Het is ‘in bezit’ bij specialisten in een ‘andere afdeling’ en ze moeten op een of andere manier geld krijgen om een dergelijk programma te gebruiken. Twee docenten besluiten daarop om zelf maar een itembankje te maken. Een van de docenten is handig in het werken met het databaseprogramma Filemaker. Hij ontwerpt een eenvoudige itembank, waarin plaatjes en extra kenmerken toegevoegd kunnen worden. Met deze itembank kan gemakkelijk een random selectie van vragen gemaakt kan worden en kan de toets mooi uitgeprint worden.

Gedurende één blok besluiten ze onderling om elke week elk 50 toetsvragen te formuleren en in de bank te plaatsen. Zo zullen ze aan het eind van het blok zo’n 600 vragen hebben verzameld. Het is een flinke klus, maar ze houden elkaar aan de afspraak. Dan komt de tijd om de toets te maken. Ze maken een random selectie van ongeveer 100 vragen. Ze controleren de uitdraai en verwijderen de

pagina 64 van 64


slechte vragen, verbeteren de nog overgebleven taalfouten en controleren of onderwerpen niet dubbel voorkomen. Na afloop van de toets verwerken ze de toetsanalyse (die gedaan wordt door een centrale dienst van de instelling) in de itembank. Van elke vraag is dan bekend bij welke toets deze vraag is voorgelegd en welke Rit-waarde bij een vraag hoort. Ongeveer zes jaar achter elkaar volgen ze deze procedure. Een goede investering vinden de docenten zelf! Voor geïnteresseerden is het Filemaker-bestand te vinden in de website van Flexibilisering van Toetsing. Natuurlijk moet individuele docenten op dit moment worden aangeraden om gebruik te maken van eenvoudige programma’s zoals Respondus, MicroTest of Diploma (Brownstone) die voor minder dan € 100,- te koop zijn. In Nederland stellen bijna alle instellingen een elektronische leeromgeving (zoals Blackboard, N@Tschool! of WebCT) beschikbaar te stellen aan studenten en docenten. Daarin kunnen docenten zelf toetsbanken maken. Binnen die omgevingen hebben de docenten bovendien de vrijheid om zelf te bepalen hoe ze de toetsen aanmaken, beheren en uitleveren. Deze systemen worden steeds meer gebruikt. Ook zijn er (gratis) internetomgevingen beschikbaar om eenvoudige toetsbanken in aan te maken (Quia, TOIA, EDU, WebAssign). Toch zien docenten er vaak tegenop om hun bestaande toetsmateriaal in Word-formaat handmatig om te zetten naar de elektronische leeromgeving, omdat ze denken dat het knip- en plakwerk een tijdrovende bezigheid is. De huidige programma’s bieden echter steeds meer faciliteiten om het inlezen van tekstbestanden te vergemakkelijken. Een andere zorg die docenten hebben is dat hun toetsbank niet geconverteerd kan worden naar andere omgevingen. Ze stellen de terechte vraag of hun investering in tijd niet verloren gaat door almaar opkomende nieuwe technologieën en standaarden. De opkomst van de huidige IMS QTIstandaard lijkt echter definitief door te zetten, waardoor dat probleem steeds minder reëel wordt. Bovendien evolueren bestaande – eenvoudigere – itembankprogramma’s zodanig dat ze bijna altijd een uitvoermogelijkheid hebben naar bijvoorbeeld WebCT of Blackboard (Respondus, Diploma, MicroTest). Anders is transport van data via QTI files meestal mogelijk (zie Kader 25). Als het gaat om het opzetten van itembanken op het niveau van vakgroepen, opleidingen of gehele instellingen, dan zijn geavanceerde itembankprogramma’s nodig. Te denken valt dan aan programma’s zoals TestVision, Etude, Questionmark Perception, FastTest en Examiner. Deze programma’s bieden te veel functies voor de docenten die zo nu en dan iets met een itembank willen doen, maar zijn zeker noodzakelijk voor specialisten om dergelijke grote bestanden goed te kunnen beheren. Voorbeeld van succesvol toetsbeheer Een succesvol voorbeeld van het gezamenlijk opbouwen en beheren van een itembank is het Maastrichtse probleemgestuurd onderwijs (zie onderstaande kadertekst). Binnen dat onderwijs wordt door middel van een voortgangstoets alle studenten op eindniveau op hun kennis getoetst. Gedurende hun studieloopbaan moet de score op die toets steeds beter worden. Van cruciaal belang is uiteraard dat de disciplinair ingerichte vragen van de voortgangstoets op het beoogde eindniveau van de opleiding worden geformuleerd. Hierdoor kan de student zijn vorderingen ten opzichte van de gestelde eindtermen evalueren in vergelijking met de resultaten van het jaarcohort. De uitslag geeft studenten verder inzicht in het bereikte kennisniveau in de verschillende (sub)disciplines (Wijnen en Muijtjens 2002; Leunissen 2004).

pagina 65 van 65


Kader 24 Voortgangstoetsing medische faculteiten Groningen, Maastricht, Nijmegen De Universiteit van Maastricht was de eerste Nederlandse Universiteit die het probleemgestuurd onderwijs (PGO) als integraal onderwijsmodel heeft gebruikt in haar curricula. Vooral bij de medische faculteit is dit een aansprekend succes gebleken. Een belangrijke rol binnen dat PGO was weggelegd voor de voortgangstoets. De voortgangstoets is bedoeld om de voortgang in kennisontwikkeling gedurende de studie te toetsen. De voortgangstoets wordt daartoe vier maal per jaar (in september, december, maart en mei/juni) afgenomen bij alle studenten Geneeskunde van het curriculum 1995. Iedere voortgangstoets bestaat uit ongeveer 250 items op het gebied van de geneeskunde, die zijn afgestemd op de eisen van het artsexamen. Voor elke voortgangstoets worden de vragen volgens een vaste verdeelsleutel (de zogenoemde blauwdruk) geselecteerd uit een geautomatiseerd bestand, waarin alle vragen die door de disciplines zijn aangeboden voor gebruik in de voortgangstoets zijn opgeslagen. In de verdeelsleutel is vastgelegd hoeveel vragen er per onderwerp (bijvoorbeeld ademhalingsstelsel; hart- en vaatstelsel) en per vakdiscipline (bijvoorbeeld celbiologie; psychiatrie) gemiddeld per jaar en per toets geselecteerd moeten worden. Deze vorm van voortgangstoetsing bestaat sinds het studiejaar 1999/2000 en is een gezamenlijke onderneming van de geneeskundeopleidingen in Groningen, Maastricht en Nijmegen. Met ingang van het studiejaar 2001/2002 wordt ernaar gestreefd dat Groningen, Maastricht en Nijmegen alle drie ongeveer evenveel vragen per toets aanleveren. Voortgangstoetscommissies Aan elke deelnemende faculteit is een Voortgangstoetscommissie benoemd die bestaat uit vertegenwoordigers van drie disciplineclusters: Basisvakken, Klinische vakken en Gedragswetenschappelijke vakken. De voortgangstoets wordt namens die drie facultaire commissies samengesteld door de Interfacultaire Voortgangstoets Commissie (IVC), die bestaat uit vertegenwoordigers van de drie facultaire commissies. Hoe komt de voortgangstoets tot stand? De disciplines die participeren in het onderwijs in de opleidingen Geneeskunde in Groningen, Maastricht en Nijmegen maken de vragen. Elke discipline is verantwoordelijk voor de inhoudelijke kwaliteit van de geleverde vragen. De vragen worden door de disciplines voorzien van een literatuurreferentie. Dit is een verwijzing voor studiedoeleinden waarmee ook de juistheid van de aangegeven antwoordsleutel gecontroleerd kan worden. Elke vraag die in de itembank voor de voortgangstoetsing wordt opgenomen, wordt eerst beoordeeld door ten minste een van de drie facultaire Voortgangstoetscommissies. De inhoudelijke correctheid wordt onderzocht en de eenduidigheid van de formulering wordt gecontroleerd. Ook wordt gekeken naar de relevantie voor de arts. Zonodig overlegt de commissie met de desbetreffende discipline en wordt de vraag aangepast of uit het bestand verwijderd. 4.1.3 Automatische toetssamenstelling via een itembank Metadata zijn belangrijk om het overzicht te bewaren van de beschikbare toetsvragen. Ook maken metadata het mogelijk om toetsitems systematisch en efficiënt te ontwikkelen, te vinden en te selecteren. Zeker als toetsen samengesteld moeten worden zijn een goed gekozen metadatamodel en kwaliteitscontrole van de metadata van groot belang. In de meest verregaande vorm van automatisering wordt een summatieve beeldschermtoets immers samengesteld door op basis van een toetsmatrijs willekeurige items uit een bank te trekken. Dat laatste kan dan alleen op grond van zeer betrouwbare metadata.

pagina 66 van 66


In de praktijk zal dat echter bijna niet mogelijk zijn. Ondanks de nauwkeurige werkwijze kunnen er namelijk snel onverwachte en ongewenste effecten optreden, zoals dat vragen de antwoorden op elkaar ‘verraden’ (hoewel dit bijvoorbeeld met een itembankfunctie zoals ‘parallelvraag’ deels kan worden opgelost) . In het algemeen is volledige automatisering niet mogelijk en zal bij summatieve toepassing een controle moeten plaatsvinden. Een eerste versie van 'getrokken' toets wordt wel de 'ruwe versie' of 'docentversie' genoemd. Deze wordt voorgelegd aan een toetscommissie of de docent, die de toets helemaal naloopt. Nadat de toets eventueel is aangepast, kan er een studentversie worden uitgedraaid of klaargezet voor beeldschermafname. Kortom, metadata zijn erg belangrijk, want zonder metadata kan niet gewerkt worden met itembanksystemen. Desondanks leveren metadata nog geen ‘sluitend’ systeem op. 4.1.4 Itembank bevordert hergebruik en uitwisseling van toetsvragen Een belangrijk aspect bij het opzetten van een itembank is de overweging of de ontwikkelde toetsvragen op langere termijn bruikbaar blijven. Veroudering van toetsvragen Er is een aantal redenen waarom toetsvragen over het algemeen ‘verouderen’: •

door verandering van curricula,

•

door voortschrijdende wetenschappelijke inzichten.

Door wijzigen in studieprogramma’s, in vakinhouden van cursussen of in leerstofmateriaal (zoals nieuwe drukken van boeken of overstap op andere boeken), kunnen toetsvragen snel niet meer passen bij de inrichting van een curriculum. Ervaringen van de Universiteit Maastricht laten zien dat bijna 80% van de oude vragen bij hernieuwde screening toch moet veranderen of moet vervallen. Dat maakt dat beheer en screening van toetsvragen een zeer intensieve bezigheid kan zijn. Om deze activiteiten toch zo efficiënt mogelijk te kunnen uitvoeren, is het noodzakelijk om een metadatamodel zo te kiezen dat bijvoorbeeld hercodering van vragen relatief eenvoudig is en dat specifieke toetsitems snel gelokaliseerd en aangepast kunnen worden. Verandering van technologie Ook zijn er technologische ontwikkelingen waardoor bij de keuze en inrichting van een itembanksysteem goed nagedacht moet worden over standaardisering en metadata. Door voortschrijdende technische ontwikkelingen en het komen en gaan van toetsprogramma’s en hun leveranciers moeten toetsvragen immers zo nu en dan tussen systemen verplaatst worden. Bij het uitwisselen van toetsmateriaal (content) van de ene leeromgeving naar de andere, kan gekozen worden voor de volgende mogelijkheden: 1.

Het materiaal kan handmatig overgezet worden, bijvoorbeeld door het te printen en opnieuw in te voeren, of door het digitaal te knippen en plakken tussen de verschillende leer- of toetsomgevingen. Zodra er meer gegevens overgezet moeten worden, zal dit echter al gauw een dure aangelegenheid worden. Hiervoor kunnen bijvoorbeeld uitzendkrachten ingehuurd worden.

2.

De verschillende leer- of toetsomgevingen kunnen met behulp van speciaal geschreven stukjes software (interfaces) aan elkaar verbonden worden. Zo kunnen de verschillende omgevingen de beschikbare gegevens met elkaar uitwisselen (voorbeeld Rechten On-line (Gorissen 2003)).

3.

Er kan een gezamenlijk format worden afgesproken, waarmee de gegevens uitgewisseld kunnen worden. Het verdient dan de voorkeur om dit uitwisselformaat gezamenlijk op te stellen, onder de verantwoordelijkheid van een neutrale instelling. Dit voorkomt dat het

pagina 67 van 67


uitwisselformaat te veel toegespitst is op de specifieke situatie van een van de leeromgevingen. Dat zou acceptatie van het uitwisselformaat door de andere leveranciers belemmeren. Op dit moment is IMS-QTI de meest geaccepteerde specificatie. Programma’s die op deze specificatie zijn gebaseerd, kunnen in principe elkaars toetsvragen (zonder verdere conversie) gebruiken. In de praktijk geldt dat echter alleen voor de simpeler vraagtypen (Gorissen 2003), maar een begin van een duurzame standaardisering is er. Kader 25 Question and Test Interoperability (IMS 1997-2004) Het IMS Global Learning Consortium heeft een aantal jaren geleden aangegeven een neutraal uitwisselingsspecificatie, ‘question and test interoperabilty (QTI)’ te ontwikkelen voor: •

vragen (items)

•

onderdelen met bij elkaar horende vragen (sections)

•

complete toetsen (assessments)

Hiermee wil IMS systemen van verschillende leveranciers integreren en de uitwisseling van toetsvragen en toetsen tussen de verschillende instellingen faciliteren. Hoewel de QTI-specificatie nog geen internationale standaard is, blijkt deze nu stabiel genoeg voor leveranciers om hun software op aan te passen. Vanwege de omvang en complexiteit van de QTI-specificatie is er ook een QTI-Litevariant ontwikkeld. Deze bevat minder mogelijkheden, maar is eenvoudiger te ondersteunen vanuit een applicatie. Er zijn op dit moment al meerdere programma’s die QTI-uitwisseling ondersteunen. Voorbeelden hiervan zijn Questionmark Perception, Respondus, WebCT, IMS Assesst Designer, Canvas en Learn Exact. Voor meer specifieke informatie over QTI en de toepasbaarheid daarvan verwijzen we naar andere initiatieven van de Digitale Universiteit en SURF (Gorissen 2003). Op de website van de Digitale Universiteit is daar meer over te vinden: http://www.digiuni.nl > Publicaties > Quickscan QTI.

4.2

Randvoorwaarden voor digitale toetsafname Naast het ontwikkelen en beheren van toetsen en toetsvragen zijn het afnemen van de toetsen en het terugontvangen van de resultaten belangrijke fasen in het toetsproces. Globaal gezien zijn daarvoor twee mogelijkheden. Studenten krijgen de toets schriftelijk voorgelegd en ze moeten schriftelijk antwoorden (bijvoorbeeld op een voorgeprint invulformulier), of ze krijgen de toets via het beeldscherm aangeboden en kunnen via het beeldscherm antwoorden: beeldschermafname. De vraag die in deze paragaaf wordt beantwoord is op welke manier we ICT kunnen gebruiken om toetsvragen en toetsen via het beeldscherm af te nemen bij studenten en aan welke organisatorische voorwaarden daarvoor moet worden voldaan. Er is op dit moment al veel mogelijk bij het afnemen van zelftoetsen met de computer. Bijna alle standaard digitale leeromgevingen zoals Lotus Learning Space, Blackboard, N@Tschool! en WebCT hebben een ingebouwde toetsomgeving, waarmee het mogelijk is studenten een toets te laten maken op elke willekeurige pc met internetaansluiting.

pagina 68 van 68


4.2.1 Support en ondersteuning voor docenten Is het noodzakelijk om de toetsen onder enigszins gecontroleerde condities af te nemen, dan is het nodig om docenten actieve ondersteuning te bieden. Zeker vanuit de optiek van summatieve beeldschermtoetsing moeten de omstandigheden waaronder de toets plaatsvindt optimaal zijn. Dat stelt eisen aan de inrichting van de zaal, maar vooral ook aan de bedrijfszekerheid van met name de computers en het toetsprogramma. Verder moeten de bewaking van de resultaten en het ingeleverde materiaal geborgd worden zodat gegevens niet verloren gaan of ‘verminkt’ raken. Het reserveren van computerzalen – en zeker grote zalen met veel pc’s – is een zeer vervelende klus voor docenten. Zeker als zij zich niet ondersteund voelen door het management, het roosterbureau of hun IT-dienst. Over het algemeen staan bijvoorbeeld systeembeheerders niet te springen om gewone pc-lokalen voor iets anders in te zetten dan voor regulier ‘studentenwerk’. Dat brengt namelijk veel werk met zich mee omdat ze dan pc’s moeten ‘opschonen’, voorzien van specifieke beveiligingssoftware, speciale accounts, etc. De Graaff (2002) geeft tot slot de volgende aanwijzingen voor docenten die overwegen om te tentamineren via het beeldscherm. Commitment •

Het management of de onderwijsdirectie vindt de inzet van ICT voor toetsing belangrijk en is bereid extra tijd te geven voor pilots en het ontwikkelen van expertise.

•

Het systeembeheer vindt de inzet van ICT voor toetsing belangrijk, wil meewerken en heeft gelegenheid extra tijd en energie daaraan te besteden.

•

Het roosterbureau vindt de inzet van ICT voor toetsing belangrijk en heeft zeggenschap over de inroostering van pc-zalen.

•

Er zijn voldoende collega’s die inzet van ICT voor toetsing belangrijk vinden. Er vallen afspraken te maken over de werkverdeling en het beheer van vragenbestanden. De docenten hebben tijd en zijn gemotiveerd.

Infrastructuur •

Is er voor iedere student die getoetst moet worden een pc beschikbaar? En als dat niet zo is, is het dan mogelijk om studenten in twee sessies direct achter elkaar te toetsen, door ze andere of randomvragen aan te bieden?

•

Als u gebruik moet maken van meerdere pc-zalen, is uw opleiding dan bereid om extra surveillanten in te zetten voor tentamens die met ICT worden afgenomen?

•

De pc’s dienen geschikt te zijn om de software waarmee het tentamen wordt afgenomen vlot en zonder problemen te draaien.

Cursus •

Studenten moeten van tevoren kunnen oefenen met de manier van tentamineren. Biedt het cursusprogramma ruimte om studenten te laten oefenen?

•

Is er een locatie beschikbaar waar studenten hun tentamenuitslagen kunnen inzien?

•

Biedt de software mogelijkheden om de tentamenresultaten in detail per student door te nemen?

Kosten en baten •

Is er sprake van een vak dat minimaal een aantal jaren gegeven wordt?

•

Is het vakgebied zo stabiel dat de vragen minimaal een aantal jaren bruikbaar blijven?

•

Gaat het om grote groepen studenten?

pagina 69 van 69


4.2.2 Een bedrijfszekere infrastructuur Zoals we hiervoor beschreven is het belangrijk dat het toetsbeheer ‘uitbesteed’ kan worden en ondersteund wordt door specialisten om het beslag op tijd en middelen van individuele docenten en opleidingen te minimaliseren. Dat laatste kan alleen als er een (semi-)permanent beveiligde en bedrijfszekere toetsinfrastructuur aanwezig is op centraal instellingsniveau. Met toetsinfrastructuur duiden we aan alle componenten, afspraken en werkwijzen die gezamenlijk een toetsomgeving vormen. De volgende componenten zijn van belang: Toetssoftware •

De itembanksoftware (administratorfuncties, beheersfuncties, auteursfuncties,

•

De eventuele webserversoftware voor uitleveren van de toetsen

studentfuncties, analysefuncties e.d.) Functionarissen •

Toetsontwikkelaars (docenten e.d.)

•

Toetsdeskundigen

•

Toetsbeheerders

•

Roosteraars

Fysieke omgeving •

Zaal met daarin onder andere pc’s, tafels, stoelen, wanden, borden, lampen, klimaatcontrole en afscheidingselementen

Netwerkomgeving •

Pc’s waarop studenten de toetsen kunnen doen

•

Netwerksystemen, bekabeling, etc.

Procedures en afspraken •

Handboeken

•

Instructiemateriaal

•

Procedurebeschrijvingen

•

Werkafspraken

Het is belangrijk dat de fase van toetsafname en toetsverwerking zonder technische haperingen verloopt. De student heeft immers meestal een beperkte hoeveelheid tijd tot zijn beschikking om een prestatie te leveren. Elke technische storing lijdt tot tijdverlies en tot verlies van concentratie. Wanneer is een toetsinfrastructuur dan betrouwbaar? •

Als die 99,9% up-time is (100% eigenlijk)

•

Als er directe toetsapplicatie troubleshooting beschikbaar is tijdens toetsafname

•

Als er directe netwerk troubleshooting beschikbaar is tijdens toetsafname

•

Als er directe uitleg van toetsinterface beschikbaar is via bijvoorbeeld surveillanten

•

Als inputacties van studenten direct gelogd en geback-upt worden (zodat bij het uitvallen van

•

Als toetsresultaten direct worden vastgelegd.

•

Als er schone pc-systemen zijn met de juiste software en multimediacomponenten die op de

de apparatuur of per ongeluk verlaten van een toets de tussenresultaten niet verloren gaan).

juiste wijze geïnstalleerd worden. Bovengenoemde eisen leiden tot een toetsomgeving waarbij sprake is van een robuust toetsprogramma met robuuste onderliggende databases waarin gegevens zijn opgeslagen. Daarnaast leiden de eisen tot de opzet van een infrastructuur waarbij diverse specialisten aanwezig zijn tijdens toetssessies. Dit leidt tot een oplossing waarbij de pc’s niet vervuild mogen zijn door

pagina 70 van 70


ongeautoriseerde gebruikers die systeemconfiguraties kunnen wijzigen (bijvoorbeeld besmetten met virussen of verwijderen van essentiële systeemcomponenten om alle programma’s zonder haperingen te kunnen laten functioneren). De pc’s moeten met andere woorden onder (streng) toezicht staan. De organisatie moet zich er als geheel voor inspannen om deze condities te creëren. 4.2.3 Een beveiligde infrastructuur Instellingen mogen van studenten eisen dat ze bij certificerende toetsen een authentieke persoonlijke prestatie leveren. Instellingen moeten daarvoor echter wel randvoorwaarden creëren dat dat mogelijk is. Dat stelt daarom eisen aan de inrichting van de toetsomgeving en aan de netwerkomgeving. Pc’s mogen bijvoorbeeld niet zodanig worden geplaatst dat studenten elkaars vragen en antwoorden kunnen zien. Verder mogen studenten geen ongeoorloofde bronnen raadplegen. Dat kunnen ‘traditionele’ middelen zijn zoals boeken, syllabi of spiekbriefjes, maar ook – zeker bij beeldschermtoetsing – moderne middelen zoals het internet, en chat- en smsmogelijkheden voor onderling overleg. Beveiliging moet vanuit deze eisen bij verschillende onderdelen van de toetsinfrastructuur worden gerealiseerd. Netwerkbeveiliging Mogelijkheden om het netwerk te beveiligen zijn: •

De toegang tot het internet of het LAN-netwerk afsluiten – in voorkomende gevallen moeten beide echter wel weer selectief toegankelijk zijn voor bepaalde bronnen of programma’s om bijvoorbeeld berekeningen te kunnen uitvoeren, specifieke multimediale bronnen te bekijken of specifieke databases te doorzoeken.

•

Chat-, sms- en mailmogelijkheden afsluiten.

•

Ervoor zorgen dat studenten geen toegang hebben tot de itemdatabases.

Kader 26 Mogelijkheden om netwerken af te sluiten Er zijn op de markt verschillende programma’s beschikbaar om pc’s af te sluiten van ongeoorloofd netwerk- of pc-gebruik. De programma’s kunnen het internet bijvoorbeeld zo afsluiten dat alleen toegang gekregen kan worden tot de webserver waarop het toetsprogramma staat. Voorbeelden van dergelijke software zijn: •

Secure-exam Browser (via http://www.softwaresecure.com/)

•

Winshield Secure PC (via http://www.citadel.com/securepc.asp)

•

Security Officer (via http://www.1securitycenter.com/wso/index.html)

•

Questionmark Secure Browser (via http://www.questionmark.com/ned/perception/questionmarksecure.htm)

Meer algemene oplossingen kunnen gerealiseerd worden binnen de standaard netwerkomgeving zoals Windows Networking of Novell Networking, al dan niet in combinatie met programma’s zoals Citrix die werkstations reduceren tot simpele terminals. Fysieke ruimtebeveiliging Om te voorkomen dat studenten kunnen spieken, is het bijvoorbeeld noodzakelijk: •

de pc’s op voldoende afstand van elkaar te plaatsen;

•

de pc’s rug-aan-rug op te stellen;

•

de pc’s te scheiden door schotten aan te brengen (wat er overigens weer toe kan leiden dat studenten op een andere manier ‘spieken’, omdat hierdoor het zicht van de surveillant op de student wordt belemmerd).

pagina 71 van 71


• Figuur 3: Computeropstelling Hanzehogeschool Groningen

Figuur 4: Voorbeeld van een computerzaal waarbij de rug-aan-rugopstelling de kans op afkijken vermindert

Surveillance en begeleiding moeten goed geregeld worden. Menselijke surveillanten zijn nog steeds noodzakelijk om fraude afdoende tegen te gaan. Er zijn wel vele technische hulpmiddelen beschikbaar; denk aan chipkaartidentificatie, irisidentificatie en vingerafdrukidentificatie. Toch hebben die identificatiemogelijkheden elk slechts een beperkte functionaliteit. Zo kan een student inloggen met de chipcard van een ander. Irisidentificatie kan niet voorkomen dat studenten met elkaar overleggen. Zelfs vingerafdrukken zijn eenvoudig na te maken. Menselijk toezicht blijft daarom noodzakelijk. Ook in de literatuur over dit onderwerp wordt dit bevestigd (Bull en McKenna 2003). De surveillanten dienen goed getraind te zijn in het afnemen van dit soort toetsen. Ze moeten weten welke toetsen gereed zijn, specifieke technische of onderwerptechnische kennis hebben en directe toegang hebben tot systeembeheerders voor als er een systeem uitvalt. Bij voorkeur is een surveillant een IT-toetsdeskundige. 4.2.4 Een faire infrastructuur Afgezien van de beveiligingsaspecten en betrouwbaarheidsaspecten zijn er nog meer eisen te stellen aan pc-zalen voor summatieve beeldschermtoetsing. Dergelijke zalen zullen aan bepaalde minimale eisen moeten voldoen om een ‘faire’ toetsafname te kunnen garanderen. Deze eisen zijn: •

er moet voldoende licht zijn;

•

de lichtval op de computerapparatuur moet goed zijn;

•

er moet weinig lawaai zijn (stille computers);

•

er moet voldoende koeling zijn (warmte van computers moet goed afgevoerd kunnen worden);

•

er moet voldoende ruimte zijn voor studenten om met pen en papier te werken;

•

er moet goed zitmeubilair zijn;

•

de zaal moet goed kunnen worden afgesloten om geluiden van buiten te kunnen voorkomen.

Al de bovenstaande eisen zouden kunnen leiden tot de veronderstelling dat summatieve beeldschermtoetsing alleen mogelijk is met speciaal voor dat doel gebouwde pc-zalen. Dat zou ook het mooist zijn, ware het niet dat dat een grote investering zou vergen. In het vorige hoofdstuk zijn we al dieper ingegaan op de financiële consequenties van flexibeler toetsen met behulp van ICT.

pagina 72 van 72


Een veel minder rigoureuze oplossing voor een goede toetsinfrastructuur zou het gebruiken van de reeds bestaande computerinfrastructuur kunnen zijn. Bijna elke instelling of opleiding heeft wel een zaal waar kleinere of grotere aantallen pc’s opgesteld staan. Anders is er wel een studielandschap of een centrale ruimte met pc’s. Het moet dan mogelijk zijn om de netwerkomgeving in tentamenperiodes met voorrang beschikbaar te stellen voor het toetsdoeleinden, bijvoorbeeld onder regie van de centrale toetsorganisatie. De verantwoordelijkheid komt dan te liggen bij het centraal toetscentrum, waar de toetsen, de verroostering en de surveillance geregeld worden. De University of Dundee volgt bijvoorbeeld die aanpak. Een probleem is op bijna elke instelling dat het gemiddeld aantal werkstations in pc-zalen vrij klein is. Dit stelt extra eisen aan de toetsafname en vraagt speciale aandacht voor de kwantiteit en de wijze van ter beschikking stellen van de toetsvragen aan studenten. Kader 27 Wat als er veel te toetsen studenten zijn en weinig pc’s? Mogelijke oplossingen zijn: •

Studenten in ‘shifts’ binnenlaten in de toetsruimte. Als slechts de helft van de studenten tegelijkertijd getoetst kan worden, is het mogelijk de groep te splitsen. De eerste afname wordt dan direct gevolgd door de tweede afname, zodat de studenten elkaar niet kunnen zien of spreken. Denk daarbij aan het ter beschikking stellen van een wachtruimte voor de tweede groep studenten. Communicatie tussen de twee groepen moet voorkomen worden.

•

Toetsen random aanbieden, alternatieven random aanbieden. Beeldschermafname van toetsen maakt het mogelijk om de toetsvragen in willekeurige volgorde per student voor te leggen. Zo kunnen toetsen bestaande uit bijvoorbeeld zestig multiplechoicevragen opgebouwd worden uit groepen van tien vragen. Per groep en per student kunnen dan verschillende varianten van vragen worden getoond. Wilbrink (Wilbrink 1983) geeft als methoden voor het construeren daarvan de itemdelenmethode en de rompvraagmethode.

•

Tot slot zou mogelijk een toevlucht gezocht kunnen worden in adaptief toetsen. Dat is echter niet eenvoudig te realiseren. Zie daarvoor Kader 8.

Om flexibilisering van toetsing in de verdere toekomst op bredere schaal mogelijk te maken, zouden IT-diensten en gebouwbeheerdiensten in de planvorming en het ontwerp van toekomstig pc-voorzieningen voor onderwijsinstellingen op voorhand rekening moeten houden met de toepassing als toetsomgeving. Alle eisen die van belang zijn voor die toepassing zouden direct in de uitvoering meegenomen kunnen worden. Kader 28 Voorbeelden van pc-zaal inrichten ten behoeve van beeldschermtoetsing Er is op de markt veel computermeubilair beschikbaar waar pc’s op vele verschillende manieren in verwerkt kunnen worden. Pc’s kunnen bijvoorbeeld onder tafels worden geplaatst, monitoren op tafels, maar dan zodanig dat deze ook snel weg te werken zijn. Door een pc-zaal met dergelijk meubilair in te richten, kan een zaal eenvoudig en snel voor andere doeleinden worden ingezet zoals voor gewone instructie of een talenpracticum.

pagina 73 van 73


Dus: Niet zo …

Maar bijvoorbeeld zo …

Of zo …

pagina 74 van 74


Of zo …

Of zo … (maar dan met grotere tafels) …

Als het onderwijs het belang van de toetsen en ICT onderkent, is het noodzakelijk en moet het mogelijk zijn om het totale supportsysteem op te zetten en een grootschalige pc-infrastructuur met voorrang te ontwikkelen en toe te wijzen voor toetsdoeleinden of daar op zijn minst duidelijke procedures voor te hebben. 4.3

Digitale toetsverwerking van gesloten vragen Een belangrijk onderdeel van het toetsproces is het verwerken van de resultaten op een toetsvraag of op een toets als geheel. De meest evidente verwerking van een individuele toetsvraag is of deze

pagina 75 van 75


goed of fout is beantwoord en welke inhoudelijke feedback gegeven moet worden. Zeker bij beeldschermafname waarbij de student direct terugkoppeling krijgt is dat belangrijk. De verwerking van een gehele toets is echter van een andere orde. De scoregegevens kunnen namelijk statistisch worden verwerkt via een toetsen itemanalyse: een zogenoemde psychometrische analyse. Hieronder gaan we nader in op deze analyse. Daarna beschrijven we het verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen. 4.3.1 Analyseren van toetsen, toetsvragen en resultaten Bij de toetsen itemanalyse kunnen allerlei interessante gegevens berekend worden over de toets als geheel en over de individuele toetsvragen. Het directe oordeel van studenten vormt hiervoor in principe de eerste bron van informatie. Commentaar van studenten Het verdient aanbeveling om na elke toets aan de studenten te vragen wat zij ervan vonden. De vragen die ze op commentaarbriefjes zouden kunnen beantwoorden zijn onder andere: •

Was de toets een afspiegeling van de leerstof?

•

Waren de vragen moeilijk of gemakkelijk?

•

Hoe vond je de omvang van de toets?

•

Waren de vragen duidelijk?

•

Sloten de antwoordalternatieven elkaar uit?

•

Was er voldoende, te weinig of te veel tijd?

•

Was de toets goed te lezen?

Natuurlijk zijn terloopse opmerkingen van studenten ook de moeite van het onthouden waard. Als bijvoorbeeld veel studenten in de koffiepauze klagen over de onduidelijkheid van een bepaalde vraag, is er alle aanleiding een nader onderzoek in te stellen. Het zal voor zich spreken dat het verzamelen van commentaar bij beeldschermtoetsing moeilijker is dan bij schriftelijke toetsing. Zeker als studenten varianten van eenzelfde toets krijgen wordt het moeilijker om deze terugkoppeling te krijgen. Analyse van toetsscores De belangrijkste vragen waarop een toets -en itemanalyse antwoord moet geven zijn: •

Waren de vragen van het juiste niveau?

•

Maakten de vragen onderscheid tussen studenten die de stof beheersen en studenten die de stof niet beheersen (discriminerend vermogen)?

•

Hoe betrouwbaar was de toets?

Analyse van toets en toetsvraag Een toetsanalyse levert meestal een waarde op voor de betrouwbaarheid van een toets als geheel. Deze waarde geeft aan in welke mate een toetsresultaat niet door toeval tot stand komt maar systematisch is en wordt meestal uitgedrukt in de correlatiecoëfficiënt. De waarde kan bepaald worden door bijvoorbeeld de toets te verdelen in twee helften. Als de correlatie tussen beide reeksen toetsscores 0 blijkt te zijn, is de toets onbetrouwbaar. Is hij 1, dan is de toets zeer betrouwbaar: hij meet zeer nauwkeurig! Een typische analyse van een toetsvraag levert over het algemeen de volgende gegevens op: •

KR20: een schatting van de betrouwbaarheid van een toets.

•

p-waarde: het aandeel studenten dat het juiste alternatief heeft gekozen.

•

a-waarden: het aandeel studenten dat het verkeerde alternatief heeft gekozen en wel de desbetreffende afleider x.

pagina 76 van 76


•

Rit-waarden: de mate waarin een vraag onderscheid maakt tussen ‘goede’ en ‘slechte’ studenten. Het gaat hier om de correlatie tussen het item en de totale toetsscore: deze kan variëren van +1 (iedereen met een hoge toetsscore heeft dit item goed) en –1 (iedereen met een hoge toetsscore heeft dit item fout).

Uitgebreide informatie over deze gegevens en de interpretatie daarvan is te vinden in de literatuur o.a. (Dousma, Horsten et al. 1997; Heijnen en Meeder 1999; Berkel en Bax 2002). Op de website Flexibilisering van Toetsing van de Digitale Universiteit http://www.du.nl/flextoets zijn daarnaast andere elektronische bronnen beschikbaar. 4.3.2 Verschil tussen verwerking van schriftelijke en via het beeldscherm afgenomen gesloten vragen Bij een schriftelijke toets met gesloten vragen wordt er voor studenten in eerste instantie een set formulieren geprint met daarop de vragen. Bekend van die toets is de zogenoemde antwoordsleutel: welk alternatief is voor welke vraag het correcte alternatief? Deze sleutel is over het algemeen digitaal beschikbaar voor gebruik in de digitale toetsanalysesystemen. De studenten moeten hun antwoorden op gesystematiseerde formulieren aangeven. Dat zijn in principe optisch leesbare formulieren. Er zijn verschillende varianten van dergelijke formulieren. •

De eenvoudigste betreft genormeerde ponskaartachtige formulieren. Daarop zijn alleen de

•

De meest vergaande vorm is die waarbij de functie van vragenformulier, antwoordformulier en

meest elementaire velden aanwezig. optisch leesbaar formulier in één hardcopyformaat beschikbaar is. Dit maakt in principe geheel op maat gemaakte toetsen mogelijk. Het is echter zeer bewerkelijk om dergelijke formulieren te maken. •

Daarom wordt in dat opzicht meestal gekozen voor een middenweg. Het vragenformulier is een apart document (vaak gewoon een Word document). Het antwoordformulier bezit die informatie niet, maar er zijn standaardvarianten voor bijvoorbeeld toetsen met tweekeuzevraagstukken, vierkeuzevraagstukken of ander specifiekere uitvoeringsvormen.

Scannen en analyseren De formulieren met de antwoorden van de studenten moeten optisch worden ingelezen. Dit proces bestaat uit twee delen: 1.

Het scannen van de formulieren Bij het scannen wordt door middel van een scanapparaat (dit kan ook een kopieerapparaat zijn met een scanoptie) een digitale kopie gemaakt van het scanformulier (meestal in TIF-formaat).

2.

Het omzetten naar een analyseerbaar bestand Deze TIF-bestandjes worden vervolgens vergeleken met een sjabloon van het scanformulier. De gegevens die de student heeft ingevuld, worden dan vertaald in ASCII-tekens en opgenomen in een TXT-bestand. Tijdens dit onderdeel van het proces komt het programma scanformulieren tegen die niet compleet, onduidelijk of niet eenduidig zijn ingevuld. Deze formulieren worden op een scherm aangeboden aan iemand die belast is met toetsverwerking. Deze persoon dient dan een beslissing te nemen over wat student heeft ingevuld.

Tijdens het analyseren met een extern analysepakket gebeurt er het volgende: •

het sleutelbestand wordt ingelezen;

•

het antwoordenbestand wordt ingelezen;

•

er wordt door vergelijking van beide bestanden een analyse gemaakt.

pagina 77 van 77


De antwoorden van de studenten worden vergeleken met de sleutel. Op basis daarvan kan een itemanalyse worden gemaakt, bijvoorbeeld de p- en Rit-waarden. Op basis van deze itemanalyse kan besloten worden bepaalde items die kwalitatief slecht scoren, te verwijderen uit de toets. Ook kan het zijn dat de sleutel verkeerd in de itembank is ingevoerd. Dit kan ook op basis van het commentaar dat studenten hebben kunnen leveren. Nadat items eventueel zijn verwijderd en de sleutel is aangepast, kan er opnieuw een definitieve analyse worden gemaakt. Op basis hiervan worden het gemiddelde en de standaarddeviatie berekend. Deze kunnen de grondslag vormen voor de cesuur (althans bij het gebruik van een relatieve cesuur). Na het invoeren van de cesuur kunnen er uitslagenlijsten worden gegenereerd. Verder is het mogelijk om een feedbackformulier per student af te drukken, waarop zijn score met alle deelnemende studenten wordt vergeleken of met zijn eigen cohort. Soortgelijke informatie kan ook voor attributen worden gegenereerd: zo kan per vak het kwalitatieve aandeel in vergelijking met andere vakken duidelijk worden. Ten slotte is het mogelijk om de analysegegevens van de afzonderlijke items in te voeren in de itembank, zodat deze informatie over de kwaliteit bewaard blijft bij het item en daarmee de kwaliteit van de totale itembank verhoogt. Bij beeldschermafname is de papieren (en analoge) tussenstap verdwenen. Dit heeft als voordeel dat direct na afloop van een toetszitting alle toetsresultaten direct beschikbaar zijn voor zowel de studenten als de docenten. De meeste toetsprogramma voor beeldschermtoetsing hebben een dergelijke analysemodule gewoon ingebouwd. Op dat punt zitten er echter ook wat adders onder het gras in relatie tot summatieve beeldschermtoetsing. Immers, het analyseren van toetsresultaten kan opleveren dat sommige toetsvragen niet goed zijn en uit de toets moeten worden verwijderd. Dit proces vergt nauwkeurige bestudering en afweging en derhalve tijd. Met andere woorden, een score die studenten ontvangen op een toets, direct na een beeldschermafname, is altijd voorlopig en onder voorbehoud. Er kan bovendien gebruik zijn gemaakt van allerlei technieken om studenten verschillende vragen te geven (zoals randomiseren van vragen of antwoorden). Elke student heeft bij een dergelijke afname in principe een unieke toets voorgelegd gekregen. Dat maakt dat toetsanalyse veel ingewikkelder (dan in ieder geval onbetrouwbaarder) is dan met afname met optische formulieren en een vaste set vragen.

4.4

Toepassingsgebied van formatief en summatief toetsen met ICT Als het gaat om het toepassingsgebied van formatief en summatief toetsen met ICT, dan kunnen de figuren 5 en 6 als handreiking dienen. Deze figuren tonen op de horizontale as het aantal toetsafnames dat bij een cursus of onderwerp hoort. Neem daarbij aan dat weinig afnames overeenkomt met ongeveer nul tot vijftig afnames, en dat veel afnames overeenkomt met meer dan duizend afnames. Op de verticale as staat onderaan de situatie weergegeven dat een individuele docent probeert om zonder ondersteuning van ICT iets met toetsing te doen. Iets hoger op de as is de situatie weergegeven dat docenten over eenvoudige itembanksoftware beschikken waarmee ze zelf toetsbanken kunnen opzetten en toetsen kunnen uitprinten (Diploma, MicroTest, Respondus e.d.). In het midden staat de situatie weergegeven waarin de docent de beschikking heeft over een digitale leeromgeving met een ingebouwde toetsmodule (bijvoorbeeld Blackboard). De losse toetsbankprogramma’s kunnen (zeker in de toekomst) dan hun toetsvragen via een dergelijke

pagina 78 van 78


omgeving eenvoudig online aanbieden. Nog hoger op de as staat de situatie aangegeven waarin er een toetsteam beschikbaar is en dat er op instellingsniveau een gespecialiseerd toetsservicecentrum aanwezig is. Het kan ook de situatie voorstellen waarin in groter verband gewerkt wordt aan de ontwikkeling van een itembank. De top van de verticale as representeert de situatie waarin er ook nog eens laagdrempelige voorzieningen zijn om beveiligd summatief te toetsen. Dat levert het volgende beeld op voor de inzet van ICT bij toetsing. Zonder inzet van ICT is een docent min of meer veroordeeld tot schriftelijke afname van toetsen door middel van open vragen of eenvoudige multiplechoicetoetsen. Natuurlijk zal het zo blijven dat open vragen bij weinig afnames de meest effectieve vraagvorm zijn, met of zonder ICT. Als het aantal studenten, en daarmee het aantal toetsafnames echter toeneemt, wordt het steeds lonender om iets met ICT aan te vangen. Bij gemiddelde cursussen in het hoger onderwijs met bijvoorbeeld vijftig studenten begint dit al interessant te worden, zeker als bij gekozen onderwijsmethoden kant-en-klare itembanken beschikbaar zijn. Worden de aantallen nog hoger, dan kunnen ook steeds meer complexe vraagvormen en toetsen worden ontwikkeld en aangeboden aan studenten. Zodra er bovendien ook nog sprake zou zijn een laagdrempelige summatieve toetsomgeving, dan zou ook dat aspect van toetsing met ICT tot volle wasdom kunnen komen. Figuur 5 Toepassingsgebied formatief

Figuur 6 Toepassingsgebied summatief toetsen Beveiligde toetsomgeving met toetsservice bureau

toetsen

serie individuelevaardigheden toetsen, online met toetsprogramma in beveiligde serie individuele kennistoetsen, omgeving online met toetsprogramma in beveiligde omgeving

Beveiligde toetsomgeivng met toetsservice bureau

toetsservice bureau

Weinig afnames

toetsservice bureau

complexe vaardigheden toetsen met speciaal toetsprogramma

serie MC toetsen, online met ELO

Weinig afnames

serie individuele kennistoetsen, online met toetsprogramma in kleine zaaltjes

Veel afnames

open vragen open vragen

Veel afnames

Serie MC vragen, pen en papier

Serie MC vragen, pen en papier

Individuele docent Individuele docent

4.5

Toetsverwerking van vrije tekstopdrachten Het werken met gesloten toetsvragen in het onderwijs is anders dan het werken met vrije tekstvragen en tekstopdrachten. Toepassingen van open vragen in het onderwijs zijn: •

Open vragen in tentamencondities: studenten moeten op een gegeven moment onder gecontroleerde condities vragen beantwoorden over een bepaalde vakinhoud. De omvang van gegeven antwoorden bedraagt vaak een kwart tot een heel A4.

•

Tekstopdrachten: studenten moeten in niet gecontroleerde condities grotere hoeveelheden teksten produceren zoals besprekingen van artikelen, practicumverslagen, projectrapporten, het toepassen van theorieën, het analyseren van situaties. De omvang van dergelijke opdrachten is over het algemeen meer dan 2 A4-tjes.

Met name het nakijken en beoordelen van open tekstvragen is van een geheel andere orde dan het nakijken van gesloten vragen. Toetsen met multiplechoicevragen worden ook nog vaak analoog, dus handmatig, nagekeken. Docenten kiezen daarvoor omdat ze opzien tegen de logistieke

pagina 79 van 79


procedures; ze houden liever het gehele proces in eigen hand. Toch is handmatig nakijken tegenwoordig niet meer nodig. Om de docenten over de streep te trekken, moet de centrale toetsverwerkingsservice optimaal werken en zeer klantgericht zijn. Antwoorden op open tekstvragen kunnen niet automatisch nagekeken worden, waardoor het nakijken erg arbeidstijdsintensief is. Dat maakt dat in het onderwijs vaak afgezien wordt van de inzet van deze vraagvorm, ook al zou dat het onderwijs zeer ten goede komen. Het levert een starheid op in het onderwijsontwerp. Bovendien is de kans op nakijkfouten erg groot. De betrouwbaarheid van dergelijke toetsen is daardoor laag. Dit geld zowel voor de beoordelaarsbetrouwbaarheid als de interbeoordelaarsbetrouwbaarheid. Er zijn echter wel aanwijzingen te geven om die betrouwbaarheid te verhogen. Hoe kunt u de betrouwbaarheid van de verwerking en teksopdrachten verhogen? Om de betrouwbaarheid bij het nakijken van tekstopdrachten te verhogen, kunt u de volgende aanwijzingen gebruiken. •

Stel een beoordelingsschema op waarin is aangegeven wat de 'ideale' antwoorden zijn en waarin tevens de regels om de afwijkende antwoorden te waarderen, zijn opgenomen. Geldt ook voor het aangeven welke antwoorden wél en welke antwoorden niet goed gerekend worden.

•

Leg vast welk gewicht de vragen krijgen.

•

Corrigeer de toets door vraag voor vraag te behandelen, dus eerst alle vragen 1., dan alle

•

Zorg ervoor dat niet bekend is van welke student het werk is, zodat persoonlijke indrukken

•

Zorg ervoor dat ieder antwoord door meer dan één beoordelaar wordt gecorrigeerd. Neem

vragen 2. etc. (ongelijkheid van beoordelen door een docent). over de student niet meespelen in de beoordeling. uiteindelijk het gemiddelde van deze beoordelingen. •

Zorg ervoor dat ook van een vrije tekstopdrachten een toetsanalyse wordt gemaakt, analoog aan de analyse voor gesloten vragen (Gruiter 1999). Met enige simpele MS Excelbewerkingen of SPSS-bewerkingen kunnen ook dan uitspraken worden gedaan over psychometrische gegevens van dergelijke toetsen.

Over het algemeen worden er een aantal voordelen genoemd bij het gebruik van open vragen bij toetsing die ook als oneigenlijk kunnen worden betiteld. Deze hebben met name te maken doordat een beslissing hoe exact omgegaan wordt met dergelijke opdrachten tot op het laatste moment bepaald kan worden. Afhankelijk van de hoeveelheid tijd die een beoordelaar beschikbaar heeft kan er bijvoorbeeld voor gekozen worden om: •

Af te zien van het geven van uitgebreide feedback

•

Af te zien van het geven van systematische feedback

•

Af te zien van systematische beoordeling

•

Af te zien van expliciete investeringen (anders gezegd: er zijn geen extra kosten voor het gebruik van IT-middelen (licentie van een pakket, aanschaf, onderhoud en beheer van een server).

Bovendien lijkt het – door het meer fluïde karakter van vrije tekstopdrachten – gemakkelijker om de opdrachtvorm voor allerlei toetsfuncties te gebruiken, zonder goede overwegingen of e.e.a. toepasselijk is of ook met gesloten vragen zou kunnen worden opgelost.

pagina 80 van 80


4.5.1 Ondersteuning door middel van ICT Tegenwoordig zijn er manieren om het nakijkproces van open vragen te ondersteunen met ICT. Wat deze ICT inzet moet opleveren is eigenlijk eenvoudig: tijdwinst en kwaliteitswinst. De tijdswinst zou het mogelijk moeten maken om studenten vaker te toetsen, zowel voor formatieve als summatieve doeleinden. De kwaliteitswinst zou moeten zitten in de snellere, systematischer en uitgebreidere feedbackmogelijkheden voor studenten. Deze ondersteuning kan in een aantal categorieën worden ingedeeld, behorende bij een toepassing: Open vraag op

Tekstopdracht

Programma’s

tentamen ICT als hulpmiddel voor

X

systematischer handmatig

Markin, MarkThis, spreadsheet-programma

nakijken van tekstopdrachten ICT als hulpmiddel om semi-

X

CODAS, BETSY

X

Intellimetric, Criterion,

automatisch ordening in tekstopdrachten aan te brengen ICT als middel om automatisch

X

scoring en feedback te geven bij

Intelligent Essay Assessor

beeldschermafname van open vragen ICT als middel om

X

CODAS,

tekstopdrachten automatisch te

CopyCatchWCopyFind,

controleren op plagiaat

Plagiarism, Turnitin, SafeAssignment/MyDropbox, Ephorus, Urkund, EVE2

Tabel 3: ICT-ondersteuning bij verschillende toepassingen van een schriftelijke open opdracht. In de bijlage bij dit boek worden alle programma’s in meer detail behandeld.

Toelichting De eerste rij van de tabel geeft aan dat er een aantal programma’s op de markt is om tekstopdrachten beter te kunnen nakijken. De programma’s dwingen de beoordelaar om het nakijkproces systematischer in te richten, door vooraf beter na te denken over het te hanteren antwoordmodel, de beoordelingscriteria en de gewichten voor elk criterium. Nadien maken de programma’s het mogelijk deze gegevens eenvoudig in te voeren waarna – min of meer – automatisch per student een weldoordachte score bepaald wordt en feedback gegeven kan worden. Op de website Flexibilisering van Toetsing http://www.du.nl/flextoets is een casus opgenomen van een docent die met het programma MarkThis aan de slag is gegaan. De tweede rij betreft een tweetal programma’s die – aan de hand van het handmatig ingeven van een ordening van een beperkt aantal documenten – zelf in staat zijn om de overgebleven uitgewerkte tekstopdrachten aan de hand daarvan te ordenen. Deze ordening kan dan verfijnd worden door nog een aantal extra documenten handmatig te beoordelen of extra specifieke criteria mee te geven. Een belangrijke conclusie voor de toepasbaarheid van deze categorie programma’s is dat ze niet geschikt zijn voor certificerende doeleinden. De betrouwbaarheid van de beoordeling van de programma’s hangt sterk samen met de opdrachtformulering en de kwaliteit van de populatie ingeleverde werkstukken. Wel zijn ze erg geschikt voor formatieve doeleinden. Zie darvoor onderstaande tekstkader.

pagina 81 van 81


Kader 29 Gebruik van CODAS in een cursus Massacommunicatie en Journalistiek Beleidsnormen bij de faculteit Sociale Wetenschappen van de Vrije Universiteit schrijven voor, dat onderwijs standaard afgesloten moet worden met een tentamen. Een docente die een derdejaars cursus ‘Massacommunicatie en Journalistiek’ verzorgt, zou liever haar cursus zo maken, dat studenten zelf op zoek moeten gaan naar informatie en deze actief verwerken in bijvoorbeeld een paper. De docente heeft een probleem: zij kan een werkvorm ‘papers schrijven’ naast het maken en nakijken van een tentamen binnen de haar gegeven capaciteit niet realiseren. Of toch? Deze cursus is gebruikt om CODAS in toe te passen. Gedurende de cursus kregen de studenten twee essayopdrachten mee. Één opdracht luidt: wat is de invloed van mediaroutines op nieuwsartikelen. De andere opdracht luidt: In hoeverre trekt Cambodja profijt van of lijdt het land schade door processen van globalisering in het algemeen en regionalisering in het bijzonder? De studenten werden van tevoren geïnformeerd dat CODAS zou worden gebruikt om de opdrachten te beoordelen. De opdrachten leverden in totaal één bonuspunt op voor het tentamen als de opdrachten beide met een voldoende werden beoordeeld. 90 van de 140 studenten die deelnamen aan de cursus maakten deze opdrachten en leverden deze in. De docente ordende de documenten met behulp van CODAS op een 3-puntsschaal: ‘goed’, ‘voldoende’, ‘onvoldoende’. Studenten die een onvoldoende scoorden, kregen geen bonuspunt. De docente beoordeelde handmatig, per opdracht, ongeveer 20 van de 80 ingeleverde werkstukken. Op basis daarvan werden de overige 75% van de opdrachten door CODAS beoordeeld. Alle toegekende onvoldoendes beoordeelde de docente zelf nog handmatig om er zeker van te zijn dat de onvoldoendes in haar ogen terecht waren toegekend. Zij gaf haar studenten binnen enkele dagen na het inleveren van de opdrachten, het cijfer terug. Er kwam geen spontaan commentaar van de studenten terug op de beoordeling. Kennelijk vonden ze dat het cijfer genoeg in overeenstemming was met de waarde die zij zelf zouden geven. Er is door Onderwijscentrum VU daarop nader onderzocht of dat beeld correct was. Daarvoor werd via een online vragenlijst nagevraagd of studenten het eens waren met het cijfer dat zij hadden gekregen voor de opdrachten. De resultaten voor beide opdrachten waren vergelijkbaar. Voor de beknoptheid geven we in onderstaande tabel echter slechts de resultaten weer die horen bij de tweede opdracht. beoordeling CODAS zelf -beoordeling

goed

Hoger dan CODAS Gelijk aan CODAS

6

vol-

onvol-

doende

doende

Eind-totaal

5

0

5

14

1

21 5

Lager dan CODAS

3

2

Weetniet

0

1

2

3

Eindtotaal

9

22

3

34

De tabel toont dat sommige studenten vonden dat ze wel een hogere waardering hadden mogen krijgen, sommigen zelfs dat ze wat lager zouden mogen worden beoordeeld, maar dat het merendeel, ongeveer twee-derde, van de studenten het eens was met het m.b.v CODAS gegeven cijfer.

pagina 82 van 82


Bovendien is gevraagd of studenten de schrijfopdrachten nuttig vonden in het kader van de cursus en of ze hebben geholpen beter voorbereid te zijn op het tentamen. Hieruit bleek dat het overgrote deel van de studenten de opdrachten nuttig tot zeer nuttig vonden, en het merendeel door de opdrachten in enige mate beter voorbereid was op het tentamen. Kortom, CODAS is inderdaad een prettig, overzichtelijk en goed instrument voor inzet in het onderwijs. Niet op het terrein van high-stakes testing, maar wel degelijk om studenten ‘aan het schrijven’ te krijgen, waarbij de nakijklast van beoordelaars beperkt wordt. Op de website Flexibilisering van Toetsing http://www.du.nl/flextoets is bovenstaande casus in meer detail beschikbaar in casus 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit.’ De derde rij van de tabel gaat over programma’s waarbij studenten een antwoord invullen in een webformulier, waarna de computer dat antwoord beoordeelt en instantaan terugkeert met een score of inhoudelijke feedback. De tabel geeft aan dat er al veel mogelijk is op het gebied van automatische scoring en feedback. Dat is in principe ook zo. Het programma Intelligent Essay Assessor is bijvoorbeeld in staat om inhoudelijke feedback te geven per subonderwerp van een betoog. Criterion, Intellimetric en Intelligent Essay Assessor zijn ook in staat om taaltechnische feedback te genereren, vergelijkbaar met de taalmodule van een programma zoals MS-Word. De toepasbaarheid is in de praktijk van het Nederlands hoger onderwijs echter beperkt. Alleen toepassing waarin waarbij sprake is van voldoende schaalgrootte zijn interessant (zoals bevraging van alle studenten van één instelling, of alle Nederlandse studenten op één vakgebied of onderwerp). De voornaamste reden waarom schaalgrootte nodig is zijn de hoge investeringskosten van de toepassing. De vierde en laatste rij betreft een aantal computerprogramma’s die automatisch teksten zowel onderling als met allerlei internetbronnen kunnen vergelijken op tekstovereenkomst. Als er teksten overeenkomen zonder bijvoorbeeld bronvermelding of als studenten duidelijk geen eigen werk hebben ingeleverd maar dat van een medestudent, dan is er sprake van plagiaat of fraude. Het is belangrijk voor onderwijsgevenden om daar snel inzicht in te krijgen om na te gaan of het nuttig is om bijvoorbeeld feedback te geven bij ingeleverd formatieve werkstukken of om tot certificering over te kunnen gaan bij summatieve doeleinden. Alle genoemde programma’s (inclusief kosten en beoordeling) worden in meer detail beschreven in de bijlage bij dit boek. 4.5.2 Toepasbaarheid van de software Om software te beoordelen op geschiktheid voor de verschillende toetsfuncties, is het belangrijk om te weten hoe gedetailleerd de feedback is die aan studenten teruggegeven zou moeten worden. Globaal geldt dat feedback voor oefenen en diagnosticeren belangrijk is en voor certificerende toetsing minder. De investeringskosten in verschillende programma’s maken dat deze pas vanaf een bepaald aantal vraagstukken interessant zijn. We hebben onze conclusies voor u in twee overzichtelijke figuren vervat.

pagina 83 van 83


Figuur 7: Eigenschappen van software om tekstopdrachten na te kijken in relatie tot afnameaantal en gedetailleerdheid van gegenereerde feedback Gedetailleerdheid van feedback (zowel inhoudelijk als op stijl/structuur) Markin f Geheel handmatig MarkThis Intelligent Essay Assessor Criterion/Intellimet ric MC-toetsing 50

100

In principe meer geschikt voor weinig Essays initiële Kleine investering, daarna veel tijd per essay

1000

>2000 Grote initiële investering, daarna weinig tijd per essay

CODAS/BETSY

Gedetailleerdheid feedback laag (zowel inhoudelijk als op stijl/structuur)

Figuur 7 laat zien wat de relatieve plaats is van de verschillende ICT-oplossingen voor het nakijken, beoordelen en feedback geven op hogere orde cognitieve vraagstukken. De plaats in het figuur is gerelateerd aan de gedetailleerdheid van feedback die de programma’s genereren en een tijden kostentechnisch relevante positionering. Het eerste dat opvalt aan de figuur is dat handmatig nakijken, Markin en MarkThis een cluster van oplossingen vormen voor toetsing in lage aantallen en voor toetsing waarbij inhoudelijke feedback aan studenten van belang is. In de figuur zijn de programma’s CODAS en BETSY een apart cluster. Deze programma’s ordenen documenten, maar genereren geen enkele inhoudelijke feedback. Intelligent Essay Assessor (IEA), Criterion en Intellimetric vormen ook een apart cluster. Deze programma’s zijn in staat om in enige mate gestandaardiseerde inhoudelijke feedback automatisch te laten genereren. De investeringskosten voor dergelijke programma’s zijn echter dermate hoog, dat ze voor inzet in het regulier hoger onderwijs in Nederland niet realistisch zijn. Voor de volledigheid is ook de inzet van gesloten vraagvormen ingetekend (voor het gemak aangeduid met multiplechoicetoetsing). Daarvoor is een soort middenpositie getekend. Het kenmerk van de gesloten vraagtoetsing is de flexibiliteit van de feedback bij beeldschermafname; er kan geen feedback worden gegeven maar ook heel veel en alles wat daartussenin zit.

pagina 84 van 84


Figuur 8: Eigenschappen van software om tekstopdrachten na te kijken in relatie tot afnameaantal en betrouwbaarheid

Betrouwbaarheid van beoordeling hoog

Intelligent Essay Assessor MarkThis Markin CODAS 5

100 100

Kleine initiële tijdsinvestering, daarna veel tijd per essay

In principe meer geschikt voor veel

1000 >2000 Essays Grote initiële tijdsinvestering, daarna weinig tijd per essay

Geheel handmatig

Betrouwbaarheid van beoordeling laag

In Figuur 8 staan de verschillende uitvoeringen van vrije tekstopdrachten in relatie tot de betrouwbaarheid die gehaald kan worden met de toetsvorm. Met handmatig nakijken kan de betrouwbaarheid zowel heel laag als vrij hoog zijn. Dit is afhankelijk van de gehanteerde procedures zoals beschreven in paragraaf 4.5 Met de programma’s Markin en MarkThis is de betrouwbaarheid al beter te fixeren, doordat de programma’s de beoordelaar dwingen om te werken met expliciete criteria. Met MarkThis zelfs nog iets meer dan met Markin, omdat binnen MarkThis ook het gebruik van weegfactoren direct noodzakelijk is. De betrouwbaarheid van CODAS vertoont weer een grotere spreiding. Doordat bij CODAS het ingeleverde materiaal het uitgangspunt is en niet expliciete criteria, is namelijk de betrouwbaarheid afhankelijk van het materiaal. Het vergt zorgvuldig geconstrueerde opdrachten en een spreiding in kennis en kunde van de studenten om de betrouwbaarheid op een redelijk niveau te krijgen. De betrouwbaarheid van bijvoorbeeld de Intelligent Essay Assessor (IEA) is daarentegen weer veel groter. Dit komt omdat het nakijkmodel zeer zorgvuldig moet worden geconstrueerd om het programma goed te laten functioneren. 4.5.3 Plagiaat Vanuit de certificeringsfunctie van opleidingen, dienen instellingen voor (hoger) onderwijs zeker te stellen dat diploma’s alleen worden uitgereikt aan studenten die een eigen, authentieke prestatie leveren. Plagiaat en fraude van studenten vormen een serieuze bedreiging voor de kwaliteit van deze functie.

pagina 85 van 85


In het hoger onderwijs is het onderwerp van fraude en plagiaat actueel7. Uit een aantal inventarisaties op Nederlandse universiteiten is gebleken dat plagiaat op vrij grote schaal voorkomt. Concrete cijfers van Nederlandse hogescholen en universiteiten over de omvang van het probleem zijn er echter niet. Ook cijfers van de hoeveelheid studenten die wordt betrapt zijn er niet. Ondanks dit gebrek aan cijfers is toch de teneur in het hoger onderwijs dat het probleem aangepakt moet worden. Fraude en plagiaat in het hoger onderwijs is een reëel probleem. Op verschillende instellingen wordt op opleidingsniveau aandacht aan dit probleem besteed en naar oplossingen gezocht. Wat is fraude en plagiaat? Elektronisch plagiaat, ook wel e-plagiaat genoemd, vloeit voort uit de traditionele plagiaat van boeken. Plagiaat staat bekend als 'oneigenlijk gebruik van schrijverij of ideeën (intellectueel eigendom) van iemand anders'. Hieronder valt dus het letterlijk overnemen van citaten zonder de bron te vermelden (Strookman 2002). In het internettijdperk wordt dit kopieergedrag nog gemakkelijker en kan het veel verder gaan: complete werkstukken worden - eventueel tegen kosten - van internet gedownload en daarna grotendeels ingevoegd in eigen werk, of gewoon compleet onder eigen naam ingeleverd. Felson's Law: To steal ideas from one person is plagiarism; to steal from many is research. Plagiaat wordt deels veroorzaakt door onwetendheid van studenten, anderzijds door studenten die willens en wetens andermans werk overnemen om tijd en energie te besparen. Een andere vorm van plagiaat of fraude betreft de situatie dat studenten samen werken of (bijna) dezelfde tekst in leveren. Hierdoor kan niet gewaarborgd worden dat studenten een authentieke prestatie leveren. Het is niet te achterhalen wie welke inbreng heeft gehad. Fraude en plagiaat voorkomen in fasen Het is belangrijk om plagiaatpreventie goed in te bedden in het onderwijs en een goede balans te vinden tussen preventieve en curatieve maatregelen (Oosterhuis-Geers 2002). Het heeft geen zin om middelen (regels en richtlijnen, computerprogramma’s e.d.) in te zetten als er niet gewerkt wordt aan preventie. Een individuele docent kan dat niet in zijn eentje aanpakken, dat moet gebeuren op universitair en facultair niveau. Idealiter wordt dit probleem (vanuit het perspectief van de student) in fasen aangepakt. Dat ziet er zo uit8: 1.

Bewustzijnsfase: Studenten moeten bewust worden gemaakt van wat fraude en plagiaat is en ze moeten leren hoe ze wel authentiek werk kunnen maken, met bronnen om moeten gaan e.d. Ook docenten

7

Algemene informatie over plagiaat en plagiaatprogramma’s: http://www.edusite.nl/edusite/specials/10759 • http://www.edusite.nl/edutrip2002/verslagen_innovatie/11227 • http://www.edusite.nl/edutrip2003/verslagen_assessment_en_evaluatie/12619 • http://www.digitaledidactiek.nl/dd/toetsen/119 • http://www.observant.unimaas.nl/jrg19/obs22/art14.htm • http://rechten.uvt.nl/plagiaat/ •

Tutorials voor studenten over plagiaat: http://wps.prenhall.com/hss_understand_plagiarism_1/ • http://www.indiana.edu/~wts/wts/plagiarism.html • 8

http://www.edusite.nl/edusite/specials/10759

pagina 86 van 86


en opleidingen moeten bewust worden gemaakt van dit thema, bijvoorbeeld door algemene voorlichting via onder andere websites en brochures. 2.

Voorkomingsfase: Aan het begin van een studie, en daarna bij alle onderdelen van de studie waarbij dat van belang is, moet er aandacht zijn voor dit thema, bijvoorbeeld tijdens cursussen ‘Informatievaardigheden’, ‘Bibliotheekvaardigheden’ of ‘Omgaan met wetenschappelijke bronnen’.

3.

Ontdekkingsfase: Als werkstukken zijn ingeleverd, moet gecontroleerd worden of er daadwerkelijk authentiek werk is geleverd. Voor een deel kan dit handmatig, daarnaast zijn er ook programma’s die op het overnemen van teksten van anderen kunnen controleren.

4.

Sanctioneringsfase: Als er plagiaat of fraude is geconstateerd, dan moet er duidelijke richtlijnen en procedures zijn voor personeel en studenten over de consequenties9.

Onder de noemer van wetenschappelijke integriteit worden op verschillende instellingen initiatieven genomen. Een aantal instellingen wil toewerken naar een gedragscode. Zo heeft de universiteit van Leiden inmiddels een officiële regeling. Deze is te vinden via

http://www.reglementen.leidenuniv.nl/index.php3?m=&c=62&garb=0.4029745715334844 &session= In deze regelingen is echter weinig tot geen informatie opgenomen over het onderwerp plagiaat zoals we dat in dit boek behandelen. Dit betekent dat faculteiten en docenten op dit moment nog veel proefondervindelijk moeten uitzoeken. Verder kan gesteld worden dat plagiaat nooit helemaal te voorkomen is en dat ‘zero-tolerance’ wellicht wenselijk, maar niet realistisch is. Er moet daarom een goede balans zijn tussen preventie en curatieve maatregelen. Bedenk ook dat studenten zich een academische attitude dienen eigen te maken ten aanzien van het gebruik van andermans werk en gedachtegoed, die voorkomt dat zij frauderen of plagiaat plegen. Het zich eigen maken van deze attitude is een traject van vier tot vijf jaar, waarbij docenten studenten leren op diverse manieren om te gaan met werk van anderen. Hierbij dient expliciet aandacht besteed te worden aan de zorgvuldigheidseisen voor bronvermelding en auteursrechten. Deze zullen gedurende het leertraject van studenten hoger worden. Juist in de eerste fasen van de opleiding kan het constateren van plagiaat een instruerende functie vervullen. Daarbij moeten dan geen sancties volgen, maar gerichte feedback. Fraude en plagiaat voorkomen door goede opdrachten te construeren Plagiaat kan worden voorkomen door een goede opdracht te construeren. Daarvoor moeten de opdrachten zo geformuleerd worden dat: 1.

ze authentiek denkwerk vragen;

2.

er een begeleidings- en beoordelingsprocedure is in een eerdere fase dan de beoordelingsfase.

Op de e-learning themasite wordt dit verder uitgewerkt10: •

Zorg voor een specifieke inhoudelijke afbakening van de opdracht. Laat studenten bijvoorbeeld een analyse maken van een bepaalde casus of situatie met

9

Zie als voorbeeld http://www.digitaledidactiek.nl/docs/dd/kopieren_kan_je_de_kop_kosten.pdf

10

http://www.elearning.surf.nl/e-learning/artikelen/774

pagina 87 van 87


behulp van een theorie. Varieer daarbij ieder jaar de casus of zorg dat er meerdere casussen zijn. Als docent hoeft u daarmee de vrije tekstopdrachten veel minder te controleren op plagiaat van elders ter wereld geschreven papers over een bepaalde theorie, eenvoudigweg omdat het hier om een zeer specifieke toepassing van die theoretische inzichten gaat. Dit in tegenstelling tot een vrije tekstopdracht waarbij struinen over het internet studenten al vrij snel een aardig essay kan opleveren, dat binnen de opdracht past. •

Zorg ervoor dat studenten hun tekstopdracht inleveren in een afgeschermde (elektronische) omgeving zodat medestudenten deze uitwerking niet kunnen inzien of downloaden.

•

Zorg voor fasegewijze productie van de vrije tekstopdracht. Laat studenten bij voorkeur niet zonder begeleiding en feedback een eindwerkstuk inleveren. Laat ze voorlopige versies van werkstukken inleveren en geef daarop feedback. Deze feedback moeten zij verwerken in hun eindproduct. Bij de beoordeling van het eindproduct bekijkt de docent het verloop van het schrijfproces op basis van de deelproducten, de feedback en hoe de studenten deze feedback hebben verwerkt in hun eindproduct. Dit kost weliswaar veel tijd, maar kan redelijk efficiënt plaatsvinden aan de hand van een checklist, die studenten bij hun feedback geleverd krijgen.

Stel bijvoorbeeld dat een docent jaarlijks gebonden is aan een inhoudelijk vrij identieke opdracht. Probeer dan om de presentatie van de opdracht te wijzigen. Het kan zijn dat studenten namelijk bestaand werk klakkeloos over nemen met onvoldoende aandacht voor het detail, zodat de docent kan zien dat het werk van een eerder jaar afkomstig is. Het succes van deze methode is mede afhankelijk van de onwetendheid van studenten ten aanzien de methode. Dat is niet echt ethisch, maar het kan wel goed werken. Manieren om dit te doen zijn: •

Verander elk jaar de nummering van de opdrachten. Een deelopdracht kan onderverdeeld zijn in letters (a, b, c...) of nummers (1, 2, 3...) of subnummering (1a, A1). Bij onzorgvuldig of klakkeloos overnemen zien studenten dit over het hoofd. Als ook de volgorde van deelopdrachten wordt gewijzigd, is er nog een extra indicatie als studenten een verkeerde volgorde aanhouden.

•

Verander elk jaar enkele inhoudelijke kernbegrippen door synoniemen. Denk hierbij aan begrippenparen als vorming-ontwikkeling, civilisatie-beschaving, senaat-Eerste Kamer, integratie-samensmelting (deze begrippen zijn fictieve voorbeelden). Werkstukken met termen van voorgaande jaren erin kunnen een indicatie vormen voor plagiaat.

•

Verander elk jaar de literatuurverwijzingen in de opdracht. Titels komen bijvoorbeeld in een andere volgorde te staan. Een titel krijgt een kleine wijziging doordat bijvoorbeeld '&' wordt vervangen door 'en'. Bij klakkeloze overnames voeren studenten ook deze wijzigingen niet door in de literatuurlijst van hun plagiaat.

Hoe kunt u plagiaat herkennen? Er zijn verschillende kenmerken die gevallen van plagiaat verraden. Volgens Gregg Senechal van The Instructors Guide To Internet Plagiarism (Senechal 1997-2004) kunt u plagiaat herkennen aan de volgende kenmerken: •

Werkstukken die refereren aan een college van een docent die niet verbonden is aan het desbetreffende instituut van de student en de beoordelende docent.

•

Werkstukken van lage kwaliteit. De meeste essays die op het internet te vinden zijn, zijn niet

•

Werkstukken die een eigen koers volgen en die door de studenten geforceerd worden

geschreven door wetenschappelijke 'toppers'. bijgestuurd door (vreemd geplaatste) paragrafen aan te brengen die de tekst meer in lijn moeten brengen met het door de docent bepaalde onderwerp.

pagina 88 van 88


•

Werkstukken met een vreemde of zwakke lay-out. Sommige studenten plakken het essay in hun eigen tekstverwerker en printen het direct uit, met als resultaat dat de door hen gekozen lay-out op bepaalde plekken niet behouden blijft. Paginanummers kloppen niet overal, headings wisselen en er zijn lege regels en onverwachte paginabreaks te vinden.

•

Werkstukken die zijn geprint vanuit de internetbrowser van de student (het ultieme en meeste trieste voorbeeld van kopieerwerk).

•

Werkstukken met referenties van boeken die niet verkrijgbaar zijn in de desbetreffende universiteitsbibliotheek, of alleen vreemde (anderstalige) bronnen kennen.

Als het een docent lukt om plagiaat te herkennen, dan begint pas de zoektocht naar de originele bronnen. Om die te lokaliseren zal een docent zijn eigen vak- en bronkennis ten volle moeten benutten. Ook op dat terrein kunnen ICT-middelen goede diensten bewijzen. Fraude en plagiaat ontdekken met behulp van ICT Er is op dit moment een hele range van ICT-programma’s beschikbaar om de docent te helpen plagiaat te ontdekken. Deze programma’s zijn grofweg in twee categorieën in te delen. •

Stand-aloneprogramma’s: deze programma’s kunnen elektronische documenten onderling vergelijken op tekstovereenkomst. Om de vergelijking uit te voeren moet de docent alle documenten op zijn eigen pc plaatsen en het programma vervolgens opdracht geven om de vergelijking uit te voeren. Voorbeelden van deze programma’s zijn CODAS, CopyCatch, Pl@giarsm en WCopyfind

•

Programma’s die documenten zowel onderling kunnen vergelijken als met bronnen op het internet. Hiervoor moeten in principe studenten hun documenten op een internetsite plaatsen. De internetsite voert vervolgens automatisch de vergelijking uit. Voorbeelden van deze programma’s zijn Turnitin, MyDropBox/SafeAssignment, Urkund en Ephorus.

Na deze vergelijkingen kan de docent een rapport opvragen. Dit rapport bestaat in eerste instantie uit een tabel waarin alle documenten naar mate van overeenkomst gerangordend zijn. Ontdekt het programma veel overeenkomsten, dan kan de docent vervolgens doorklikken naar een gedetailleerde weergave van het ingeleverde werk en de relevante passages uit externe bronnen. Dat kunnen zoals gezegd passages van medestudenten zijn of passages van internetbronnen. Over het algemeen maken de stand-aloneprogramma’s betere analyses van teksten dan de tweede categorie programma’s. Dat komt met name door de gedetailleerdheid en de gebruiksvriendelijkheid waarmee de stukken tekst onderling worden vergeleken op paragraaf- en zinsniveau. De tweede categorie programma’s heeft andere voordelen. Doordat gewerkt wordt in een internetomgeving met een centrale database van bestanden, kunnen studenten zelf het werk inleveren en worden de documenten automatisch vergeleken met documenten die op het internet te vinden zijn (van andere docenten, andere vakken en andere jaren). Mocht het lukken om op nationale schaal afspraken te maken over het delen van documenten, dan zou in principe zelfs op werkstukken van studenten van andere instellingen kunnen worden gezocht. Door een koppeling met standaard digitale leeromgevingen hoeven docenten minder beheerswerk uit te voeren. Een uitgebreide beschrijving van de huidige programma’s om op tekstovereenkomsten te zoeken is te vinden in de bijlage 1 (Hoofdstuk 6) van dit boek.

pagina 89 van 89


5

Samenvatting/conclusie In dit boek wordt een kader gepresenteerd voor toetsing met ICT. Dat kader biedt een handvat om op een systematische wijze flexibeler om te gaan met toetsing, op basis van onderwijskundige, organisatorische en technologische inzichten. Met flexibele toetsing wordt bedoeld de inzet van een breed repertoire van cognitieve toetsingsmogelijkheden, waaruit de student, docent, opleiding of instelling in onderlinge interactie, voor hun leer- of onderwijssituatie, een geschikte keuze kunnen maken.

5.1

Negen inzichten voor flexibeler toetsen Het kader kan samengevat worden in een aantal inzichten die ons inziens uit het boek spreken. Het onderschrijven van deze inzichten en het vasthouden van deze inzichten bij het formuleren van beleid of het ontwikkelen van onderwijs voor de eigen situatie kan leiden tot een flexibeler gebruik van de toetsvraag, toetsen en ICT in het onderwijs. Inzicht 1: Het opbouwen van kennis is een belangrijk onderdeel van competentieontwikkeling. Het opbouwen en meten of deze kennis verworven is kan nog altijd efficiënt en effectief plaatsvinden door middel van bevraging in de vorm van toetsvragen en toetsen. Inzicht 2: Door combinaties van zelftoetsing en toetsing onder gecontroleerde condities kan een repertoire van toetsingsmogelijkheden worden geschapen gericht op kennisverwerving, kennistoepassing, diagnosticeren en certificeren. Beschouw daartoe de toetsvraag als een ‘miniopdracht’. Miniopdrachten kunnen op vele plaatsen en op verschillende manieren verweven worden in het onderwijs. Daarvan is de uitwerking ‘certificering aan het eind van een studieonderdeel’ slechts één manier van gebruik van toetsen. Inzicht 3: Er zijn altijd meerdere oplossingen om toetsing in het onderwijsproces te verweven. Geen enkele oplossing zal een 100% resultaat opleveren, ‘goed’ zijn of ‘werken’. Het systematisch evalueren en verbeteren van deze verweving zal altijd noodzakelijk blijven door uiteenlopende en veranderende kenmerken van de studentenpopulatie, de verandering van discipline-inhoud en beschikbaarheid en organisatiegraad van mensen en middelen. Inzicht 4: Efficiënt en effectief toetsen met ICT vergt schaalvergroting en specialisatie. Van individuele docenten kan niet verwacht worden dat zij het gehele proces van toetsing en het gebruik van ICT daarbij beheersen. Het nadenken over en het ontwikkelen van toetsen en deze verweven in het onderwijsproces vergt specialistische kennis die ingebed moet zijn in een daartoe ingerichte organisatie en een specialistische infrastructuur: een Toetsservicecentrum met onderwijskundige, toetskundige en technische kennis, een omgeving om grootschalig summatieve toetsen te kunnen afnemen en opleidingsgestuurde toetsing door toetscommissies met een grote armslag. Inzicht 5:

pagina 90 van 90


Door technologische ontwikkelingen zal het altijd onzeker blijven of een eenmaal gedane investering bestendig zal blijken te zijn. De beste wijze om dit probleem te ondervangen, is om op instellingsniveau software voor toetsvraagontwikkeling en toetsafname te standaardiseren en om programma’s te gebruiken die internationale standaarden voor toetsvraaguitwisseling ondersteunen (zoals QTI). Als het gaat om het omzetten van grote hoeveelheden content naar andere systemen, dan kan dat alleen efficiënt plaatsvinden als de kennis en kunde daarover op één punt is gebundeld. Inzicht 6: Schaalvergroting en specialisatie kunnen gerealiseerd worden vanuit instellings- of opleidingsbeleid. Daartoe moet een instelling voorwaarden scheppen door voorzieningen en de organisatie op de juiste manier in te richten. En de instelling moet sturen door aan te geven op welke wijze en op welke terreinen zij wil dat deze voorzieningen in het onderwijsproces worden gebruikt. Inzicht 7: Het vraagt veel leiderschap van instellingen om de aanzienlijke investeringen te kunnen vrijmaken en om sturing te geven in een academische omgeving met veel individuele vrijheid voor medewerkers en docenten. Inzicht 8: Het is mogelijk om op het niveau van summatieve toetsing het nakijken en beoordelen van open vragen met ICT te ondersteunen, alleen zijn de benodigde investeringen voor geheel automatische verwerking op het niveau van een cursus of opleiding in Nederland te hoog. De schaalgrootte van meerdere instellingen is daarvoor noodzakelijk. Voor beoordeling van grotere aantallen tekstopdrachten op cursus- of opleidingsniveau kan CODAS een goed ondersteuningsmiddel zijn, maar controle door deskundigen blijft noodzakelijk. Er is op dit moment ook een flink aanbod van programma’s om plagiaat te detecteren. Elke instelling zou op dit moment daaruit een keuze kunnen maken. Ook bij plagiaatvoorkoming en plagiaatdetectie zal beoordeling door deskundigen echter nodig blijven. Inzicht 9: Het flexibeler maken van toetsing vraagt om een projectmatige aanpak. Dat is nodig om een verandering te realiseren. Het flexibeler maken van toetsing vraagt daarnaast om veranderkundige kennis om de verandering te verankeren in de organisatie. Het projectmatig aanpakken van de verandering lukt vaak wel, het bestendigen van de verandering dient in de toekomst meer nadruk te krijgen. 5.2

Toekomstverwachtingen Hoe ziet het onderwijs er in de toekomst uit als het toetsproces inderdaad flexibeler georganiseerd is? Een mogelijk scenario vindt u in onderstaande kadertekst. Flexibeler toetsen in het onderwijs: een blik op de toekomst Bachelorstudent Jeannet studeert aan de Hogeschool X. Zij heeft zich aangemeld voor een aantal onderwijsmodules. De modules starten op het moment dat zij aangeeft tijd te hebben. Ze wordt dan ingedeeld bij studenten die ook op dat moment willen beginnen.

pagina 91 van 91


Jeannet is goed op de hoogte van wat er van haar verwacht wordt in deze modules. Jeannet heeft via het web namelijk kunnen zien welke opdrachten zij moet doen tijdens de modules. In de cursus is een aantal zelftoetsen opgenomen om te oefenen. Deze toetsen staan altijd tot haar beschikking en ze maakt ze als ze thuis is. Tijdens het doorlopen van de modules polst zij een aantal keren haar progressie door vanuit huis online een diagnostische toets te maken, op vastgestelde tijdstippen tijdens de cursus. Zij krijgt inhoudelijke feedback terug op de door haar beantwoordde opgaven, zodat zij weet waar zij nog kennislacunes heeft. De docent van één module volgt de participatie en resultaten van studenten via deze diagnostische toetsen. De toetsen wegen niet mee in het eindoordeel voor de module. Tijdens gezamenlijke onderwijsbijeenkomsten voor groepjes studenten besteedt hij aandacht aan vraagstukken die voor studenten moeilijk blijken te zijn. Individuele studenten begeleidt hij telefonisch of via e-mail. Nadat het (gemeenschappelijk) gedeelte van de module is afgerond, kan Jeannet zich aanmelden voor een summatieve eindtoets. Op een door haar gewenst moment kan zij getoetst worden in het centrale toetscentrum van Hogeschool X. De docent van de module laat het toetscentrum voor Jeannet exact de goede toets klaarzetten op het juiste moment. Direct na afloop van de toets ontvangt Jeannet haar cijfer. Voor een module waar ze te laag heeft gescoord kan ze direct een herkansing aanvragen voor een op haar gewenst tijdstip. De docent heeft ook een aantal buitenlandse studenten in de module. Hij begeleidt deze studenten door gebruik te maken van verschillende e-learningmiddelen. Voor de eindtoets hoeven deze studenten niet naar de VU te komen. De docent maakt een toets aan via het toetssysteem van zijn instelling en stelt het op afstand beschikbaar voor die studenten. Op afstand wordt de toets afgenomen onder surveillance van de instelling in het buitenland waaraan deze studenten verbonden zijn. De resultaten worden direct bekend gemaakt en doorgegeven aan de docent. De docent zelf gebruikt het door hem ontwikkelde toetsmateriaal voor verschillende cursussen en wisselt materiaal uit met zijn collega’s elders. Bovenstaand beeld van toekomstig onderwijs is vrij eenvoudig te schetsen, maar moeilijk te realiseren. Zoals we in dit boek en de samenvattende inzichten hebben beschreven, vergt het een grote inspanning en sterk leiderschap om dit te verwezenlijken. Het moet stap voor stap gebeuren. En elke stap op zich moet een realistisch doel dienen. We hopen dat dit boek ertoe bijdraagt dat dergelijke doelen op deze wijze geformuleerd worden en dat de inzet van ICT bij toetsing een grotere en meer gevarieerde rol gaat spelen in het Nederlands hoger onderwijs.

pagina 92 van 92


6

Softwareprogramma’s In hoofdstuk 4 is in een vogelvlucht stilgestaan bij allerlei ICT toepassingen en infrastructurele voorzieningen de gebruikt kunnen worden binnen de verschillende fasen van het toetsproces. In dit hoofdstuk laten we een aantal softwareprogramma’s de revue passeren om een beter idee te geven van de sterke en zwakke punten en de specifieke eigenschappen van deze programma’s. In het algemeen kan gesteld worden dat alle programma’s goed breed en diep zoeken. Alle programma’s vinden relevante bronnen. Om te beginnen behandelen we programma’s voor plagiaatdetectie. Deze inventarisatie is gebaseerd op een rapport van de Vrije Universiteit Amsterdam. In dat rapport staan ook de criteria waaraan een instellingsbreed systeem zou moeten voldoen en welke keuze voor een bepaald programma daaruit volgt. Die informatie kan instellingen helpen een vergelijkbare aanpak te volgen. Ten tweede komen programma’s aan de orde die docenten kunnen ondersteunen bij het nakijken van essayvraagstukken. De derde en laatste categorie programma’s die we in deze bijlage bespreken bevat programma’s voor het ontwikkelen, beheren, uitleveren en verwerken van schriftelijke en online toetsen. Deze programma’s zijn in een tabel weergegeven, zodat u snel kunt opzoeken wat de mogelijke toepassinggebieden van de programma’s zijn. Via de aangegeven URL kunt u doorklikken naar de website van de desbetreffende leverancier.

6.1

Plagiaatdetectieprogramma’s Plagiaatdetectieprogramma’s zijn er in soorten en maten. Er is op dit moment een hele range van ICT middelen beschikbaar om de docent te helpen om plagiaat te ontdekken. Deze programma’s zijn grofweg in twee categorieën te plaatsen. •

De eerste categorie betreft ‘stand-alone’ programma’s die elektronische documenten onderling kunnen vergelijken op tekstovereenkomst. Daar vallen de programma’s CODAS, CopyCatch, Pl@giarsm en WCopyfind onder. Om de vergelijking uit te voeren dient de docent alle documenten op zijn eigen PC te plaatsen en het programma opdracht te geven om de vergelijking uit te voeren.

•

De tweede categorie betreft programma’s die zowel documenten onderling kunnen vergelijken als de documenten vergelijken met bronnen op het internet. Deze programma’s zijn Turnitin, MyDropBox/SafeAssignment, Urkund en Ephorus. Daartoe moeten in principe studenten hun documenten plaatsen op een internet-site. De internetsite gaat vervolgens automatisch de vergelijking uitvoeren.

Samenvattend komen we dan tot onderstaande tabel. Tabel 4 Overzicht plagiaatdetectiesoftware Check onderling Check onderling en op internet

Check alleen op internet

Stand alone software CODA

CopyC

S

atch

Webbased software

WCopy Plagiari Find

sm

Turnitin

MyDropBox/

Ephorus

Stand alone Urkund

EVE2

SafeAssignment

pagina 93 van 93


6.1.1 CODAS CODAS is ontwikkeld door prof. dr. De Mulder en dr. Van Noortwijk, beiden verbonden aan de vakgroep Informatica en recht van de Erasmus Universiteit Rotterdam. Het programma kan documenten onderling vergelijken en controleren op plagiaat. CODAS wordt uitgegeven door Andromatics, Capelle a/d IJssel, www.andromatics.nl. Hoe werkt het? De antiplagiaatfunctie van CODAS werkt als volgt. De te controleren Word-documenten moeten in een directory op een harde schijf worden gezet. Via een batchbewerking van Microsoft Word worden alle documenten naar TXT-files omgezet. Daarna maakt CODAS woordfrequentieprofielen van de ingevoerde documenten en vergelijkt deze met elkaar. Overeenkomsten tussen paren van documenten worden geordend in een lijst. In de lijst kunt u zien of er in de buurt van het paar nog andere documenten zijn die overeenkomsten vertonen met het paar. De mate van overeenkomst wordt aangegeven door middel van een score; 10.000 is maximaal gelijkend, meer dan 7500 is indicatie voor plagiaat, lager dan 7500 is waarschijnlijk geen plagiaat. CODAS scant niet alleen op letterlijk overgenomen passages, maar ook herschreven of geparafraseerde passages detecteert het programma moeiteloos. Als het vermoeden bestaat dat er sprake is van plagiaat, kunnen de documenten verder inhoudelijk worden gecontroleerd. Daarvoor moet de beoordelaar twee Worddocumenten handmatig doorlopen. In de tekst zijn dan geen visuele indicaties van overlappende tekstgedeelten zichtbaar. CODAS genereert de rapportage binnen enkele tientallen seconden. In onderstaande figuur is een afbeelding te zien waarin met kleuren aangegeven staat hoe twee documenten lijken op andere documenten. Figuur 9 Afbeelding van CODAS: hoe twee documenten overeenkomen met andere documenten

Op nummer acht zijn twee studenten uitgelicht (een in het rood en een in het groen). Documenten van beide studenten hebben een gezamenlijke overeenkomst van 6308. Dit is onder de kritieke

pagina 94 van 94


grens van 7500. Daarnaast is te zien dat beide documenten ook veel op documenten van andere studenten lijken. Beide constateringen geven een indicatie dat er waarschijnlijk geen sprake zal zijn van fraude. Wat kost het? De fraudemodule wordt net als de nakijkhulp (zie paragraaf 6.2.3) in licentie afgenomen door opleidingen of instellingen. De prijs van het hele pakket is ongeveer € 7000,- per opleiding. Beoordeling Uit de door ons uitgevoerde uitgebreide test (zie casusbeschrijving 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit’ bij dit handboek, te vinden op de website http://www.du.nl/flextoets) bleek dat de fraudemodule van CODAS een prima instrument is om het afkijken of kopiëren van studenten onderling op te sporen. Het leren kennen van de fraudemodule vergt echter wel de nodige kennis die niet door individuele docenten zomaar is opgebouwd. Het invoeren van documenten in het programma gaat omslachtig doordat de documenten eerst geconverteerd moeten worden. Het daadwerkelijk identificeren van gelijke tekst is echter moeizaam omdat het programma daar geen ondersteuning voor biedt. De prijs-prestatieverhouding (licentie van € 7000,- per opleiding) maakt dit programma voor het opsporen van plagiaat een onaantrekkelijke optie. 6.1.2 EVE2 EVE2 is ontwikkeld door CaNexus.com. Een gratis trialversie van dit programma is te downloaden op http://www.canexus.com/eve/. EVE2 is een applicatie waarmee docenten internetplagiaat in werkstukken van hun studenten kunnen opsporen. Het programma accepteert, zonder verder conversie, essays in platte tekst, MS Word of Corel Word Perfect en rapporteert links naar webpagina’s waar de geplagieerde teksten op staan. Hoe werkt het? Via een eenvoudige interface geeft u aan welke bestanden het programma moet controleren op plagiaat. Deze bestanden worden vergeleken met documenten die te vinden zijn op het open internet. EVE2 voert een groot aantal zoekopdrachten uit waarbij met name gebruik wordt gemaakt van de zoekfunctionaliteit van Google. Het rapporteert de URL's van verdachte sites en maakt een directe vergelijking van de tekst op de sites met het essay en slaat het resultaat op in een resultaatbestand. Na de zoekopdracht kan van ieder verdacht essay een rapport worden opgevraagd met het percentage plagiaat en een geannoteerde versie van het essay met markeringen van overeenkomsten met de desbetreffende sites. De mate van plagiaat wordt bepaald door alle overeenkomsten van de internetbronnen met het essay te sommeren. De resultaatbestanden worden opgeslagen in Rich Text Format (RTF) en kunnen in de meeste tekstverwerkers worden gelezen.

pagina 95 van 95


U kunt de kracht van de zoekactie zelf instellen op ‘quick’, ‘medium’ of ‘extra strength’, afhankelijk van hoe snel of hoe uitgebreid EVE2 moet zoeken naar overeenkomsten tussen websites en het essay. Afhankelijk van de ingestelde snelheid duurt de zoekopdracht enkele tot vele tientallen minuten voor ieder ingevoerd document. De mate van plagiaat zal evenredig toenemen met de ingestelde kracht. Wat kost het? EVE2 kost $19.99 per kopie. Een sitelicentie kost $299.00 voor het voortgezet onderwijs en $399.00 voor hogescholen en universiteiten. Beoordeling Het programma wordt als weinig effectief gezien in het opsporen van plagiaat. Het is traag en de wijze waarop het percentage plagiaat wordt berekend is dubieus.

6.1.3 WCopyFind Ontwikkelaar van WCopyFind is Lou Bloomfield, Professor of Physics van de University of Virginia. WCopyfind vergelijkt documenten onderling op tekstuele overeenkomsten om eventuele plagiaat te detecteren. WCopyFind is gratis voor niet-commerciële doeleinden te verkrijgen op http://plagiarism.phys.virginia.edu/Wsoftware.html. Hoe werkt het? De documenten (Word, TXT, HTML) die WCopyFind moet controleren, plaatst u eerst in een directory op een harde schijf. Door bestandsnamen te slepen, kunt u aangeven welke documenten met elkaar vergeleken moeten worden. Vervolgens controleert WCopyfind deze documenten onderling op woorden die overeenkomen. Mogelijke criteria hiervoor zijn bijvoorbeeld de minimum woordlengte, het aantal woorden of het aantal karakters die u zelf opgeeft. WCopyfind blijkt

pagina 96 van 96


daarmee niet alleen in staat om letterlijk overgenomen passages te detecteren, maar ook om herschreven of geparafraseerde passages te signaleren. Overeenkomsten tussen paren van documenten worden in een lijst geplaatst, waarin in procenten staat aangegeven hoeveel de paren van documenten op elkaar lijken. Als het vermoeden rijst dat er sprake is van plagiaat, kunnen de documenten verder inhoudelijk worden gecontroleerd. Daarvoor moet de beoordelaar twee Worddocumenten handmatig doorlopen. In de tekst zijn dan geen visuele indicaties van overlappende tekstgedeelten zichtbaar.

Beoordeling Het programma zoekt niet het internet af om documenten te vergelijken. Als plagiaat vermoed wordt, dan kan een shortcut naar een website worden toegevoegd aan het programma. Een ander nadeel is dat WCopyFind maar in beperkte mate internetbronnen kan doorzoeken en vergelijken. Dat kan alleen met bronnen die u specifiek hebt aangeven. Het programma kan bovendien geen beveiligde websites doorzoeken waar je moet inloggen. Als er twee of meerdere documenten zijn met bepaalde overeenkomsten, dan maakt het programma een bestand in HTML-formaat aan, waarin de gedeelde woorden onderstreept zijn. Het aantal documenten dat in één keer kan worden vergeleken is gelimiteerd tot 500 documenten. Dat klinkt misschien wel ruim, maar dat is het niet, aangezien het niet mogelijk is een archief aan te leggen. Daardoor moet u de te vergelijken documenten telkens opnieuw aangeven. In de door ons uitgevoerde test was de procestijd bijzonder kort. Resultaten werden binnen een of enkele minuten weergegeven. 6.1.4 Turnitin.com Turnitin.com is een webgebaseerd programma, vergelijkbaar met MyDropBox. Turnitin is een internetbedrijf dat sinds 1996 bestaat. Het controleert digitaal, via het internet toegezonden documenten, met bronnen op het internet en met ander ingeleverd werk. De resultaten zijn ook weer via het internet in te zien door de docent. Turnitin onderzoekt op deze manier jaarlijks bijna 6 miljoen werkstukken op plagiaat van 25.000 instellingen in 51 landen. In Nederland maakt – naar ons weten – nog geen enkele instelling gebruik van Turnitin. Hoe werkt het? Een onderwijsinstelling met een abonnement moet de autorisatie van het systeem regelen volgens een hiërarchische lijn:

pagina 97 van 97


1.

administrator - departments

2.

instructors - klassen

3.

Studenten - opdrachten

De onderwijsinstelling stelt een administrator aan, die op zijn beurt departments en instructors aanmaakt. Deze instructors maken weer klassen, studenten en opdrachten aan. De opdrachten worden aan de klassen gekoppeld en voorzien van een deadline. Studenten krijgen van de instructor een inlogcode (dit is tevens de klasse-ID) en een wachtwoord. Als studenten inloggen moeten zij deze gegevens invoeren, waarna zij de openstaande opdrachten zien en kunnen kiezen welke opdracht ze willen inleveren. Een student kan dan verschillende documenten uploaden om te laten controleren: •

MS Word

•

WordPerfect

•

PostScript

•

PDF

•

HTML

•

RTF

•

plain text

Vervolgens wordt de ge-uploade content door Turnitin vergeleken met veel bronnen op het internet. De eerste stap in het opsporingsproces is het checken van het ingevoerde document met elke mogelijke bron op het internet. Hiervoor gebruikt Turnitin eigen en externe databases. De tweede stap is het analyseren van gepubliceerde werken in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en on-line referentiesites. Welke dat zijn is niet duidelijk. Het is waarschijnlijk dat dit voornamelijk Engelstalige databases zullen zijn. De derde stap is vergelijking van ingeleverde papers met de papers in de database van de eigen instelling. Documenten van studenten kunnen dus onderling worden vergeleken. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. Turnitin kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. Bij het vergelijken van teksten zoekt Turnitin naar letterlijke overeenkomsten tussen documenten. Volgens onze bevindingen houdt Turnitin een minimum aan van zes gelijke woorden achter elkaar in dezelfde volgorde om van tekstovereenkomst te kunnen spreken. Turnitin zoekt vindt dus minder goed documenten waarin de teksten enigszins vervormd zijn. Resultaten kunnen binnen een paar minuten bekend worden gemaakt op de persoonlijke webpagina van de eigenaar van het account. Resultaten bestaan uit vermelding van de originele bron waarop (een deel van) het nieuwe document lijkt en de mate van overeenkomst tussen de twee documenten. De originele bron kan een webpagina zijn of een eerder opgeslagen document in de databases van Turnitin. De resultaten worden in vijf kleuren weergegeven naar de mate van overeenkomst. Na toezending van de essays via internet, worden resultaten binnen 24 uur teruggestuurd. Vaak komen er binnen een paar minuten al resultaten terug.

pagina 98 van 98


Extra opties •

Mogelijkheid tot bulkupload, meerdere documenten in een keer uploaden zonder opnieuw alle gegevens te moeten invoeren.

•

’Peer review’: hiermee kunnen studenten elkaars werk bekijken en evalueren.

•

Digital portfolio: hiermee kunnen studenten en docenten hun eerdere ingezonden

•

GradeMark: een essayannotatiesysteem voor het online bewerken en beoordelen van

•

GradeBook: een managementsysteem voor het administreren van cijfers en beoordelingen.

documenten bekijken. essays.

Wat kost het? Turnitin werkt met licenties. Er zijn vier soorten. Welke licentie van toepassing is, hangt af van de hoeveelheid papers (documenten) en het aantal studenten: •

Individual Instructor Plan: Licentie $120,- per jaar voor 100 inzendingen, rapporten: $1.20 per rapport.

•

Department Plan: Licentie $950,- per jaar voor 50 klassen/groepen, onbeperkt aantal inzendingen/rapporten.

•

Single campus institution license (12 maanden): Licentie $500,- per jaar + $0.60 per student (minstens 1000 studenten), ongelimiteerd aantal klassen/groepen en inzendingen/rapporten. Daarnaast administratie op campus- en departementniveau.

•

Multicampus institution license: Licentie $500,- per jaar per campus + $0.60 per student (minstens 1000 studenten), ongelimiteerd aantal klassen/groepen en inzendingen/rapporten. Daarnaast administratie op centraal, campus- en departementniveau.

Beoordeling Dit systeem zoekt voornamelijk naar letterlijke tekstovereenkomsten tussen documenten. Bij het zoeken naar vergelijkbare passages in het ingeleverde document en het origineel, worden overeenkomstige tekstgedeelten onderstreept. U moet echter zelf door de documenten heen scrollen en de overeenkomsten zoeken. De Faculteit der Economische Wetenschappen en Bedrijfskunde van de universiteit van Maastricht heeft na het testen van verschillende systemen gekozen voor een combinatie van WCopyFind en Turnitin (zie http://www.fdewb.unimaas.nl/eleum/plagiarism/plagiarism.htm#Conclusion). Een free trial van het programma is bijna niet te krijgen. Turnitin zit op de centen. Testresultaten van deze plagiaatdetectietool zijn onder andere te vinden op http://www.oucs.ox.ac.uk/ltg/reports/pappendix1.html.

pagina 99 van 99


6.1.5 MyDropBox/SafeAssignment MyDropBox LLC is gevestigd in Canada. Het programma heeft een beetje een lastige start gehad omdat een van de medewerkers bij een zogenoemde papermill (bedrijf dat scripties verhandeld) heeft gewerkt. Ondertussen is het bedrijf echter geheel legaal bezig en zijn deze problemen opgelost. MyDropBox is het kleine broertje van Turnitin. In Nederland maakt nog geen enkele instelling gebruik van dit systeem. Hoe werkt het? MyDropBox is een webgebaseerd programma, vergelijkbaar met Turnitin. Een onderwijsinstelling met een abonnement moet de autorisatie van het systeem regelen volgens een hiërarchische lijn: 1.

administrator - departments

2.

instructors - klassen

3.

Studenten - opdrachten.

De onderwijsinstelling stelt een administrator aan, die op zijn beurt departments en instructors aanmaakt. Deze instructors maken weer klassen, studenten en opdrachten aan. De opdrachten worden aan de klassen gekoppeld en voorzien van een deadline. Studenten krijgen van de instructor een inlogcode (dit is tevens de klasse-ID) en een wachtwoord. Als studenten inloggen moeten zij deze gegevens invoeren, waarna zij de openstaande opdrachten zien en kunnen kiezen welke opdracht ze willen inleveren. Het inleveren kan door middel van het knippen en plakken van tekst in een invulvak of door een Word- of tekstdocument te uploaden. Daarbij moet de student wel aangeven wie hij/zij is aan de hand van de lijst met studenten die de instructor heeft ingevoerd. Ook kan de student aangeven of zijn opdracht met eerder ingeleverde opdrachten van hemzelf moet worden vergeleken op plagiaat. Dat is handig, aangezien eerder ingeleverde conceptteksten mogelijk grote overeenkomsten zullen vertonen met de definitieve teksten. De eerste stap in opsporingsproces is het ingevoerde document te checken met elke mogelijke bron op het internet. Hiervoor gebruikt MyDropBox eigen en externe databases. MyDropBox scant: •

Word-bestanden

•

PDF-bestanden

•

HTML

•

Tekstbestanden

De tweede stap is gepubliceerde werken analyseren in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en online referentiesites. Welke dat zijn is niet duidelijk. Het is waarschijnlijk dat dit voornamelijk Engelstalige databases zullen zijn. De derde stap is vergelijking van ingeleverde papers met de papers in de database van de eigen instelling. Documenten van studenten kunnen dus onderling worden vergeleken. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. MyDropBox kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. De docent kan de vergelijkingsresultaten uiteindelijk via het internet bekijken. Docenten kunnen overigens ook zelf documenten uploaden om ze op plagiaat te controleren.

pagina 100 van 100


Extra opties Onderdeel van het contract met instellingen is dat de startpagina van MyDropBox geïntegreerd kan worden in de website van de instelling zonder aanvullende kosten. Een van de belangrijkste extra opties van MyDropBox is dat dochterproduct SafeAssignment een volledige integratie met Blackboard mogelijk maakt. MyDropBox is partner met Blackboard, waardoor plagiaatoplossingen ingebouwd kunnen worden (zie www.safeassignment.com). Op dat moment vervalt een heel groot deel van de beheerslast doordat alle gebruikersgegevens niet meer opnieuw te hoeven worden ingevoerd en dubbellingen worden voorkomen. Bovendien komt een SafeAssignment-opdracht transparant terug in de GradeBook-functie van Blackboard, zodat ook cijfers bijgehouden kunnen worden. In de toekomst wil SafeAssignement de module verder uitbouwen zodat ook bulkdownloading en bulk-uploading mogelijk zijn. Een instelling kan een gecombineerde licentie op MyDropBox en SafeAssignment verkrijgen voor 10 procent extra van de licentie voor een van beide programma’s. Wat kost het? Er licentie kent twee basiscategorieën: 1.

licenties voor individuen; de basisprijs is $0.50 per ingeschreven student.

2.

licenties voor instellingen; de prijs hiervan is gebaseerd op het aantal fulltime ingeschreven studenten. Hierop kunnen nog kortingen worden gegeven afhankelijk van type instelling en gebruikersniveau.

Voor exacte berekening kan online een invulformulier worden ingevuld. Beoordeling De gebruikersinterface is rechttoe, rechtaan en gebruiksvriendelijk. Het vergt wat tijd om de logica van instructors, classes, assignments en students te doorgronden, maar daarna werkt het systeem vlot.

De rapportage is zeer overzichtelijk. Het eerste scherm geeft een overzicht van alle ingeleverde documenten die een docent heeft laten vergelijken. Zowel het originele document als het bekeken document kunnen geopend worden. Het document dat vergeleken is, oogt door de vier afgebakende kaders erg overzichtelijk. Het systeem detecteert tekstpassages die letterlijk zijn overgenomen maar ook passages die veranderd zijn. Elke geplagieerde passage is gecodeerd en wordt gelinkt naar de internetbron. De resultaten kunnen zelf geverifieerd worden en de docent kan ze ook aan de student laten zien. Over het algemeen worden de rapporten binnen 24 uur na inlevering gegenereerd.

pagina 101 van 101


Figuur 10: In de rapportinformatie staat de naam en het e-mailadres van de student, de datum, het nummer en de naam van de ingeleverde paper

In de algemene gelijkenisindex is in één oogopslag te zien in hoeverre een document gelijkenis vertoont met internetbronnen op een schaal van 1 t/m 5 (1=authentiek, 5 is compleet overgenomen van andere bronnen). In bovenstaand schermafdruk is er een 5 gegeven, de hoogste vorm van

pagina 102 van 102


plagiaat. Alle verdachte internetbronnen worden in het derde kader getoond, waarbij elke bron een andere kleur heeft. In het laatste kader staat de complete paper waarbij passages verschillende kleuren kunnen hebben. Tekst in het zwart betekent dat er geen plagiaat met internetbronnen is gevonden. Elke andere kleur komt voor een bepaald percentage overeen met een internetbron. Diverse passages in een document kunnen van een zelfde internetbron komen en zullen dan dezelfde kleur hebben. Door met de muis op een passage te gaan staan, wordt de mate van overeenkomst met de bron getoond, bijvoorbeeld: 67%, 97% of 100%. Door op een gekleurd stuk tekst (anders dan zwart) te klikken, verschijnt er een pop-up met daarin de URL van de internetbron, het stuk tekst van deze internetbron en de ingeleverde paper. Zo kan de beoordelaar snel vaststellen of de desbetreffende passage letterlijk is overgenomen, deels is overgenomen, geparafraseerd of samengevat. Een andere manier is om direct in een verdachte internetbron te kijken door deze te openen. Alle passages uit het ingeleverde document die uit deze bron komen, worden door middel van een andere kleur getoond. Zo is snel te zien hoeveel tekst van een bepaalde internetbron afkomstig is. De belangrijkste beperking van dit systeem is dat het beheer (instructors, studenten, classes, assignments) van het systeem vrij intensief is. Dat maakt de inzet moeilijker. Wel heeft MyDropBox aangekondigd om deze functie ingebouwd te hebben in de nieuwe release van het systeem (augustus 2004). Natuurlijk ondervangt SafeAssignment dit probleem geheel. Een andere belangrijke beperking is dat het niet mogelijk is om een bulk-upload (meerdere documenten in één keer) te doen. Een docent zal voor elk nieuw in te leveren documenten inleverhandelingen moeten verrichten. MyDropBox biedt een 24-uurshelpdesk voor vragen op het gebied van techniek, administratie of de rekening. Eén persoon is verantwoordelijk voor alles wat met je instellingsaccount te maken heeft. Als een instelling iets wil veranderen of een service wil toevoegen, kan dat binnen 24 uur geregeld worden. Naar aanleiding van het keuzetraject voor een plagiaatdetectiesysteem voor de VU is gebleken dat het bedrijf snel en adequaat reageert op vragen en verzoeken. Een free trial versie kunt u aanvragen op www.mydropbox.com of http://www.safeassignment.com. Deze gratis versie is één maand geldig. 6.1.6 Urkund Urkund is een bedrijf uit Zweden. Het heeft op dit moment ongeveer 600 klanten in Europa, variërend van het primair onderwijs tot hoger onderwijs. Het gelijknamige softwareprogramma is een systeem dat deels via het internet wordt aangeboden, maar voor een belangrijk deel via emailverkeer wordt afgehandeld. Hoe werkt het? Een instelling kan een abonnement nemen op Urkund en moet dan een administrator aanstellen. Deze kan instructors aanmaken. Een instructor krijgt een speciaal Urkund e-mailadres toegekend. Als een docent documenten op plagiaat wil controleren dan laat hij studenten een e-mail, met een Word-, TXT- of HTML-bestand, opsturen naar dat e-mailadres.

pagina 103 van 103


De eerste stap in het opsporingsproces is het ingevoerde document te checken met elke mogelijke bron op het internet. Urkund scant: •

Word-bestanden

•

PDF-bestanden

•

HTML

•

Tekstbestanden

•

ZIP

•

TAR.

Voor de laatste twee gecomprimeerde bestanden gebruikt Urkund een eigen database en externe databases. De tweede stap is gepubliceerde werken analyseren in door wachtwoord beschermde elektronische documentendatabases, zoals die van kranten, tijdschriften, elektronische boeken en online referentiesites. Welke dat zijn is niet duidelijk. De derde stap is ingeleverde papers vergelijken met de papers in de database van de eigen instelling. Plagiaat van de studenten onderling wordt hiermee ook opgespoord. Deze database is een afzonderlijk documentenarchief voor elke klant van een instelling. Urkund kan ook gekoppeld worden aan de digitale bibliotheek en archieven van een instelling. Daarvoor dient echter wel apart betaald te worden. Als de bestanden vergeleken zijn, ontvangt de docent een e-mail met daarin eventueel een URL. Als de docent daar op klikt, ziet hij het document waaruit is geplagieerd. Studenten krijgen op hun eigen e-mail een ontvangstbevestiging dat het bericht is ontvangen. In die mail krijgen ze ook nog informatie over het plagiaat en de correcte wijzen van het citeren van bronnen. Studenten hebben zelf het recht om aan te geven of hun document gebruikt mag worden als vergelijkingsmateriaal voor andere instellingen om op plagiaat te controleren. Docenten kunnen overigens ook zelf documenten uploaden om ze op plagiaat te laten controleren door een e-mail naar hun eigen Urkund-e-mailadres te sturen.

pagina 104 van 104


Figuur 11: In de rapportinformatie staan de naam en het e-mailadres van de student, de datum, het nummer en de naam van de ingeleverde paper. Links de tekst van het ingeleverde document, in de rechterkolom de internetbron waar mogelijk uit is overgenomen.

Het document dat vergeleken is, wordt in de linkerkolom getoond. Rechtsboven is een frame waarin bronnen aangeklikt kunnen worden waarin overeenkomstige tekst is gevonden met het ingediende werkstuk. Als op zo’n link wordt geklikt, verschijnt dat in de rechterkolom. De onderstreepte tekst in de linkerkolom is tekst die overeenkomt met een geplagieerde bron. Door in de linkerkolom te klikken op deze onderstreepte tekst verschijnt de geplagieerde tekst in de rechterkolom, en ook die is dan onderstreept. Tekstpassages die letterlijk zijn overgenomen, maar ook passages die veranderd zijn worden door het systeem gedetecteerd. De resultaten kunnen zelf geverifieerd worden en de docent kan ze aan de student laten zien. Over het algemeen worden de rapporten binnen 24 uur na inlevering gegenereerd. Wat kost het? Urkund kent twee licentiemogelijkheden: 1.

licenties voor individuen; de basisprijs is € 1,- tot € 2,- per ingeschreven student.

2.

licenties voor instellingen; deze prijs is gebaseerd op het aantal fulltime ingeschreven studenten. Hierop kunnen nog kortingen op worden gegeven afhankelijk van type instelling en gebruikersniveau.

Beoordeling De belangrijkste beperking van dit systeem is het intensieve beheer en het aanmaken van accounts voor instructors en studenten. Dat maakt de inzet moeilijker. Wel heeft Urkund aangegeven dat het dit aspect wil automatiseren. Een andere beperking is dat een docent alle documenten van studenten één voor één moet bekijken en beoordelen op plagiaat. Het systeem geeft niet in één overzicht aan welke documenten een verhoogde kans op plagiaat hebben. Ook ontbreekt een mogelijkheid om documenten te koppelen aan opdrachten, deadlines of cursussen. Dit vermindert wel weer de beheerslast. Urkund wordt op dit moment gebruikt bij de rechtenfaculteit van de universiteit van Tilburg. Urkund biedt vijf dagen per week een helpdesk. Naar aanleiding van het keuzetraject voor een plagiaatdetectiesysteem voor de VU is gebleken dat het bedrijf snel en adequaat reageert op vragen en verzoeken.

pagina 105 van 105


6.1.7 Ephorus Ephorus is een webbased programma dat in Nederland is ontwikkeld en ook hier wordt vermarkt. Hoe werkt het? U moet inloggen met een gebruikersnaam en wachtwoord op het besloten deel van de website van Ephorus (www.ephorus.nl). Vervolgens kunnen documenten worden ge-upload. Dan speurt Ephorus zijn eigen database af naar vergelijkbaar materiaal. Dit gebeurt op basis van vooraf bepaalde logaritmische formules. U hebt de keuze uit drie licenties (diensten): •

Ephorus Internet: vergelijkt het ingeleverd werk met internetbronnen en genereert bij elk

•

Ephorus Campus: vergelijkt het ingeleverd werk met internetbronnen én met het eigen

ingeleverd document een rapport; opgebouwde archief, waarin het ingeleverde werk van scholen en faculteiten wordt bewaard. Hierdoor hebt u zicht op (en beheer van) álle werkstukken van álle studenten. Daarnaast kunt u statistische informatie en gepersonaliseerde studentenprofielen samenstellen. De database is overigens ook beschikbaar op cd-rom; •

Ephorus Connect: voegt tot slot de mogelijkheid toe ook instellingsdatabestanden te doorzoeken.

Om gebruik te maken van onze diensten hoeft u zelf niets te installeren. Ze zijn te bereiken via www.ephorus.nl . Ephorus zoekt uitgebreid. Dat wil zeggen dat wij op alle mogelijke samenstellingen van alinea’s zoeken, binnen deze alinea’s op verschillende zinsvolgorden en binnen zinnen op woordverplaatsingen. De mate van gelijkenis wordt per bron aangegeven van groen (niets gevonden) via oranje (enkele zinnen) tot rood (veel tot alles zit ook in die bron). In het linkerkader staat het origineel, in het rechterkader het gedeelte uit een bron. De docent moet de twee stukken tekst handmatig vergelijken. Ephorus doorzoekt de volgende bestandsformaten op het internet: •

(plain)text

•

Microsoft Word

•

HTML

Een belangrijke beperking is dat PDF-files niet kunnen worden doorzocht.

pagina 106 van 106


Figuur 12: Rapportvoorbeeld: bovenaan staan zeven gevonden bronnen die in min of meerdere mate lijken op het origineel. Daaronder links: het ingeleverde werk (het origineel), rechts de eerste bron die de meeste gelijkenis vertoont. De schaal staat op 8.

pagina 107 van 107


Figuur 13: Passages die niet teruggevonden zijn in internetbronnen, worden gewoon afgebeeld (niet in kaders)

Beoordeling Ephorus zoekt breed en diep. De tabelweergave heeft echter een te grove indeling (slechts drie categorieën, terwijl het vaak gaat om het ontdekken van een ‘sprong’ in overeenkomende hoeveelheid tekst. Bij het onderzoeken van de tekstovereenkomst is gekozen voor een onduidelijke weergave en onduidelijke functies (de sliderweergave). Elke gevonden bron dient apart (één voor één) te worden aangeklikt. Hierdoor ontbreekt het overzicht over het aantal ingeleverde teksten dat uit bronnen is overgenomen. De overeenkomsten in passages worden niet gemarkeerd in het originele document. Ephorus zegt dat in één oogopslag duidelijk wordt waar de gelijkenis om gaat: plagiaat, slordige bronvermelding of toeval. Hierover hebben wij een afwijkende mening. De docent dient zelf naar overlappingen te zoeken. Het handmatig vergelijken van het ingeleverde werk en de gevonden bron is nog wel veel werk. Uit een test van de universiteit van Utrecht (UU) is gebleken dat Ephorus gemiddeld binnen vijf minuten resultaten terugkoppelt. Ephorus zelf garandeert resultaten binnen 24 uur terug. Een aantal scholen en docenten maakt inmiddels gebruik van de diensten van Ephorus. Een korte evaluatie van Ephorus (en webcrawler) door de UU staat op http://www2.let.uu.nl/Solis/ictcentrum/informatie/ICTOnderzoek-text.htm.

6.2

Software voor het nakijken en beoordelen van essayvraagstukken

6.2.1 Markin (nakijkhulp) Markin is een applicatie die de docent ondersteunt bij het systematische nakijken van digitaal ingeleverde tekstdocumenten. Markin geeft de docent de mogelijkheid om tekstdelen te markeren

pagina 108 van 108


met feedback, commentaar of hyperlinks. Het ingeleverde werk dient als RTF- of TXT-bestand in het programma te worden ingeladen of handmatig in het tekstvak te worden ingevoegd. Vervolgens selecteert de docent één of meerdere woorden (of zinnen) en kiest hij de gestandaardiseerde feedback die op het geselecteerde stuk van toepassing is. Deze gestandaardiseerde feedback is er in de talen: Engels, Frans, Italiaans, Tsjechisch en Spaans. Het programma biedt een aantal knoppen waarmee negatieve feedback kan worden gegeven voor spelling, syntaxis, grammatica, morfologie, vocabulaire en inhoud. Verder heeft Markin een aantal knoppen waarmee positieve feedback kan worden geven. Aan elk aspect van deze feedback kan een waarde worden toegekend, zodat belangrijke aspecten zwaarder worden meegewogen dan andere aspecten. Figuur 14: Markin voor de docent: links het tekstvak, rechts het knoppenpallet (hier in het Engels)

Naast de standaard feedbackknoppen kan een docent ook zelf knoppen met feedback aanmaken en toevoegen aan het programma.

pagina 109 van 109


Figuur 15: Zelf feedbackknoppen aanmaken

Als het werk eenmaal is voorzien van feedback, kan dit binnen het programma worden geëxporteerd als een internetpagina (voor browsers vanaf versie 3 en hoger) of als een tekstdocument (*.RTF of *.TXT). Vervolgens kan de toets direct via e-mail naar de student worden teruggestuurd, met daarin de toegekende feedback, het cijfer en eventueel de statistieken over de feedback. Dit laatste is een soort samenvatting, zodat studenten snel kunnen zien hoeveel positieve en hoeveel negatieve feedback ze hebben gekregen.

pagina 110 van 110


Figuur 16: Afdrukvoorbeeld van een internetpagina zoals de student die ontvangt. In subschrift is de negatieve feedback aangegeven in rood en de positieve feedback in groen. Onderaan staan het toegekende cijfer en de statistieken over de gehele tekst.

Wat kost het? Een kopie van de complete versie van Markin versie 3.1 kost circa € 35,-; een lichte versie (circa 120 woorden of 1000 karakters) is gratis te downloaden op: http://www.cict.co.uk/software/markin Beoordeling Markin ziet eruit als een tekstverwerkingsprogramma. De gebruikerinterface is redelijk intuïtief. Door het gebruik van Markin moet de docent de beoordelingscriteria expliciteren, waardoor deze voor zowel de docent als de student inzichtelijk wordt gemaakt. De tijdsinvestering die hiermee gemoeid is, is in het begin hoog, maar wordt minder naarmate het programma vaker wordt gebruikt. Op een gegeven moment wordt een constante bereikt, waarna het geven van feedback minder arbeidsintensief wordt dan het handmatige proces. Of de tijd voor het nakijken van een essayvraag (of -toets) door het gebruik van Markin toe- of afneemt, is eigenlijk meer afhankelijk van het verschil in hoeveelheid feedback voorheen en in de nieuwe situatie. Het grote voordeel van Markin is dat studenten keurig geannoteerde inhoudelijke feedback op hun werk krijgen, en wel exact op de plaats waarop de feedback slaat. Markin is erg geschikt voor de diagnostische en certificerende toetsfunctie. Over het algemeen zullen docenten geen feedback geven op toetsen die slechts als oefening zijn bedoeld, maar dit is wel mogelijk met Markin. Markin heeft een aantal extra opties, zoals de eerdergenoemde statistieken over de feedback die wordt gegeven en de mogelijkheid om vanuit het programma het gecorrigeerde werk terug te mailen naar studenten. Nadeel is wel dat na het invoegen van alle feedback het programma niet de totale waarde berekent, dit blijft een handmatige taak van de docent.

pagina 111 van 111


6.2.2 MarkThis (semi-automatische nakijkhulp) Met MarkThis is het mogelijk essays meer gestandaardiseerd te beoordelen en van feedback te voorzien. Ook dit programma ondersteunt systematisch het nakijken van schriftelijk of elektronisch ingeleverd materiaal. Hiervoor houdt de docent in het programma per student en per criterium bij welke score een student daarop krijgt. Nadat van een groep studenten de namen zijn ingevoerd, wordt een aantal beoordelingscriteria opgesteld. Vervolgens moet bij ieder criterium een aantal feedbackopties worden bepaald en aan elke feedbackoptie een gewicht wordt gegeven. Vervolgens wordt voor ieder werkstuk een beoordeling ingevoerd in een feedbackrapport. Automatisch wordt op deze manier een kwantitatieve beoordeling voor het werkstuk bepaald, door de gewichten van elke feedbackoptie. Ook kunnen handmatig aanvullende commentaren worden toegevoegd aan het rapport. Optioneel kunnen hiervoor een aantal standaardcommentaren worden opgesteld. Het eindrapport kan de student via e-mail worden toegestuurd. Figuur 17: Lijst met studenten

Figuur 18: Lijst met criteria en beoordelingseenheden

pagina 112 van 112


Figuur 19: Feedbackoverzicht

Wat kost het? Het programma is freeware (gratis) en kan worden gedownload vanaf de website van MarkThis: www.circle-of-excellence.com. Beoordeling Door het gebruik van MarkThis moeten de beoordelingscriteria en de wegingsfactoren worden geëxpliciteerd; deze zijn dan niet alleen voor de docent maar ook voor de student inzichtelijk gemaakt. Daardoor neemt de betrouwbaarheid van de scoring toe. Daarnaast berekent het programma de scores en maakt het mooie rapportages die direct naar alle studenten gemaild kunnen worden. Het opstellen van de beoordelingscriteria en de wegingsfactoren vereisen evenwel de nodige tijdinvestering. De benodigde tijd die aan het nakijken en beoordelen van een essay wordt besteed, kan toe- of afnemen, afhankelijk van de tijd die er voorheen aan werd besteed. Ten opzichte van Markin is een nadeel van MarkThis dat de gegeven feedback niet in de tekst komt te staan. De student ontvangt slechts de resultaten. Daarnaast blijft het nakijkproces arbeidsintensief. MarkThis is ook geschikt voor certificerende toetsen (hoge betrouwbaarheid), maar wel bij lage studentenaantallen.

6.2.3 CODAS (automatische nakijkhulp) CODAS staat voor Conceptuele Documenten Analyse Systemen. Het programma kan antwoorden op opdrachten en essayvraagstukken analyseren. CODAS bestaat uit twee modulen: de fraudedetectie- en de nakijkmodule. De nakijkhulpmodule in CODAS ordent de documenten op basis van voorbeelden en tegenvoorbeelden. Een docent moet hiervoor eerst teksten als goed of slecht aanmerken, voordat het programma de rest zelf kan beoordelen. De fraudedetectiemodule is eerder in deze bijlage beschreven. . Hoe werkt het? Allereerst moeten documenten als TXT-documenten in het programma worden geladen. Het programma maakt een eerste sortering van goed naar slecht op basis van gemiddeld en afwijkend

pagina 113 van 113


woordgebruik. Random wordt een klein aantal essays gekozen die handmatig dienen te worden nagekeken. De docent kent scores toe (maximaal vier) en merkt een beperkt aantal essays daarvan als voorbeelden of tegenvoorbeelden. Deze scores worden in het programma toegevoegd, waarna CODAS dan alle opgaven aan de hand van deze gemarkeerde documenten ordent. De docent kan vervolgens in de ordening grenzen aangeven voor de gewenste beoordelingscategorieën. Steekproefsgewijs kan de ordening gecontroleerd en verfijnd worden. Vervolgens laat men het programma opnieuw de documenten ordenen en bepaalt de docent uiteindelijk de cesuur. Het ordenen door deze nakijkmodule van CODAS gebeurt met behulp van een (Bayesiaanse) statistische analyse van woordfrequenties. CODAS houdt van elk document bij welke woorden er voorkomen in het document en hoe frequent. In elk document komen andere woorden voor en woorden in andere verhoudingen, waardoor ieder document zijn specifieke 'profiel' heeft van de frequentie van aan- en afwezige woorden. Als deze frequentieprofielen erg op elkaar lijken, dan is de kans groot dat de documenten ook erg op elkaar lijken en kan er dus een indicatie zijn voor fraude. Verder kan worden verwacht dat een door een menselijke beoordelaar als 'goed' beoordeeld document een profiel zal hebben dat meer overeenkomt met andere 'goede' documenten dan met 'slechte' documenten en vice versa. CODAS beoordeelt de inhoud van documenten dus niet op het 'microniveau' van de precieze formulering en volgorde van zinnen, maar op een meer geabstraheerd, 'hoger', 'conceptueel' niveau. Figuur 20: De eerste sortering gemaakt door het programma zelf op basis van overeenkomsten en verschillen; bovenaan het best gewaardeerde werk

pagina 114 van 114


Figuur 21: In deze figuur is de tabel weergegeven waarbij aan specifieke documenten waardering is gegeven

Wat kost het? Door de hoge kosten moet serieus worden overwogen of dit programma zijn geld opbrengt. De licentie voor één opleiding kost ongeveer € 7000,- per jaar. Beoordeling Het is het meest logisch om eerst de fraudedetectiemodule aan te zetten om na te gaan of studenten (gedeelten van) teksten van elkaar hebben overgenomen. Vervolgens kan de set documenten in de nakijkmodule worden ingevoerd, voor een eerste ordening van goed en slecht. Op deze manier hoeft een menselijke beoordelaar slechts een beperkte groep documenten te beoordelen zodat de andere documenten uit dezelfde set automatisch gescoord kunnen worden. Dit levert een aanzienlijke tijdwinst op: de nakijktijd neemt significant af bij grote aantallen na te kijken essays. Afhankelijk van het aantal deelnemers kan een tijdswinst worden geboekt van 50 tot 90%. Die tijdwinst maakt het programma geschikt voor de oefenfunctie van toetsen doordat studenten vaker opdrachten kunnen maken, terwijl de docent er dan relatief weinig beoordelingsinspanning aan kwijt is. Voor de docent die met extra toetsen een stok achter de deur wil hebben, zou CODAS een uitkomst kunnen zijn. Er is evenwel een aantal randvoorwaarden waaraan voldaan moet worden om profijt te hebben van het programma. Uit de literatuur en onze eigen tests komt naar voren dat: •

de leerstof 'talig' moet zijn (dus niet te veel formules en schema’s);

•

de minimaal vereiste grootte van de essays 3/4 A4-blad is, oftewel circa 300 woorden;

•

CODAS pas (enigszins) betrouwbaar wordt vanaf tientallen essays (minstens vijftig);

•

tijdwinst met CODAS pas wordt behaald met een set van minstens 50 essays;

•

de populatie waaruit de essays worden betrokken homogeen moet zijn in taalgebruik;

pagina 115 van 115


•

voorbeeldessays van experts of van de docent de performance van het programma niet verbeteren (men beoordeelt slechts de documenten binnen de doelpopulatie);

•

er een grote spreiding in antwoordkwaliteit vereist is (dus goede en slechte essays), maar juist geen grote spreiding in onderwerpsinhoud. Begrips- en argumentatie-essays leveren in dat verband beter resultaat dan meningswerkstukken;

•

de beste resultaten worden verkregen als de scores in maximaal vier categorieën vallen.

Deze beperkingen en verfijningen en het feit dat de betrouwbaarheid niet kan worden gegarandeerd, maken dat CODAS niet geschikt is voor de certificerende toetsfunctie. Een andere beperking is dat er geen inhoudelijke feedback gegeven kan worden binnen het programma. Hierdoor is het weinig geschikt voor diagnostische toetsfunctie. De CODAS-nakijkmodule is aan te raden als de studentenaantallen groter worden, terwijl de capaciteit om na te kijken relatief klein blijft en betrouwbaarheid en feedback minder belangrijk zijn (zoals bij oefentoetsen). Ten slotte is nog bijzonder om te noemen de mogelijkheid om beoordelingen van drie verschillende docenten tegen elkaar uit te zetten, zodat verschillen in stijl van beoordelen zichtbaar worden. Ervaringen CODAS is het in het kader van het project Flexibilisering van Toetsing extra aandacht bekeken omdat het het enige programma is (naast BETSY) dat op een enigszins serieuze wijze voor het Nederlands hoger onderwijs interessant kan zijn. Faculteit Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) Bij de Faculteit der Rechtsgeleerdheid (Erasmus Universiteit Rotterdam) wordt CODAS gebruikt bij het vak Introductie computergebruik, waaraan jaarlijks ongeveer 300 studenten deelnemen. Gedurende een semester maken de studenten enkele opdrachten; de omvang van de opdrachtuitwerkingen bedraagt rond de drie pagina's. Normaliter zou de docent veel tijd kwijt zijn met het nakijken van alle opdrachtuitwerkingen (zo'n 1500 in totaal). Met CODAS hoeft de docent elke week slechts 30 tot 50 opdrachten na te kijken om het programma in staat te stellen de opdrachtuitwerkingen betrouwbaar te beoordelen. Ook kan het programma beoordelaareffecten achterhalen (kennen verschillende docenten aan dezelfde opdrachtuitwerkingen een gelijke beoordeling toe?). Het programma wordt inmiddels in verschillende onderwijssectoren gebruikt. De docenten hebben weinig moeite met het bedienen van het programma en zijn met name tevreden over de hoeveelheid tijd die het programma hen bespaart bij het elektronisch nakijken van open vragen. Studenten vinden het vooral prettig dat zij nu ook bij vakken waar veel studenten aan deelnemen de mogelijkheid hebben tijdens een vak (in plaats van enkel na afloop van een vak) credits op te bouwen. Hierdoor worden zij gestimuleerd de leerstof bij te houden en krijgen zij tussentijdse feedback op hun kennis en begrip van de leerstof. Rechtenfaculteit van de Rijksuniversiteit Leiden CODAS is in 2002-2003 als pilot ingezet bij het vak Bachelor 1 Inleiding Straf- en strafprocesrecht van de Rechtenfaculteit van de Rijksuniversiteit Leiden (RUL). 650 studenten moesten twee keer een opdracht inleveren. De eerste opdracht bestond uit 12 vragen, de tweede uit drie vragen met a, b en c. Bij deze pilot zijn beide functionaliteiten van CODAS ingezet: het opsporen van fraude en hulp bij het nakijken van de opdrachten. Voor wat betreft het opsporen van plagiaat is CODAS een succes gebleken. In de eerste ronde van opdrachten kwamen 79 gevallen van plagiaat naar voren. De tweede ronde waren dit er nog slechts 19. Daarnaast is CODAS ook ingezet als hulp bij het nakijken. De opdrachten waren digitaal aan de studenten verstrekt. Studenten mochten voor deze opdracht niet samenwerken, wel mochten ze van tevoren overleggen. Studenten moesten de opdrachten in MS Word maken en via de digitale

pagina 116 van 116


leeromgeving Teletop inleveren. De ondersteuner importeert de opdrachten uit Teletop in CODAS. CODAS geeft een initiële ordening. Docenten beoordelen random een aantal opdrachten met de hand en kennen die een A, B, C of D toe (van hoog naar laag), waarbij ze aangeven of de opdracht een representatieve (een typische, standaard, voor de hand liggende) of juist een a-typische A, B, C of D is. Deze krijgen een + respectievelijk een – toegekend. Vervolgens sorteert CODAS opnieuw, maar nu met verwerking van de plussen en minnen. Deze procedure wordt een vijftal keer herhaald. In totaal zijn 129 opdrachten nagekeken. Overgebleven grensgevallen zijn met de hand nagekeken. De studenten die betrapt zijn op plagiaat hebben een onvoldoende gekregen. De tweede serie opdrachten was goed voor een bonuspunt voor het uiteindelijke cijfer. De RUL noemt de volgende voordelen van het gebruik van CODAS. Als docenten een grote hoeveelheid opdrachten via Teletop binnenkrijgen, moeten zijn die stuk voor stuk afdrukken en met de hand nakijken en beoordelen. Met CODAS zijn alleen de opdrachten geprint die de docent met de hand heeft nagekeken. CODAS heeft een aanzienlijke tijdsbesparing opgeleverd van circa 50%. Er is 108 uur besteed aan het leren kennen van CODAS, het invoeren van de opdrachten in CODAS, het interpreteren van de resultaten uit CODAS en het handmatig nakijken van circa 10% van de opdrachten. Waren de opdrachten handmatig nagekeken, dan zouden de docenten circa 200 uur kwijt geweest zijn. De plagiaatdetectietool heeft naar grote tevredenheid gewerkt. De kwaliteit van de nakijkhulp is voldoende gebleken, en zal onderwerp zijn van verbetering en verdere afstemming. Unit Welzijn van het Alfa College in Groningen Aan een toets (een tiental open vragen) namen 149 leerlingen/studenten deel. Voor de desbetreffende docent betekende dat in de regel zo’n 20 uur handmatig nakijkwerk. Met behulp van de nakijksoftware werd dat teruggebracht naar nog geen 6 uur. Bij een herhaling van dezelfde toets in bijvoorbeeld een volgend leerjaar is de waarderingsgrondslag dus al aanwezig en kan het programma direct aan de slag met het berekenen van de scores. De tijdwinst zal dus alleen maar toenemen. De toets werd zowel met de hand als met de computer nagekeken. Na controle bleek er een correlatie van 0,86 te zijn. Het nakijkprogramma bleek bovendien gemakkelijk door de docent te bedienen. Faculteit der Sociale Wetenschappen van de Vrije Universiteit In het kader van het DU-project Flexibilisering van Toetsing is bij de faculteit Sociale Wetenschappen ook een uitgebreide test gedaan met CODAS. De uitgebreide rapportage daarvan is als PDF-document te vinden op de website Flexibilisering van Toetsing van de Digitale Universiteit als casus 12 ‘Inzetten van CODAS voor het beoordelen van essayvraagstukken: benchmarktest bij faculteit Sociale Wetenschappen, Vrije Universiteit’. Een beschrijving van een toepassing van CODAS in een praktijksituatie (met dezelfde opdracht die is gebruikt voor de benchmark test) is te vinden in dit boek als Kader 29 Gebruik van CODAS in een cursus Massacommunicatie en Journalistiek. 6.2.4 BETSY11 Betsy is een freeware programma dat ontwikkeld is door Lawrence M. Rudner, Department of Measurement, Statistics and Evaluation van de University of Maryland. Het werkt met verschillende modellen om tekstvergelijkingen uit te voeren. Dat zijn Multinominal-technieken, Bernoullitechnieken en handmatige aanpassingen. In zijn aanpak lijkt het programma erg veel op het programma CODAS. We behandelen het daarom hier ook slechts summier.

11

http://edres.org/betsy/

pagina 117 van 117


Het Multinomial-model kijkt naar de kansverdeling voor alle gekalibreerde woorden in een document. Het Bernoulli-model onderzoekt elk gekalibreerd woord en kijkt naar de probabilistische mogelijkheid dat een woord juist wel of juist niet in een document aanwezig is. Dit is een klassiek Bayesiaanse benadering omdat het ieder woord uit het geheel van het aantal woorden moet onderzoeken. Naast deze opties kunnen heel veel andere opties handmatig worden ingesteld: •

Multinomial & Bernoulli Naive Bayes models

•

Optional Porter stemming

•

Infrequent term purge

•

Phrase search

•

Diagnostic information

Ook in de mate van nauwkeurigheid lijkt BETSY veel op CODAS. De scoring kan alleen op vrij grove schaal plaatsvinden met een maximum van ongeveer 5 beoordelingscategorieën (voldoende/onvoldoende tot A/B/C/D/E). Om het programma te trainen om goede beoordelingen te geven moeten de volgende stappen worden ondernomen. 1.

In het programma moeten trainingswoorden worden ingebracht

2.

Daarna moet de database worden onderzocht.

3.

Alle infrequente woorden kunnen uit de database worden gehaald.

4.

Geef aan wat stopwoorden zijn

5.

Train woordparen

6.

Evalueerde database statistieken weer.

7.

Verwijder alle infrequente woordparen

8.

Maak nu een score van alle documenten.

Het idee van BETSY is echter dat het programma eerste getraind wordt om daarna een nieuw ingeleverd document direct met behulp van het programma te scoren. Het inleveren van een nieuw document zou via een webformulier kunnen. Met CODAS zou in principe iets vergelijkbaars kunnen worden ontwikkeld, maar dat is nog niet op de markt. 6.2.5 Intelligent Essay Assessor, Intellimetric en Criterion (geavanceerd automatisch nakijken) Intelligent Essay Assessor (http://www.knowledge-technologies.com/ ), Intellimetric (http://www.intellimetric.com) en Criterion (http://www.ets.org/criterion/ ) zijn voor eindgebruikers webprogramma’s. Studenten kunnen vrije tekst invoeren in een invulveld waarna de programma’s een beoordeling geven. Ze kunnen de tekst beoordelen op structuur, grammatica en schrijfstijl, en ze kunnen een inhoudelijk oordeel vellen. De programma’s werken met allerlei technieken om deze beoordeling mogelijk te maken. Voor een uitgebreidere beschrijving daarvan verwijzen we naar de volgende bronnen: Automated Assessment for Large Groups (Dennis, Mills et al. 2002) , Advances in Computerized Scoring of Complex Item formats (Clauser 2002), The debate on automated essay grading (Hearst 2000) en Using New Technology to Improve Assessment (Bennet 1999). IEA is een internetprogramma voor de eindgebruiker dat automatisch vrije teksten kan beoordelen en feedback terug kan geven. IEA is een zelflerend systeem en moet eerst getraind worden. Hiervoor moet een subjectspecifieke tekst (bijvoorbeeld tekstboek) in het programma worden ingevoerd. De docent moet vervolgens gerichte feedback ontwikkelen en algemene feedback per topic opstellen. Ook moet de docent aangeven welke taalaspecten beoordeeld worden en de bijbehorende feedback formuleren. De student vult in het tekstvak van het webbased programma het antwoord in. Na 5 tot 20 seconden krijgt een student feedback terug.

pagina 118 van 118


Figuur 22: Links het tekstvak waarin de student zijn essay inzet, in het midden het rapport, rechts de toelichting op het rapport

Wat kost het? Het grootste struikelblok van IEA zijn de kosten. De opstartkosten voor het nakijken van één essayvraagstuk zijn ongeveer € 8000,-. IEA is hierdoor alleen geschikt voor steeds terugkerende stof voor zeer grote aantallen studenten. Beoordeling De hierboven beschreven aspecten zijn gebaseerd op literatuurstudie en informatie die IEA heeft verstrekt. We hebben zelf geen test uitgevoerd. Het meest in het oog springende voordeel is dat de scoring op topics en die op taal direct beschikbaar zijn voor de student. IEA zou een acceptabele betrouwbaarheid hebben waardoor het geschikt is voor de certificerende toetsfunctie. Hoewel er alleen algemene feedback wordt gegenereerd, kan het ook geschikt zijn voor de diagnostische en oefentoetsfunctie. 6.3

Software voor beheer en uitlevering van gesloten toetsvragen Er is op de markt zeer veel software beschikbaar voor het aanmaken, beheren, uitleveren en analyseren van toetsen. Het zou te ver voeren om alle programma’s op te sommen en te bespreken. Onderstaande tabel bevat enige informatie over de in dit boek behandelde programma’s.

pagina 119 van 119

Beeldscherm/o

URL

Opmerkingen

Toetsverwerkin Schriftelijk

Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


Toepassingen gericht op toetsverwerking SPSS

-

-

-

X

-

All-round statistisch pakket. Het bekendste statistische pakket

http://www.spss

in onderwijswereld; flexibel te gebruiken voor allerlei soorten

.nl

statistische analyses. Een vereiste is wel dat u enige kennis hebt van statistiek MULTO

X

X

-

X

-

-

Een al ouder analysepakket. Het is ontworpen door de firma Omega. Na het verdwijnen van deze firma is het pakket in eigendom overgegaan naar VETO (Vereniging Toetsbeheer). Verder informatie is verkrijgbaar bij Ab van Beek, secretaris Veto, [email protected]. Er is echter al jaren niet meer ontwikkeld aan dit pakket. De feedbackinformatie die Multo biedt, is (nog) niet terug te vinden bij andere pakketten. Er zijn daarom voornemens om de functionaliteiten van Multo in te bouwen in (of te koppelen aan) programma's als Testvision en N@Tschool! Vooralsnog staan de gebruikers van Multo voor een moeilijke opgave om in de toekomst opvolgers te kiezen.

Teleform

X

Dit is het bekendste pakket binnen Nederland voor aanmaken

http://www.telef

van optische formulieren en het scannen daarvan inclusief

orm.com

datageneratie. Als bijlage in dit boek is de handleiding Teleform van Onderwijscentrum VU te vinden. Sonate

-

-

-

X

-

Schriftelijke ONdersteuning en Analyse van TEntamens.

http://www.icto.

Sonate werkt samen met het programma Etude

tudelft.nl/sonat

(oorspronkelijk voor beeldschermtoetsen, maar ook in te

e/

zetten voor papieren toetsen).

Toepassingen die alle functies ondersteunen Etude

X

X

X

X

X

Eigen product van de TU-Delft. Maakt gebruik van eigen

http://www.icto.

Windows-omgeving voor opbouw itembank en

tudelft.nl/etude/

beeldschermafname. Questionm

X

X

X

ark

1/2

X

X

Perception

Marktleider wereldwijd. In gebruik bij veel instellingen voor

http://www.qma

hoger onderwijs (o.a. DU, UvA, VU, Utwente). Schriftelijke

rk.com,

afname moeizaam, uitgebreide statistische en itemanalyse

http://www.stoa

mogelijk. Aanpassen van cesuur en herberekening van

s.nl

toetsuitslagen niet rechtstreeks mogelijk. Daarvoor dienen gegevens eerst geëxporteerd te worden en daarna herberekend in bijvoorbeeld SPSS of Excel. TestVision

X

X

X

X

?

Onder andere in gebruik bij de Saxion Hogescholen.

http://www.test

pagina 120 van 120

Beeldscherm/o

URL

Opmerkingen


Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


Programma biedt veel functies voor toetsontwikkeling, beheer,

vision.nl

uitlevering en analyse. Bezit uitgebreide statistische en itemanalyse mogelijk. The

X

X

X

-

X

Examiner

Nationaal op een paar plaatsen in gebruik. Zeer goed in

http://www.xmn

itembanking, minder in beeldschermafname. Goede

.com

toetsanalysse mogelijkheden. Ondersteunt geen QTI. Online beeldschermtoetsing mogelijk via Citrix-ontsluiting. Diploma

X

X

X

X

X

Compleet itembanksysteem, online toetsafname ondersteund

http://www.bro

via bijpassende website EDU of uitlevering via WebCT of

wnstone.net/

Blackboard, schriftelijke uitdraai mogelijk, toetsanalyse. Verschillende Amerikaanse uitgevers leveren itembanken uit in Diploma.. FastTest

X

X

X

X

X

Compleet itembanksysteem, gericht op produceren

http://www.ass

schriftelijke toetsen en online toetsafname. Zeer goede

ess.com

mogelijkheden voor adaptief toetsen. Goede toetsanalyse mogelijkheden. Geen QTI. SecureExa

-

-

X

-

-

http://www.soft

Programma om computers te beveiligen

waresecure.co

m

m/what.htm Basanos

X

X

-

-

-

-

Ontwikkeld binnen Fontys en op slechts enkele plaatsen binnen Fontys en op één plaats buiten Fontys in gebruik; het programma wordt niet meer onderhouden en zal van de markt verdwijnen.

MicroTest

X

X

-

-

-

III

Compleet itembanksysteem, gericht op produceren van

http://www.char

schriftelijke toetsen. Online toetsafname via WebCT mogelijk.

iot.com/microte

Geen toetsanalyse. Verschillende Amerikaanse uitgevers

st/index.asp

leveren itembanken in Brownstone. Geen QTI. Respondus

X

X

-

-

-

Eenvoudig itembanksysteem, gericht op produceren van

http://www.resp

schriftelijke toetsen en online toetsafname via standaard

ondus.com

digitale leeromgevingen. geen toetsanalyse. Verschillende Amerikaanse uitgevers leveren itembanken in Respondus. Ondersteunt QTI. Canvas

X

-

X

-

Programma om toetsvragen en quizzes in aan te maken en

http://www.can

via Flash uit te leveren. Levert zeer interactieve

vaslearning.co

toetsomgeving op. Ondersteunt QTI.

m/

Compleet online itembanksysteem, gericht op produceren van

http://www.toia.

online toetsen. Gemaakt voor onderwijs in het Verenigd

ac.uk/

Modules in Digitale leeromgevingen en complete online toetsomgevingen TOIA

X

-

Koninkrijk. Conformeert geheel aan QTI. Examsoft

X

-

X

-

X

Compleet toetssysteem, gericht op produceren van online

http://www.exa

pagina 121 van 121

Beeldscherm/o

URL

Opmerkingen


Schriftelijk

Beeldscherm

Toetsafname

Toetsontwikkeli


toetsafname. Ook toetsanalyse.

msoft.com/

Eenvoudig itembanksysteem. Eenvoudige

http://www.web

assessmen

analysemogelijkheden. Beperkt tot beschrijvende kenmerken

ct.com

tmodule

van de toets. Cesuurbepaling niet mogelijk en daardoor in

WebCT

X

X

X

-

-

feite niet geschikt voor certificerende doeleinden. Ondersteunt QTI. Eenvoudig itembanksysteem. Slechts eenvoudige

http://www.blac

assessmen

analysemogelijkheden. Beperkt tot beschrijvende kenmerken

kboard.com

tmodule

van de toets. Cesuurbepaling niet mogelijk en daardoor in

Blackboard

X

-

X

-

-

feite niet geschikt voor certificerende doeleinden. Ondersteunt QTI via Respondus. Een onderdeel van de elektronische leeromgeving

http://www.thre

l! /

N@Tschool!!; deze DLO wordt binnen het hbo gebruikt op de

eships.nl

N@Tsmart

HRO en Fontys. Het toetsgedeelte binnen N@Tschool! is

est

geschikt voor papieren en beeldschermtoetsen. Uit de

N@Tschoo

X

-

X

-

-

itembanken kunnen papieren toetsen worden samengesteld. Er is een ontwikkeling om de analyse (gedeelte van de verwerking) ook te integreren in N@Tschool. Ondersteunt QTI. X

-

X

-

X

Compleet online toetssysteem van Brownstone. De omgeving

http://www.bro

werkt samen met het programma Diploma.

wnston.net

WebAssign X

-

X

-

X

Compleet online toetssysteem, direct bruikbare content,

http://www.web

gerelateerd aan studieboeken uit beta vakgebieden

assign.com

Compleet itembanksysteem, gericht op produceren van online

http://www.clea

toetsen. Matige toetsanalyse mogelijkheden. Geen QTI.

rlearning.com

Compleet online toetssysteem. Nauwelijks geschikt voor

http://www.quia

itembanking, vooral gericht op produceren van leuke online

.com

EDU

TestPilot Quia

X X

-

X X

-

X -

quizzes. Geen QTI.

pagina 122 van 122


7

Literatuurlijst

Adamson, M. (2003). CAA Case Study. Chalkdust. University of Dundee, Learning Enhancement Unit. Semester 2, 2003-4. Baltzer, J. (2002). Principes van activerend onderwijs. Professionaliseringscursus voor beginnende docenten VU. Amsterdam, Onderwijscentrum VU, Vrije Universiteit Amsterdam. Bax, A. (2001). Cursusinformatie cursus Toetsen en Beoordelen. Amsterdam, Onderwijs Adviesbureau, Vrije Universiteit Amsterdam. Bennet, R. E. (1999). "Using New Technology to Improve Assessment." Educational Measurement: Issues and Practice(fall): 5-12. Berkel, H. v. (1999). Zicht op toetsen, toetsconstructie in het hoger onderwijs. Assen, Van Gorcum. Berkel, H. v. and A. Bax (2002). Toetsen in het Hoger Onderwijs. Houten/Diegem, Bohn Stafleu Van Loghum. Boonstra, J. J. (2000). Lopen over Water. Over dynamiek van organiseren, veranderen en leren. Amsterdam, Universiteit van Amsterdam. Brakel, G. v. and I. Heijmen-Versteegen (2003). Continu zicht: Toetsing als spiegel voor zelfgestuurd leren en competentiegericht opleiden. Eindhoven, SKIF. Brands, J. A. (2001). Het gebruik van ICT als veranderstrategisch vraagstuk, Free Man Management Consultants. http://www.freeman.nl/verander.htm Bull, J. and C. McKenna (2003). Blueprint for Computer-assisted Assessment, RoutledgeFalmer. Caluwé, L. d. and H. Vermaak (2002). Leren veranderen: een handboek voor de veranderkundige. Deventer, Kluwer. Clauser, B. E. (2002). "special issue: Advances in Computerized Scoring of Complex Item formats." Applied Measurement in Education 15(4). Collis, B. and J. Moonen (2001). Flexible Learning in a Digital World: Experiences and Expectations. Dekker, A. J. (1983). Variaties in gesloten vraagvormen. Arnhem, CITO. Dennis, L., S. Mills, et al. (2002). Automated Assessment for Large Groups. http://www.cs.nott.ac.uk/~smx/PGCHE/ Dirkzwager, A. (1998). "A Bayesian Testing Paradigm: Multiple Evaluation, a feasible alternative for Multiple Choice." Psychometrica. Dochy, F. (2002). Lezing op de Hanzehogeschool, Hanzehogeschool Groningen. Dousma, T., A. Horsten, et al. (1997). Tentamineren, Wolters-Noordhoff. Draaijer, S. (2001). Appendix 3, Ontwikkelen van inspirerende gesloten vragen. Amsterdam, Vrije Universiteit, ICT Onderwijscentrum. Draaijer, S., P. W. Groen, et al. (2003). A web-based course in quantitative basin analyses. Amsterdam, Vrije Universiteit, Onderwijsadviesbureau. Fenrich, P. (1997). Practical guidelines for creating multimedia applications. Orlando, The Dryden Press.

pagina 123 van 123


Gorissen, P. (2003). Quickscan QTI. Utrecht, Digitale Universiteit. Graaff, R. d., M. E. v. d. Hulst, et al. (2002). Het afnemen van toetsen met de computer. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax, Bohn Stafleu Van Loghum: Hoofdstuk 5. Gruiter, D. N. M. d. (1999). Hoofdstuk 2: De scoring van open vragen. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeders. Utrecht, Stichting SURF. SURF Educatie reeks. Hearst, M. A. (2000). The debate on automated essay grading. IEEE INTELLIGENT SYSTEMS: 22-37. Heijnen, G. and S. Meeder (1999). Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. Utrecht, Stichting SURF. Heijnen, G. and S. Meeders (1999). Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. Utrecht, Stichting SURF. Hermans, B. M. J. (2001). TOETSEN EN BEOORDELEN, interne notitie Onderwijsadviesbureau Vrije Universiteit. Hermans, P. and J. Hofstee (2004). "Toetsinterfaces en testbias." Onderwijs Innovatie, Open Universiteit Nederland(1): 14-16. Heuvelmans, T. (2003). "De computer als corrector." Examens 1(1): 11-14. Hulst, M. E. v. d. (2003). Rapportage opfristoets biologie, Vrije Universiteit Amsterdam, ICT Onderwijscentrum, Onderwijsadvies Bureau. Huyck, S. v. (2002). Tussentijdse toetsen als concrete begeleidingsmaatregel voor studenten in eerste kandidatuur, Katholieke Universiteit Leuven. http://www.kuleuven.ac.be/onderwijs/beleidsinfo/semex/tussentijdsetoetsen.htm Jaspers, M. and M. I. S. Schade (2002). Toets & Beleid, Fontys Hogescholen. Jong, T. d., K. Veermans, et al. SimQuest Discovery Learning: Advice Tool, Universiteit Twente. http://www.simquest.to.utwente.nl/simquest/autadv.htm Keller, J. M. (1983). Development and Use of the ARCS Model of Motivational Design. Enschede, Twente Univ. of Technology. Kor, R. (2002). Werken aan Projecten, Kluwer. Kotter, J. P. (1998). Winning at Change. Leader to Leader: 27-33. Leiblum, M. D. (1994). Biological Psychology for first year University Students. De kwaliteiten van computer ondersteund onderwijs. M. J. A. Mirande. Bussum, Coutinho. Leijen, J. J. (2002). Eindverslag vernieuwingsproject Permanent Toetsen, Universiteit Leiden. Leunissen, R. (2004). Voortgangstoets, Universitair Medisch Centrum Sint Radboud. Mazur, E. and C. H. Crouch (2001). "Peer Instruction: Ten Years of Experience and Results." American Journal of Physics 69(9): 970-977. Merriënboer, J. J. G., van. (2002). De Ontbrekende Didactiek van E-leren. OnderwijsResearchDagen (ORD), Anwerpen, België.

pagina 124 van 124


Mirande, M. J. A. (1994a). De kwaliteiten van computer ondersteund onderwijs. Bussum, Coutinho. Mirande, M. J. A. (1994b). Deel IV Efficiënte toetsing en toetsvoorbereiding. De kwaliteiten van computer ondersteund onderwijs. Bussum, Coutinho. Mirande, M. J. A. (2000). Stilstaan bij een haastig medium, over de betekenis van het Internet in het Onderwijs, Coutinho. OAB (2003). Toetsen en beoordelen, Vrije Universiteit Amsterdam. Oosterhuis-Geers, J. A. (2002). Copy-paste van het Internet. Enschede, Universiteit Twente. Pilot, A. (1998). verbazing. http://listserv.surfnet.nl/scripts/wa.exe?A2=ind9802&L=toets-ho&P=R1936&I=-3 Polderdijk, M., M. d. Volder, et al. (april 2004). Handboek toetsplanontwikkeling. Verantwoord plannen van toetsing en examinering in het hoger onderwijs, Digitale Universiteit. Poteralski, P. (1994). Computer based assessment: Design considerations. Learning Environment Technology 94, Australian Society for Educational Technology. Quia (1999-2004). Quia, Quia. Rayne, R. (2002). OnLine Assessment And Feedback: Checklist for Effective Feedback. OLAAF, Birkbeck College. http://www.bbk.ac.uk/olaaf/index.htm Respondus (2004). StudyMate, Respondus. Ricketts, C., Wilks, S., Crocker, C. (2001). WHAT FACTORS AFFECT STUDENT OPINIONS OF COMPUTERASSISTED ASSESSMENT? 5th CAA Conference, Loughborough. Schoonenboom, J., F. Roozen, et al. (2004). ICT-onderwijsmonitor Hoger Onderwijs 2002-2003. Amsterdam / Leiden, Research voor Beleid en SCO-Kohnstamm Instituut. Schuwirth, L. (2002). Hoofdstuk 8 Toetsen met korte casussen. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax. Houten/Diegem, Bohn Stafleu Van Loghum. Segers, M. S. R. (1998). "Het toetsen van probleemoplossende vaardigheden, Ervaringen met de OverAll Toets." Tijdschrift voor Hoger Onderwijs 16(3): 155-177. Senechal, G. (1997-2004). Plagiarized.com, The definitive guide to internet plagiarism. Ottawa. http://www.plagiarized.com/ Smuling, E. B., J. Brants, et al. (1990). Oriëntatie op leren en onderwijs, Wolters-Noordhoff. Steenkamp, F., S. d. Tuinder, et al. (2003). DE STUDENTENOORDELEN VAN CHOICE:, EEN STAPSGEWIJZE TOELICHTING, Centrum Hoger Onderwijs Informatie voor Consument en Expert (CHOICE). Straetmans, G. J. J. M. (1999). In Hoofdstuk 3: Adaptieve toetspakketten voor het opsporen van deficiënties op het gebied van rekenen en wiskunde. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeders. Utrecht, Stichting SURF. SURF Educatie reeks. Strookman, V. (2002). Plagiaat via internet. http://www.edusite.nl/edusite/specials/10759 Thalheimer, W. (2003). The Learning Benefits of Questions, Work Learning Research. Twijnstra and Gudde (2003). Verandermanagement, Twijnstra en Gudde. http://www.tg.nl/Diensten/HumanTalent/verander.html

pagina 125 van 125


Verkroost, M. J. Variatie in gesloten vraagvormen, TU-Delft. Vermunt, J. D. and N. Verloop (1999). "Congruence and friction between learning and teaching." Learning and Instruction 9: 257-280. Vleuten, C. P. M. v. d. and J. Daniëls (2002). Toetsen en ICT. ICT in het hoger onderwijs. H. Frencken, A. Nedermeijer, A. Pilot and I. t. Dam. Utrecht, IVLOS, Universiteit Utrecht: Hoofdstuk 3. Vleuten, C. P. M. v. d., L. W. T. Schuwirth, et al. (1999). De rol van ICT in studietoetsen: een verkenning. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland, SURF Educatie reeks. G. Heijnen and S. Meeder. Utrecht, Stichting SURF. VSSD (1987-2003). Delft, Vereniging voor Studie- en Studentenbelangen Delft. White, S. (2002). e3an Question Metadata. http://www.e3an.ac.uk/ Wijnen, W. H. F. W. and A. Muijtjens (2002). Hoofdstuk 12 Toetsen met voortgangstoetsen. Toetsen in het Hoger Onderwijs. H. v. Berkel and A. Bax. Houten/Diegem, Bohn Stafleu Van Loghum. Wilbrink, B. (1983). Toetsvragen schrijven. Utrecht/Antwerpen. Wolters, G. (1999). Examiner, niet volmaakt, wel goed bruikbaar. Toetsen en ICT in het hoger onderwijs, Stand van zaken en trend in Nederland. G. Heijnen and S. Meeder. Utrecht, Stichting SURF: 97-100. Wolters, L. (1998). Toetsvormen voor academische vaardigheden, Universiteit Leiden, ICLON, sectie Onderwijsontwikkeling.

pagina 126 van 126


pagina 127 van 127

Flexibilisering van Toetsing

Recommend Documents