Flexibilisering van Toetsing
5
Vakgroepsgewijs werken aan digitale toetsing: vakgroep Mechanica van Faculteit Werktuigbouw Technische Universiteit Delft Casusbeschrijving door Silvester Draaijer
5.1
Samenvatting Een vakgroep wordt door externe invloeden gedwongen om een efficiëntere wijze van leren en toetsen te realiseren. Ze laten daarvoor een oefen- en tentamenprogramma ontwikkelen en vullen deze met vele opgaven. De oefeningen en tentamens worden alle via het beeldscherm afgenomen. Het resultaat is dat de tijd van de docenten meer aan onderwijs besteed kan worden en dat het slagingspercentage van de cursussen stijgt. Het systeem functioneert ongeveer tien jaar. Door reorganisaties, curriculumwijzigingen en technologische veranderingen wordt het systeem daarna afgebouwd.
5.2
Probleem Tot ongeveer het jaar 2000 zijn cursussen op het terrein van mechanica (statica, sterkte- en stijfheid, dynamica) vaste en verplichte onderdelen van het curriculum voor de studenten van de TU-Delft, faculteit Industrieel Ontwerpen, Werktuigbouwkunde, Vliegtuigbouwkunde en Scheepsbouwkunde,. Deze cursussen worden centraal verzorgd door de vakgroep mechanica van de faculteit der Werktuigbouwkunde. In deze vakgebieden leren studenten hoe zij technische constructies kunnen abstraheren naar schematische modellen en naar stelsels van wiskundige vergelijkingen. Met behulp van de vergelijkingen kunnen studenten bepalen of constructies voldoen aan de eisen op het gebied van de gewenste functie (sterkte, stijfheid, minimale/maximale gebruikerskrachten, lange duur sterkte etc.). Ook kunnen zij daarmee constructies optimaliseren naar kosten, materiaalgebruik, gebruiksvriendelijkheid e.d. Al gedurende langere tijd zag de faculteit der werktuigbouwkunde zich geconfronteerd met steeds terugkerende problemen. •
De vakken zijn zgn. ‘struikelvakken’. Dit wil zeggen dat deze verplichte vakken, die een kernrol spelen in verdere en vervolgcursussen, voor veel studenten maar met moeite zijn af te ronden met een voldoende. o
Typische tentamenvragen binnen deze vakgebieden zijn over het algemeen complexe toepassingsvragen. Studenten moeten een oplossing voor een vraagstukken ontwikkelen waarbij die oplossing een belangrijke inzicht vraag in oplossingsalgoritmes (het kiezen van de juiste basistheorie voor oplossing in de eerste plaats, ten tweede het via de juiste logica uitwerken van deze basistheorie in bijbehorende wiskundige regels en tot slot het oplossen van die set wiskundige vergelijkingen). Het komt eigenlijk niet voor dat toetssamenstellers in deze vakgebieden werken met een toetsmatrijs en dat derhalve ‘simpele’ kennisvragen of ‘inzichtsvragen’ bijna nooit ‘sec’ aan studenten aangeboden worden.
•
De tijd die studenten zouden moeten besteden aan zelfstudie werd niet genomen. Het studietempo van studenten liep altijd snel achter bij het tempo van de cursus.
•
Het tijdsbeslag wat het nakijken en beoordelen van alle tentamens van enorme aantallen studenten met zich meebracht, zorgde voor een grote en eentonige werkdruk voor medewerkers van de vakgroep
•
Door het tijd noodzakelijk voor het nakijken van het werk, konden de resultaten van de tentamens niet op tijd bekend worden gemaakt. In de ogen van veel individuele studenten en studieverenigingen een laakbare situatie, aangezien in OER’s duidelijk is vastgelegd binnen welke termijn tentamens nagekeken dienen te zijn.
pagina 27 van 86
Flexibilisering van Toetsing
5.3
Gewenste situatie De vakgroep wilde stimuleren dat studenten systematischer en meer ‘time on task’ aan zelfstudie konden doen en wilde studenten daarbij gaan ondersteunen. Het idee was daarbij om studenten de mogelijkheid te bieden om tussentoetsen te laten maken waarvan het resultaat meegenomen zou kunnen worden in het eindresultaat. Door de grote aantallen studenten was het echter niet mogelijk om dit proces handmatig te ondersteunen, maar was de wens om dit met IT middelen op de lossen. Het resultaat van de ingreep diende te zijn dat de slagingspercentages op de tentamens zouden stijgen.
5.4
De oplossing In 1990 zag de vakgroep een kans om deze problemen op te gaan lossen door middel van de inzet van computers in het onderwijs. Er werd daartoe een aanvraag gedaan bij het Studeerbaarheidsfonds van de Universiteit. Het faculteitsbestuur ondersteunde de plannen. Het ontwerp werd gemaakt voor een complete toetsinfrastructuur bestaande uit: •
Netwerksoftware om beveiligd mee te kunnen toetsen (Tempo+)
•
Een netwerk met fysieke toetszaal met PC’s waar 75 studenten gelijktijdig getoetst konden worden. Deze zaal was in principe een reguliere computerzaal, maar kon met enkele ingrepen (o.a. roostering) systematisch beschikbaar komen.
•
Afspraken over een toegewijde ondersteuningsinfrastructuur bestaande uit programmeurs, systeembeheerders en zaalwachten om de bedrijfszekerheid van het gehele toetssysteem te waarborgen en de logistiek van het aanbieden van de toetsen de garanderen.
•
Een itembank met toetsvragen voor de verschillende deelvakgebieden en doelen (formatieve tussentoetsen met Tempo+, summatieve tentamens met Presto+)
In 1992 konden de eerste zelfstudie toetsen worden afgenomen. Daarna werden de zalen met een hoge bezettingsgraad ingezet voor deze toetsingsdoeleinden. Het bleek dat er een aantoonbare stijging in het slagingspercentage optrad, hoewel op meer gehoopt werd (Staal, Boekbinder et al. 1994). Ook bleek dat er een duidelijk verband was tussen de gemiddelde score op de deeltoetsen en het tentamencijfer. Dat deed de vakgroep besluiten om studenten bij een gemiddelde score boven het cijfer 7 op de deeltoetsen vrij te stellen van het tentamen. Het zelfstudiesysteem heeft daarna tot academisch jaar 2003/2004 gefunctioneerd. De beschikbaarheid van een toetsomgeving voor zelfstudie leidde echter ook al snel tot het idee om het systeem te gebruiken voor daadwerkelijke tentaminering. De software werd daarop enigszins aangepast (Presto+). Het verschil tussen de deeltoetssoftware en de tentamensoftware is dat in de tentamensoftware meer intelligentie werd ingebouwd waardoor studenten via het beantwoorden van deelvraagstukken konden oplossen. In 1994 is het eerste tentamen afgenomen. De bezettingsgraad van het systeem nam daarbij nog verder toe. Dit systeem heeft tot 2002 gefunctioneerd. Het slagingspercentage voor de mechanica vakken is onder andere door de introductie van het systeem gestegen. Door vele oorzaken is het slagingspercentage echter niet zoveel gestegen als was gehoopt. 5.5
Toetsontwikkeling Het ontwikkelen van de toetsen vind plaats door één of twee gespecialiseerde docenten die daar tijd voor toegewezen hebben gekregen. Deze docenten overzien elk van de verschillende deelvakgebieden binnen het domein van de mechanica voldoende en hebben zicht op de inhoud en het niveau van de vakken. In eerste instantie worden er elk jaar net voldoende nieuwe toetsitems ontwikkeld om de studenten nieuwe opdrachten voor te leggen. In de later jaren worden er door een reeds gepensioneerde docent regelmatig nieuwe opgaven ontwikkeld.
pagina 28 van 86
Flexibilisering van Toetsing
Het ontwikkelen van opgaven neemt veel tijd in beslag, gemiddeld zo’n 8 uur voor een opgave in Presto+ (dus een hoofdvraag en daarbij 3-4 deelvragen). De opgaven zijn zodanig dat er een hoofdvraag dient te worden geformuleerd en een aantal subvragen die in logische volgorde doorlopen moeten kunnen worden. De vraagstukken maken gebruik van variabele waarden waardoor iedere studenten en uniek numeriek vraagstuk voorgelegd krijgt. Alle mogelijk uitkomsten van de vraagstukken moeten onderzocht worden op hun geldigheid. Figuur 4 Schermafdruk van een toetsvraag van Tempo+
5.6
Toetsbeheer Het beheer van de toetsitems en toetsen wordt gedaan door een gespecialiseerde beheerder. De toetsen worden door de docenten aangemaakt in een tekstverwerkingsformaat. Het bronbestand van alle toetsitems bestaat uit een papieren versie van alle toetsen. Per deelvakgebied/cursus van de mechanica zijn ze opgeslagen in een map. In de mappen zelf is geen verder nadere ordening aanwezig dan in principe de vakcode. Alle items hebben daarnaast simpelweg een uniek nummer. De toetsvragen zelf zitten opgeslagen in een MS-Access databestand, waarbij de tekst en de tekeningen in losse files zitten. Dat bestand kan gelezen worden door de programma’s Tempo+ en Presto+ om toetsen mee aan te maken. Het samenstellen van een toets gebeurt elke afname opnieuw. De docent van een vak bepaalt aan de hand van de voortgang van de lopende cursussen welke vraagstukken in een toets moeten worden opgenomen. De docent heeft m.a.w. in het hoofd: Boek-Hoofdstuk-ParagraafMoeilijkheidsgraad. Het selecteren geschiedt door het doorbladeren van het toetsbestand in de map. De docent heeft zelf een mentaal beeld van de inhoud van de map en kan zo snel geschikte opgaven selecteren. Op een formulier geeft de docent aan welke toetsitems in de toets opgenomen dienen te worden en met welke overige instellingen (zoals tijdsduur e.d.).
5.7
Toetsafname De beheerder maakt aan de hand van deze selectie toetsen aan. Die toetsen bestaan dan uit genetwerkte .exe bestanden met zowel de toetsinhoud als de toetsomgeving erin. Die staan gereed op het netwerk op het moment dat een cohort studenten in de toetszaal aanwezig is om de toets te maken. Per tussentoets krijgen studenten uit Tempo+ random gekozen vragen aangeboden aan de hand van de selectie Boek-Hoofdstuk-Paragraaf-Moeilijkheidsgraad. Bij een tentamen met Presto+ krijgen studenten dezelfde opgaven, maar elk met unieke numerieke parameters. Alle akties en resultaten van de studenten worden centraal bijgehouden.
pagina 29 van 86
Flexibilisering van Toetsing
Inschrijving en inroostering De logistiek bij de tussentoetsing is zodanig dat er wekelijks op inschrijving door studenten kan worden deelgenomen. Per week staan de tussentoetsen behorende bij de stof van die week voor die specifieke studentenpopulatie klaar. De tentamens vinden pas plaats aan het eind van een onderwijsperiode. Ook daar moeten studenten zich voor inschrijven. Tijdens de afname van de toetsen zijn er meestal drie personen aanwezig. De docent om mogelijke problemen met de vraagstukken van studenten te helpen beantwoorden. Twee surveillant (studentassisstenten) om fraude tegen te gaan. Vaak is ook netwerkbeheer aanwezig om er voor te zorgen dat het netwerk en de PC’s goed functioneren. Beveiliging Studenten loggen in onder hun eigen collegekaartnummer. De surveillant controleert of de student daadwerkelijk degene is waarvoor deze zich uitgeeft. Er wordt zodanig een lijst bijgehouden met geldige studenten. Als een student bijvoorbeeld opnieuw in zou loggen onder een andere identiteit, dan zou die afname niet geldig worden verklaard. Als studenten onverhoopt het programma onbedoeld sluiten, dan kan er op nieuw opgestart worden. Het programma slaat alle pogingen, antwoorden en variabelen op en onthoudt waar de student gebleven was en hoeveel tijd er nog over is. Figuur 5 Blik in de PC-zaal voor toetsing met Tempo+ en Presto+
5.8
Toetsverwerking De progressie van de toets van de studenten wordt real-time bijgehouden. Gedurende de toets kan de student opvragen hoeveel antwoorden er goed zijn en wat de behaalde score is. De studenten ervaren het feit dat het programma het resultaat real-time bijhoudt op verschillende wijzen: •
Studenten die een goede progressie hebben, worden extra gestimuleerd om de
•
Studenten die bij het begin van de toets een aantal malen een fout antwoord geven, raken
vervolgvragen goed te beantwoorden. door de ‘negatieve’ feedback eerder dan strikt noodzakelijk is gedemotiveerd. Door het zorgvuldig samenstellen van de toetsvragen komt het nauwelijks voor dat toetsresultaten achteraf, als gevolg van een verkeerd geformuleerde toetsvraag of interne fouten, gewijzigd hoeft te worden. Ook wordt de cesuur van de toetsen achteraf niet gedifferentieerd (per vraag bijvoorbeeld) aangepast, maar hooguit voor een gehele toets of cohort in één keer.
pagina 30 van 86
Flexibilisering van Toetsing
De resultaten worden door de systeembeheerder na afloop van de toets op papier uitgedraaid en aan de docent van het vak overhandigt voor verdere verwerking. 5.9
Kosten en Baten analyse Hieronder is een inschatting gegeven van de kosten en baten die verbonden zijn aan het systeem. De belangrijkste kosten betreffen de investering in het ontwikkelen van de toetsvragen. De kosten voor PC’s e.d. wordt buiten beschouwing gelaten aangezien gebruik is gemaakt van reguliere PCzalen. De belangrijkste baten van het gehele systeem zijn terug te vinden in besparing in nakijktijd en de snellere doorstroom van studenten door de mechanica vakken waardoor ook op dat terrein voordelen kunnen worden ingeboekt.. Met deze veronderstellingen ziet de kosten en batenanalyse van het systeem er ongeveer als volgt uit: Tabel 5 Kosten en baten Tempo+ en Presto+
Investering Toetsprogramma ontwikkelen in Inigo € door UTwente Onderhoud software Toetsitems ontwikkelen: 8 uur per item x € € 75/uur = € 600,-/item. Totaal 1500 items. Afschrijving PC’s: 75 PC x € 500,-/jaar Afschrijving Netwerk Gebouwkosten 75 maal 4m^2 x 300 Ondersteuningsorganisatie (programmeur, systeembeheer): 2,0 FTE Aantal toetsafnames per jaar ongeveer 12.000. Tijdsvoordeel voor correctoren: 10 min/toetsafname x € 75 Verbeterde doorstroom en derhalve uitstroom zorgt voor meer inkomsten Totaal Totaal over 10 jaar Totaal saldo
€ €
Jaarlijkse kosten
Jaarlijkse opbrengsten
50.000 €
10.000
900.000
nvt nvt nvt nvt
950.000 950.000
€ €
10.000 100.000
€
180.000
€
25.000
€ € €
205.000 2.050.000 1.000.000
De conclusie is derhalve dat het systeem op deze wijze – ook in geld uitgedrukt – een zeer zinvolle exercitie is gebleken. Worden de kosten van systeembeheer e.d. bijvoorbeeld voor de helft toegerekend, dan ziet het beeld er als volgt uit.
pagina 31 van 86
Flexibilisering van Toetsing
Tabel 6 Kosten en baten Tempo+ en Presto+ met meerekening van systeembeheer
Investering Toetsprogramma ontwikkelen in Inigo door UTwente Onderhoud software Toetsitems ontwikkelen: 8 uur per item x € 75/uur = € 600,-/item. Totaal 1500 items. Afschrijving PC’s: 75 PC x € 500,-/jaar/2
€
50.000
€
900.000
Afschrijving Netwerk/2 Gebouwkosten 75 maal 4m^2 x 300/2 Ondersteuningsorganisatie (programmeur, systeembeheer): 2,0 FTE/2 Aantal toetsafnames per jaar ongeveer 12.000. Tijdsvoordeel voor correctoren: 10 min/toetsafname x € 75
Jaarlijkse kosten
€
10.000
€
18.750
€ € €
10.000 45.000 30.000
Verbeterde doorstroom en derhalve uitstroom zorgt voor meer inkomsten Totaal Totaal over 10 jaar Jaarlijks batig saldo (exclusief investering)
€ €
950.000 950.000
€ €
113.750 1.137.500
Jaarlijkse opbrengsten
€
180.000
€
25.000
€ € €
205.000 2.050.000 37.500-
Dit beeld is wat minder gunstig te noemen, maar nog steeds lijken investeringen en baten redelijk in balans. 5.10
Toekomst Door reorganisaties in de Universiteit en door het verouderen van systemen zag de vakgroep en de faculteit zich genoodzaakt om zo rond 2003 het systeem buiten werking te stellen. De universiteit heeft gekozen voor het ontwikkelen van één centrale toetsvoorziening voor de gehele universiteit. De gelden die in andere projecten werden geïnvesteerd die niet in relatie stonden tot die toetsvoorziening werden stopgezet. De medewerkers van de vakgroep mechanica zijn het niet eens met deze beslissing. Daarnaast vindt er een universiteitsbrede standaardisering plaats van cursusinhouden op het gebied van mechanica en zijn de toetsen en tentamens nu voor elke faculteit precies hetzelfde. In plaats van tentamens voor groepen van 150 studenten dienen er nu gelijktijdig toetsen te worden afgenomen voor meer dan 400 studenten, verspreid over verschillende lokaties. Om het principe van zelfstudie toch te handhaven heeft de vakgroep het Computer Ondersteunde Zelfstudie (COZ) programma en bijbehorende methodiek van de faculteit der Civiele Techniek overgenomen. Bij dit systeem krijgen studenten twee maal per week een set van 12 opgaven mee, die ze in eigen tijd en bij voorkeur in groepjes moeten maken. Aan het eind van de week leveren ze de antwoorden in. Ze krijgen dan direct terugkoppeling of hun antwoorden correct of incorrect zijn. Tijdens de contacturen wordt ingegaan op de vraagstukken die meer dan gemiddeld fout werden gemaakt. De beoordelingen tellen mee voor de eindbeoordeling van de cursus, indien aan een aantal randvoorwaarden voor voldoende deelname is voldaan1.
1
Zie verder bijvoorbeeld: http://www.mechanics.citg.tudelft.nl/~studass/ct1041/coztoz.html
pagina 32 van 86
Flexibilisering van Toetsing
5.11
Discussie Om studie-uitval tegen te gaan en om het studietempo van studenten te verhogen is het systeem succesvol gebleken. De maatschappelijke waardering is erg hoog. Het systeem is ook ingezet bij andere opleidingen (Graaff, Hulst et al. 2002). Daarnaast heeft het systeem voldoende lang gefunctioneerd om de investering terug te verdienen. Studenten zijn verdeeld over de waarde voor het systeem. Sommige studenten vinden het goed en waardevol om door het systeem ‘gedwongen’ te worden om regelmatig te studeren. Anderen vinden een dergelijk systeem juist ‘schools’. De terugkoppeling van het systeem vinden ze matig doordat het antwoord door het systeem wordt verwerkt, maar dat er geen inhoudelijke feedback wordt gegeven na het beantwoorden van de vraagstukken. De waardering van de medewerkers voor het systeem is hoog. Het systeem voldeed aan de verwachting om efficiënter en effectiever onderwijs te verzorgen. Het systeem zorgde ervoor dat docenten meer nadruk konden leggen op het ontwikkelen en verzorgen van goed onderwijs en minder op het verwerken van tentamens. De medewerkers benadrukken daarbij nogmaals dat het systeem met tussentoetsen (naast andere aspecten) alleen werkt als er door studenten een voordeel te behalen valt (deelpunten, vrijstelling e.d.). Vrijwillige tussentoetsen zonder bonus zullen niet werken. Het tienjarig succes van de geschetste aanpak in deze casus is terug te voeren op de gevoelde urgentie en noodzaak van een rigoreus andere oplossing en een duidelijk gedeelde visie van de vakgroep over de wijze waarop dit probleem aangepakt dient te worden. Door enthousiasme lukt het tevens om een voldoende grote database van vraagstukken te ontwikkelen. Meer informatie over deze gehele casus is te vinden in: (Staal, Kunst et al. 1993), (Staal, Boekbinder et al. 1994).
5.12
Achtergrond informatie Onderstaande informatie is afkomstig van de inmiddels opgeheven voorlichtingswebsite over Tempo+ en Presto+: http://www.ocp.tudelft.nl/em/edu/tempo/tempo.htm Doel Het stimuleren en corrigeren van de zelfstudie van grote aantallen studenten (~ 12.000 per jaar) Middel De student kan in de onderwijsperiode wekelijks een toets afleggen waarvan het gemiddelde afhankelijk van het vak voor 30 of 40% meetelt in het tentamencijfer (alleen in positieve zin). Bij méér dan voldoende resultaat heeft de student bij sommige vakken vrijstelling van het tentamen. Een deel van de vragen uit de toets is aanbevolen oefenstof uit het studiemateriaal. Omschrijving TeMpo+ is een toetssysteem onder Microsoft Windows met een daaraan gekoppeld vragenbestand. De student krijgt bij de toets een aantal vragen, welke in willekeurige volgorde beantwoord kunnen worden. De antwoorden zijn numeriek en dienen binnen een per vraag instelbare tolerantie juist te zijn. Het aantal antwoordpogingen is per vraag instelbaar. Een vraag bestaat uit: - Een omschrijving- en vraagtekst aangemaakt m.b.v. WRITE. - Een tekening welke in diverse tekenpakketten kan worden aangemaakt. - Maximaal 6 parameters met ieder 6 kombinaties. - Maximaal 10 tussenformules en 1 eindformule. Voor het samenstellen van de toetsen zijn nog andere vakinhoudelijke en didactische gegevens in een database beschikbaar. Huidig vragenbestand (2001)
pagina 33 van 86
Flexibilisering van Toetsing
Ruim 1500 vragen (in totaal ruim 550.000 verschillende kombinaties) op het gebied van Statica, Stijfheid en Sterkte en Dynamica. Het niveau van de vragen ligt op eerste en tweede jaars Universiteit c.q. HBO. Mogelijkheden Het toetssysteem kan onbeperkt met andere vragen worden uitgebreid. Aantal afgenomen toetsen: 1992/1993
11.219
1993/1994
7.983
1994/1995
9.780
1995/1996
10.846
1996/1997
12.785
1997/1998
12.361
1998/1999
11.556
1999-2000
10.480
2000-2001
6.552
Totaal
93.562
Toetsen Om het regelmatig studeren te bevorderen wordt de student in de gelegenheid gesteld om een serie computertoetsen af te leggen gedurende de onderwijsperiode. Hiermee is het mogelijk om het tentamencijfer te verhogen. Deelname aan de toetsen is niet verplicht maar wel gewenst. Per toets worden gedurende maximaal één uur vragen gesteld over de stof die in de voorafgaande collegeweek is besproken (zie studiewijzer). De toetsen worden meestal op dinsdagavond, woensdagavond en soms donderdagavond volgend op de betreffende collegeweek afgenomen. Elke student moet elke week opnieuw, uiterlijk vrijdag voorafgaand aan de toets, zelf zijn dag en tijd van toetsen vastleggen door middel van de inschrijfcomputer. Deze inschrijfcomputer bevind zich: gebouw WbMT, bouwdeel 8C (blok 3), 2e verdieping en werkt uitsluitend met (de barcode van) het 7 cijferig studienummer. De toetsen worden afgenomen in de PC-zaal van het onderwijsgebouw WbMT, 1e verdieping. Bekendmaking toetscijfers Elke week worden na de toetsen de toetscijfers op internet bekendgemaakt. Een week nadien zijn hierin ook de mogelijke correcties n.a.v. klachten verwerkt. De juiste pagina voor het bekijken van de toetscijfers staat op de WWWpagina van de betreffende studiewijzer vermeld. Oefenen met het gebruik van het toets- en tentamenprogramma. Het is mogelijk met het programma te oefenen door de demoversie van het programma (MS Windows 3.1 of hoger) te downloaden vanaf : http://www.ocp.tudelft.nl/em/edu/tempo/ Daar is tevens diverse informatie over het programma en het gebruik te vinden. Versie : 27-08-2003 Meer literatuur over onderzoek naar het effect van regelmatig toetsen op het leren en studieprestaties zijn o.a. Tuckman (Tuckman 2000-2003). Artikelen die gaan over deze casus van de TU-Delft van Staal (Staal, Kunst et al. 1993; Staal, Boekbinder et al. 1994) zijn te downloaden vanaf de website van Flexibilisering van Toetsing via http://www.du.nl/flextoets.
pagina 34 van 86
