Eindrapportage EMP project 2007-2008
Het inzetten van QMP voor afname van digitale tentamens binnen FALW
Faculteit der Aard- en Levenswetenschappen ICTO& Onderwijs
Opdrachtgever: Dr. K.S. Kits Projectleider: K.M. van der Wilt Amsterdam, 8 april 2008
Inhoudsopgave Eindrapportage EMP project 2007-2008.....................................................................................1 1 Samenvatting....................................................................................................................................3 1.1. Opzet .................................................................................................................................................. 3 1.2. Doelen ................................................................................................................................................ 3 1.3. Structuur ........................................................................................................................................... 3 2 Beschrijving van de uitgevoerde activiteiten en resultaten .........................................4 2.1. Testen tentamen / tentamenimage Mens en Evolutie................................................... 4 2.1.1 Resultaten test Mens en Evolutie.........................................................................................4 2.2. De uitvoering van het tentamen Mens en Evolutie........................................................ 4 2.2.1. Resultaten uitvoering tentamen Mens en Evolutie......................................................4 2.3. Testen tentamen / tentamenimage Celbiologie............................................................... 4 2.3.1. Resultaten test tentamen Celbiologie...............................................................................5 2.4. De uitvoering van het tentamen Celbiologie..................................................................... 5 2.4.1. Resultaten uitvoering tentamen Celbiologie..................................................................5 2.5. Opstellen en schrijven van een toetsprocedure voor docenten FALW ................... 5 3 Evaluatie van de activiteiten en van de resultaten...........................................................5 3.1. Werkwijze ......................................................................................................................................... 6 3.2 Resultaten.......................................................................................................................................... 6 4. Conclusies en aanbevelingen ......................................................................................................6 4.1. Werken achter een beeldscherm............................................................................................. 6 4.2. Uitbreiding Topic structuur / tags......................................................................................... 6 4.3. Beeldkappen .................................................................................................................................... 7 4.4. Tentamenhal.................................................................................................................................... 7 4.5. Risicoanalyse................................................................................................................................... 7
Bijlagen: 1. De originele projectaanvraag 2. Procedure digitaal tentamineren voor docenten FALW 3. Enquêtevragen
2
1
Samenvatting
Bij de Faculteit Aard en Levenswetenschappen is voor twee cursussen een digitale vragenbank en een digitaal tentamen ontwikkeld met het toetsprogramma Question Mark Perception. Op 27 september 2007 is het eerste digitale tentamen afgenomen onder de 320 studenten van de cursus Mens en Evolutie.
1.1. Opzet: Aan de hand van al bestaande Multiple choice vragen (100 vragen Mens en Evolutie, 180 vragen Celbiologie) is voor beide cursussen een vragenbank opgezet in de toetsapplicatie Question Mark Perception. De docent van de cursus Mens en Evolutie heeft 50 extra vragen ontwikkeld om de vragenbank uit te breiden. Samen met de QMP-beheerder van de faculteit en het Onderwijscentrum VU heeft de docent 30 van de 150 vragen omgezet naar geavanceerde vraagtypen. Voor twee computerzalen bij FALW zijn beeldkappen ontwikkeld voor de beeldschermen. De computerdienst van FALW heeft het bestaande tentamenimage uitgebreid met Question mark Secure. Op de dag van het tentamen werd het tentamen achtereenvolgens door twee groepen studenten afgenomen. Van 13.00 tot 15.30 werd de eerste groep van 160 studenten verdeeld over 4 computerzalen en van 15.30 - 18.00 de tweede groep. Het tentamen, dat werd samengesteld uit een random trekking uit de vragenbank, was voor iedere student uniek. De studenten kregen bij aanvang van het tentamen een inlogcode en een handleiding. Na afloop van het tentamen werd de score direct op het beeldscherm getoond.
1.2. Doelen: • •
•
Aan het eind van het project beschikt de faculteit over een procedure waarmee een digitaal tentamen kan worden opgezet. Met de toetsanalyse- en rapportage module van Question Mark Perception krijgt de docent een geavanceerd middel om zijn/haar toets op diverse criteria te analyseren, de vragen te evalueren en direct na afloop van het tentamen over de resultaten te beschikken. Dit levert een enorme tijdwinst op bij het nakijken en beoordelen van de resultaten. De nieuw ontwikkelde vraagtypen nodigen uit tot het op een andere manier toetsen van kennis.
1.3. Structuur Projectleiding: Karin van der Wilt: ICT&O medewerkster FALW, facultair QMP-beheerder Projectmedewerkers: Pieter Willem Groen: Onderwijscentrum VU Rob van Leeuwen: Onderwijscentrum VU Nico van Straalen: Docent Mens en Evolutie Nellie Harms: docente Celbiologie Ben Otto: docent Celbiologie Liesbeth van de Grint: Onderwijskundig advies
3
Stuurgroep De stuurgroep bestond uit Dr. Karel Kits (onderwijsdirecteur Faculteit Aarden Levenswetenschappen) in september 2007 opgevolgd door dr. Nellie Harms, Liesbeth van de Grint(coördinator ICT&O)
2
Beschrijving van de uitgevoerde activiteiten en resultaten
2.1. Testen tentamen / tentamenimage Mens en Evolutie Beschrijving activiteit: Testen van het tentamenimage, de performance van het systeem, het tentamen template en de inlogprocedure. De testgroep bestaat uit 8 studentassistenten (surveillanten), 3 docenten en 2 QMP-beheerders van het Onderwijscentrum VU. 2.1.1 Resultaten test Mens en Evolutie Het tentamenimage werkt goed, de navigatiestructuur is helder, de studentassistenten waren benieuwd of zij met hun weggezakte kennis nog een goede score zouden halen. Bij één vraagtype (ranking) was niet duidelijk hoe je een antwoord kon wijzigen. Nadat hiervoor een oplossing werd gevonden besloten we hierover extra uitleg op te nemen in de handleiding voor de studenten. 2.2. De uitvoering van het tentamen Mens en Evolutie. Bij de eerste groep van 160 studenten verliep het tentamen goed. Geen inlogproblemen, weing vragen over de werkwijze, iedereen was rustig aan het werk. Het verzenden van de antwoorden naar de QMP-server verliep zonder problemen. Tijdens het tentamen van de tweede groep was er een connectieprobleem met het systeem van Stoas in Wageningen. Het systeem bleef hangen op het moment dat twee studenten hun antwoorden verstuurden. Er is direct contact opgenomen met de centrale QMP-beheerder van de VU. Deze heeft direct contact opgenomen met een medewerker van STOAS. Bij STOAS werd een storing geconstateerd. De studenten werden gerustgesteld, en met de docent werd op de gang overlegd wat we het beste konden doen. De studenten mochten het tentamen op datzelfde moment nog een keer overmaken met een gastlogin. Daarnaast heeft de docent toegezegd dat de studenten het op een later tijdstip ook schriftelijk nog eens mochten overmaken. 2.2.1. Resultaten uitvoering tentamen Mens en Evolutie Van 318 studenten zijn de tentamens goed verstuurd. De QMP-rapportage- en analyse module geeft direct na afloop de resultaten weer. De docent had daardoor dezelfde middag al inzage in de resultaten. In het rapportage systeem van QMP is door Silvester Draaijer nagegaan of de resultaten van de twee studenten met connectieproblemen konden worden teruggevonden. Dit was het geval. De docent heeft vervolgens met de studenten overlegd over het cijfer. 2.3. Testen tentamen / tentamenimage Celbiologie
4
Beschrijving activiteit: Testen van het tentamenimage en performance van het systeem. Testen inlogprocedure m.b.v. een handleiding voor de studenten. Testgroep bestaat uit 3 docenten, en een medewerker c.q. tentamenimage ontwikkelaar van de Computerdienst. 2.3.1. Resultaten test tentamen Celbiologie Resultaten: het tentamenimage werkt goed, de navigatiestructuur is voor de testgroep helder. 2.4. De uitvoering van het tentamen Celbiologie. Op de ochtend van het tentamen 9.10 uur belde een medewerker van de computerdienst dat het netwerk was vastgelopen op het laden van het tentamen image. Met man en macht is er de hele ochtend gewerkt aan het herstel hiervan. Om 12.00 uur was de situatie nog niet veranderd. Het tentamen stond gepland om 13.00 uur. In overleg met de computerdienst en de docenten is daarna het tentamen uitgeprint. Daarvoor is de print- en randomize functie in QMP gebruikt zodat de studenten om en om een andere versie van het tentamen kregen. 2.4.1. Resultaten uitvoering tentamen Celbiologie Het tentamen is noodgedwongen schriftelijk afgenomen en voor analyse doorgestuurd naar het Onderwijscentrum VU. 2.5. Opstellen en schrijven van een toetsprocedure voor docenten FALW Door het Onderwijscentrum VU is inmiddels een procedure geschreven voor facultair QMP-beheerders en voor vraag– en toetsontwikkelaars. Op basis hiervan is een procedure op maat geschreven voor FALW (zie: bijlage)
3
Evaluatie van de activiteiten en van de resultaten • •
•
Evaluatie met de facultaire QMP beheerder en QMP-specialisten van het Onderwijscentrum VU en de docent Evaluatie onder de studenten Een enquête onder de studenten levert een aardig beeld op hoe de studenten het ervaren hebben om een tentamen digitaal af te leggen. 60 % van de studenten die de enquête terugstuurde was kritisch over het tentamen en 40% heeft het positief ervaren. Als positief werd de navigatiestructuur en de eindscore genoemd. Negatief de kleine letters en twee uur achter een beeldscherm zitten(en de daarbij opkomende hoofdpijn) Slechts 60 van de 320 studenten hebben de enquête teruggestuurd. Zie: bijlage 3 Evaluatie met de stuurgroep. De opdrachtgever: Dr. K S. Kits heeft in het begin van het project zijn functie als onderwijsdirecteur van FALW neergelegd. 3 maanden later kreeg de faculteit een nieuwe onderwijsdirecteur. Deze nieuwe onderwijsdirecteur was in haar vorige functie de docent/coördinator van de cursus Celbiologie. Voor deze cursus werd pas 1 maand vòòr het tentamen van 10 december een opvolger gevonden die direct aankondigde ook een andere baan te hebben aanvaard en nog twee maanden op de VU zal werken. Dit maakt evaluatie complex.
5
Doorlopend heeft overleg plaatsgevonden met Liesbeth van de Grint, Onderwijscentrum VU en de betreffende docent(en)
3.1. Werkwijze Nabespreking na beide tentamens met Silvester Draaijer, Pieter Willem Groen en Rob van Leeuwen van het Onderwijscentrum VU en vervolgens een nabespreking met de docent van de cursus over de gang van zaken en resultaten van de analyse. Enquêtevragen verstuurd via de Blackboardsite van de cursus Mens en Evolutie aan de deelnemende studenten. Zie: bijlage 3 3.2 Resultaten Ondanks de problemen met de connectie bij het eerste tentamen Mens en Evolutie zijn we onverdeeld positief over het gehele verloop van het tentamen. QMP is inmiddels overgegaan op een nieuwe versie, en voor de VU is een andere serveromgeving ingericht. De capaciteit en performance van het systeem zal hiermee verbeteren. Bij het tweede tentamen Celbiologie was iedereen het er over eens dat er adequaat is gehandeld. Door tijdig de beslissing te nemen het tentamen uit te printen en van papier af te nemen. Er is gebruik gemaakt van een printfunctie in QMP waarmee je snel twee tentamenvarianten uit het systeem kunt halen. Zodat de studenten om en om een ander tentamen kregen. Het vastlopen van het netwerk op het tentamenimage is veroorzaakt door het omzetten van switches onder de computertafels in de lokalen. Na een dag testen kwam de computerdienst hier achter.
4. Conclusies en aanbevelingen Los van de technische problemen was het een geslaagd project. De docenten zijn enthousiast over de vele mogelijkheden van QMP. De interesse voor digitaal tentamineren is gegroeid onder de docenten. Er is een aantal zaken dat verbeterd kan worden: 4.1. Werken achter een beeldscherm Uit de reactie van de studenten kwam onder andere naar voren dat twee uur op een beeldscherm kijken erg vermoeiend is. Het gebruikte lettertype is te klein. Daarnaast missen de studenten de mogelijkheid om op het beeldscherm aantekeningen te maken bij de vragen. Een extra aanvulling op het assessment template zou kunnen zijn dat er ruimte is voor notities en dat de vragen waarmee de studenten nog niet klaar zijn gemarkeerd kunnen worden. Het is mogenlijk in QMP, maar het moet nog geïntegreerd worden in het template. 4.2. Uitbreiding Topic structuur / tags Uit de enquête onder de studenten kwam naar voren dat het random genereren van vragen uit de diverse topics niet altijd even gunstig uitpakt.
6
Zijn er b.v. 5 vragen waarbij je iets moet uitrekenen, aan de hand van een formule, in een topic met totaal 25 vragen, dan is er een kans dat je ze alle 5 krijgt en een andere student maar 1. Wanneer je dit onderwerp niet goed beheerst, heb je pech. In QMP zou een nog fijnmaziger topicstructuur moeten worden aangebracht. Niet alleen op basis van onderwerp, maar ook het type vragen. B.v. random 5 vragen uit topic x waarvan 1 numeriek. 4.3. Beeldkappen Een student vond het storend dat hij niet om zich heen kon kijken om zijn ogen even rust te geven en na te denken. Er werd door de surveillanten te goed opgelet. Met name in de lokalen waar geen beeldkappen aanwezig zijn werd alles scherp door de surveillanten in de gaten gehouden. Een aanbeveling is om alle tentamenzalen op de faculteit te voorzien van beeldkappen. 4.4. Tentamenhal Maar het zou nog beter zijn wanneer er op de campus een grote tentamenhal zou komen met computers. Standaard geconfigureerd waarmee problemen, als met het tentamenimage, voorkomen kunnen worden. Een ander nadeel van het gebruik maken van computerzalen op de faculteit is, dat je de zalen een dag onttrekt aan het reguliere onderwijs. Studenten lopen in de gangen te mopperen omdat ze geen werkplek meer kunnen vinden. 4.5. Risicoanalyse Van te voren goed doorspreken wat de bekende risico's zijn en welk scenario gekozen wordt wanneer het probleem zich voordoet.
7
