ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Testrapport Alphaversie database en Front end
Deliverable 2.4
Hans Cuypers
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Inleiding Binnen ONBETWIST wordt een organisatie opgezet die zorg draagt voor de standaardisatie en kwaliteitscontrole van wiskunde- en statistiektoetsen. Deze organisatie •
bepaalt de onderwerpen waarop getoetst wordt;
•
stelt kwaliteitscriteria voor toetsen en items op;
•
beoordeelt items aan de hand van deze criteria;
•
stelt een aantal voorbeeldtoetsen samen.
Daarnaast voorziet ONBETWIST in een aantal landelijke beschikbare en vrij toegankelijke services die het werk van deze organisatie ondersteunen. Zo voorziet ONBETWIST in de opzet van een database van digitale toetsen en items, en additioneel oefenmateriaal, voor de volgende onderwerpen uit de wiskunde: •
De vwo A en B wiskunde; met speciale aandacht voor algebraïsche vaardigheden;
•
De statistiek nodig voor een economische of gamma opleiding (en overige opleidingen waar statistiek een rol speelt);
•
De calculus en lineaire algebra nodig in het eerste jaar van een economische, technische of bèta-opleiding of bij instroom in een master-opleiding.
Bij het opzetten van de database staan kwaliteit en bruikbaarheid centraal, en worden deze getoetst aan de hand van de criteria opgesteld door de toetsorganisatie. I In concreto betekent dit, dat we de items en toetsen (voor zover mogelijk) beschikbaar stellen in verschillende formaten waarmee docenten op eenvoudige wijze toetsen kunnen samenstellen die ze direct kunnen inzetten in e-learning omgevingen, zoals Blackboard [1] en Moodle [2], in de wiskundige toets- en oefen-omgevingen Maple TA [3], MathDox [4] en de DWO [5], of in algemene toetsomgevingen zoals QMP [6]. Daarnaast blijft natuurlijk de mogelijkheid om papieren versies van de opgaven en toetsen te creëren. Het project levert o.a. een database gevuld met digitale toetsen en items: •
vwo A en vwo B wiskunde met speciale aandacht voor algebraïsche vaardigheden;
•
statistiek voor economie opleidingen en overige gamma opleidingen;
•
calculus en lineaire algebra voor eerstejaars van technische en bèta-opleidingen en instroom in
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
masteropleidingen; als mede een interface voor de vrij toegankelijke database waarin men •
de collectie opgaven en oefenmateriaal kan doorzoeken met behulp van additionele informatie omtrent de onderwerpen, kwaliteit en het gebruik.
•
een toets kan samenstellen en downloaden in het gewenste technische format;
•
leermaterialen als scorm-package kan downloaden;
•
de resultaten behaald door de studenten kan uploaden.
De Alpha versie van de database en haar front end zijn afgeleverd in september 2011 en hebben in het najaar van 2011 een aantal tests ondergaan. Bij deze tests hebben we onderscheid gemaakt tussen functionele tests en gebruikerstests. In deze deliverable beschrijven we uitkomsten van de ze tests.
Architectuur database Onder de ONBETWIST database (Odb) verstaan we niet alleen de database die de items voor toetsen bevat, maar tevens ook de daarbij horende interface en haar gebruikers front end en een aantal externe tools die het mogelijk maken de database te gebruiken binnen een voor het project geschikte setting. Zo bestaat Odb bestaat uit vijf onderdelen: •
Een Item database voor de toets-items en metadata
•
Een User info database voor gebruikersgegevens
•
Een collectie externe tools waarvan de bezoeker van de Odb gebruik kan maken
•
Een Interface voor de afhandeling van interacties tussen de verschillende databases, externe tools en het front end.
•
Een web front end.
De eerste vier onderdelen vormen tezamen de technische backengine voor de Onbetwist database en zijn onderworpen aan een functionele test. De web front end is naast aan functionele tests ook onderworpen aan een aantel gebruikerstests.
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Tools
Item DB
Interface
Web Front End
User Info DB
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Tests Basisfuctionaliteiten database Voor de technische aspecten van de omgeving zijn een aantal tests uitgevoerd die nagaan of de functionaliteiten zoals omschreven in Deleverable 2.1 en 2.2 werken. Deze zijn samengevat in onderstaande tabel. Database
Testresultaat
Items en metadata in Odb
OK
Userinfo in Odb
OK
Rollen in Odb
OK
Selecties in Odb
OK
Statistiek in Odb
Nvt in Alpha versie
Acties op de database
Testresultaat
Authenticatie
OK
Upload
OK (alleen voor admin)
Upload statistiek
Nvt in Alpha versie
Samenstellen
OK
Download
OK
Queries
OK
We beschrijven de verschillende onderdelen en hun tests.
Item database De ONBETWIST Item database zal de volgende elementen bevatten: •
toets-items
•
metadata over de items
•
statistieken over het gebruik van de items
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Het is de intentie van ONBETWIST om een grote collectie toets-items over verschillende wiskundige onderwerpen te verzamelen en beschikbaar te stellen in verschillende formaten. Dit betekent dat de verschillende formaten aan de gebruikers beschikbaar gesteld worden. Hierbij kan men uitgaan van een moeder format, van waaruit andere formaten gegenereerd worden, of meerdere daadwerkelijk in de database onder te brengen. De voorziene formaten zijn: •
XML voor documenten in MathDox-XML, QTI XML en DWO-html format en metadata
•
text format voor Maple TA en LaTeX documenten
•
en PDF
In de Alpha versie van de database zijn de opslag van zowel de XML, tekst als ook Pdf-formaten gerealiseerd. Dit is getest door verschillende versies van files in de database te plaatsen en er weer uit te halen.
User Info database Naast de Item database bevat Odb tevens een User info database waarin allerlei aan gebruikers gerelateerde gegevens worden opgeslagen. Binnen het project ONBETWIST onderscheiden we een aantal gebruikersgroepen van de database en haar front end of user interface: •
De admin gebruiker
•
Redactieraden
•
Docenten
Elk van deze gebruikersgroepen heeft specifieke behoeften bij het gebruik van de database en haar user interface. Binnen de User info database zijn de verschillende rollen flexibel aangemaakt. Voor deze gebruikers wordt de volgende informatie opgeslagen: Gebruikersinformatie Binnen de database wordt een aantal gegevens van de gebruikers opgeslagen. Het betreft hier de persoonlijke gegevens, zoals gebruikersnaam, password, en e-mailadres, maar ook hun rol en bevoegdheden. Aan deze gebruikersgegevens worden de gegevens van de toetsen gekoppeld die door deze gebruiker zijn samengesteld en de statistieken die door deze gebruiker zijn ingevoerd. ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Selecties en Toetsen Gebruikers worden in staat gesteld een selectie te maken uit de items en formaten die in de database aanwezig zijn. Deze selectie representeert een toets en wordt binnen de database bewaart en gekoppeld aan de gebruiker. Ze worden opgeslagen in de User info database. Statistieken Om het gebruik van de database te monitoren, wordt een aantal gegevens opgeslagen. Het betreft hier bijvoorbeeld het aantal users, bezoeken, downloads etc. Dit is nog niet gerealiseerd in de Alphaversie van de database. Bovenstaande User info is getest door middel van een aantal echte en een aantal fictieve gebruikersgegevens in de database te stoppen en vervolgens weer op te roepen of te verwijderen. Er is gemonitord of de verschillende data consistent werden bijgehouden in de database.
Acties op de database Om de databases goed te kunnen gebruiken voor hun doeleinden, zijn een aantal acties nodig die de gebruiker toegang geven tot de informatie die hij of zij wil gebruiken. De verschillende acties zijn eveneens op hun functionaliteit getoetst. Voor elk van de acties is een verzameling van test cases opgesteld en uitgevoerd. Deze tests zijn doorlopen, vergeleken met de verwachte resultaten en verder geanalyseerd. Daarnaast zijn ook een aantal performance tests uitgevoerd. De volgende actie zijn daarbij geëvalueerd. Authenticatie Om de database te kunnen benaderen en toetsen te kunnen samenstellen zal de gebruiker moeten inloggen. Niet elke gebruiker heeft dezelfde rechten. Een gebruiker kan een toets samenstellen uit opgaven waar hij toegang tot heeft en deze bewaren. De gebruikersinformatie (informatie nodig voor authenticatie en informatie over rechten) en informatie over samengestelde toets-items wordt opgeslagen in de user info database. Authenticatie is gecheckt door een aantal echte en fictieve gebruikers. Uploaden van items en metadata Om items, standaardtoetsen en hun metadata in de database op te nemen, is een upload mechanisme ontwikkeld. Deze upload is getest. ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
De upload van items en toetsen is verbonden aan goedkeuring door de redactieraad, en zal dan ook gebeuren door gebruikers met de rechten van admin of redactieraad. Op dit moment is de upload functie alleen nog maar beschikbaar voor de admin. Deze is getest en werkt zonder problemen. Upload van statistische gegevens De upload van statistische gegevens is nog niet in de alphaversie van de database gerealiseerd.
Browse en views op selecties van items uit de database Bezoekers van de database kunnen door de items browsen. Hierbij kunnen ze zich beperken tot items over een bepaald onderwerp, of in een gekozen format, en combinaties hiervan. De selectie-mechanismen zijn in de database ingebouwd.
Samenstellen van toetsen Gebruikers kunnen selecties maken van items met als doel een toets samen te stellen. Deze selectiemogelijkheid wordt ingebouwd als een standaard actie op de database. De resultaten van de selectie worden binnen de database bewaard en gekoppeld aan de gebruiker. Een aantal echte gebruikers en een aantal fictieve gebruikers hebben verschillende acties uitgevoerd en de resultaten zijn vergeleken met de verwachte uitkomsten.
Download van items en toetsen Items en selecties kunnen gedownload worden. Zowel in source format (incluis de metadata) als ook, indien zinvol, als scorm-packages voor gebruik binnen een elektronische leeromgeving zoals Blackboard of Moodle. Hierbij worden de files gedownload binnen een zip-file. Behalve de creatie van dit zip-file, wordt tevens de creatie van de scorm-packages ondersteund.
Queries De database zal voorzien worden van een aantal standaard queries die gebruik van de database toegang geven tot de gewenste informatie binnen de database. Hiervoor zijn SQL queries ingebouwd. ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Een aantal queries is uitgevoerd en de resultaten zijn vergeleken met de verwachte resultaten.
De web front end
In Deliverable 2.1 en 2.2 zijn de verschillende functionaliteiten van de database en de web front end en hun specificaties beschreven. In deze sectie beschrijven we functionele en gebruikers tests voor de web front end. Er is gekozen voor een web gebaseerd front end, uitgevoerd in een HTML/PHP omgeving vanwege de volgende redenen: •
Een web interface biedt iedereen altijd en overal eenvoudige toegang tot de database;
•
PHP is een beproefde en veelgebruikte omgeving;
•
De TU/e heeft reeds ervaring met de gebruikte techniek vanuit eerdere projecten.
Gebruikers en hun rol Binnen het project ONBETWIST onderscheiden we een aantal gebruikersgroepen van de database en haar front end of user interface: •
De admin gebruiker
•
Redactieraden
•
Docenten
Elk van deze gebruikersgroepen heeft specifieke behoeften bij het gebruik van de database en haar user interface. In het ontwerp van de database wordt daarbij uitgegaan van de volgende functionaliteiten: •
login
•
browse en zoek
•
upload/aanpassen/download items
•
samenstellen toetsen
•
download toetsen
•
upload statistieken
ONBETWIST
Deliverable 2.4
ONBETWIST •
beheer database
•
beheer users
ONderwijs verBETeren met WISkunde Toetsen
De functionaliteiten van het front end sluiten aan bij de bovengenoemde activiteiten van gebruikers. De functionele tests die zijn uitgevoerd, worden samengevat in de volgende tabel. Functionaliteit
Testresultaat
Browse en view
OK
Creëer toetsen
OK In de Alphaversie is het creeren van scormpackages geimpleneteerd. Hierbij werkt enkel de achteraf aanpassing van de ordening van de toets-items niet altijd goed. In bètaversie zal dit aangepakt worden.
Zoek
OK In deze alphaversie is allen nog de keyword search ingebouwd en de filter of format
Upload
Nvt in Alphaversie
Download
OK In Alphaversie alleen nog maar de download van scorm-package en individuele files.
Beheer toetsen
OK
Beheer database (admin)
OK
Overzicht en structuur van de front end Om de ONBETWIST database te kunnen benaderen moet de gebruiker inloggen. Hiertoe wordt een login scherm gemaakt. Aan de hand van de rechten die aan de gebruiker zijn toebedeeld zal hij of zij na de login doorverwezen worden naar het main page van de interface. Vanaf deze main page vindt de gebruiker een menu waarmee hij of zij de volgende boomstructuur kan doorlopen en op die manier de verschillende acties kan uitvoeren zoals eerder besproken. ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Overzicht van de structuur van het front end: •
browse items/opgaven ◦ select topic/format ▪ browse en zoek door de selectie •
view items ◦ view metadata ◦ view statistiek
•
browse en creëer selecties/toetsen ◦ creëer een (lege) toets ◦ verwijder bestaande selecties ◦ browse door de reeds aangemaakte selecties ◦ selecteer een bestaande selectie ▪ bekijk de items in de selectie ▪ verwijder items uit selectie ▪ browse door de items en voeg een nieuwe items toe ◦ download selectie
•
beheer ◦ beheer gebruiker ◦ beheer items
Elk van deze menu items wordt via een, of in sommige gevallen meerdere, PHP-pagina's en scripts ondersteund. We geven een korte omschrijving van de functionaliteiten en de functionele tests die zijn uitgevoerd. Browse De items van de database worden in een tree-menu aangeboden. Dit tree-menu is aangemaakt conform de taxonomie zoals die binnen het project gebruikt wordt. De gebruiker kan door de juiste plek in de tree te klikken, de items corresponderend met de gekozen categorie uit MathTax bezoeken. De te bezoeken items worden gefilterd aan de hand van een gekozen format. ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Voor elk item kan, indien voorhanden, een view gecreëerd worden op de opgave of toets, de metadata, of de source. Er is getest of de tree structuur inderdaad browsen door de collectie opgaven ondersteund zoals gespecificeerd. De filters op format zijn eveneens getest.
Creëer toetsen Elke gebruiker kan toetsen aanmaken. Hier ziet men een aantal selecties aangemaakt door een gebuiker Door te klikken op het edit icon, kan men de verschillende selecties bewerken. Een selectie verwijderen kan eveneens. Nieuwe toetsen kunnen toegevoegd worden met behulp van Add Package. Binnen de Alphaversie is het creëren van SCORM-pakketen geïmplementeerd. Deze functionaliteit is onderzocht. De selectie-mechanismen zijn getest. Deze werken zoals gespecificeerd. Alleen het achteraf ordenen van de items binnen een pakket gaat af en toe fout. Zoek Om toestsen te kunnen samenstellen, moeten items gevonden kunnen worden. De database zal voorzien worden van een zoekmechanisme dat op meatadata velden zoekt. In de Alphaversie is vooralsnog alleen het zoeken op keywords mogelijk en de filtering op bestandsformaten. Er is een aantal test searches uitgevoerd met de gewenste resultaten. Download De download van scorm-packages en van individuele items werkt zoals verwacht. Upload Via deze optie kan de gebruiker oftewel een enkel item tezamen met metadata aanleveren, of een batchupload verzorgen. Deze upload is niet in de Alpha versie geïmplementeerd en dus ook niet getest. Beheer Deze pagina is bestemd voor de admin. Hier kan deze gebruikers beheren, connecties met databases instellen en externe tools inzetten. Een aantal testcases is doorlopen om de functionaliteit van de beheersfuncties na te lopen. Deze tests zijn allemaal goed verlopen.
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Gebruikerstests van de front end De web front end is ook het gebruikersinterface voor de database. Vandaar dat naast de functionele tests ook een aantal gebruikerstests is uitgevoerd. Hiervoor is een beperkt (7) aantal gebruikers met specifieke opdrachten aan het werk gezet. Zij hebben hun bevindingen mondelinge toelichting kenbaar gemaakt. De bevindingen zijn samengevat in onderstaande tabel.
Functionaliteit
Oordeel
Acties voor bèta release
Browse door de front end
De menu structuur van de database is duidelijk. Echter de verschillende benamingen zijn niet altijd voldoende om te weten wat de betekenis van de op te roepen pagina is.
Goede handleiding en help buttons met korte uitleg worden toegevoegd
Browse door collecties
Tree structuur van opgaven is In de tree structuur worden duidelijk! Het is wenselijk om de aantallen opgaven aangegeven aantallen opgaven in de verschillende delen van de database zichtbaar te maken
View van items
MathDox versie en pd werken Geen Dit willen we zo houden. prima. LaTeX view geeft source Pdf en MathDox view bieden al voldoende goede rendering. LaTeX is een source format
Samenstellen van toetsen
Duidelijk. Alleen achteraf ordenen werkt niet goed.
Ordenen wordt verbeterd.
Beheer selecties
Werkt duidelijk
Geen
Download van scorm-package
Werkt als verwacht en is duidelijk
Geen
Zoek en vind
Zoekmechanisme werkt goed. Echter hoe weet je welke keywords gebruikt kunnen worden?
Lijst van keywords wordt beschikbaar gesteld
Als je een selectie gemaakt heb,
Vasthouden van selecties wordt
ONBETWIST
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
houd die vast bij het verdere browsen Admin beheersfuncties
ONBETWIST
geïmplementeerd in beta versie
Geen opmerkingen
Deliverable 2.4
ONBETWIST
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Deliverable 2.4
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Referenties 1. Blackboard: http://www.blackboard.com/ 2. Moodle: http://moodle.org/ 3. Maple T.A.: http://www.maplesoft.com/products/mapleta/ 4. MathDox: http://dam02.win.tue.nl/mathadore/mathdox/manual/index.mathdox 5. DWO: http://www.fi.uu.nl/dwo/frameset.html 6. QMP: http://www.questionmark.com/ 7. QTI: http://www.imsglobal.org/question/ 8. LaTeX: http://www.latex-project.org/ 9. The LaTeX Companion, 2nd edition (TTCT series) Frank Mittelbach, Michel Goossens, Johannes Braams, David Carlisle, Chris Rowley ISBN 0-201-36299-6 10. PDF: http://www.adobe.com/devnet/pdf/pdf_reference.html 11. IMS Meta-data Best Practice Guide for IEEE 1484.12.1-2002 Standard for Learning Object Metadata, http://www.imsglobal.org/metadata/mdv1p3/imsmd_bestv1p3.html.
ONBETWIST
Deliverable 2.4
ONBETWIST
ONBETWIST
ONderwijs verBETeren met WISkunde Toetsen
Deliverable 2.4
