Keuzeadvies voor een nieuwe toetsapplicatie Adviesrapport
ICTO project Grootschalig digitaal toetsen.
1
Documenthistorie Datum 29 november 2012 30 november 2012 13 december 2012
Versie
Omschrijving
Auteur
0.1
Initiële versie
Leen van Kaam
0.2
1.0
Inclusief scenario’s en wijzigingen genoemd in bijeenkomst van 29 november 2012
Leen van Kaam
Advies zoals goedgekeurd door SIG Digitaal
Leen van Kaam, Alwin
Toetsen
Wullink
Wijzigingen t.o.v. vorige versie zijn geel gemarkeerd.
2
Inhoudsopgave Inleiding.......................................................................................................................................... 4 Advies ................................................................................................................................................ 5 Showstoppers bij alle wensen en eisen met stoplichtrapportage ...................................................... 5 Discriminerende wensen en eisen naar prioriteit geordend ............................................................... 6 Conclusie ........................................................................................................................................ 7 De testscenario’s ................................................................................................................................ 8 Scenario 1: Kostenanalyse, uitwerking ............................................................................................. 8 Scenario 2: Technische infrastructuur uitwerking ........................................................................... 12 Scenario 3: Continuiteit Uitwerking ................................................................................................ 14 Scenario 4: Ondersteuning en helpfunctie Uitwerking ..................................................................... 17 Scenario 5: Inrichten van domeinen binnen de applicatie................................................................ 20 Scenario 6: Rollen per academie en workflow ................................................................................. 23 Scenario 7: Beveiliging ................................................................................................................... 28 Scenario 8: Gebruikerbeheer Uitwerking ........................................................................................ 32 Scenario 9: Converteren van toetsvragen ....................................................................................... 34 Scenario 10: Nieuwe toetsvragen ontwikkelen ................................................................................ 36 Scenario 11: Toetsmatrijs .............................................................................................................. 40 Scenario 12: Toetsafname klaarzetten............................................................................................ 44 Scenario 13: Grootschalige toetsafname ........................................................................................ 49 Scenario 14: Toetsafname begeleiden ............................................................................................ 52 Scenario 15: Toetsvoorzieningen ................................................................................................... 53 Scenario 16: Meertaligheid Uitwerking ........................................................................................... 55 Scenario 17: Toetsinzage ............................................................................................................... 57 Scenario 18: Rapportage op toetsvragen, toetsen en toetsafnames Uitwerking ............................... 62 Scenario 19: Analyse ..................................................................................................................... 64 Scenario 20: Cesuur , scoren en resultaten bepalen........................................................................ 66 Scenario 21: Archivering ................................................................................................................ 72 Scenario 22: Mogelijkheid tot beveiligde vaardigheidstoetsen ........................................................ 73 Bijlage 1: Betrokkenen bij dit keuzeadvies...................................................................................... 75
3
Inleiding Dit is een adviesrapport in het kader van het project digitale toetsomgeving Saxion. In dit project moet uit een shortlist van 3 toetsapplicaties, te weten MapleTA, Question Mark Perception en Surpass, een keuze voor Saxion worden gemaakt. In het adviesrapport ‘Advies_Testscenario_05_20092102’ staat beschreven op welke manier, met welke betrokkenen en op welke inhoudelijke gronden die keuze wordt gemaakt. Dit is het adviesrapport, dat op basis van de hier beschreven manier rapporteert over de uitvoering van het beschreven keuzeproces en een uiteindelijke advieskeuze met onderbouwing aan de ProgrammaRegieGroep doet. Bij het adviesrapport waren deelnemers van de academies betrokken, die zich nu bezig houden met digitaal toetsen of dat in de nabije toekomst gaan doen. Deze deelnemers vertegenwoordigen een groot aantal verschillende rollen in het toetsproces, te weten de rollen docent, onderwijskundige, toetsdesk van de academie, centraal toetsbureau, functioneel beheerder digitaal toetsen, technisch beheerder digitaal toetsen, ICT&O contactpersoon van de academie, en vertengenwoordiger SIG digitaal toetsen van de academie. Het advies bevat een uitwerking van 22 scenario’s. Deze uitwerking is een verslag van wat (meestal) in een tweetal bijeenkomsten met eerder genoemde betrokkenen is besproken. Het advies en de stoplichtrapportage is nadrukkelijk geen algemene beoordeling van de toetsapplicaties van de shortlist. Het gaat om een beoordeling of en in hoeverre de toetsapplicaties van de shortlist passen bij de werkwijze op gebied van digitaal toetsen binnen Saxion.
4
Advies Showstoppers bij alle wensen en eisen met stoplichtrapportage In de test scenario’s zijn een aantal showstoppers opgenomen. Een showstopper is gedefinieerd als een scenario dat zo’n hoge prioriteit voor Saxion heeft, dat het testen van andere scenario’s voor die applicatie gestopt kan worden, als aan dit scenario niet voldaan wordt (en het scenario met de showstopper dus een rood stoplicht krijgt). De beoordeling van alle showstoppereisen uit de testscenario’s komt uit op het volgende overzicht:
Hiermee wordt duidelijk dat MapleTA als toetsapplicatie voor summatieve digitale toetsing niet past bij wat voor Saxion van belang is. Voor Question Mark Perception zien we 1 showstopper, namelijk dat de toetsmatrijs op dit moment niet in de applicatie mogelijk is. Deze showstopper is van wezenlijk belang omdat de werkwijze van Saxion bij het digitaal toetsen in TestVision volledig geënt is op het werken vanuit een toetsmatrijs. Daarnaast zien we dat 500 – 700 toetsafnames voor Question Mark Perception risicovol (geel) is. Als we nader hierop inzoomen moeten we constateren dat met QMP 500-700 gelijktijdige inlogs haalbaar is, mits de inlog van de deelnemers gespreid wordt over 5 minuten, en op voorwaarde dat er een behoorlijke infrastructuur aanwezig is. Onderstaande afbeelding schetst de benodigde infrastructuur om 800 gelijktijdige toetsafnames in QMP te realiseren en 6000 (Silver installatie) of 10.000 (Golden installatie) gelijktijdige toetsafnames in Surpass. Uit de afbeelding wordt duidelijk, dat de infrastructuur nodig voor de benodigde performance van QMP binnen Saxion behoorlijk zwaar is. Daar hangt dan vermoedelijk een evenredig kostenplaatje aan.
5
Uit de showstoppers komt Surpass als keuze.
Discriminerende wensen en eisen naar prioriteit geordend Wanneer we Maple TA uit het overzicht weghalen, vervolgens alle wensen en eisen ordenen op prioriteit en die wensen en eisen, waarop QMP en Surpass hetzelfde scoren, verwijderen, krijgen we een beeld hoe beide applicaties passen bij de werkwijze van Saxion op gebied van digitaal toetsen. Het beeld, dat Surpass het beste past bij de werkwijze van Saxion wordt dan bevestigd. Als je de discriminerende wensen en eisen op prioriteit ordent, dan valt op, dat ook vanuit dit perspectief Surpass het beste past bij de werkwijze van Saxion. Surpass scoort het meeste groen en scoort pas bij functionaliteit met een lagere prioriteit wat minder. Er blijven een aantal punten waarop Surpass dan geel of rood scoort: •
Gebruik van rekenkundige elementen/formules: In de roadmap voor de nieuwe interface van Surpass is ook een tool voor betere verwerking van rekenkundige elementen en formules opgenomen. We zullen bij BTL onder de aandacht brengen, dat deze functionaliteit voor Saxion een hoge prioriteit heeft.
•
Nederlandstalige/Duitstalige versie: In de roadmap voor de nieuwe interface van Surpass is opgenomen, dat deze ook Nederlandstalig ter beschikking komt in de zomer 2012. De Duitstalige versie staat iets later in de roadmap gepland.
•
Mobile app beschikbaar: In de roadmap voor de nieuwe interface van Surpass staat ook een mobile app opgenomen. 6
•
PC afhankelijk toetsen: Dit is niet instelbaar in de applicatie, maar –indien gewenst- te regelen vanuit de technische infrastructuur.
•
Adaptief toetsen: Saxion zal aan de leverancier nadrukkelijk aangeven, op welk moment er vanuit Saxion behoefte is aan deze functionaliteit.
•
Scoren op competenties is eigenlijk geen toetsapplicatiefunctionaliteit. Binnen Saxion is hiervoor de tool Scorion van Parantion in gebruik.
Conclusie Als uitkomst van het keuzeproces wordt unaniem Surpass als nieuwe toetsapplicatie voor Saxion geadviseerd ter vervanging van TestVision.
7
De testscenario’s Scenario 1: Kostenanalyse, uitwerking Werkwijze De behoefte van Saxion op gebied van digitaal toetsen wordt beschreven aan de hand van 3 pijlers 1.
Licentie;
2.
Infrastructuur en technisch beheer en technisch applicatiebeheer;
3.
Eenmalige implementatiekosten.
Op elk van deze pijlers bevat de beschrijving een baseline. Deze baseline bevat wat Saxion minimaal nodig heeft, wil de toetsapplicatie een passende oplossing bieden. Daarbovenop zijn er per pijler een aantal meerwaarden gedefinieerd. Binnen deze meerwaarde kan een leverancier zich profileren. De leverancier geeft aan of een dergelijke meerwaarde beschikbaar is bij de desbetreffende toetsapplicatie en tegen welke meerkosten. Aan de baseline per pijler en de meerwaarde worden punten toegekend, die de weging hiervan duidelijk maken. Pijler 1: Licentie In de baseline bij pijler 1 vragen we afzonderlijk de licentiekosten in kaart te brengen van 2 verschillende situaties: Situatie 1: Lange termijn situatie Uitgangspunt is een campuslicentie voor de toetsapplicatie van minimaal 3 jaar en met een verlengoptie van nog eens 3 jaar. Saxion heeft ongeveer 23.000 studenten en 1700 docenten. Er zijn ws. maximaal 50-60 zeer gespecialiseerde toetsontwikkelaars binnen Saxion (12 academies met elk 5 specialisten of toetsdeskers), die toegang moeten hebben tot specialistische ontwikkeling van toetsvragen. In de licentie moet opgenomen zijn, dat toetsen in een beveiligde omgeving plaatsvindt. Saxion gaat ervan uit, dat in de licentie is opgenomen, dat er naast een ‘productieserver’ ook een acceptatie- en ontwikkelserver beschikbaar komen. Op lange termijn kan er zowel summatief als formatief worden getoetst met de toetsapplicatie. We gaan ervan uit, dat de licentiekosten worden aangegeven voor de omgeving die de leverancier als optimale toetsomgeving adviseert. (zie hiervoor ook pijler 2) Situatie 2: Korte termijn situatie Het eerste jaar tijdens de implementatie maar ook nog 1 of 2 jaar daarna zullen nog niet alle academies en dus alle studenten gebruik maken van digitaal toetsen. Uitgangspunt is de huidige capaciteit van digitaal toetsen voor Saxion. Dat is ongeveer maximaal de helft van de studenten maakt gebruik van de huidige toetsapplicatie. Dat betekent, dat we prijsopgave vragen van een licentie voor 12.000 studenten, 800 docenten en 25 zeer gespecialiseerde toetsontwikkelaars. Naar verwachting worden er op korte termijn maximaal 30.000 toetsafnames (d.w.z. 1 toets afgenomen bij 1 student) per jaar afgenomen met de toetsapplicatie. In de licentie moet opgenomen zijn, dat toetsen in een beveiligde omgeving plaatsvindt. Saxion gaat ervan uit, dat in de licentie is opgenomen, dat er naast 8
een ‘productieserver’ ook een acceptatie- en ontwikkelserver beschikbaar komen. De toetsapplicatie wordt vooral summatief gebruikt. We gaan ervan uit, dat de licentiekosten worden aangegeven voor de omgeving die de leverancier als optimale toetsomgeving adviseert. Wat betreft de meerwaarde bij pijler 1 vragen we de kosten in kaart te brengen van het volgende. Bij de toetsapplicatie kunnen extra modules aangeboden moeten worden om een van de scenario’s uit bijgevoegde bijlage te realiseren. Hierbij kan men denken aan: •
Kosten van een extra licentie om te kunnen beschikken over een flexibele rapportagetool, waarin Saxion zelf rapportages kan definieren;
•
Kosten van een extra licentie om te kunnen beschikken over de mogelijkheid om toetsvragen na analyse van de toetsresultaten uit de score te kunnen verwijderen, of anders te kunnen scoren dan aanvankelijk de opzet was;
•
Kosten van een extra licentie om te kunnen beschikken over mogelijkheden om van mobile devices in combinatie met de toetsapplicatie gebruik te kunnen maken.
•
Saxion maakt gebruikt van een print & scan oplossing om tekorten aan capaciteit voor digitaal toetsen op te vangen. Kosten van een extra licentie om –indien aanwezig - te kunnen beschikken over de print & scan functionaliteit bij de applicatie.
Pijler 2 Infrastructuur De infrastructuur moet geschikt zijn om zonder performanceproblemen met behoorlijke omvang (bv. 3000 toetsen) van gearchiveerde toets- en resultatendata in de database 500 – 700 (maximum 1000) gelijktijdige toetsafnames af te handelen. We verwachten van de leverancier een advies over de optimale infrastructuur gegeven de schaalbaarheid, maar ook gegeven beveiligingseisen (zie scenario 7) en ervaringen bij andere klanten. In het SLA wordt beheer aangeboden tijdens de toetsweken in een venster van 7.00 tot 23.00 uur op reguliere werkdagen met minimaal een uptime garantie van 99,5% uptime gegeven over deze uren. Buiten toetsweken is het venster voor de SLA van 9.00 tot 17.00 uur. Een studiejaar kent 15 toetsweken. In de baseline bij pijler 2 vragen we afzonderlijk de licentiekosten in kaart te brengen van 2 verschillende situaties: SAAS oplossing: Technisch beheer en technisch applicatiebeheer worden extern geregeld. Alle technisch beheer van de applicatie ligt bij de leverancier. Gedeeltelijk eigen beheer: Servers staan fysiek bij Saxion. Serverbeheer (en OS beheer) ligt bij Saxion, maar technisch applicatiebeheer wordt uitgevoerd door de leverancier. Wat betreft de meerwaarde bij pijler 2 vragen we de kosten in kaart te brengen van eventueel door de leverancier aangeboden opties bij de SAAS oplossing. Denk bv. aan een bronzen, zilveren en gouden 9
SLA. Vooral infrastructurele oplossingen die in het kader van beveiliging extra kansen bieden, worden op prijs gesteld. Pijler 3: Eenmalige implementatiekosten In de baseline bij pijler 3. We zouden graag het gebruikersbeheer automatisch willen inregelen. Dat gebruikersbeheer bevat automatisch (minimaal dagelijks) aanmaken van alle studenten en docenten in de toetsapplicatie op grond van gegevens uit LDAP/Active Directory. Daarnaast zouden we willen authenticeren aan LDAP/Active Directory. Ook hiervan moeten voor de baseline de kosten in kaart gebracht worden. Wat betreft de meerwaarde bij pijler 3: •
We vragen elke leverancier de kosten in kaart te brengen van extra specialistische scholing voor specialistisch toetsontwikkelaars. D.w.z. de kosten van 4 trainingen specialistische scholing van 1 dag voor 10 auteurs.
•
Elke leverancier heeft een pakketje gekregen met daarin 3 toetsen in verschillende formaten zoals die kunnen worden geëxporteerd uit TestVision. We willen van de leveranciers weten: o
Welk % van de toetsvragen kan automatisch worden geconverteerd?
o
De kosten van het converteren van dit pakketje met 3 soorten toetsvragen?
o
Kan er dan worden afgeweken van de mappenstructuur waarin de toetsen zijn opgeslagen in TestVision?
o
Is het mogelijk waardes voor bv een p-waarde of een ritwaarde mee te nemen? Zo ja hoe dan?
o
Hoe worden afbeeldingen of andere multimedia meegenomen?
o
Bij voorkeur wordt een methodiek opgeleverd die bij Saxion zelf uitgevoerd kan worden.
•
Saxion gebruikt een bestaande print & scan oplossing van Teleform om tekorten aan capaciteit voor digitaal toetsen op te vangen. Vaak is een deel van de toets digitaal uitgevoerd en een deel wordt afgehandeld via scanbare formulieren. De gescande resultaten zouden we willen kunnen inlezen in de database, zodat deze in een analyse kunnen worden betrokken samen met resultaten van dat deel van de toets dat wel digitaal is afgenomen. Om scanformulieren klaar te maken voor afname met behulp van print & scan worden inloggegevens en naam van de toetsdeelnemers en de toetsnaam gemerged met de formulieren, zodat studenten voorbedrukte formulieren krijgen. We zouden de kosten willen kennen – indien mogelijk- van de beide opties om resultaten van scannen terug te lezen naar de database en om gebruikergegevens te mergen. Indien maar een van beide opties mogelijk is, dan verzoeken we die in kaart te brengen.
10
Saxion verwacht een gespecificeerde offerte. Ec hter om eenvoudige vergelijking van de offertes mogelijk te maken, vragen we de kosten ook samen te vatten in onderstaande tabel: Pijler 1.
Kostenpost Licenties
Samengevatte kosten
Licentie Lange termijn oplossing (campuslicentie) Licentie Korte termijn oplossing (halve campus maakt gebruik)
Licentie flexibele rapportagetool Licentie voor herscoringstool Licentie mobile Licentie print&scan 2.
Infrastructuur en
Technisch beheer
SAAS oplossing Gedeeltelijk Beheer bij Saxion Extra Profilering voor
...................................................................... ...................................................................... ...................................................................... ...................................................................... 3.
Eenmalige
implementatiekosten
Automatisch inregelen gebruikersbeheer en authenticatie aan LDAP/Active Directory Specialistische scholing Conversie Inregelen Print&Scan
Vragen *
Kostenanalyse
Uitwerking Het bureau inkoop heeft 3 offertes ontvangen. We kunnen hier nu niet de volledige offertes openbaar maken. Deze zijn nog onderhevig aan onderhandeling door inkoop, zodra de keuze binnen Saxion gemaakt is. Daarom zullen we globaal een aantal kenmerkende verschillen tussen de offertes noemen, waardoor in elk geval de pointe helder wordt. Maple TA: De licentie valt in een volledig andere prijsklasse als QMP en Surpass. De kosten van pijler 1 en 2 tesamen zijn voor Maple TA ongeveer 1/6 van de kosten van QMP en Surpass. Er is geen specifieke mobile app inbegrepen (je kunt wel Maple TA vanuit de browser op mobile devices openen), evenmin een aparte rapportagetool of herscoringstool. De leverancier offreert alleen de baseline bij pijler 1 en 2. Eenmalige kosten zijn de helft van die van Surpass en ongeveer 1/3 van die van QMP. Question Mark Perception en Surpass zitten voor pijler 1 en 2 in dezelfde prijsklasse. Opvallend is het verschil in prijsmodel. Efinity geeft voor Surpass één transparant prijsmodel gebaseerd op een prijs per 11
gebruiker per jaar. Stoas levert voor QMP vier verschillende prijsmodellen, waarin de opbouw door allerlei verschillende licentievarianten niet volstrekt transparant overkomt. Voor pijler 3 zien we dat QMP ongeveer 30% duurder is dan Surpass. Een belangrijk verschil is het gegeven dat Efinity voor een conversietool van TestVision naar Surpass geen kosten rekent, waar Stoas dat voor QMP wel doet. Zowel voor Surpass als voor QMP worden voor alle pijlers alle gevraagde meerwaardepunten ingevuld. De offerte voor QMP was zeer volledig, inclusief een voorbeeld SLA en voorbeeld DAP. Bij Surpass ontbreekt een versie van het SLA.
Scenario 2: Technische infrastructuur uitwerking Werkwijze Op grond van documentatie van de leverancier en een teleconferentie wordt de beoordeling gemaakt of de applicatie past binnen de technische infrastructuur van Saxion.
Vragen 1,
Past de serverinstallatie binnen de technische infrastructuur van Saxion
1,
Past de benodigde inrichting van een SaxOs werkstation binnen de technische
2
Afname van toetsen via MacOS
2
Ontwikkelen van toetsen en rapportages via MacOS
2
Ontwikkeling in de nabije toekomst naar gebruik m.b.v. Mobile devices
showstopper showstopper
infrastructuur van Saxion
Uitwerking Maple TA: De serverinstallatie werkt op Windows 2008 of een Red Hat Linux installatie. Dit past in de Saxion infrastructuur. Maple TA werkt met de database Progress. Deze wordt binnen Saxion niet ondersteund. Daarmee is installatie bij Saxion niet wenselijk en is een SAAS-oplossing (hosted omgeving) de enig denkbare oplossing. De leverancier moet nog aangeven of Site to Site VPN ondersteund wordt. Dit is nodig indien gebruikers automatisch worden aangeleverd aan de applicatie. Een site-to-site VPN zal ook gebruikt worden voor het LDAP verkeer. Hierdoor wordt de verbinding extra secure. De toetsomgeving werkt op WindowsOS, Linux en MacOS. De browsers Firefox en Internet Explorer worden ondersteund, Google Chrome is nog niet getest. De (open) afnameomgeving werkt ook met Safari. De beheeromgeving niet. De secure browser is ontwikkeld door de TU Delft. Deze wordt ondersteund door TU Delft, niet door de leverancier. Dat is een risico voor Saxion, omdat Saxion de tool met name voor beveiligde summatieve toetsing wil gebruiken. De secure browser is geïnstalleerd binnen de Saxion infrastructuur en is getest. Hij werkt in de infrastructuur. Maple TA werkt als standaardapplicatie ws. wel op Mobile devices met Android besturingssystemen. Dit is niet uitgebreid getest. Echter het werkt niet op een iPAD of iPhone aangezien Maple TA veel gebruik maakt van JAVA. Er wordt geen Mobile App ontwikkeld. Question Mark Perception : De serverinstallatie werkt uitgaande van Windows 2008 IIS 7.5. De database server is een MsSQL 2008 SP2. QMP wordt ook op Oracle uitgeleverd. Dit wordt niet 12
aangeraden door Stoas, omdat dit een secundaire uitlevering is. Upgrades voor Oracle komen meestal veel later als die voor Windows. QMP is een .net applicatie met een PHP frontend. Stoas ondersteunt een Site to site VPN (welke is nog niet duidelijk) om het mogelijk te maken dat er beveiligd automatisch gebruikersgegevens in de toetsomgeving kunnen worden aangemaakt en de authenticatie aan de LDAP beveiligd plaatsvindt. De serverinstallatie past daarmee binnen de Saxion infrastructuur. De auteurssoftware werkt alleen onder Windows, zowel op Internet Explorer (6, 7, 8, en 9) als FireFox (3, 4, 5, 6, 7, 8, 9, 10, 11) en Safari 4. QMP werkt niet op Google Chrome. Dit past in de Saxion infrastructuur. De secure browser QM Secure werkt nog niet op het MacOS. Daarvoor is men bezig met Beta-testen. Aangezien alle summatieve toetsen met de secure browser worden afgenomen, werkt dit nog niet op MacOS. Er bestaat een QMP Mobile app voor Android en iPhone/iPad bedoeld voor toetsafname. De secure browser is geïnstalleerd in de Saxion infrastuctuur en heeft al gefunctioneerd bij een toets van APO met 60 studenten. Surpass: De serverinstallatie werkt uitgaande van Windows 2008 IIS 7,5 en MS SQL 2005 of 2008. Surpass is een .net applicatie. Site to Site VPN is niet nodig, omdat gebruikergegevens vanuit een secure connection bij Saxion opgehaald kunnen worden en dus niet bij Surpass op de toetsomgeving geplaatst hoeven te worden. De serverinstallatie past daarmee binnen de Saxion infrastructuur. De authoring client werkt op een Windows7 installatie , evenals de secure browserclientapplicatie. De beheeromgeving werkt met Windos Internet Explorer 7, 8 en 9, Firefox 3, 4, en 6 en Google Chrome. Dit past binnen de Saxion infrastructuur. Afname van summatieve toetsen op een MacOS is nog niet mogelijk, evenmin als het ontwikkelen van toetsvragen. De nieuwe interface voor Surpass wordt echter nadrukkelijk ook voor MacOS ontwikkeld. De roadmap geeft voor deze nieuwe interface als deadline zomer 2013. (zie ook http://saxion.hosted.panopto.com/Panopto/Pages/Viewer/Default.aspx?id=44d70c15-6705-43c88cac-6e1422a21bbc ). De secure browserclient is geïnstalleerd binnen de Saxion infrastructuur en is getest. Hij werkt. De secure browser is niet alleen maar een browser. Het gaat om een client applicatie, waarin gegevens tijdelijk encrypted bewaard worden in een lokale database. De applicatie heeft nog geen Mobile app. Er wordt voor Surpass ook met het oog hierop een nieuwe interface ontwikkeld. Mobile interface voor de beheersoftware wordt dus volgende zomer verwacht. Resultaten: Maple TA
QMP
Surpass
(1) Serverinstallatie (showstopper)
binnen Saxion (1) Serverinstallatie SAAS
(1) Werkstation installatie
(Showstopper) 13
Maple TA
QMP
Surpass
(2) Afname MAC (2) Beheer MAC (2) Mobile
Scenario 3: Continuiteit Uitwerking Werkwijze: Overleg met de leverancier, opvragen van jaarverslag van de leverancier. Opvragen van referenties bij de leverancier. Voor ‘proven technology’ wordt in beeld gebracht, wie welke toetsapplicatie gebruikt. Voor deze showstopper wordt gevraagd naar de mening van één of enkele referentie klanten van elke toetsapplicatie. Overleg met de leverancier, opvragen van jaarverslag van het bedrijf van de leverancier. Opvragen van referenties bij de leverancier. Voor ‘proven technology’ wordt in beeld gebracht, welke onderwijsinstellingen de toetsapplicatie gebruiken. Er is een vragenlijst gemaakt met ongeveer 10 vragen. Deze 10 vragen worden per applicatie gesteld aan 3 personen.
•
QMP: Er worden referenten gezocht bij Hanzehogeschool, Windesheim en VU
•
Maple TA: Er worden referenten gezocht bij TU Delft, HAN, NHL.
•
Surpass: leveren referenten aan uit een onderwijssituatie in Engeland die het dichtst ligt bij Saxion.
De vragenlijst zoals opgestuurd naar de verschillende referenten, is te vinden in Blackboard onder community Saxion ICTO> SIG Toetsing > Keuzetraject toetsapplicatie > Scenario 3 Continuiteit. De antwoorden op de vragenlijst zijn daar ook te vinden.
Vragen *
Beschrijving van de historie van het bedrijf
*
Omvang van de afdeling die zorg draagt voor ontwikkeling en beheer
1
Proven technology
Showstopper
Maple TA: Maplesoft is een bedrijf, dat met name gericht is op het ontwikkelen van software voor wiskundige toepassingen. Maplesoft bestaat al 25 jaar en was tot voor kort een privaat bedrijf. Het is sinds enkele jaren onderdeel van grotere Japanse distributeur Cybernet Systems Co. Ltd. Zie ook http://www.maplesoft.com/company/about/index.aspx. In het jaarverslag van dit Japanse bedrijf valt de beschrijving van Maplesoft weg. Bovendien ontwikkelt Maplesoft op de eerste plaats het wiskundige programma Maple. Maple TA is een relatief klein bijproduct, dat ook voor een aantal functies leunt op Maple. Van de ongeveer 70 mensen in dienst van Maple Soft werken er 5 aan ontwikkelaars/beheerders fulltime aan Maple TA. Soms worden er 5 freelance extra mensen ingehuurd voor de ontwikkeling van het pakket. MapleTA wordt op een aantal instellingen voor Hoger Onderwijs gebruikt: Technische Universiteit Delft Noordelijke Hogeschool Leeuwarden
Hogeschool Arnhem Nijmegen * Hogeschool Utrecht 14
Hogeschool Rotterdam *
Saxion Hogeschool
Hogeschool van Amsterdam *
Hogeschool Inholland *
Universiteit van Amsterdam * Hanzehogeschool *
Van Hall Larenstein
Fontys Hogeschool*
Opvallend is, dat een groot deel van de instellingen hier genoemd, ook gebruik maakt van QMP. Ook is opvallend dat Saxion genoemd wordt. Binnen Saxion wordt binnen de academie LED beperkt gebruik gemaakt van Maple TA. Daarnaast doen docenten Engelse talen vanuit MIM een pilot met Maple TA. Het lijkt erop, dat binnen meerdere HO-instellingen Maple TA in beperkte mate voor met name wiskundige toetsvragen wordt gebruikt. Kortom Maple TA is proven technology, omdat het wordt gebruikt. De opmerkingen van de referenten geeft aan of gebruikers tevreden zijn over de applicatie binnen de kaders waarin zij gebruik maken van de applicatie. Candiensten is de Nederlandse leverancier van Maple TA. Het is een klein bedrijf, dat wiskundige, analytische en statische software verkoopt. Een van de producten is Maple TA. Zie ook http://amsterdam.digicity.nl/CAN_Diensten-1589989900id.html Samenvatting van de opmerkingen van de referenten over Maple TA: Alleen bij de TUDelft wordt MapleTA instellingsbreed gebruikt. Bij de NHL wordt MapleTA bij één faculteit gebruikt. Bij de HAN gebruikt men instellingsbreed Question Mark Perception. Gebruik van MapleTA is volgens de centrale dienst een initiatief van enkele docenten binnen een opleiding en wordt door ICT&O niet ondersteund. Daarmee is de situatie binnen de HAN vergelijkbaar met het gebruik van MapleTA binnen Saxion. Question Mark Perception: Questionmark (QM) is opgericht in 1988 en acteerde de eerste jaren als pionier op het gebied van digitale assessments. Op basis van deze ervaringen en klantreacties is in 1995 het eerste mondiale digitale toetssysteem op de markt gekomen, met als resultaat de lancering van de eerste web based versie, Questionmark Perception ( ) in 1998. Wereldwijd hebben meer dan 2.500 organisaties gekozen voor QMP als strategisch management systeem voor digitale toetsing, de klanten bestaan uit zowel onderwijsorganisaties, profit en nonprofitorganisaties alsmede overheidsorganen. In Nederland wordt QMP bij vele Hogescholen en Universiteiten gebruikt, een overzicht van bestaande onderwijsinstellingen
Academisch Medisch Centrum Amsterdam (AMC) Christelijke Hogeschool Ede
Huisartsenopleiding Nederland Marnix Academie
Fontys Hogeschool *
Stenden Hogeschool
Christelijke Hogeschool Windesheim Haagse Hogeschool Hanzehogeschool * HBO-raad
Hogeschool Arnhem Nijmegen * Hogeschool InHolland *
Hogeschool Rotterdam *
Hogeschool van Amsterdam *
Open Universiteit
Universiteit van Amsterdam * Universiteit Maastricht Universiteit Twente Vrije Universiteit
Wageningen Universiteit Diverse ROC’s (15)
Diverse Kennis- en Branche organisaties 15
Hogeschool Zuyd
(onderwijs-gerelateerd)
Opvallend is dat een aantal instellingen hier genoemd ook gebruik maken van Maple TA. Deze zijn met * gemarkeerd. De productontwikkeling (en doorontwikkeling) is feitelijk gebaseerd op twee pijlers. Enerzijds wordt sterk geluisterd naar klantvragen/gebruikersgroepen die rechtstreeks of via het distributiekanaal van QM binnen komen. Anderzijds heeft QM een management team dat internationaal haar sporen heeft verdiend op het gebied van visionaire ICT- en onderwijs ontwikkelingen. Deze twee invalshoeken zorgen voor een continue doorontwikkeling van QMP. In totaal zijn er ruwweg 100 medewerkers actief betrokken bij de productontwikkeling van QM. Een deel ervan (25) zijn direct betrokken bij de strategische en tactische ontwikkelingen (visie, technisch beheer, ondersteuning), de overige medewerkers zijn op het operationele vlak actief (softwareontwikkeling & programmeren). In sommige landen verzorgt QM de distributie rechtstreeks, in Nederland is Stoas Learning reeds meer dan 20 jaar de distributeur/partner van QMP. Met een jaaromzet van zo’n 10 miljoen euro (boekjaar 2010) noemt Stoas Questionmark een gezond bedrijf. Zowel functionele als technische kennis van QMP is bij Stoas Learning in ruime mate aanwezig. Bij Stoas werken ongeveer 7 mensen technisch en functioneel dagelijks met QMP. Saxion werkt samen met Stoas, sinds 2009, omdat Stoas het technisch applicatiebeheer op Blackboard voor Saxion uitvoert. Zie ook http://www.stoas.nl . Question Mark is een privaat georganiseerd bedrijf en heeft geen jaarverslag. Samenvatting van de opmerkingen van de referenten over QMP: QMP wordt instellingsbreed binnen de referentiegroep gebruikt bij de HAN, hogeschool Windesheim, Hanzehogeschool en Vrije Universiteit. Vanuit de VU juicht men het nadrukkelijk toe, wanneer er een concurrent voor Question Mark op de Nederlandse markt zou komen. Surpass: Efinity is sinds de herfst van 2011 de Nederlandse vertegenwoordiger van Surpass. Efinity heeft nauwe banden met andere hogescholen en universiteiten, is lid van bijvoorbeeld de NVE (Nederlandse Vereniging voor Examens) en zoekt samenwerking binnen SURF. BTL is het moederbedrijf dat Surpass levert. BTL bestaat sinds 1985. Oorspronkelijk was het bedrijf gericht op e-Learning diensten. Hoewel Surpass al sinds 1985 met toetsing bezig was, bestaat het Surpass platform bestaat sinds 2008. BTL is een privaat bedrijf met ongeveer 70 medewerkers. Het bedrijf is van oudsher gericht op een partnerrelatie met alleen erg grote bedrijven, de zogenaamde ‘awarding companies’. Een erg grote klant is bv. de Schotse overheid, die alle examens laat afnemen met behulp van Surpass. In Engeland gebruikt een aantal zeer grote exameninstituten Surpass.
16
Zie voor meer informatie: http://www.btl.com . Zie ook: http://saxion.hosted.panopto.com/Panopto/Pages/Viewer/Default.aspx?id=6531a02e-ccf7-47e09566-3ab798d919a3 Tot eind 2011 beperkte BTL zich alleen tot de Engelse markt. BTL is een financieel gezond bedrijf. Informatie over het bedrijf is te vinden in Blackboard onder community Saxion ICTO> SIG Toetsing > Keuzetraject toetsapplicatie > Scenario 3 Continuiteit.
Resultaat Maple TA 1
Showstopper
QMP
Surpass
Proven
technology
Scenario 4: Ondersteuning en helpfunctie Uitwerking Werkwijze Functioneel beheer ICT&O is in staat om tijdens de scenariotesten een goed beeld te krijgen van de ondersteuning van de leverancier, omdat zij om alle testen te kunnen uitvoeren met de academies, hun weg moeten kunnen vinden in de applicatie en over verscheidene onderwerpen met de leverancier moeten kunnen overleggen. Daarnaast wordt er aan een aantal referentieklanten per applicatie gevraagd hoe de ondersteuning is.
Vragen 2
Is er een goede helpfunctie in de applicatie?
2
Is ondersteuning tijd- en plaatsonafhankelijk mogelijk voor FB ICTO en toetsdesken?
1
Ondersteuning van de leverancier 17
Uitwerking Maple TA: CAN diensten ondersteunt in Nederland. Zij maken voor functionele ondersteuning gebruik van de freelance diensten van Metha Kamminga, ex docente van de Noordelijke Hogeschool Leeuwarden, wiskundige en langdurig gebruiker van Maple TA. Zie http://www.methakamminga.nl/ . Metha is als docente inmiddels met de VUT. Zij is de enige persoon, die functionele ondersteuning biedt bij Maple TA. Vanaf ongeveer eind april tot oktober is zij veelvuldig in het buitenland. Dat de functionele ondersteuning afhankelijk is van één persoon die al met de VUT is, achten wij een risico voor Saxion. CANdiensten levert vooral technische ondersteuning. Daarnaast schakelt CANdiensten voor technische problemen door naar de supportdesk van Maplesoft. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. De helpfunctie is niet contextgebonden. Men kan de userguide van de applicatie downloaden.Daarin kun je zoeken, je kunt via de inhoudsopgave het onderdeel waar uitleg bij nodig is opzoeken. En er is een index op de helpfunctie. Er is ook een korte webbased administrator- , instructor-, proctor- en studenthelp. Samenvatting van de opmerkingen van de referenten over Maple TA: TUDelft over de support:” We hebben geen SLA met de leverancier, maar op supportvragen wordt goed ingespeeld. Supportvragen liggen soms op het gebied van technisch beheer maar veel regelmatiger op het gebied van functionaliteit (of tips/tricks mbt tot toetsvragen “. Ook bij de NHL is er geen helpdeskrelatie met de leverancier. Question Mark Perception: Stoas doet de 2e lijns ondersteuning in Nederland en schakelt soms door naar de supportdesk van Question Mark. Stoas heeft zowel consultants voor functionele ondersteuning, als voor technische ondersteuning in dienst. Er werken bij Stoas ongeveer 7 mensen dagelijks met Question Mark Perception. Stoas is bij de ondersteuning van goede intentie. Toch bleek dat de getrapte structuur Stoas 2e lijn – QM 3e lijn betekent, dat de ondersteuning niet altijd direct een oplossing biedt. We constateren, dat er tijdens de scenariotesten een aantal problemen waren, die vooral op het moment dat Stoas het probleem niet kon oplossen (bv. toegang tot QM Live, downloaden secure browser, toegang tot communities, informatie op communities website niet up to date) toch relatief lange oplostijd kostten. Bovendien bleek de QMP- infrastructuur relatief lastig in die zin, dat er soms onduidelijke foutmeldingen verschenen bij relatief simpele functionaliteit, waarvoor een oplossing helemaal niet direct voorhanden is (foutmelding secure browser, trage respons beheeromgeving, performancetesten). Dit ervaren wij als een risico. De helpfunctie is niet contextgebonden. Met de helpfunctie wordt een userguide geopend bij het onderdeel waarin men werkt (bv. authoring, of planning van toetsen of.....). De userguide is Engels. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. In de vorm van de Question Mark Communities wordt ook een ruimte geboden waar men inhoudelijk informatie over toetsen en praktijkvoorbeelden kan vinden. Dat kan ook didactische ondersteuning zijn. Zie http://www.qmark.com . Samenvatting van de opmerkingen van de referenten over QMP:
18
Windesheim over de ondersteuning van QMP: “Eerste afhandeling gebeurt door Stoas. Erg afhankelijk van wie de call krijgt toebedeeld. Daarnaast moeten calls worden ingeschoten via clientele (elektronisch systeem voor klachtafhandelingen). Vaak hebben wij zelf al alle opties en wegen verkend voordat we een melding inschieten. Vervolgens begint Stoas weer bij nul hetzelfde probleem te ontrafelen en krijg je dus een herhaling van zetten. Kost erg veel tijd, energie en ook frustratie. Voor sommige echt technische issues is het vaak handiger om een technisch consultant in onze omgeving te laten meekijken. Voordat je zover bent is er al heel wat water door de Rijn. Als Stoas er niet uit komt maken zij een melding bij Questionmark en krijg je hetzelfde proces nog een keer. Questionmark reageert niet snel op (moeilijke) vragen . Alles bij elkaar kan het soms weken tot maanden duren voordat je een oplossing hebt voor je probleem. Sommige problemen worden ook weggeschoven onder het mom van staat (of komt) op de roadmap. In dat geval kan het een jaar of langer duren voordat een knelpunt is aangepakt. Voorbeeld: de roep om een rapport waarmee score-cijfer berekening kan worden gemaakt. Zit er nog steeds niet in en is volgens mij al 10 jaar geleden om gevraagd.” VU: “Applicatie kent veel bugs en nifty probleempjes. Die zijn niet altijd oplosbaar. Alles gaat via een call-systeem en dat is niet prettig.” Surpass: Ook hier is een getrapte ondersteuning. Efinity doet de 2e lijns ondersteuning en schakelt soms door naar de 3e lijns ondersteuning van BTL. BTL geeft op de website aan zich eerder een partner te voelen van de instellingen die Surpass gebruiken, dan een leverancier. Die sfeer ademt de ondersteuning. FB ICTO heeft veel meer contact gehad met consultants bij BTL, dan met die van Question Mark of Maplesoft. Dat was niet omdat er meer problemen waren met Surpass, maar omdat BTL Saxion al direct inschakelt als een partner bij het ontwikkelen van de nieuwe interface voor de programmatuur. BTL is ook op eigen initiatief naar Saxion gekomen, om mensen te bevragen over de nieuwe interface. Zij waren toen ook bereid op korte termijn een presentatie te geven. Daarnaast heeft BTL niet alleen maar onderzocht of een conversie van vragen uit TestVision mogelijk was, maar hebben ze een tool gebouwd, die in een Skype sessie gedemonstreerd en de tool voor testen ter beschikking gesteld. Ook zijn ze gelijk gestart met het bouwen van een oplossing voor secure vaardigheidstoetsen met MS Office. De helpfunctie is niet contextgebonden. Met de helpfunctie wordt een userguide geopend van het onderdeel waarin men werkt (bv. authoring, of planning van toetsen of.....). De userguide is Engels. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. In een community kan men ook inhoudelijke informatie over toetsen en didactische ondersteuning vinden bij Surpass. Zie http://www.btl.com/community/
Resultaat Maple TA 2
helpfunctie
2
tijd- en
QMP
Surpass
plaatsonafhankelijke ondersteuning
1
Ondersteuning leverancier
19
Scenario 5: Inrichten van domeinen binnen de applicatie Werkwijze Dit scenario hangt nauw samen met scenario 6 omtrent rollen per academie en workflow. Beide scenario’s samen geeft een goed beeld van de mogelijkheden voor het werken met de applicatie. We ontwikkelen niet een heel voorbeeld domein, maar onderzoeken per applicatie of een voorbeelddomein in te richten is met de tools van de applicatie. Daarbij zijn er 2 verschillende gebieden waar een domein moet worden ingericht. Elke academie wil één leerboom met toetsvragen en toetsen als een geheel beschikbaar hebben, maar binnen die leerboom moeten wel gebieden met verschillende rechten aan verschillende personen toegekend kunnen worden. Voorbeeld: De Toetsdesk van een academie heeft lees-, schrijf- en beheertoegang tot de gehele leerboom van de academie, maar elke toetsverantwoordelijke heeft lees-, schrijf en beheertoegang tot de toetsen en toetsvragen van de eigen modules/vakken. Docenten kunnen alleen toetsvragen aanleveren voor de eigen vakgebieden. Het tweede gebied is het gebied van het klaarzetten van de toetsen voor afname. Voorbeeld: De toetsverantwoordelijke voor een bepaalde toets zorgt voor een toetsmatrijs. Deze staat geregistreerd in BISON. Deze toetsmatrijs wordt uitgewerkt naar een toets met toetsvragen in de toetsapplicatie door de toetsdesk. De toetsverantwoordelijke controleert of de matrijs goed is uitgewerkt en controleert de toetsversies op basis van de toetsmatrijs. De toetsdesk heeft daarom lees-, schrijf- en beheerrechten op het samenstellen van toetsmatrijzen en toetsversies op basis van die toetsmatrijzen. De toetsverantwoordelijke heeft minimaal leesrechten om in elk geval een preview te krijgen. Het centrale toetsbureau zorgt ervoor, dat de toets in de tijd wordt ingeroosterd en zorgt dat studenten voor de toets worden ingeschreven. Ook de academie toetsdesk kan hiervoor verantwoordelijk zijn. De afname van de toets wordt begeleid door ofwel het centrale toetsbureau, ofwel de toetsdesk van de academie. Uiteindelijk moet de toetsverantwoordelijke weer de resultaten van de toets kunnen inzien.
Vragen 1
Kan elke academie een eigen domein krijgen, zonder dat dit leidt tot beheerproblemen
2
Zijn er ook binnen een domein bepaalde containers af te schermen (bv. per opleiding of
1
Zijn er mogelijkheden om binnen de academieinterface samenwerkingsverbanden
2
Is het mogelijk om binnen de verzamelde academieinterface een ingang voor
1
Blijft de applicatie ondanks het gebruik van domeinen één geheel. Hoeven gebruikers
showstopper
(bv. 12 installaties van dezelfde programmatuur). per studiejaar of .....)
tussen academies te realiseren.
toetsbureau en Functioneel Beheer ICT&O op de juiste gebieden te realiseren. niet tussen allerlei stukjes van de applicatie bestanden te importeren en exporteren?
20
Uitwerking Maple TA: MapleTA werkt met classes. Toetsvragen en toetsen bestaan binnen een bepaalde class en zijn zonder kopieren niet uitwisselbaar tussen classes. Binnen een class kan een gebruiker de rechten krijgen tot beheer van toetsen en toetsvragen of als deelnemer in een toetsafname. Binnen een class kun je rechten op delen van de content afschermen door subclasses te maken. Docenten met beheerrechten op een (sub) class kunnen alle toetsvragen en toetsen binnen die (sub)class bewerken
en klaarzetten voor afname. Binnen een (sub) class kun je geen nieuwe containers aanmaken. Deelnemers op een toets worden aangemeld op de class en zijn dan ingeschreven op alle toetsen in die class. Dat betekent in de Saxion context, dat je om deelnemers alleen op de juiste toets aan te melden, per toetsmatrijs een (sub)class zou moeten aanmaken. Toetsvragen zijn dan nauwelijks uitwisselbaar tussen classes, zonder dat dezelfde toetsvraag gekopieerd wordt naar andere classes. Het aantal classes zal daarmee even groot worden als het aantal afgenomen toetsen. Gezien vanuit het delen en het overzicht over de vragen in de leerboom is deze verregaande en rigide indeling niet wenselijk. Voor het samenwerken tussen academies, moeten weer aparte classes of subclasses worden aangemaakt. Uitwisseling van toetsvragen blijft een kwestie van kopieren van een toetsvraag. Toetsbureau en Functioneel Beheer ICT&O zouden dan net als de toetsdesk alle rechten binnen alle classes moeten hebben om toetsen te plannen en inschrijvingen te beheren. Echter ook alle docenten in een class hebben de rechten om te plannen en inschrijvingen te beheren. Er is dan nog een optie om per academie een eigen installatie van de software te maken. Dat leidt tot problemen bij de samenwerking binnen academies en de noodzaak tot handmatige import-export tussen domeinen, waar wordt samengewerkt. Daarmee is duidelijk dat de indeling van de applicatie in domeinen op zijn minst moeilijk is en veel risico’s bergt. Question Mark Perception : Vragen en toetsen worden opgeslagen in een mappenstructuur. Op hoofdniveau kunnen lees-, schrijf- en/of beheerrechten aan bepaalde personen worden toegekend. Op hoofdniveau vormen daarom de verschillende modules/thema’s, waaruit toetsen worden samengesteld de basis voor de mappenstructuur . Deze structuur lijkt op die in TestVision en is in het verleden werkbaar gebleken. Wanneer er tussen academies wordt samengewerkt kunnen ze bepaalde mappen delen, maar een academiemedewerker kan ook bv. leesrechten krijgen op de mappen van een andere academie. Het plannen en inschrijven van studenten op een toets is geregeld op basis van roostergroepen. Elke toetsdesk van de academie kan rechten krijgen om de eigen roostergroepen in te schrijven op een toets en in de tijd te plannen. Het centrale toetsbureau krijgt schrijftoegang tot bepaalde roostergroepen en toetsen, maar niet tot de gehele mappenstructuur. Daarmee kan het toetsbureau wel toetsen voor alle academies inplannen, maar niet de vragen en toetsen veranderen. Uit de vragenlijsten over QMP blijkt dat de meeste instellingen in het HO, die werken met QMP, in de praktijk werken met een aparte omgeving waarin docenten hun toetsen en toetsvragen ontwikkelen en een aparte omgeving waarin de toetsen worden afgenomen. Dit wordt geadviseerd door Stoas om te voorkomen, dat per abuis toetsvragen worden gewijzigd, terwijl die in toetsen worden gebruikt. Deze 21
structuur beschermt ook de performance.Toetsvragen en toetsen worden via handmatige export en import van de ontwikkelomgeving naar de afnameomgeving gebracht. Dat is een structuur, die we binnen Saxion eigenlijk niet willen. Surpass: De applicatie kent toetscentra. Een toetscentre is bv. een academie of een opleiding. Binnen een toets centre worden toetsen samengesteld op basis van kwalificaties. Een kwalificatie is bv. een diploma (opleiding) waarvoor iemand wordt opgeleid. Een kwalificatie kan ook een competentie zijn. De mappen met toetsvragen zijn gekoppeld aan die kwalificaties. Ook de toetsen zijn gekoppeld aan kwalificaties. Een toets kan gekoppeld zijn aan meerdere kwalificaties en meerdere centra. Gebruikers kunnen alleen die kwalificaties, toetsvragen en toetsen zien, waarvoor zij rechten hebben gekregen. Je kunt toetsen en toetsvragen zoeken op grond van kwalificaties en centres. Voor elke toetsmatrijs kan een hoofdmap (een project) worden ingericht, waar de mappen met toetsvragen worden bewaard en waarin docenten toetsvragen kunnen maken. Per map worden allerlei rechten van gebruikers vastgesteld en eigenschappen van het gebied waarin de toetsvragen kunnen worden samengesteld. Een gebruiker ziet alleen die projecten waarop hij rechten heeft. En kan daar toetsvragen maken. Voor het samenstellen van toetsmatrijzen en toetsversies kan de toetsdesk alleen die toetsvragen vinden die vrijgegeven zijn voor publicatie en gekoppeld zijn aan bepaalde centra en kwalificaties. Het doet er niet toe in welk project deze toetsvragen staan, men kan ze op deze plaats niet veranderen, alleen bekijken. Het centraal toetsbureau krijgt toegang tot bepaalde centra en kwalificaties, maar dan alleen om toetsversies (bv. Taaltoets-kwartiel 1-1e kans, Taaltoets-kwartiel2-herkansing) in te plannen. Daarmee kan het toetsbureau wel toetsen voor alle academies inplannen en de inschrijving regelen, maar niet de vragen en toetsen of toetsmatrijzen veranderen. Resultaten: Maple TA 1
Eigen domein per academie
2
Afschermingen binnen
1
Samenwerking tussen
2
Ingang voor toetsdesk,
SS
QMP
Surpass
domein
academies
centraal toetsbureau, FB ICTO.
1
Applicatie is één geheel
zonder import en export
22
Scenario 6: Rollen per academie en workflow Werkwijze We ontwikkelen niet een heel voorbeeld rollensysteem en een voorbeeld workflow, maar we onderzoeken per applicatie of afdoende rollen en een passende workflow in te richten zijn met de tools van de applicatie. De workflow rond het volledige proces toetsen is in een eerste bijeenkomst met betrokkenen in kaart gebracht. Rollen
Taak
Toetsverantwoordelijke
Aanspreekpunt voor validiteit, betrouwbaarheid en acceptatie van de
Docent
Verantwoordelijk voor (deel van) de toetsvragen, review
Examencommissie
Borging van kwaliteit van de toets
Toetsdesk
Toetsmatrijs digitaliseren en genereren van de toetsen vanuit de
Roostering en planning
Roostering van toets en locatie
Centraal toetsbureau
Coördinatie van uitvoering van de toetsen en inschrijving van
Surveillant
Afname van de toets
Onderwijskundige
Uitleg van de analyse van de toets en toetsvragen
Informatiseringscentrum
Technisch beheer en ondersteuning infrastructuur
Functioneel beheer ICT&O
Beheer en ondersteuning van de applicatie
toets: toetsmatrijs. Toetsanalyse en vaststelling resultaten
toetsmatrijs
deelnemers
23
Niet elke academie binnen Saxion hanteert een even gedetailleerde workflow of eenzelfde workflow. Daarom is er voor het werken met een workflow en met rollen een hoge flexibiliteit nodig van de applicatie om het 12 academies naar de zin te maken.
Vragen 1
Zijn er rollen met capabilities, die voldoende fijnmazig zijn ingericht voor gebruik
2
Zijn die rollen in te richten doordat FB ICTO capabilities kan toekennen of afschermen
2
Is het mogelijk een workflow in te richten voor het ontwikkelen van toetsitems en
2
Is het mogelijk een workflow in te richten voor de administratieve ondersteuning binnen
showstopper
binnen Saxion?
voor een rol? Zijn er nieuwe rollen te maken binnen de applicatie? toetsen binnen de applicatie? de toetsapplicatie?
Uitwerking Maple TA: MapleTA werkt met classes. Binnen een class zijn 3 verschillende rollen beschikbaar, namelijk: •
Administrator: De rol administrator heeft alle rechten op alle classes van Maple TA. De administrator kan op systeemniveau gebruikers toekennen aan rollen binnen classes.
•
Instructor: De rol voor diegenen die de toetsvragen en toets ontwikkelen binnen een class, vervolgens inplannen en studenten inschrijven op de class.
•
Proctor: Surveillant, die studenten individueel toegang kan geven voor een toets.
•
Student: De student neemt deel in de toets.
Deze rollen staan vast binnen de applicatie. Dat betekent, dat de bevoegdheden van de rollen niet veranderd kunnen worden. Er kunnen ook geen nieuwe rollen toegevoegd worden. Eigenlijk is voor 24
ontwikkeling en beheer van toetsvragen en toetsen en voor planning en inschrijving van deelnemers maar 1 rol beschikbaar. Dat betekent dat Mape TA te beperkt is in de roldifferentiatie om binnen de organisatie van Saxion te kunnen functioneren. Er is geen tool om een workflow op te bouwen beschikbaar binnen de applicatie. Uitgaande van de beschikbare rollen kan iedereen met rechten op bepaalde classes anders dan deelnemer, alles, zowel qua vraag- en toetsontwikkeling als op gebied van planning en inschrijven van toetsdeelnemers. In de interface van de applicatie zit een workflow ingebakken, die ervan uitgaat dat dezelfde persoon de toets samenstelt, beveiligingsopties instelt en plant in de tijd. Dit is beveiligingstechnisch zelfs hoogst onwenselijk. Question Mark Perception : Bij het ontwikkelen van vragen en toetsen zijn per map met toetsvragen of per map met toetsen 4 rechten beschikbaar, die een beheerder kan toekennen aan een gebruikeraccount: • • • •
No acces
Full accces View/Use Edit/Use
Daarnaast kan men een gebruikeraccount een rol geven, genaamd profiel. De beheerder kan ook nieuwe profielen maken.
Binnen een profiel zijn bevoegdheden gedefinieerd, die men al dan niet aan het profiel kan toekennen. Deze bevoegdheden zijn relatief grofmazig gedefinieerd. Ze lijken voldoende om binnen de Saxion context bruikbaar te zijn, maar er zijn door de clustering van bevoegdheden ook beperkingen in het definieren van rollen.
25
Binnen Question Mark Perception is een tool beschikbaar om een workflow voor het ontwikkelen van vragen en toetsen te ontwikkelen. Deze workflowtool is echter niet geheel in de applicatie geintegreerd. Er moet een speciaal soort hoofdmap worden aangemaakt, wil gebruik van de workflow uberhaupt mogelijk zijn. In normale mappen is een workflow niet mogelijk. Het is dus niet mogelijk om in het kader van een implementatie eenvoudig te starten met het ontwikkelen van vragen en in latere instantie over te gaan tot het werken met een workflow. Het is mogelijk meerdere workflows te creeren en per map (voor een andere academie) een andere workflow toe te kennen. De workflow werkt met een aantal vraagstatussen, te weten: •
Normaal (bruikbaar in een toets)
•
Retired (niet meer bruikbaar in een toets)
•
Incomplete (in aanbouw, kan niet gebruikt worden)
•
Beta (Kan gebruikt worden in een toets)
•
Experimenteel (Kan al wel gebruikt worden in een toets, maar telt niet mee in eindscore)
In de testlicentie van Saxion kregen we de workflow niet werkend. Het blijkt dat voor de workflow editor een aparte licentie nodig is. Die aparte licentie blijkt niet langer verkrijgbaar. De workflow betreft alleen het maken van toetsvragen en toetsen en kan alleen in de clientapplicatie de zg. authoring tool (zie scenario 10) worden gebruikt. Ook op administratief gebied kunnen er bevoegdheden aan rollen worden gekoppeld. Er is geen tool om een administratieve workflow te maken. Een administratieve workflow kan alleen via afspraken en procedures tot stand komen. Surpass: Bij het ontwikkelen van vragen en toetsen kan een beheerder per project rollen met bijpassende bevoegdheden definieren. Vervolgens ook workflow statussen definieren.
26
En die workflow statussen aan rollen hechten.
In de workflow kunnen er een aantal vraagstatussen zijn, te weten: •
Draft
•
Ready for review
•
Proof read
•
Ready for approval
•
Approved
•
Released
•
Withdrawn
Deze vraagstatussen hoeven niet allemaal gebruikt te worden. Een vraag wordt standaard als draft ontwikkeld en is pas beschikbaar om er toetsen mee te maken, als de vraag de status released heeft. Dit betekent dat er voor alle academies verschillende workflows voor het ontwikkelen van toetsvragen gedefinieerd kunnen worden. Bij het ontwikkelen van een toets zijn er meerdere rollen beschikbaar met een fijnmazig systeem van bevoegdheden. Ook bij het inplannen van een toets voor afname en het inschrijven van deelnemers op een toets zijn meerdere rollen beschikbaar. Deze rollen kunnen zeer fijnmazig worden afgestemd door de beheerders. Ook kunnen er nieuwe rollen worden aangemaakt.
27
Daarmee zijn er meer dan voldoende tools om ook administratieve workflows aan te maken met daarin de voor Saxion benodigde rollen. De fijnmazige toekenning van rollen en rechten wordt uitgaande van een bepaalde standaard uitgeleverd. Het scala van mogelijkheden maakt zorgvuldigheid bij het maken van een Saxionspecifieke functionele inrichting van de applicatie noodzakelijk. Advies door de leverancier is hierbij niet overbodig. Resultaten: Maple TA 1
Fijnmazige rollen met
2
Zelf rollen inrichten en
2
Workflow voor het
SS
QMP
Surpass
bevoegdheden
nieuwe rollen mogelijk ontwikkelen van
toetsvragen en toetsen 2
Workflow voor
administratieve ondersteuning.
Scenario 7: Beveiliging Werkwijze: Er is met alle 3 leveranciers een gesprek gehouden over de mogelijkheden in het kader van de BIV matrix en over de specifieke security van de applicatie voor toetsing. Wat betreft de specifieke security voor toetsen zijn testen uitgevoerd door functioneel beheer ICT&O. Die testen zijn niet vanuit de invalshoek gedaan om de security te doorbreken, maar vanuit de invalshoek te begrijpen hoe de security geregeld is. Voor een White hat hacker test is Kai Haveman van ACT gevraagd met een groep studenten.
28
Vragen 1
Minimaal voldoen aan de BIV normen
*
Kansen om te voldoen aan extra beveiligingseisen uit de BIV matrix
*
White hackers test (als ACT niet uitvoert, andere wijze van uitvoering zoeken)
1
Secure afleveren van de toets
1
Toegangscode voor de toets
2
Individueel regelen van toegang
3
Alleen in bepaalde lokalen beschikbaar stellen (op IP nummer)
1
Per student en per toets regelen, hoe vaak de toets geopend mag worden, op welke
2
Opslag vanuit welke PC’s een toets gemaakt wordt/is
2
Beveiligd inzage van toetsen door studenten is mogelijk
showstopper
showstopper
showstopper
data en tijdtippen, met welke toegangscode.
Uitwerking In principe heeft de academie ACT voor de white hat hacker test medewerking toegezegd, maar het tijdstip waarop deze test komt is in het kader van het lesprogramma onhandig gebleken. Dat betekent, dat de test helaas nog niet is gebeurd. Maple TA:
Maple TA is in de volgende release volledig schaalbaar en volledig redundant. De volgende release
wordt verwacht in het voorjaar van 2013. Er zijn dan meerdere Tomcat servers, waarvan dagelijks een incremental backup wordt gemaakt. Maandelijks wordt er een volledige backup gemaakt. Er is een
noodstroomvoorziening. Maple heeft 24 uur per dag monitoring op de servers. Echter in de nacht in
Canada bestaat de ondersteuning alleen uit herstarten van een machine, als iets het niet doet. Dat is wel overdag in Nederland! Can diensten in Amsterdam geeft van 9.00-17.00 uur technische
ondersteuning. SSL connectie is mogelijk. Gebruikersgegevens worden via een secure VPN connectie
aangeleverd aan Maple TA. Over de performance (zie ook scenario 12) is bekend, dat op een server met 8 CPU en 12 GB Ram gegeven 600 gebruikers gelijktijdig kunnen inloggen. Er zitten in het kader van de BIV matrix dus met name enige risico’s in schaalbaarheid en redundantie op termijn en de technische support.
Een summatieve toets wordt afgeleverd via een secure browser. Deze secure browser is ontwikkeld en
in beheer van de TU Delft. De leverancier is dus niet op de secure afname van de toets aanspreekbaar. Dat is een risico. Een toets is gekoppeld aan een class in Maple TA. Toegang tot de class bepaalt dat
een student toegang heeft tot alle toetsen in die class. De toets kan op tijd gezet worden. Deze tijd kan niet worden aangepast per student alleen per class. Voor studenten met verlengde toetstijd moet bv. een kopie van de toets klaargezet worden met verlengde tijd. Als studenten individueel de toets moeten maken, kan inlog door een proctor gevraagd worden. Deze moet dan een inlogcode en
wachtwoord geven, alvorens de student kan inloggen. Bij de toets is geen toegangscode mogelijk . Het is mogelijk de toets alleen voor bepaalde IP nummers beschikbaar te maken. Er wordt in de
rapportages niet gemeld op welk IP nummer een student de toets gemaakt heeft. Inzage van een toets heeft een groot aantal mogelijkheden om die inzage te beperken. Inzage lijkt niet beveiligd.
De toets wordt per vraag opgeslagen, op het moment dat een nieuwe vraag wordt opgehaald. Opslag van open vragen kan daarom zo lang duren, dat er een timeout heeft plaatsgevonden. Zonder
internetvoorziening is er geen toets mogelijk. Er is geen offline toetsversie en als tijdens de toets de internetverbinding wegvalt, is de rest van de toets niet meer beschikbaar.
29
Persoonsgebonden inlognaam en wachtwoord is mogelijk. Extern is er geen extra sterke authenticatie. Question Mark Perception :
De toetsomgeving is dubbel uitgevoerd. Er zijn meerdere applicatieservers, die elkaar kunnen
vervangen en waarvan dagelijks een backup wordt gemaakt. Ook van de database wordt een wekelijkse backup gemaakt met een dagelijkse incremental. Er is een redundante internetverbinding. Er wordt op korte termijn een failoverdienst op een andere lokatie gerealiseerd. Er is een noodstroomvoorziening. Stoas heeft 24 uur per dag monitoring op de servers. Het servicevenster voor de ondersteuning loopt maximaal op werkdagen van 5 uur in de ochtend tot 23.00 uur in de avond. In verband met de performance (zie ook scenario 12) is er een behoorlijke infrastructuur aan servers nodig om gelijktijdige beschikbaarheid voor 500-700 gebruikers te garanderen.
Een summatieve toets wordt afgeleverd via een secure browser. Groepen en individuele studenten
worden aangemeld als deelnemers op de toets. Dat betekent, dat de toets individueel en per student op tijd kan worden gezet. Als studenten individueel de toets moeten maken, kan inlog door een
monitor gevraagd worden. Deze moet dan een inlogcode en wachtwoord geven, alvorens de student kan inloggen. Bij de toets is geen toegangscode mogelijk . Wel is het mogelijk de toets alleen voor
bepaalde toetslokalen beschikbaar te maken. Er wordt opgeslagen op welk IP nummer een student de toets gemaakt heeft en hierop kan gerapporteerd worden. Er is een mogelijkheid tot inzage van de
toets via de secured browser. We hebben in de praktijk van het testen niet kunnen reproduceren (zie ook scenario 17) of deze wijze van secure inzage ook in de Saxion werkwijze past. Wel is er een op
maat gemaakt coachingrapport voor de terugkoppeling naar een student mogelijk.
De toets wordt per vraag opgeslagen, op het moment dat een nieuwe vraag wordt opgehaald. Stoas adviseert om bij langdurig werken aan een vraag tussentijds op te slaan om timeout te voorkomen.
Ook adviseert men om niet als laatste vraag een open vraag in een toets op te nemen, om kwijtraken
van het antwoord te voorkomen. Zonder internetvoorziening is er een toets mogelijk, er is een offline toetsversie, waarvoor men een aparte licentie moet aanschaffen. Als tijdens de toets de
internetverbinding wegvalt, is de rest van de toets niet meer beschikbaar. SSL connectie is mogelijk. Via een beveiligde VPN verbinding moeten gebruikersgegevens worden afgeleverd aan QMP.
Persoonsgebonden inlognaam en wachtwoord is mogelijk. Extern is er geen extra sterke authenticatie. Een summatieve toets is secure benaderbaar. Surpass:
In de SAAS oplossing is de omgeving dubbel uitgevoerd. De toetsomgeving wordt afgeleverd in een loadbalanced cluster, met meerdere applicatieservers , die elkaar kunnen vervangen. Per
applicatieserver kunnen 15.000 users per dag getoetst worden. Op een Golden configuratie kunnen
5000 studenten de toets op hetzelfde moment starten. Van de applicatieservers wordt dagelijks een
online backup gemaakt. Ieder uur wordt een incremental backup van de database gemaakt. Wekelijks is er een offline backup. Er is een aparte failover op een andere locatie geregeld. Er is een redundante internetverbinding. Er is een noodstroomvoorziening. Zonder internetvoorziening is er een toets mogelijk (er is een offline toetsversie).
Surpass werkt op een andere manier dan QMP en MapleTA. Naast een centrale Surpass server wordt er op de lokale werkstations niet gebruik gemaakt van een secure browser, maar van een secure
clientapplicatie. In deze lokale clientapplicatie wordt op het moment van start van de toets, de gehele toets met alle vragen gedownload. Als de toets is gestart, levert de lokale client de toetsvragen ter presentatie aan de student aan. Initieel worden de antwoorden in de database van de lokale client
bewaard. Deze gegevens worden encrypted bewaard. De lokale client synchroniseert elke 30 seconden
met de centrale server de gegeven antwoorden. Als tijdens de toets de internetverbinding wegvalt, blijft de rest van de toets die immers is gedownload in de lokale client gewoon beschikbaar. De
resultaten worden lokaal bewaard en de synchronisatie wordt hervat, zodra de internetverbinding weer hersteld is.
30
De servers worden 24 uur per dag gemonitord. Er zijn meerdere SLA varianten voor support op de omgeving. De serverconfiguratie zou bij de SAAS oplossing in Engeland staan, waardoor support
tijdens werktijden van Saxion gewaarborgd is. Performance is goed, ook bij grote studentaantallen (zie ook scenario 12), zodat Surpass voor Saxion qua performance op 1 server geregeld kan worden. Voor failoverdoeleinden wordt er een loadbalanced infrastructuur gecreëerd.
SSL connectie is mogelijk. Een summatieve toets is secure benaderbaar, omdat een summatieve toets
wordt afgeleverd via een secure client. Groepen en individuele studenten worden aangemeld als
deelnemers op de toets. Dat betekent, dat de toets individueel en per student op tijd kan worden gezet. Er zijn 3 niveau’s van beveiliging van de toets: •
Een deelnemer krijgt om op de toets in te loggen een keycode. Dit is een random
gegenereerde code (van cijfers en letters) die geldt voor één toets op één moment voor één
student. De deelnemer moet dan een verklaring ‘ondertekenen’, dat hij is wie genoemd staat en niet fraudeert. • •
Bij de toets kan een toegangscode worden gevraagd.
Als studenten individueel de toets moeten maken, kan inlog door een monitor gevraagd worden. Deze moet dan een inlogcode en wachtwoord geven, alvorens de student kan inloggen. Dat laatste kan lokaal gebeuren, maar ook op afstand.
Het is niet mogelijk de onlinetoets alleen in bepaalde toetslokalen beschikbaar te krijgen. Dat kan wel met de offline versie. Er wordt opgeslagen op welk IP nummer een student de toets gemaakt heeft en
hierop kan gerapporteerd worden. Inzage van een toets is vooral bij een summatieve toets beperkt. Er is gmogelijkheid tot inzage van de toets via de secured browser. Wel kan men een rapportage voor inzage van de toets samenstellen.
Persoonsgebonden inlognaam en wachtwoord is mogelijk. Men maakt gebruik van een secure tool om
de gebruikersgegevens en authenticatie bij Saxion op te halen vanuit Active Directory. Extern is er geen extra sterke authenticatie.
Resultaat MapleTA 1
Minimaal voldoen aan de BIV normen
1
Secure afleveren van de toets
1
Toegangscode voor de toets
2
Individueel regelen van toegang
3
Alleen in bepaalde lokalen beschikbaar
1
Per toets regelen, hoe vaak de toets
SS SS
SS 1
SS
QMP
Surpass
stellen (op IP nummer)
geopend mag worden, op welke data en tijdtippen, met welke toegangscode.
Per student regelen, hoe vaak de toets
geopend mag worden, op welke data en tijdtippen, met welke toegangscode.
2
Opslag vanuit welke PC’s een toets
2
Beveiligd inzage van toetsen door
gemaakt wordt/is
studenten is mogelijk
31
Scenario 8: Gebruikerbeheer Uitwerking Werkwijze Op grond van documentatie van de leverancier en van van een teleconferentie wordt de beoordeling gemaakt of het gebruikersbeheer geautomatiseerd kan worden en authemnticatie aan de LDAP mogelijk is. Andere onderdelen worden getest in de applicatie.
Vragen 1
Dagelijks automatisch inlezen van alle gebruikers
1
LDAP authenticatie
1
Geen anonieme accounts
2
Kan een studentaccount geblokkeerd worden om op dat account andere rechten op de
1
Meerdere mensen kunnen tegelijkertijd optreden als beheerder in hetzelfde domein.
showstopper
toetsapplicatie te krijgen, dan toetsafname en toetsinzage?
Uitwerking Maple TA zet gebruikers in classes. Het programma heeft een API waarmee het gebruikers kan inlezen in classes. Zo is er bv. op die API een Building Block voor Blackboard gebouwd. Er kunnen ook koppelingen aan andere programmatuur gebouwd worden. Als gebruikers automatisch via de API worden ingeladen en de account automatisch gecreeerd wordt, dan is er geen LDAP authenticatie mogelijk. Het programma waarvanuit de gebruikers worden geladen (bv. Blackboard) verzorgt de authenticatie. Als de accounts worden aangemaakt door het handmatig inladen van CSV-bestanden, dan is er wel authenticatiie aan de LDAP mogelijk. Authenticatie is secure via SSL mogelijk. Een connectie met bv. Blackboard is alleen wenselijk voor formatieve toetsen, niet voor summatieve toetsen. De combinatie die Saxion wil, automatisch inlezen van studentaccounts en dan authenticatie aan, bestaat niet in Maple TA. Bij het aanmaken van gebruikers kan een mailadres maar 1 keer voorkomen. Dat is onwenselijk, bijvoorbeeld inzake het mailadres
[email protected] dat voor test- en demoaccounts wordt gebruikt. Het is niet nodig anonieme beheeraccounts te maken. Er kunnen meerdere beheerders tegelijkertijd in een class of in de applicatie werken. De rol beheerder wordt aan een account op naam toegevoegd. Studenten krijgen een andere rol bij het toevoegen van gebruikers aan een class, maar dat is niet (fysiek) gescheiden van het toevoegen van beheerders. Fouten maken is daarmee een risico.
32
Question Mark Perception bevat een aanvullende applicatie QMWise, die functionaliteit bevat om via websevices het gebruikersbeheer te koppelen. Dit koppelen is wel maatwerk, omdat de infrastructuur van elke instelling weer anders is. Er is geen ervaring met deze koppeling, omdat de meeste instellingen nog ervoor kiezen gebruikers met batchfiles met de hand in te lezen. Het is mogelijk secure via SSL te authenticeren aan de LDAP. Daar is well ervaring mee opgedaan bij bv. de VU. Welke software moet worden gebruikt voor een secure verbinding om gebruikers aan te maken is nog onduidelijk. Er kunnen beheerdersrollen worden toegekend aan accounts, die op persoonsnaam staan. Anonieme accounts zijn daarom niet nodig. Er zijn in een bepaald gebied meerdere accounts die een beheerrol kunnen krijgen soms ook met verschillende beheerdersrollen. Het toekennen van de studentrol voor afname van toetsen en van de verschillende beheerdersrollen voor het aanmaken van vragen en toetsen gebeurt op verschillende plaatsen in de applicatie en is daarmee fysiek gescheiden. Deelnemers maken een toets (zie afbeelding) en beheerders kunnen toetsvragen maken, of toetsen maken, of toetsen inplannen, of gebruikers toekennen aan toetsen.
Surpass kan gebruikers automatisch inlezen vanuit Active Directory. Daar is een speciale tool voor. Surpass heeft ervaring met het inlezen vanuit Active directory, maar omdat de infrastructuur van alle instellingen weer anders is, betekent dit maatwerk. Surpass kan de gebruikersbestanden secure ophalen op de Saxion servers, zodat het secure toezenden van de gebruikersbestanden via een Site to Site VPN niet nodig is. Secure (via SSL) authenticatie aan de LDAP van Active Directory is mogelijk. Daar is ook ervaring mee opgedaan. Beheerders worden toegekend doordat er aan een useraccount een specifieke rol wordt toegekend. Het is niet nodig om met een anonieme beheersaccount te werken. Er kunnen meerdere beheerders aan specifieke onderdelen (genaamd Centres) worden toegekend soms ook in verschillende rollen.
33
Beheerders (Users in Supass) krijgen op een andere plaats in de applicatie rechten op beheer, dan deelnemers aan toetsen (Candidates in Surpass).
Resultaat 1
Maple TA
1
Automatisch
1
LDAP authenticatie
2
Geen anonieme
1
Blokkade
showstopper 1
QMP
Surpass
inlezen gebruikers
accounts
studentaccounts
voor beheerrechten Meerdere
beheerders domein.
Scenario 9: Converteren van toetsvragen Werkwijze Er zijn 3 toetsen van 3 academies gekozen. Daarbij gaat het met name om Multiple Choice, Multiple Answer en Ja/Nee vragen. Ook is er gevraagd naar invulvragen. Alle exportvormen van deze
34
toetsvragen zijn gegaan naar de leveranciers met de vraag of dit converteerbaar is, in welke mate en welke kosten daar dan aan verbonden zijn. We willen dan ook weten of alles converteerbaar is.
Vragen *
Welk percentage van de toetsvragen kunnen we vrij geautomatiseerd converteren naar
2
Is geautomatiseerde conversie van toetsvragen mogelijk?
2
Kunnen er analysegegevens meegenomen worden
*
Welke kwaliteitsslag bij conversie van toetsen en toetsvragen is mogelijk?
de toetsapplicatie? Welk kostenplaatje hangt er aan conversie.
Uitwerking Maple TA: Conversie is tegen meerkosten mogelijk. Er is nog geen conversieslag gemaakt door de leverancier in deze testfase, omdat er door Saxion zolang de keuze nog niet gemaakt is, niet betaald zal worden voor conversie. Het is niet bekend of de conversie door Functioneel Beheer ICT&O in delen kan worden uitgevoerd, of dat de conversie bij Maple wordt uitgevoerd. Daarom is het niet bekend of we een kwaliteitsslag tijdens export – import kunnen maken. Het is onbekend of analysegegevens meegenomen kunnen worden. Question Mark Perception : Er is een conversie haalbaar op basis van txt-export van toetsvragen uit TestVision. Men heeft meerkosten in rekening gebracht om alle Multiple Choice, Multiple Answer, Ja/Nee en Invulvragen te converteren. In de offerte is hiervoor een extra kostenpost opgenomen. Bij de conversie worden afbeeldingen en andere multimedia niet meegenomen. Het is niet bekend of de conversie door Functioneel Beheer ICT&O in delen kan worden uitgevoerd, of dat de conversie bij Stoas wordt uitgevoerd. Daarom is het niet bekend of we een kwaliteitsslag tijdens export – import kunnen maken.De conversie kan voor zover nu bekend geen analysegegevens zoals bv. de moeilijkheidsgraad van de vraag (p waarde) meenemen. Surpass: Er is een conversietool gebouwd voor Multiple Choice, Multiple Answer en Ja/Nee vragen op basis van een TestVision export. Voor invulvragen is de conversietool nog niet geschikt gemaakt. De tool is zonder meerkosten beschikbaar. In de tool kunnen afbeeldingen en andere multimediabestanden worden meegenomen, hoewel dat een extra handmatige procedure vraagt, waarbij de onderliggende multimediabestanden worden overgezet naar een passende plek in Surpass. Vormgeving van de toetsvragen is afhankelijk van de gebruikte layout-template voor de verschillende vraagsoorten en ligt daarmee in eigen hand. De tool voor conversie is overgedragen aan Functioneel Beheer ICT&O en kan door hen gebruikt worden voor delen van de toetsvragen. Daarmee is het mogelijk om een kwaliteitsslag uit te voeren met de conversie in overleg met de academie zonder dat we eerst de toetsvragen in TestVision opschonen. Het is wel mogelijk analysegegevens mee te importeren. Deze zijn echter niet aanwezig in de TestVision export die geconverteerd kan worden, maar zouden wel handmatig geimporteerd kunnen worden in de Excel-file, die de basis vormt voor import van de TestVision vragen in Surpass.
Resultaat Maple TA 2
QMP
Surpass
Conversie mogelijk?
35
Maple TA 2
QMP
Surpass
Kunnen
analysegegevens meegenomen worden
Scenario 10: Nieuwe toetsvragen ontwikkelen Werkwijze Toetsvragen worden door de ene academie door docenten ingevoerd en bij andere academies alleen door een toetsdesk.Voor geautomatiseerd invoeren van vragen willen we dat kunnen bij de volgende typen: -
Multiple Choice
Multiple Answer True/False
Fill in the Blank Essay
Voor docenten is een gemakkelijke manier nodig om vragen in te voeren. Een vrij basale manier vanuit MsWord voor al die academies waar docenten helemaal niet in de toetsapplicatie komen. Daarnaast is er voor die academies waar docenten wel in de toetsapplicatie komen een geschikte interface nodig. De basis voor de aanmaak van vragen moet liggen bij de toetsmatrijs. De toetsdesk kan dan bekijken hoeveel vragen er beschikbaar zijn en kan dan aansturen waarvoor vragen moeten worden aangemaakt. Het zou mooi zijn als dit te bepalen is in de applicatie zodat er automatisch een melding komt als er vragen bijgemaakt moeten worden. Ingewikkelder vragen zoals Hotspot-vragen zijn lastiger te maken. Dit soort vragen hoeven alleen door experts gemaakt kunnen worden zoals de toetsdesken of ICT experts van de academies.Wiskundige vragen worden in alle applicaties uitgeprobeerd. We maken een aantal multimedia vragen in de applicaties en laten deze zien in een te maken toets. In de toets met multimedia vragen worden ook vragen verwerkt met de meest gangbare geavanceerde vragen die in de applicatie mogelijk zijn. Van de mogelijke vraagsoorten wordt per applicatie een omschrijving gemaakt.
Vragen 1
Eenvoudig toetvragen aanleveren door docenten zonder uitgebreide scholing
1
Wiskundige elementen/ formules in toetsvragen en toetsantwoorden kunnen opnemen
1
Multimedia gebruik in toetsvragen en toetsantwoorden
1
Gebruik van andersoortige toetsvragen
*
Beschrijving welke vraagtypen aanwezig zijn in de toetsapplicatie
Uitwerking Maple TA: Vragen worden per class of subclass gemaakt. Je kunt dezelfde vraag niet hergebruiken in dezelfde versie binnen verschillende (sub)classes. Je moet dan vragen kopieren. Het is niet mogelijk in Maple TA vragen te importeren in een class vanuit een Msword of Excel bestand. Alleen is import vanuit MapleTA geëxporteerde vragen mogelijk. Het maken van vragen in de interface is relatief gemakkelijk. De 36
interface is niet in alle opzichten intuitief, maar zal voor docenten, die er regelmatig in werken goed hanteerbaar zijn. De applicatie is speciaal ontwikkeld voor het maken van wiskundige vragen. Daarin kan dan ook erg veel, zowel wat betreft wiskundige/natuurkundige/scheikundige elementen/formules in toetsvragen en toetsantwoorden. Om echt uitputtend gebruik te kunnen maken van de mogelijkheden is wel veel specialistische kennis nodig, aangezien dit geprogrammeerd moet worden. Dit is zeker niet voor een standaard gebruiker weggelegd, eigenlijk kan het alleen door deskundigen met wiskundige, natuurkundige of scheikundige kennis. Multimediagebruik kan, maar niet in alle formaten. Bijvoorbeeld filmpjes kunnen niet in formaten als avi, mpeg en wmv. Filmpjes kunnen alleen in Flash-formaat. Ook kunnen afbeeldingen en smiley’s gebruikt worden.
De beschikbare vraagsoorten zijn genoemd in bijlage. De mogelijkheden zijn op zich voldoende, mede omdat er ook de mogelijkheid bestaat om verschillende vraagsoorten in één vraag te combineren (Bv. MC + Essay, of Ja/Nee + Invulvraag). In Maple TA zijn een beperkt aantal tools aanwezig om adaptieve toetsen te maken. Question Mark Perception : Het is mogelijk om vragen te importeren vanuit een een txt-bestand. Voor het genereren van dat txt-bestand kunnen er macro’s in MSWord of MSExcel gemaakt worden. Multimedia kunnen via deze txt-import niet meegenomen worden. Een beperkt aantal vraagsoorten kan worden gemaakt in de webbased interface. Deze methodiek is bruikbaar voor niet heel vaardige docenten, die in de toetsapplicatie werken, maar zal in de toekomst verdwijnen.
37
In plaats daarvan komt de zg. LIVE interface. Hoe deze interface eruit gaat zien is zichtbaar in de Question Mark communities, waar deze interface al beschikbaar is voor gebruikers. Zie https://www.questionmark.com/uk/live/Pages/default.aspx . Echter pas in versie 6 wordt deze interface geintegreerd in de programmatuur van Question Mark Perception. Dat betekent, dat vragen gebouwd in deze interface met de hand moeten worden geimporteerd in de Saxion database. QMP 6.0 wordt in een 0-versie released in zomer 2013. Het wordt over het algemeen door Stoas niet geadviseerd naar de 0 versie over te stappen. Een latere versie waarnaar een overstap wel geadviseerd wordt, zal niet beschikbaar zijn voor de zomer 2014. Tot versie 6 worden vragen gemaakt in de zogenaamde Authoring Manager. Deze clientapplicatie staat lokaal geïnstalleerd, de data staan wel online in de Saxion database. De interface van de Authoring Manager is bedoeld voor experts en/of meer gevorderde docenten. De applicatie werkt met wizards voor standaard vragen en is direct ook een mogelijkheid om een met een wizard gemaakte vraag te editen in de Editor. Editten met de VraagEditor is ingewikkeld en onomkeerbaar. Een vraag eenmaal geëdit in de Editor kan niet meer in de Wizard bewerkt worden. In de Authoring Manager zijn alle tools voor het ontwikkelen van vragen, toetsen, content bij vragen, opslaan van multimediabestanden, adaptoeve toetsen en workflows voor alle gebruikers toegankelijk. Dat maakt de tool ingewikkeld voor niet erg gevorderde gebruikers. Zie ook https://www.questionmark.com/us/perception/Pages/authoring_windows.aspx Wiskundige tekens kunnen worden ingevoegd met een MathML editor. Wiskundige formules met deze editor worden in de vraag als een plaatje weergegeven, maar kunnen alsnog bewerkt worden binnen MathML. Wiskundige formules kunnen niet worden opgenomen in de antwoorden. Omdat de MathML editor werkt met plaatjes worden de mogelijkheden van QMP voor Saxion in dit opzicht als onvoldoende aangemerkt door de aanwezigen.
Er zijn voldoende tools voor gebruik van multimedia in toetsvragen aanwezig. Andersoortige vragen zijn aanwezig, maar alleen volgens de vaste structuren, zoals dit in de applicatie is opgenomen.Er zijn behoorlijk veel verschillende vraagsoorten, hoewel er voor een aantal vraagsoorten een aparte licentie moet worden aangeschaft. Echter men kan niet zoals in Maple TA meerdere vraagsoorten in één vraag combineren. Surpass: Er is een tool om vanuit MSWord en MS Excel gemakkelijk Multiple Choice, Multiple Answer en Ja/Nee vragen te maken en te importeren in Surpass. In de toekomst kunnen ook invulvragen op deze manier gemaakt worden. Via deze import kunnen meteen metadata, moeilijkheidsgraad en een koppeling met multimedia worden meegenomen. Daarnaast is er een client-applicatie, genaamd content producer, waarin experts vragen kunnen maken. Voor gevorderde docenten is deze client applicatie relatief ingewikkeld in het gebruik. Om minder gevorderden vragen te laten maken kan men in de content producer vraag templates bouwen. 38
Op basis van een eenmaal gebouwde template kan ook een minder gevorderde docent eenvoudig vragen bouwen, omdat een aantal zaken al geregeld zijn (denk aan scoringsregels, regels om in de toetsmatrijs te passen, opbouw en layout van de vraag). BTL ontwikkelt een nieuwe docent-interface die in de zomer 2013 beschikbaar moet komen naast de al bestaande interfaces. Voor wiskundige vragen is er een en ander mogelijk. Ook hier is een MathML editor beschikbaar.
Er zijn ook vraagtools beschikbaar voor het gebruik van grafieken (taartgrafiek,kolomgrafiek, puntengrafiek) als antwoord en voor het gebruik van tabellen in het antwoord. Er is ook de optie om bij een samengestelde berekening de applicatie door te laten rekenen uitgaande van een eerder gegeven antwoord. Dat betekent, dat als in de berekening een beginstap fout gaat, maar vervolgstappen goed gaan, toch automatisch punten aan de vervolgstappen worden gegeven. Hiermee lijkt binnen Surpass wel redelijk wat functionaliteit aanwezig voor wiskundig, natuurkundig, scheikundig en technisch gebruik. Of dit voldoende is voor de meer technische academies, kan alleen een gedetailleerd onderzoek van een deskundige uitwijzen. Wiskundige formules kunnen niet in antwoorden gebruikt worden. Er is uitgebreid multimediagebruik mogelijk binnen Surpass binnen de vragen en antwoorden. Je kunt denken aan afbeeldingen, video, tabellen, geluid, animaties in flash, grafieken, en autoshapes. Enkele voorbeelden van gebruik van multimedia zie je in het videofragment http://saxion.hosted.panopto.com/Panopto/Pages/Viewer/Default.aspx?id=626df95d-65bc-4f3a90e5-cf878723e7ee, waar een medewerker van BTL o.a. wat toetsvragen demonstreert. Omdat BTL niet werkt met vraagsoorten maar alleen maar met tools waarmee vraagsoorten kunnen worden ontwikkeld, zijn er 120 vraagsoorten in de applicatie mogelijk.
Resultaat Maple TA 1
QMP
Surpass
Import van toetsvragen vanuit MSWord of MS Excel
1
Eenvoudig toetsvragen
1
Wiskundige elementen/
maken in de interface
formules in toetsvragen en toetsantwoorden kunnen opnemen
1
Multimedia gebruik in 39
Maple TA
QMP
Surpass
toetsvragen en
toetsantwoorden 1
Gebruik van
andersoortige toetsvragen
Scenario 11: Toetsmatrijs Werkwijze In eerste instantie is er afgesproken, dat we onderzoeken of in de3 toetsapplicaties voldoende tools aanwezig zijn om uitgaande van de theoretische toetsmatrijzen van AMM en ABR uit BISON een toetsmatrijs die vragen trekt in een toetsapplicatie samen te stellen en toetsversies te ontwikkelen (in Bijlage 2 voorbeelden van toetsmatrijzen). In tweede instantie zouden we vervolgens onderzoeken of er academies zijn, die een toetsmatrijs hebben die zover afwijkt van de toetsmatrijzen van ABR en AMM, dat we moeten onderzoeken of er wel tools in de applicatie aanwezig zijn om ook die toetsmatrijzen in de toetsapplicatie te bouwen. We zouden met dit onderzoek dan kunnen vinden welke applicatie de beste toetsmatrijs met de minste risico’s aanreikt. Een toetsmatrijs in de terminologie van Saxion is niet gelijk aan de mogelijkheid om een toets samen te stellen binnen de toetsapplicatie. Een toetsmatrijs biedt een basismatrijs die vanuit dezelfde ingevoerde principes en regels meerdere verschillende toetsen voor meerdere verschillende toetsmomenten samenstelt, terwijl alle toetsafnames per toetsmoment dezelfde toets krijgen (en dus voor de analyse dezelfde vragen hebben gehad). Met andere woorden de digitale toetsmatrijs in de toetsapplicatie maakt het in de opvatting van Saxion mogelijk om met één druk op de knop een versie van de toets op basis van dezelfde toetsmatrijs te genereren, waarbij alle studenten dezelfde vragen krijgen.
Vragen 1,
Gebruik van een toetsmatrijs
3
Beschikbare vragen die voldoen aan de voorwaarden, zichtbaar in de toetsmatrijs
1
Gebruik metadata voor samenstellen toets vanuit toetsmatrijs
1
Gebruik mappenstructuur/leerboom voor samenstellen toets vanuit toetsmatrijs
1
3 manieren van randomiseren mogelijk in toetsen
1
Geschikt voor formatieve toetsen
2
Summatieve en formatieve toetsvragen afdoende kunnen scheiden
3
Geschikt voor adaptieve toetsen
showstopper
Uitwerking Maple TA: In Maple TA kunnen toetsen worden samengesteld uit ad random getrokken vragensets, of op grond van in de toets geplaatste vragen. Vragen binnen de toets kunnen ook in willekeurige volgorde geplaatst worden en antwoordalternatieven per toetsvraag ook. Een toets wordt dus ofwel helemaal met de hand samengesteld en de vragen zijn dan voor alle individuele deelnemers gelijk, of de toets 40
wordt op grond van de opstart van elke student ad random individueel gegenereerd uit de beschikbare vragen, en daarmee zijn de toetsvragen per individuele toetsdeelnemer verschillend. Het is niet mogelijk een toetsmatrijs te maken, waarmee voor elke groep studenten of kans een nieuwe versie met dezelfde vragen gegenereerd wordt, zoals dit gebruikt wordt binnen Saxion. Bij een toetsvraag kunnen in Maple TA geen zelfontwikkelde metadata worden opgeslagen. Toetsen worden samengesteld vanuit de mappenstructuur binnen een class. De applicatie is geschikt voor formatieve toetsen en heeft ook specifieke toetsvormen voor formatief toetsen. Speciaal voor formatieve toetsing kan er feedback bij een juist antwoord en bij een foutief antwoord bij de vragen worden gegeven. De enige manier om summatieve en formatieve toetsvragen te scheiden is gebaseerd op gescheiden classes of gescheiden mappen in de leerboom of mappenstructuur. Dan kunnen vragen toch getrokken worden in een toets. In Maple TA zijn tools aanwezig voor adaptief toetsen. Question Mark Perception : In QMP kunnen toetsen worden samengesteld uit ad random getrokken vragensets, of op grond van in de toets geplaatste vragen. Vragen binnen de toets kunnen ook in willekeurige volgorde geplaatst worden en antwoordalternatieven per toetsvraag ook. Een toets wordt dus ofwel met de hand samengesteld en de vragen zijn dan voor alle individuele deelnemers gelijk, of de toets wordt op grond van de opstart van elke student ad random individueel gegenereerd uit de beschikbare vragen, en daarmee zijn de toetsvragen per individuele toetsdeelnemer verschillend. Het is niet mogelijk een toetsmatrijs te maken, waarmee voor elke groep studenten of kans een nieuwe versie met dezelfde vragen gegenereerd wordt, zoals dit gebruikt wordt binnen Saxion. Bij een toetsvraag kunnen binnen QMP metadata worden opgeslagen. Toetsvragen kunnen ad random getrokken worden op basis van mappen, vraagsoorten en die bij de toetsvragen opgeslagen metadata. Het is niet mogelijk toetsvragen ad random te trekken op grond van empirisch verkregen psychometrische data zoals de moeilijkheidsgraad. QMP heeft specifieke toetsvormen voor formatief en summatief toetsen. Toetsvragen voor formatief en summatief toetsen kun je scheiden met behulp van de mappenstructuur en metadata. Het blijft echter mensenwerk om die scheiding aan te brengen. Speciaal voor formatieve toetsing kan er feedback bij een juist antwoord en bij een foutief antwoord bij de vragen worden gegeven. Het is ook mogelijk om feedback te geven bij elk antwoordalternatief. Er zijn tools voor adaptief toetsen in QMP. Deze werken met sprongblokken. Dat betekent, dat op basis van de resultaten van een vragenblok de deelnemers gestuurd kan worden naar een nieuw vragenblok. Bij een goed resultaat boven een bepaalde grens wordt de deelnemer gestuurd naar een blok met bv. moeilijkere vragen. Bij een resultaat onder een bepaalde grens kan de deelnemer gestuurd worden naar een blok met gemakkelijkere vragen. Etc..... Het maken van dergelijke adaptieve toetsen is zeer arbeidsintensief, omdat de toetsontwikkelaar alle toetspaden met bijpassende toetsvragen moet bedenken en klaar moet zetten. Surpass: In Surpass is het mogelijk Exams te maken.Van een exam kun je meerdere examenversies maken. 41
Indien een exam gedefinieerd is als een toets die ad random toetsvragen trekt uit mappen of op grond van metadata, is een dergelijk examen een toetsmatrijs. Het is mogelijk op grond van vraagsoort, bepaalde metadata bij een toetsvraag, plaats in de mappen, maar ook op grond van empirisch verkregen data zoals de moeilijkheidsgraad van een vraag (p waarde) toetsvragen te trekken in de toetsmatrijs. Het is mogelijk meerdere regels transparant met elkaar te combineren om de juiste vragenset te trekken. De interface toont de vragen die beschikbaar zijn op grond van de samengestelde regels voor het ad random trekken.
Op basis van dit Exam kunnen meerdere toetsversies gegenereerd worden en als aparte toetsversie met daarin vaststaande vragen bewaard worden. Bij het genereren van de versies is duidelijk zichtbaar welke toetsvragen beschkbaar zijn voor trekken en welke uiteindelijk in de toets geplaatst worden. Deze toetsvragen kan men in de interface ook inzien. De tools voor het (ad random) trekken van toetsvragen in een toets(matrijs) zijn in Surpass het meest uitgebreid van de 3 applicaties.
42
Deze examenversies kunnen ingepland worden en er kunnen studenten op ingeschreven worden. In zowel de toetsmatrijs als in de toetsversies kan bepaald worden, dat toetsvragen in willekeurige volgorde getoond worden. Bij de vragen kan bepaald worden dat vraagalternatieven (bv. van een Multiple Choice vraag) in willekeurige volgorde getoond worden. In Surpass is het ook mogelijk formatieve toetsen te maken. De vragen voor deze formatieve toetsen zijn moeilijk te scheiden van de vragen voor summatieve toetsen. Dat zou op grond van metadata of plaats in de mappenstructuur moeten. Dat is echter mensenwerk. Er zijn nog geen tools voor adaptief toetsen in Surpass.
Resultaat MapleTA 1
Gebruik van een toetsmatrijs
3
Beschikbare vragen zichtbaar in de
1
Gebruik metadata voor
SS
QMP
Surpass
toetsmatrijs
samenstellen toets vanuit toetsmatrijs
1
Gebruik
mappenstructuur/leerboom voor samenstellen toets vanuit toetsmatrijs
1
3 manieren van randomiseren
1
Geschikt voor formatieve toetsen
2
Summatieve en formatieve
mogelijk in toetsen
toetsvragen afdoende kunnen scheiden
43
MapleTA 3
QMP
Surpass
Geschikt voor adaptieve toetsen
Scenario 12: Toetsafname klaarzetten Werkwijze De groep heeft de workflow voor het klaarzetten van een toets besproken. Per academie zijn er verschillende rollen en is er verschil in de workflow. De meest uitgewerkte situatie geven we hier weer en onderzoeken we. Er zijn meerdere academies. De rollen en workflow zijn niet steeds hetzelfde. De academies zijn in verschillende stadia van ontwikkeling wat betreft de organisatie van het toetsen. Daarom onderzoeken we de meest ingewikkelde organisatie. Rollen
Taak
Toetsverantwoordelijke
Aanspreekpunt voor validiteit, betrouwbaarheid en acceptatie van de
Docent
Verantwoordelijk voor (deel van) de toetsvragen, review
Examencommissie
Borging van kwaliteit van de toets
Toetsdesk
Toetsmatrijs digitaliseren en genereren van de toetsen vanuit de
Roostering en planning
Roostering van toets en locatie
Centraal toetsbureau
Coördinatie van uitvoering van de toetsen en inschrijving van
Surveillant
Afname van de toets
Onderwijskundige
Uitleg van de analyse van de toets en toetsvragen
Informatiseringscentrum
Technisch beheer en ondersteuning infrastructuur
Functioneel beheer ICT&O
Beheer en ondersteuning van de applicatie
toets: toetsmatrijs. Toetsanalyse en vaststelling resultaten
toetsmatrijs
deelnemers
44
Nadat de toetsmatrijs is gedigitaliseerd door de Toetsdesk van de academie, worden hieruit versies gegenereerd. Als zo’n versie is gereviewed en goedgekeurd door de examencommissie, zet de academie deze toets klaar voor afname. Het centrale toetsbureau krijgt een bericht van de toetsdesk van de academie dat de toets klaarstaat. Het toetsbureau koppelt tijdstip aan de toets en schrijft de in het studentinformatiesysteem op de toets ingeschreven studenten ook in voor de toets. Het recht om die inschrijvingen te beheren hebben alleen de toetsdesk van de academie en het toetsbureau. Niet de docenten. Als een student na sluiting van de inschrijvingstermijn nog moet worden bijgeschreven op de toets, moeten de toetsdesk of het toetsbureau dit snel voor een individuele student kunnen doen. Er is een groep studenten bekend aan wie verlengde toetstijd moet worden toegekend. Op een toets van 60 minuten krijgen die studenten 15 minuten verlenging.
Vragen 1,
Mogelijkheden voor een afdoende procedure in handen van toetsbureau of toetsdesk
1
Snelle bijschrijvingen mogelijk
1
Automatisch kunnen inlezen van aanmeldingen vanuit een bronapplicatie.
1
Eenvoudig mogelijk om studenten met verlengde toetstijd in te plannen.
2
Applicatie kent automatisch verlengde toetstijd toe aan daarvoor gemarkeerde
showstopper
om studenten voor een toets aan te melden
studenten
Uitwerking Maple TA: Toets wordt klaargezet in de class. Studenten kunnen worden geïmporteerd met een csvbestand in de applicatie. Studenten worden toegewezen op de class, waar de toets in staat. Alle toetsen in een class zijn voor alle studenten in de class zichtbaar. De procedure van Saxion is in de praktijk mogelijk. Echter de procedure is niet alleen toe te kennen aan het toetsbureau of de toetsdesk. Alleen een system administrator of iemand die studenten mag importeren maakt studenten aan in het systeem. Maar elke instructor op een class kan studenten ingeschreven in het systeem aanmelden op die toets. Docenten, die de vragen hebben ontwikkeld en de toets hebben moeten reviewen, kunnen ook studenten aanmelden. De werkwijze is daarmee gelijk aan die zoals bekend uit Blackboard.
45
Automatische inlezen van aanmeldingen is mogelijk (zie ook scenario 8). Echter de groep is voor de toetsen gelijk aan de groep ingeschreven op een toets. Dat is niet zomaar hetzelfde als een class. De classstructuur maakt de Saxion procedure lastig. Individuele studenten kunnen nog later worden bijgeschreven op de class en dus op de toets. Het is niet mogelijk één student automatisch verlengde toetstijd toe te kennen. Als één student verlengde toetstijd heeft op een toets, moeten ofwel alle studenten die zijn ingeschreven op die toets verlengde toetstijd hebben, ofwel er moet een aparte toets klaargezet worden voor die ene student en dan met verlengde toetstijd. Dat zou dan weer in een aparte class moeten anders hebben alle studenten dezelfde toets 2 keer beschikbaar met alle problemen van dien. Question Mark Perception : Studenten kunnen automatisch worden ingelezen m.b.v. QMWise (zie ook scenario 8) en kunnen worden toegekend aan groepen. Vervolgens is het mogelijk de groepen op de toetsen aan te melden. Met groepen bedoelen we hier geen roostergroepen, maar de groep van alle inschrijvingen op een bepaalde toetsmoment. Het recht om toetsen in te plannen en groepen in te schrijven voor toetsen kan alleen aan de toetsdesk van de academie en aan het toetsbureau worden toegekend.
Snelle bijschrijving is mogelijk. Toekennen verlengde toetstijd is mogelijk, maar niet automatisch. Verlengde toetstijd moet per deelnemers met verlengde toetstijd worden toegekend door de planning van de deelnemer na toekennen te bewerken en een andere start en eindtijd toe te kennen.
46
Surpass: Studenten kunnen automatisch worden ingelezen (zie ook scenario 8) en kunnen worden toegekend aan groepen (cohorten genaamd). Vervolgens is het mogelijk die cohorten toe te kennen aan de toetsen. Met groepen bedoelen we hier geen roostergroepen, maar de groep van alle inschrijvingen op een bepaalde toetsmoment. Het recht om toetsen in te plannen en groepen in te schrijven voor toetsen kan alleen aan de toetsdesk van de academie en aan het toetsbureau worden toegekend. Individuele bijschrijvingen op de toets is tot een laat moment mogelijk.
Op systeemniveau kan bij een toetsdeelnemer worden bepaald of deze verlengde toetstijd moet krijgen en hoeveel.
47
In de toets kun je definieren hoe lang de verlengde toetstijd is.
Deze verlengde toetstijd wordt bij deze deelnemer dan automatisch bij alle toetstijden toegekend.
Resultaat Maple TA 1
SS
QMP
Surpass
Mogelijkheden voor een afdoende procedure in handen van toetsbureau of toetsdesk om studenten voor een toets aan te melden
1
Snelle bijschrijvingen mogelijk
1
Automatisch kunnen inlezen van aanmeldingen vanuit
1
Eenvoudig mogelijk om studenten met verlengde
een bronapplicatie.
toetstijd in te plannen.
48
Maple TA 2
QMP
Surpass
Applicatie kent (automatisch) verlengde toetstijd toe aan daarvoor gemarkeerde studenten
Scenario 13: Grootschalige toetsafname Werkwijze Belangrijk is de performance van de applicatie bij grote aantallen gelijktijdige toetsafnames. Binnen Saxion kan het op termijn noodzakelijk worden om 500-700 toetsen gelijktijdig op te kunnen starten. Er is aan alle leveranciers gevraagd om een peformancetest uit te voeren in aanwezigheid van medewerkers van IC Saxion en Functioneel Beheer ICTO. Belangrijk bij een performancetest zijn de condities waaronder die test plaatsvond. Daarbij zijn 3 elementen van belang: •
Hoe was de technische infrastructuur ingericht? Gaat het om 1 applicatieserver of meerdere? Wat was de capaciteit van die server?
•
Hoe was de toets samengesteld? Gaat het om een toets met alleen een aantal MC-vragen of meerdere vraagsoorten , hoeveel dan, en welke vraasoorten?
•
Gaat het om een per student ad random getrokken set toetsvragen of een vaste set?
•
Vindt de performancetest plaats op een gevulde database(met eerder gemaakte toetsen en resultaten per student) of op een lege database. Bijna elk toetssysteem performt goed met een lege database.
In geval van problemen op het toetsmoment zelf moeten er zo goed mogelijke oplossingen voor handen zijn om de toets alsnog doorgang te kunnen laten vinden.
Vragen 1, SS
Zijn 500-700 gelijktijdige toetsen mogelijk?
1
Afdruk op papier
2
Oplossingen bij calamiteiten
1
Applicatie zorgt ervoor dat een toetsafname altijd eindigt.
Uitwerking Maple TA: MapleTA werkt op grond van een centraal geinstalleerde server. Op het lokale werkstation
wordt een (secure) browser gebruikt als instrument om de toets weer te geven, maar de centrale server doet al het werk. Op het moment van opstarten van een toets, wordt de toets op die server
samengesteld voor elke deelnemer, en vervolgens wordt de eerste toetsvraag gepresenteerd op het
lokale werkstation in de (secure) browser. Als die toetsvraag is ingevuld en de deelnemer gaat naar een volgende toetsvraag, dan wordt de toetsvraag bewaard op de centrale MapleTA server en wordt de volgende vraag opgehaald door dezelfde centrale server en weer gepresenteerd op het lokale
werkstation. Dat betekent dat alle MapleTA programmataken worden uitgevoerd op een centrale server. Calamiteiten kunnen onstaan, wanneer de centrale server niet bereikt wordt of niet tijdig
bereikt wordt. Bij een verstoring van het internet wordt een opgestarte toets verstoord. Studenten kunnen geen antwoorden meer bewaren of nieuwe vragen ophalen. Alleen als er al een afdruk op
papier gemaakt is, kan men op papier met de toets verder. MapleTA heeft geen afdrukmogelijkheid naar MSWord of een andere tekstverwerker maar maakt wel een schermafdruk mogelijk.
49
Omdat bij een open vraagsoort het antwoord pas opgeslagen wordt als de deelnemer naar de volgende vraag gaat kan er bij lange open vragen (waar de student een lang antwoord moet geven) een timeout
optreden waardoor de student uit de toets gegooid wordt. Het tot dan gegeven antwoord van de laatste vraag wordt dan niet bewaard.
Een MapleTA toets wordt afgesloten door de student als deze klikt op ‘Grade’. Pas op dat moment
wordt de toets beschikbaar voor beoordeling. Als voor een toets een tijdsduur ingesteld is, kan een
student kiezen voor ‘Save & Quit’, maar de toetsduur loopt door. Na afloop van de toetsduur wordt de toets automatisch voor beoordeling afgesloten.
MapleTA wilde geen performancetest uitvoeren voor Saxion. Uit de invulling van de vragenlijst van de
TUDelft en collegiale contacten blijkt, dat men bij de TUDelft bezig is het aantal gelijktijdige toetsen op te voeren in relatie tot een juiste schaling van de applicatie. Daarin wordt met de leverancier
samengewerkt. Uit onderling contact is gebleken dat de omgeving nog performt bij 480 gelijktijdige
toetsen, maar niet meer bij 520 gelijktijdige toetsen. De gebruikte infrastructuur is onbekend. MapleTA claimt dat er 500 gelijktijdige toetsen op 1 server mogelijk zijn. Hoe die toetsen zijn samengesteld is onbekend. Of de database gevuld was, is onbekend. Door het ontbreken van performance- en
schalingsgegevens (omtrent de infrastructuur van de hardware) moeten we de applicatie voor dit scenario afkeuren.
Question Mark Perception : QMP werkt op grond van een centraal geinstalleerde server. Op het lokale werkstation wordt een (secure) browser gebruikt als instrument om de toets weer te geven, maar de centrale server doet al het werk. Op het moment van opstarten van een toets, wordt de toets op die
server samengesteld voor elke deelnemer, en vervolgens wordt de eerste toetsvraag gepresenteerd op
het lokale werkstation in de (secure) browser. Als die toetsvraag is ingevuld en de deelnemer gaat naar een volgende toetsvraag, dan wordt de toetsvraag bewaard op de centrale QMP server en wordt de volgende vraag opgehaald door dezelfde centrale server en weer gepresenteerd op het lokale
werkstation. Dat betekent dat alle QMP programmataken worden uitgevoerd op een centrale server.
Calamiteiten kunnen onstaan, wanneer de centrale server niet bereikt wordt of niet tijdig bereikt wordt. Bij een verstoring van het internet wordt een opgestarte toets verstoord. Studenten kunnen geen
antwoorden meer bewaren of nieuwe vragen ophalen. Op dat moment is het ook niet meer mogelijk
alsnog een afdruk op papier te maken, omdat de centrale server niet bereikbaar is. Alleen als er al een
afdruk op papier gemaakt is, kan men op papier met de toets verder. QMP heeft mogelijkheden tot het afdrukken van een toets op papier. Wanneer de tijdsduur van een toets verstreken is, worden de
antwoorden automatisch voor beoordeling bewaard, los van de vraag of de student de toets op de juiste manier afsluit.
Wanneer er in een toetslokaal nooit internet beschikbaar is, is er de mogelijkheid om via een aparte licentie ‘Perception to GO’ offline toetsen af te nemen. Zie
https://www.questionmark.com/ned/perception/Paginas/p2g.aspx Omdat bij een open vraagsoort het antwoord pas opgeslagen wordt als de deelnemer naar de volgende vraag gaat kan er bij lange open vragen (waar de student een lang antwoord moet geven) een timeout
optreden waardoor de student uit de toets gegooid wordt. Het tot dan gegeven antwoord van de laatste vraag wordt dan niet bewaard. Stoas adviseert daarnaast om elke toets te beëindigen met een
eindpagina in plaats van met de laatste vraag om daarmee te borgen, dat altijd het antwoord van de laatste vraag ook wordt opgeslagen in de database.
Stoas heeft een performancetest uitgevoerd met aanwezigheid van 2 mensen van Saxion in
Wageningen. Die test mislukte. Later is bij Stoas in huis een tweede test volgens dezelfde parameters 50
uitgevoerd, zonder aanwezigheid van de Saxionners. Van deze test is een apart testrapport in bijlage toegevoegd. Deze test vond plaats met de volgende configuratie: • •
2 applicatieservers (2 QABS)
4 presentatieservers (4 QPLA)
Onze hoofdconclusie is dat alle 800 concurrent deelnemers/studenten de toetsen met 80 vragen
binnen 4 seconden op het scherm krijgen, mits de inlog van de deelnemers over 5 minuten gespreid is.
Dat (enige) spreiding belangrijk is, blijkt bijv. uit het feit dat als 700 concurrent studenten met een
inlogspreiding van 3 minuten de toets maken er een maximale responsetijd van 33 seconden ontstaat. Bij 3 presentatieservers gingen er 13 van de 800 toetsen fout. De toets bestond uit 1 vragenblok met
80 at random getrokken MC-vragen, met in een aantal vragen afbeeldingen. De genoemde stresstesten zijn uitgevoerd met een lege database. Zodra de database gevuld wordt, wordt de responstijd met 50% verhoogd. Conclusie is, dat er onzekerheid blijft of de aantallen gelijktijdige toetsen, die Saxion wil bereiken haalbaar zijn met QMP. Spreiding van de start van een toets over 5 minuten is lastig, als
studenten op meerdere locaties in meerdere toetslokalen een toets opstarten. Als de database gevuld
wordt, neemt de responstijd ook snel toe. Er zijn veel (6) servers nodig voor een enigzins bevredigend performanceresultaat.
Surpass: Surpass werkt op een andere manier dan QMP en MapleTA. Naast een centrale Surpass server
wordt er op de lokale werkstations niet gebruik gemaakt van een secure browser, maar van een secure clientapplicatie. In deze lokale clientapplicatie wordt op het moment van start van de toets, de gehele toets met alle vragen gedownload. Als de toets is gestart, levert de lokale client de toetsvragen ter presentatie aan de student aan. Initieel worden de antwoorden in de database van de lokale client bewaard. De lokale client synchroniseert elke 30 seconden met de centrale server de gegeven
antwoorden. De programmataken worden tijdens een toets dus verdeeld tussen de lokale clients en de centrale server. Wanneer de tijdsduur van een toets verstreken is, worden de antwoorden van de toets automatisch bewaard voor beoordeling, los van de vraag of de student de toets op de juiste manier afsluit.
Surpass heeft mogelijkheden tot het afdrukken van een toets op papier. Wanneer er in een toetslokaal nooit internet is, heeft Surpass de mogelijkheid tot het offline afnemen van een toets binnen dezelfde configuratie en licentie.
Bij een verstoring van het internet wordt een opgestarte internettoets niet verstoord. Alle vragen zijn
immers gedownload in de lokale secure client en de antwoorden worden daar bewaard. De student kan de toets gewoon afronden. Alleen de synchronisatie van de antwoorden kan bij een verstoring van het internet pas plaatsvinden, als die verstoring van het internet voorbij is. De antwoorden worden dan encrypted bewaard in de lokale client.
Hoe lang een open vraag ook is, omdat er elke 30 seconden synchronisatie plaatsvindt en er dus activiteit gepeild wordt, kan er geen timeout plaatsvinden.
Surpass heeft een performancetest uitgevoerd met de online aanwezigheid via teamviewer van 2
Saxionners. Er is gebruik gemaakt van één applicatieomgeving, een zogenaamde ‘silver’ installatie
(silver slaat op de capaciteit van de applicatie en databaseserver ofwel het servicelevel niveau; er is ook
een gold niveau) en een toets van 40 MC vragen die elk binnen 1,5 minuut beantwoord werden en
waarvan 8 MC vragen gebruik maakten van video (4) of een afbeelding (4). Het ging om een vaste set vragen. De database was gevuld met toetsgegevens. Er zijn 2 tests gedaan. Een met 750 gelijktijdige
toetsdeelnemers en een met 3000 gelijktijdige toetsdeelnemers. Conclusies: Qua responstijden maakte het aantal deelnemers geen verschil uit. De responstijd blijft beperkt tot 1 seconde. Er is geen
spreiding van de inlog nodig. Alleen de databaseserver werd door meer gebruikers op een hoger niveau belast. In bijlage de resultaten van de performancetesten.
51
Resultaat MapleTA 1,
Zijn 500-700 gelijktijdige toetsen
1
Afdruk op papier
2
Oplossingen bij calamiteiten
1
Applicatie zorgt ervoor dat een
SS
QMP
Surpass
mogelijk?
toetsafname altijd eindigt.
Scenario 14: Toetsafname begeleiden Werkwijze Het toetsbureau en bij 2 academies de toetsdesk van de academie begeleiden de toetsafname. Zij schakelen surveillanten in. Ondertussen wil men de voortgang van de toetsafname(n) van de verschillende deelnemers kunnen monitoren, zowel per klas, als individueel. Daarbij is het handig als studenten bij de toets en de toetsinzage ook een klachtenformulier digitaal ter beschikking hebben.
Vragen 2
Functionaliteit om de toetsafname (op afstand) te monitoren
2
Functionaliteit om individueel toetsen in het kader van de individuele leerweg mogelijk
2
Tool voor studenten om bij toetsafname en toetsinzage ook feedback/klachten kunnen
te maken geven.
Uitwerking Maple TA: Monitoring van de actieve gebruikers op een toets is beperkt. Actieve gebruikers in de class zijn zichtbaar, maar niet of ze bezig zijn in een toets. Inidviduele afname van toetsen kan met behulp van de proctor. De proctor moet op het lokale station zelf inloggen in de toets alvorens de student de toets kan openen. Er is geen tool om studenten in de gelegenheid te stellen klachten te geven. Question Mark Perception : Monitoring tijdens toetsen is niet mogelijk. Actieve gebruikers zijn niet zichtbaar. QMP heeft de Monitor functie. De monitor moet op het lokale toetsstation inloggen in een toets alvorens een student de toets kan maken. Feedback of klachten kan niet op vraag- of toetsniveau worden weergegeven tijdens afname of inzage. Surpass:
Monitoring tijdens toetsen is mogelijk. Er zijn een groot aantal statussen:
Locked
Toets staat klaar voor de deelnemer, maar is voor de deelnemer nog niet zichtbaar,
Locked for
De toets staat klaar voor de deelnemer en als de invigilator inlogt in de toets, kan
invigilator
bv. omdat de toets later ingepland staat. de deelnemer de toets maken
52
Locked by Pin
Als de deelnemer de toegangscode voor de toets intypt, kan de deelnemer de toets
Ready
De toets staat klaar voor de deelnemer.
In progress
De toets wordt door de deelnemer gemaakt.
Paused
De surveillant heeft het examen voor deze deelnemer tijdelijk onderbroken
Awaiting upload
De toets is gedownload voor een offline afname. De antwoorden moeten geupload
Finished
De deelnemer heeft de toets beëindigd.
Voided
De deelnemer heeft de toets niet gemaakt en wordt teruggetrokken uit de toets
Ready for
De toets staat klaar voor download ten behoeve van een offline toets.
dowload
maken.
worden.
Surpass heeft de invigilator functie. De invigilator moet inloggen in een toets alvorens een student de toets kan maken. De invigilator kan dat ook op afstand doen. Feedback of klachten kan niet op vraagof toetsniveau worden gegevens tijdens afname of inzage.
Resultaat MapleTA 2
Functionaliteit om de toetsafname (op
2
Functionaliteit om individueel toetsen in
QMP
Surpass
afstand) te monitoren
het kader van de individuele leerweg mogelijk te maken
2
Tool voor studenten om bij toetsafname en toetsinzage ook feedback/klachten kunnen geven.
Scenario 15: Toetsvoorzieningen Werkwijze Zie http://www.accessibility.nl/nieuws/2012/10/wcag-2.0-is-iso-standaard. We testen of deelnemers met een handicap gebruik kunnen maken van de 3 toetsapplicaties.
Vragen 1
Functionaliteit voor studenten met beperkingen ten aanzien van vergroten van
1
Functionaliteit voor studenten met beperkingen ten aanzien van versterken van contrast
1
Functionaliteit voor studenten met beperkingen ten aanzien van voorlezen
1
Functionaliteit voor studenten met beperkingen ten aanzien van voice input (dragon)
1
Uitserveren via een laptop
1
Secure beschikbaarheid van tools binnen een toets, zoals bv. een rekenmachine of
1
Voldoen aan de regels voor accessibility.
lettertekens
kladpapier.
Uitwerking Maple TA: De layout van MapleTa is eenvoudig in zwart wit. De browser mogelijkheden om te zoomen werken in de applicatie. Echter de applicatie is niet speciaal uitgerust om te werken in het kader van
53
accessibility. Wat betreft bv. een sceenreader zoals Jaws wordt gemeld:
http://www.maplesoft.com/support/faqs/detail.aspx?sid=32659 Over de overall accessibility zie:
http://www.maplesoft.com/support/VPAT.html . De werking van bv. dragon op MapleTA is niet getest, maar lijkt wel haalbaar.
MapleTa werkt via internet en een browser en kan dus ook via een laptop uitgeserveerd worden. Binnen de applicatie kunnen geen tools aan de vragen worden toegevoegd zoals bv. een rekenmachine. Question Mark Perception : bevat mogelijkheden waarmee de toegankelijkheid van assessments kan worden verbeterd en afgestemd op de behoeften van deelnemers met een beperking. Bij een
toetsafname geeft QMP geoptimaliseerde HTML weer voor hulptechnologieën zoals schermlezers.
Daarnaast bevatten Assessmentsjablonen bedieningselementen waarmee deelnemers de tekstgrootte en het contrast kunnen aanpassen.
Er zijn mogelijkheden voor navigatie door assessments via het toetsenbord en/of alternatieve
apparatuur voor deelnemers die geen muis kunnen gebruiken. De werking van bv. dragon op QMP is niet getest, maar lijkt wel haalbaar. QMP voldoet aan de wcaq standaard voor accessibility.Zie https://www.questionmark.com/ned/perception/Paginas/whats-new-v5.aspx
QMP werkt via internet en een browser en kan dus ook via een laptop uitgeserveerd worden. Binnen een toetsvraag kunnen tools worden toegevoegd, zoals een rekenmachine. De gebruiker is vrij in het definieren van de toe te voegen tools.
Surpass: Voor accessibility heeft BTL een aparte guide: http://www.btl.com/surpass/accessibility/.
54
Grotere lettertekens kunnen worden geregeld via de browser. Bij een
toetsafname kunnen deelnemers kiezen onder preferences voor allerlei
voorkeuren om het scherm beter te kunnen bekijken. Voor het lezen van teksten voor slechtzienden wordt Jaws geadviseerd. Ook heeft Surpass zelf de mogelijkheid vragen digitaal te laten voorlezen.
Via een laptop werkt Surpass hetzelfde als via een vast netwerk. Surpass werkt zoveel mogelijk op basis van algemeen gedefinieerde
standaarden om de programmatuur ook accessible te maken. Surpass
heeft de 'Accredited Plus' award gekregen na testen door mensen met
verschillende handicaps. Surpass voldoet aan WCAG 2.0 AA. De werking van bv. dragon op Surpass is niet getest, maar lijkt wel haalbaar.
Binnen een toetsvraag kunnen tools worden toegevoegd, zoals een rekenmachine. De gebruiker is vrij in het definieren van de toe te voegen tools. Deze tools worden secure uitgeleverd.
Resultaat MapleTA 1
QMP
Surpass
Functionaliteit voor studenten met
beperkingen ten aanzien van vergroten van lettertekens
1
Functionaliteit voor studenten met
beperkingen ten aanzien van versterken van contrast
1
Functionaliteit voor studenten met
1
Functionaliteit voor studenten met
beperkingen ten aanzien van voorlezen beperkingen ten aanzien van voice input (dragon)
1
Uitserveren via een laptop
1
Secure beschikbaarheid van tools binnen
een toets, zoals bv. een rekenmachine of kladpapier.
1
Voldoen aan de regels voor accessibility.
Scenario 16: Meertaligheid Uitwerking Werkwijze Nederlands en Engels moet beschikbaar zijn of worden inclusief de Help-functie. Als meertaligheid er
nog niet is, maar in de roadmap is beschreven dat het komt, krijgt het issue een gele kleur. Kwalitatief wordt de taal niet beoordeeld. Er wordt onderscheid gemaakt tussen de ontwikkelomgeving en
afnameomgeving. De talen in de afnameomgeving zijn belangrijker dan in de interface voor beheerders en toetsontwikkelaars. In de afnameomgeving bekijken we ook of antwoordknoppen veranderen in de taal van de interface. Ook onderzoeken we of de mogelijkheid van verschillende taalversies in de
programmatuur is ingebouwd. Als die mogelijkheid er is, is dat een pre, ook al is de taal dan nog niet aanwezig.
55
Bij het maken van vragen onderzoeken we of 1 vraag in meerdere talen ingevoerd kan worden, maar
dat het geen aparte vragen worden. Dat zou betekenen dat de vraag afhankelijk van de taalkeuze van de gebruiker verschijnt in de toets. Dus als een gebruiker de Nederlandse taal heeft ingesteld, dan komt de vraag in het Nederlands, als de gebruiker de Engelse of Duitse taal heeft ingesteld komt dezelfde vraag in het Engels of Duits op voorwaarde natuurlijk dat de vragen in deze talen zijn uitgewerkt.
Vragen 1
Engelstalig beschikbaar
1
Nederlands
2
Meertaligheid
Uitwerking MapleTA is volgens de leverancier beschikbaar in 3 talen. Citaat uit de mail van de leverancier Can
diensten: “Qua Talen is alleen Engels, Frans en Chinees momenteel beschikbaar, en denk ik niet dat
Nederlands of Duits binnen afzienbare tijd toegevoegd zullen worden.”
Question Mark Perception is meertalig uitgevoerd. Zowel de afname als de ontwikkelomgeving is
meertalig. Een gebruiker kan zijn taal kiezen in de webbased omgeving via een dropdownbox in de rechter bovenhoek.
Question Mark heeft ook het zogenaamd Translation Management System. Dit is niet inbegrepen in de standaard licentie. Hiervoor is een aparte licentie nodig. Dit maakt het meertalig afleveren van vragen gemakkelijker. Zie ook https://www.questionmark.com/ned/perception/Paginas/tms.aspx
Surpass is tot voor kort alleen in Engeland uitgerold. Ze maken nu pas met een Nederlandse
vertegenwoordigend bedrijf de overstap naar Europa. Er is dus nog geen Nederlandse en Duitse versie. Het programma an sich is wel meertalig. De Nederlandse versie aangekondigd voor de totale Surpass omgeving als een nieuwe interface wordt opgeleverd. Deze versie staat in de roadmap voor zomer
2013. (zie ook http://saxion.hosted.panopto.com/Panopto/Pages/Viewer/Default.aspx?id=44d70c156705-43c8-8cac-6e1422a21bbc ) Het is niet duidelijk of dan ook gelijk een Duitse versie voor het totale programma beschikbaar is en moet zijn voor Saxion.
56
Bovenstaande plaatje taalkeuze geldt voor de afnameomgeving. Voor de afnameomgeving is op dit
moment de Nederlandse of Duitse woordenlijst nog niet beschikbaar. Gaelic en Cymraeg (Welsh) zijn naast Engels wel beschikbaar. Voor de afnameomgeving is de afspraak gemaakt, dat Saxion de
woordenlijst Nederlands en Duits aanlevert. Het moment waarop de afnameomgeving meertalig is, zal dus van Saxion afhankelijk zijn. Resultaat Maple T.A. 1
Engels
1
Nederlands
2
Meertalig (Duits)
QMP
Surpass
Scenario 17: Toetsinzage Werkwijze Genereren van toetsfeedback bij een toets. Wanneer en hoe kun je dat inzien.
Vragen 1
Toetsinzage functionaliteit
2
Mogelijkheid tot toetsinzage, die de student faciliteert om te leren van wat er mis ging, maar anderzijds een minimaal risico oplevert om de toetsvragen onbruikbaar te maken omdat ze bij studenten bekend zijn.
2
Tool voor studenten om bij toetsafname en toetsinzage ook feedback/klachten kunnen
2
Toetsinzage vanuit huis mogelijk.
geven.
Uitwerking Maple TA: MapleTa biedt de gebruiker vele mogelijkheden om feedback bij een toets te geven, zowel tijdens als na de toets.
57
Tijdens de toets ziet de gebruiker een link ‘how did I do?’ en daarmee kan men de feedback zien.
Na afloop van de toets kan een deelnemer in het gradebook een resultaat van een toets bekijken.
58
Of de inzagetools voldoende zijn om de student de mogelijkheid te geven te leren van zijn fouten, maar anderzijds de vragen niet weg te geven, blijft wat onzeker juist voor de summatieve beveiligde toetsen. Bij de testen is dat niet helemaal zeker te stellen, omdat echte praktijkervaring ontbreekt. De toetsinzage is webbased en dus overal bereikbaar. Er is geen tool om tijdens de toetsinzage klachten te kunnen noteren bij de vragen. Question Mark Perception : QMP biedt de gebruiker veel feedback mogelijkheden. Er kan geen feedback tijdens de toets gegeven worden. Direct na de toets kan de deelnemer feedback inzien. Men kan aangeven of er ook een pass/fail score beschikbaar is.
Wat langer na de toets kan de deelnemer een coaching rapport bekijken. Saxion kan zelf beslissen wat in dat coaching rapport wel en wat niet getoond wordt aan de deelnemer.
59
Dat betekent daarmee dat er mogelijkheden zijn om studentrn inzage te geven. Of de inzagetools voldoende zijn om de student de mogelijkheid te geven te leren van zijn fouten, maar anderzijds de vragen niet weg te geven, blijft wat onzeker juist voor de summatieve beveiligde toetsen. Bij de testen is dat niet helemaal zeker te stellen, omdat praktijkervaring ontbreekt. De toetsinzage is webbased en dus overal ook vanuit huis bereikbaar. Er is geen tool om tijdens de toetsinzage klachten te kunnen noteren bij de vragen. Surpass: In Surpass kun je ook op allerlei manieren definieren hoe bij de toets feedback moet worden gegeven.
Er kan feedback tijdens de toets gegeven worden. (Show feedback Button During Exam). Direct na afloop van de toets kan men in een scherm meerdere tabs met feedback krijgen: • • •
Exam result: Pass/fail met score in %
Tab met feedback per vraag (zie onder)
Tab met feedback waarbij de vragen geordend zijn per competentie /leerdoel (display feedback by reference, niet in afbeelding onder)
60
Klikken op een vraag geeft aan of het antwoord goed of fout is. Niet het goede antwoord wordt
genoemd. In een apart ‘information screen’ komt feedback. Deze feedback komt alleen direct na de toets beschikbaar.
Op een later moment na de toets is er een mogelijkheid tot inzage in de vorm van een rapportage. Of de inzagetools voldoende zijn om de student de mogelijkheid te geven te leren van zijn fouten, maar anderzijds de vragen niet weg te geven, blijft wat onzeker juist voor de summatieve beveiligde toetsen. Bij de testen is dat niet helemaal zeker te stellen, omdat praktijkervaring ontbreekt. Er is geen tool om klachten in te formuleren bij de toetsinzage. De applicatie werkt webbased en dus is de toetsinzage ook vanuit huis mogelijk.
Resultaat MapleTA 1
Toetsinzage functionaliteit
2
Mogelijkheid tot toetsinzage, die de
QMP
Surpass
61
MapleTA
QMP
Surpass
student faciliteert om te leren van wat er mis ging, maar anderzijds een minimaal risico oplevert om de toetsvragen
onbruikbaar te maken omdat ze bij studenten bekend zijn. 2
Tool voor studenten om bij toetsafname en toetsinzage ook feedback/klachten kunnen geven.
2
Toetsinzage vanuit huis mogelijk.
Scenario 18: Rapportage op toetsvragen, toetsen en toetsafnames Uitwerking Werkwijze Er zijn 2 soorten rapportages zijn. Rapportages die je direct realtime kunt maken en nodig hebt tijdens het werken en rapportages, die niet direct beschikbaar hoeven te zijn. In een summatieve toetsapplicatie is de performance van de toetsafname erg belangrijk. Omdat het maken van rapportages op grote aantallen resultaten van veel gebruikers performance trekt, worden veel rapportages vaak opgeleverd aan de hand van een rapportagetool, die werkt op basis van een kopie van de database. ’s Nachts wordt er dan steeds een nieuwe actuele kopie van de resultatendatabase getrokken. Gebruikers kunnen dan naar behoefte rapportages gebruiken, zonder dat zij het toetsafnameproces storen. We testen of een aantal rapportages realtime aanwezig is: • • • • • •
Overzichten van beschikbare toetsen
Overzichten van voor toetsen aangemelde studenten Overzichten van vragen in een toets
Overzicht van vragen in de boomstructuur
Overzicht van psychometrische waarden van vragen in een toets en in de boomstructuur Overzicht van de resultaten van studenten op een toets.
Daarnaast onderzoeken we of er voldoende rapportages achteraf beschikbaar zijn en in hoeverre Saxion zelf invloed heeft op de inrichting van de rapportages. We testen in dit scenario niet of we elke genoemde rapportages hebben, maar met name onderzoeken we of we er vertrouwen in hebben, dat ze beschikbaar kunnen komen.
Vragen 1
Flexibele rapportagetool
1 showstopper
Rapportagetool beschikbaar
Uitwerking Maple T.A.: Hierin is de rapportage zeer beperkt. Realtime zijn de gevraagde rapportages aanwezig. Rapportage-eenheid is echter de class. Daardoor is de bruikbaarheid minder. In het vragenoverzicht is
62
te zien in welke toetsen welke vragen gebruikt worden. Mappen met vragen worden echter per class opgeslagen. Van de vragen zijn psychometrische waarden zoals, p-waarde, rit-waarde zichtbaar, maar dan alleen in het kader van de toetsanalyse, niet los van een toets. Er is een Grade Report, waarin van meerdere toetsen de resultaten van studenten bij elkaar komen te staan. Dit Grade Report kan geëxporteerd worden naar Excel. Deze rapportages worden daarmee direct op de database gegenereerd. Mogelijk is dat van invloed op de performance tijdens de afname van toetsen. Er is geen echte rapportagetool en zeker geen flexibele tool, die eigen inrichting van de rapportages op de database mogelijk maakt. QuestionMark: Alle realtime benodigde raportages zijn aanwezig. Van deze direct beschikbare rapportages is een document beschikbaar. In dit document staat welke gegevens beschikbaar zijn en hoe dat in de applicatie te zien is. Dit document wordt beschikbaar gesteld in de community Saxion ICTO > Sig Toetsing > Keuzetraject toetsapplicatie> Map Scenario 18 rapportages. Deze rapportages zijn binnen vastgestelde grenzen zelf in te richten door Saxion of de academie. Deze rapportages zijn real-time en het is bekend dat deze soms de performance van de database beïnvloeden. Het is onbekend of deze rapportages op deze manier beschikbaar blijven omdat Question Mark inzet op een andere wijze van rapportages maken. Sinds kort is Questionmark Analytics beschikbaar voor de meer ingewikkelde rapporten. Dit werkt op basis van een aparte database die elke nacht wordt geüpdatet met de laatste gegevens. De rapportages staan in hoofdlijnen vast en zijn alleen binnen grenzen zelf in te richten. Ook kan er binnen deze gegevens een selectie worden gemaakt. Zie voor meer gedetailleerde informatie: https://www.questionmark.com/ned/perception/Paginas/reporting.aspx en https://www.questionmark.com/ned/perception/Paginas/reporting_analytics.aspx Surpass: De analyse van de toets is realtime beschikbaar. Mooi is dat de beschikbare toetsvragen voor een bepaald onderdeel binnen de toetsmatrijs opvraagbaar zijn met een aantal psychometrische waarden, zoals moeilijkheidsgraad, aantal keer gebruikt en andere metadata. Er zijn realtime rapportages op examenplanning, toegangscodes van studenten, resultaten op examens van studenten, welke antwoorden zijn gegeven per vraag, etc. Toetsen zijn ook direct vanuit de applicatie beschikbaar voor het printen voor afname op papier. Er zijn overzichten te maken van de toetsen, die een bepaalde competentie toetsen. Erg mooi in Surpass is de realtime rapportage op toetsafname tijdens de toetsafname. De status van wat de student aan het doen is, is mooi zichtbaar in de rapportage en ook direct beïnvloedbaar.
63
Voor rapportages achteraf is SurpassAnalytics ontwikkeld. Hierin staan een aantal standaard rapportages en men kan eigen rapportages samen stellen. Een document met de uitwerking hiervan is te vinden in de community Saxion ICTO > Sig Toetsing > Keuzetraject toetsapplicatie> Map Scenario 18 rapportages. Surpass kan qua rapportages meer dan QMP. De beschikbare rapportages in QMP zijn echter ook meer dan voldoende. Zowel Surpass als QMP voldoen wat betreft rapportages, MapleTA niet. De mogelijkheid om eigen rapportages te kunnen genereren is echter een pre van Surpass. Vooral gezien de onvoorspelbaarheid van de toekomst. We weten niet wat we dan nodig hebben, maar Surpass heeft hiervoor al meer te bieden.
Resultaat Maple TA 1
Flexibele rapportagetool
1
Rapportagetool
SS
QMP
Surpass
Scenario 19: Analyse Werkwijze Analyses kunnen realtime worden geleverd of met een bepaalde verwerkingstijd. De analyse op een toets willen we realtime kunnen ophalen. De analyse op vragen (over meerdere toetsen) of andere geavanceerde analyses hoeven niet realtime beschikbaar te zijn. De waarden die in de analyses moeten zitten zijn gelijk aan de huidige analyse die vanuit TestVision wordt geleverd. De analyse waarden moeten ook geëxporteerd kunnen worden naar andere applicaties (bijvoorbeeld Excel, Access, SPSS, enz.). We maken afspraken over de toets waarover de analyse wordt gemaakt. 64
Vragen 1
Beschikbaarheid van toetsanalyse gegevens
1
Beschikbaarheid van analysegegevens bij de toetsvragen
3
Teruglezen scores op vraag en toetsniveau van Print & Scan toetsen
showstopper showstopper
Uitwerking Maple TA: Naaste de score zijn er geen andere waarden beschikbaar over de toets als geheel. Voor de vragen is per toets de p-waarde, rit-waarde en rig-waarde beschikbaar. Andere waarden zijn niet beschikbaar. Alle rapportage is realtime aanwezig. Er zijn geen andere rapportages. Bij het samenstellen van de toets zijn de analysegegevens niet zichtbaar. Analysegegevens van de vragen per toets zijn te exporteren naar csv. Voor het teruglezen van scores van Print & scan naar MapleTA is er maatwerk nodig. Question Mark Perception : Er zijn realtime rapportages met de klassieke toetsanalysegegevens per toets en voor de verschillende vragen per toets of over toetsen heen. QuestionMark Analytics geeft ook een analyse rapportage achteraf. (zie https://www.questionmark.com/ned/perception/Paginas/reporting_analytics.aspx ) Bij samenstellen van de toets zijn de analysegegevens niet zichtbaar. Er is export naar CSV en naar TXT mogelijk. Voor het teruglezen van scores van Print & scan naar MapleTA is er maatwerk nodig. Surpass: Er zijn realtime rapportages met de klassieke toetsanalysegegevens per toets en voor de verschillende vragen per toets of voor vragen over toetsen heen. Surpass Analytics geeft ook analyse rapportages achteraf.
65
Bij samenstellen van de toets zijn analysegegevens zoals gemeten op alle eerdere afnames van die vragen zichtbaar.
Er is export naar CSV mogelijk. Voor het teruglezen van scores van Print & scan naar MapleTA is er maatwerk nodig.
Resultaat 1
Beschikbaarheid van toetsanalyse gegevens
1
Beschikbaarheid van analysegegevens bij de toetsvragen
3
Teruglezen scores op vraag en toetsniveau van Print & Scan
SS SS
toetsen
MapleTA
Surpass
QMP
??
??
??
Scenario 20: Cesuur , scoren en resultaten bepalen Werkwijze Ida stuurt een toets met open vragen. We gaan alle benodigde zaken m.b.t. het nakijken van open vragen bekijken in de applicaties. In dit scenario is van belang hoe de scores op vragen tot stand komen en of ze veranderd kunnen worden. Tenslotte is ook belangrijk of en hoe men van een score 66
naar een cijfer of resultaat dat in BISON ingevoerd wordt gaat. Resulaten in Nederland wprden weergegeven met cijfers en procenten en niet in letters zoals in de US. De cesuur moet ingevoerd kunnen worden in procenten of in punten. Het eindcijfer moet worden afgerond. Hiervan moeten worden bekeken wanneer en hoe er wordt afgerond en of de cijfers achter komma achter de schermen wordt onthouden of dat er wordt gerekend met de afgeronde cijfers. Ben mailt alle betrokkenen een aantal methodieken van scoring en cesuurbepaling met daarvan de uitleg en die gebruikt worden binnen Saxion. Ida en Alexander bekijken deze en geven commentaar/aanvulling. Het moet mogelijk zijn om een vraag uit de scoring te halen. Daarnaast moet het mogelijk te zijn de scoring van een vraag voor iedereen te veranderen. Juiste antwoorden van vragen moeten na afloop van de toets aangepast kunnen worden. De personen die de mogelijkheid hebben om scores te mogen aanpassen in de applicatie hebben geen vaste rol, omdat dit binnen de academies verschillend is. De autorisatie hiervoor moet gekoppeld kunnen worden aan een rol die aan individuele accounts kan worden gekoppeld. Er wordt ook gekeken naar de exportmogelijkheid van de resultaten die in een andere applicatie kunnen worden ingelezen.
Vragen 1
Tool om open vragen te scoren/ na te kijken
1
Tools om vragen opnieuw te scoren per student en per toets
2
Rapportages ten behoeve van de cesuurbepaling
3
Resultatenexport maakt batchgewijze verwerking van resultaten in BISON mogelijk.
Uitwerking Maple TA: De gebruikte toets is er een met een casus. Er kunnen alleen vragen worden toegevoegd. Een casus of beschrijving is niet als apart item te plaatsen. Dit wordt dan een aparte vraag of de tekst moet in elke vraag worden geplaatst. Er zijn wel meerdere vragen op 1 pagina mogelijk maar dat wordt dan voor de hele toets klaargezet. Het antwoord op de vraag wordt pas bewaard op het moment dat de toetsdeelnemer doorgaat naar een volgende vraag. Als er een lange tekst ingevuld moet worden, betekent dit dat er een timeout kan plaatsvinden en de student uit de toets wordt gegooid (Ervaring bij MIM). Er is een tool om open vragen te scoren.
67
Er is 1 tekstveld voor commentaar, maar geen formulier daarin of rubrics. Scoring gebeurt in cijfers en niet in %. Aanpassen van de score kan alleen per vraag per student. Je kunt de score van 1 vraag voor alle studenten aanpassen, maar dan moet wel de nakijker selecteren voor welke studenten wordt aangepast. Er is dus geen automatische verwerking van die aanpassing voor alle studenten die het op een bepaalde vraag betreft. Invullen van een cesuur kan alleen door het aantal punten aan te geven wanneer een student geslaagd is. Score is inclusief decimalen. Er is 1 manier van cesuur vaststelling, namelijk een absolute cesuur in punten. Het juiste antwoord op een vraag is na afname niet aan te passen. MapleTA levert scores op toetsvragen op en een eindscore. Een docent kan op grond van die score op heel veel verschillende manieren tot cijfers of resultaten komen. Dit soort omrekentabellen zitten meestal niet in toetsprogramma’s, omdat de diversiteit groot is. (Ook in TestVision zit die omrekening in een excelexport, TestVision zelf levert scores op). De scores kunnen worden geëxporteerd naar een csv. Dit bestand bevat weinig informatie, alleen de deelnemergegevens en de eindscore. Question Mark Perception : Een beschrijving/casus als item is mogelijk. Het antwoord op een open vraag wordt opgeslagen als de deelnemer naar de volgende vraag gaat. Om tew voorkomen dat de laatste vraag van een toets niet wordt opgeslagen adviseert Stoas om een eindpagina na de laatste vraag in de toets te zetten. Voor een open vraag kan men een scoringsmodel ontwerpen met desgewenst rubrics.
Eenzelfde scoringsmodel is voor meerdere open vragen bedoeld. Het model moet aan de bedoelde vraag gekoppeld worden. Bij het scoren van de open vraag kan men verschillende tools zoals de rubrics, feedback en scoring invullen. De tools zijn onderscheiden met tabs. Dit maakt het niet geheel niet overzichtelijk.
68
Scoring gebeurt in punten en niet in %. Invullen van een cesuur is in % aan te geven wanneer een student geslaagd is (zonder decimalen). Er is 1 manier van absolute cesuur in %. Score is niet in decimalen. Herscoren kan men per student. Er wordt dan gelijk gearchiveerd, dat er een afwijking wordt gemaakt van de originele score en dit is ook in de weergave van het cijfer herkenbaar. Via de rollen wordt bepaald welke accounts deelnemers in welke groepen en toetsen mag herscoren.
69
QMP had een apart Results Management System (RMS) om de score van een vraag voor alle studenten tegelijk aan te passen. Hiervoor was een aparte licentie nodig. Het systeem werkt doordat een export wordt gemaakt van de scores van de studenten naar een andere database en hier wordt de score bewerkt. De bewerkte score wordt in dit aparte systeem bewaard, in de resultatendatabase van QMP staat nog steeds de originele score (met eventuele handmatige aanpassingen op individuele studenten). Question Mark gaat het RMS vervangen door een in QMP geintegreerd systeem. Daarom is de licentie voor het RMS niet meer zomaar verkrijgbaar is en wordt het huidige systeem niet meer verder ontwikkeld. QMP levert scores op toetsvragen op en een eindscore. Men kan op grond van die eindscore op heel veel verschillende manieren tot cijfers of resultaten komen. Dit soort omrekentabellen zitten meestal niet in toetsprogramma’s. De cesuur zelf kan wel aangepast worden.Er zijn diverse exports van scores en subscores in Excel en txt mogelijk. Surpass:
Voor een open vraag kan men een scoringsmodel ontwerpen. Het scoringsmodel is aan de vraag gekoppeld en onderdeel van het ontwikkelen van de vraag. Het scoringsmodel wordt getoond in Word. Bij het scoren van de open vraag kan een commentaar veld invullen (zonder formulier) en zijn er aan aantal aanroepbare tekens voor het geven van feedback (bv. vinkje, rode balk, omlijning). Elke handeling bij het scoren wordt in de zg. Marking history vastgelegd.
70
Per student kan men de scores aanpassen. Scoring gebeurt in punten en niet in %. Invullen van een cesuur is in % en in punten aan te geven wanneer een student geslaagd is (zonder decimalen). Er is 1 manier van absolute cesuur. Score wordt gegeven zonder decimalen. Herscoren kan men per student. Een herscoring kan worden toegewezen aan een tweede corrector door bv. de toetsverantwoordelijke. Door de uitgewerkte rollenstructuur met capabilities kan hier een specifieke workflow worden gemaakt. De herscore staat alleen open voor die studenten, die door de toetsverantwoordelijke zijn toegewezen. Via de rollen wordt bepaald welke accounts deelnemers in welke groepen en toetsen mag herscoren. Er wordt dan gelijk gearchiveerd in de marking history, dat er een afwijking wordt gemaakt van de originele score door wie en waarom. In de overzichten verschijnt er naast de orginele score een aangepaste score. Herscoren van een vraag voor alle studenten tegelijk is (nog) niet mogelijk. Daar liggen wel plannen voor in de roadmap. Surpass levert scores op toetsvragen op en een eindscore. Men kan op grond van die score op heel veel verschillende manieren tot cijfers of resultaten komen. Dit soort omrekentabellen zitten meestal niet in Surpass. De cesuur zelf kan wel aangepast worden. Ook zijn er meerdere rapportages op de resultaten mogelijk ten behoeve van de cesuurbepaling. Omdat de rapportages door de instelling zelf ontwikkeld kunnen worden, zijn er wellicht ook rapportages met omrekentabellen mogelijk. Er zijn diverse exports van scores en subscores in Excel (csv) mogelijk.
Resultaat Maple 1
Tool om open vragen te scoren/ na te kijken
1
Tools om vragen opnieuw te scoren per student
1
Tools om een vraag opnieuw te scoren per toets voor meerdere
2
Rapportages ten behoeve van de cesuurbepaling
3
Omzetten van scores in resultaten
3
Resultatenexport maakt batchgewijze verwerking van resultaten
QMP
Surpass
studenten tegelijk.
in BISON mogelijk.
71
Scenario 21: Archivering Werkwijze In verband met OER, accountantscontrole en vooral de accreditatie is een (automatische) archivering van elke afgelegde toetsafname noodzakelijk. Onderzoek van de applicatie, presentatie van het resultaat aan de werkgroep en gezamenlijk maken van de rapportage.
Vragen 1
Geschiktheid van de applicatie t.b.v. achivering.
2
Voldoende veilige archivering in geval van SAAS oplossing
Uitwerking Maple TA: Iedere docent kan met elke toets alles doen, wat men wil. Rechten zijn binnen een class niet goed af te schermen (zie ook scenario 6 ‘Rollen en workflow’). Als iemand met voldoende rechten
binnen een class voor een assignment kiest voor ‘delete’dan zijn daarmee niet alleen de toets en de
kenmerken van de vragen in die toets maar ook alle resultaten van de studenten verdwenen. Dat zeer
veel docenten dat kunnen, is geen goede basis voor archivering. Wanneer de applicatie conform de BIV matrix (zie scenario 7) kan worden weggezet, zal de archivering voldoende veilig zijn.
Question Mark Perception : In de resultatendatabase van QMP worden alle scores op toetsen bewaard.
Het recht tot verwijderen van resultaten kan per rol worden toegekend of onthouden. Als echter vragen
worden verwijderd, kan het onduidelijk worden op welke precieze formulering van de vraag een
toetsresultaat uit het verleden is behaald, hoewel het resultaat zelf wel bewaard blijft. Het recht om
vragen te verwijderen is niet te ontzeggen aan docenten, die ook nieuwe vragen kunnen aanmaken en
bestaande vragen kunnen bewerken. Daarmee is er een basis voor archivering, maar bestaan er wel wat risico’s, die alleen maar met goede mondelinge afspraken te bezweren zijn.
Probleem blijft daarnaast, dat er 2 manieren (zie scenario 20) zijn tot wijziging van scores achteraf op
grond van de analyse. Resultaten per individuele student kunnen worden aangepast. Dat gebeurt in de database en is herleidbaar en dus gearchiveerd. Wanneer de score van een hele vraag moet worden gewist uit de resultaten kan dat alleen in het Results Management System (RMS) (zie
https://www.questionmark.com/us/news/pressreleases/Pages/rms_mar_2008.aspx ). Echter dat werkt op basis van een aparte database, waarin de gewijzigde scores staan in alle versies waarin
gewijzigd is. De originele scores blijven bestaan in de originele resultatendatabase van QMP. Door
Question Mark wordt aan een nieuwe oplossing in plaats van dit RMS gewerkt, dus is het de vraag of en hoe lang dit systeem nog werkt en hoe lang de licentie ervoor nog verkrijgbaar is. Gebruik van dit
systeem betekent, dat er 2 databases zijn, waarin men gearchiveerd heeft wat de eindscores van een toets zijn. Als het RMS gebruikt is, staan daar per definitie andere scores voor dezelfde toets. Welke gebruikt zijn is niet duidelijk, omdat een docent in het RMS meerdere mogelijke situaties kan uitproberen.
Wanneer de applicatie conform de BIV matrix (zie scenario 7) kan worden weggezet, zal de archivering voldoende veilig zijn.
Surpass: In Surpass ontbreekt de mogelijkheid om resultaten of kandidaten met hun resultaten te
wissen, ook voor de beheerders met de hoogste rechten. Resultaten worden altijd bewaard, daarin kan een beheerder geen verandering brengen (buiten opnieuw starten met een lege database). Ook
toetsvragen in alle versies worden bewaard, wanneer daar resultaten bij behaald zijn. Zelfs wordt bewaard op welke vraagversie welk antwoord in het verleden gegeven is. Het recht om vragen te verwijderen bestaat alleen voor vragen, die nog niet gepubliceerd zijn voor gebruik. Eenmaal
72
gepubliceerde vragen kunnen alleen maar worden teruggetrokken, zodat ze niet meer in toetsen
worden opgenomen. De hoogste beheerder kan het recht tot ‘withdraw’ van vragen alleen toekennen aan bepaalde gebruikers.
Daarmee is er een veilige basis voor archivering. Wanneer de applicatie conform de BIV matrix (zie scenario 7) kan worden weggezet, zal de archivering voldoende veilig zijn.
Resultaat MapleTA 1
Geschiktheid van de applicatie
2
Voldoende veilige archivering in
QMP
Surpass
t.b.v. achivering.
geval van SAAS oplossing
Scenario 22: Mogelijkheid tot beveiligde vaardigheidstoetsen Werkwijze Binnen Saxion worden regelmatig vaardigheidstoetsen gehouden. Daarbij bewijst een student dat hij een casus kan uitwerken in bv. een begroting, een reclametekst, een berekening, een analyse etc. Daarvoor wordt met bv. Excel, Word of SPSS gewerkt. Het is de bedoeling, dat die versie van Excel of Word dan afdoende beveiligd is zodat studenten bv. niet digitaal met elkaar kunnen communiceren over de vragen of antwoorden. Uiteindelijk moet het uitgewerkte bestand worden ingeleverd. Dit proces zou je kunnen zien als een open vraagvorm in een digitale toets in de toetsapplicatie. Is dat haalbaar in de nieuwe toetsapplicatie? We moeten de mogelijkheid onderzoeken voor beoordelingen van assessments door de assessor. Hierbij gaat het om het scoren van competenties.
Vragen 3
Beveiligde vaardigheidstoetsen in een applicatie
3
Mogelijkheid tot scoren van (deel) competenties in het kader van een assessment
Uitwerking Maple TA: TU Delft heeft de secure browser bij MapleTA gebouwd. Voor deze secure browser kan dus niet de leverancier aangesproken worden. Bij de TU Delft leeft de wens om binnen die secure browser beveiligde vaardigheidstoetsen in te bouwen. Hoe en wat is op dit moment onbekend. Scoren van deelcompetenties op de vaardigheden van een student is niet mogelijk binnen Maple TA. Question Mark Perception : Binnen de secure browser van QMP wil men de mogelijkheid bouwen tot white listing van bepaalde programma’s die dan voor de secure browser kunnen openen. Dit is een stap die kan leiden tot beveiligde vaardigheidstoetsen.In QMP is de mogelijkheid tot het scoren van (deel)competenties van een assessment door een docent voor een specifieke student. Deze tool is ook via mobile devices beschikbaar. Zie https://www.questionmark.com/us/perception/Pages/deliveryworkplace-assessments.aspx . Surpass: BTL is bezig om binnen de secure applicatie van Surpass een mogelijkheid in te bouwen tot het afnemen van vaardigheidstoetsen gebaseerd op white listing en de zogenaamde bestandsinlevervraag. Zie 73
http://saxion.hosted.panopto.com/Panopto/Pages/Viewer/Default.aspx?id=67e4de95-3a0f-49589769-12dad0d0c7ba . Scoren van deelcompetenties op de vaardigheden van een student is niet mogelijk binnen Surpass.
Resultaat MapleTA 3
Beveiligde vaardigheidstoetsen in
3
Mogelijkheid tot scoren van (deel)
QMP
Surpass
een applicatie
competenties in het kader van een assessment
74
Bijlage 1: Betrokkenen bij dit keuzeadvies Betrokkenen vanuit de academies/afdelingen In onderstaande lijst worden alle betrokkenen bij het opstellen en uitvoeren van toetsscenario’s met hun rol genoemd. Academie
Betrokkene
Rol
ABO
Peter Arends
Toets-contactpersoon namens
Rien Poyck
Toets contactpersoon, docent
Michel de Klein
Toetsdesk
Paul Schunselaar
Onderwijskundige
AGZ
Ben Aardema
ICT beheerder
AMA
Alexander Kremers
Toetsdesk
Lieke Hegemann
Toetsdesk
Marco Farfan Galindo
ICT&O contactpersoon, docent
Ineke Doeschot
Toetsdesk
Ida ten Tusscher
Toetsdesk
Ger Reekers
Functioneel beheer, docent
Jannie Braber
Onderwijskundige
Dion Wielens
ICT&O contactpersoon
APO
Paul Hilferink
ICT&O contactpersoon
FEM
Amber Kornet
Toets contactpersoon,
Luuk Beumer
Toets contactpersoon, docent
Gerko Hassink
ELO-contactpersoon, docent
LED
Herman Surink
ICT&O contactpersoon, docent
ICT&O
Henny Groot Zwaaftink
Business Information Manager
SCV Inkoop
Jaques Heeren
Inkoper
SCV IC
Koert Tuijtel
Accountmanager voor ICT&O
Erwin Rensink
Technisch aplicatiebeheer en
Thijs van Velzen
Coordinator Toetsbureau
Pascal Huiskes
Medewerker Toetsbureau
Alwin Wullink
Functioneel beheerder
Leen van Kaam
Teamleider functioneel beheer
ABR
AMM
ACT
ROB
SVC CTB Functioneel Beheer ICT&O
SBRM, docent
onderwijskundige
ICT&O
infrastructuur
specialiteit toetsing ICT&O
Betrokkenen bij het opstellen van het keuzeadvies Onderstaande personen waren in de bijeenkomst van 29 november 2012 betrokken bij het vaststellen van het keuzeadvies en hebben unaniem de schriftelijke uitwerking van dit advies ook schriftelijk bevestigd.
Academie ABO
Naam Rien Poyck Peter Arends 75
ABR ABR ACT AMA AMM
Michel de Klein Paul Schunselaar Jannie den Braber Alexander Kremers Ger Reekers
AGZ APO
Ineke Doeschot Ida ten Tussscher Ben Aardema Paul Hilferink
FEM LED
Amber Kornet Hans Leijenaar Herman Surink
MIM ROB SVC CTB SVC IC
Anne Klarenbeek Gerko Hassink Pascal Huiskes Koert Tuijtel Erwin Rensink
Aanwezigen in de SIG Digitaal Toetsen Op 13 december 2012 heeft men in de SIG Digitaal Toetsen unaniem ingestemd met het keuzeadvies. De leden van de SIG Digitaal Toetsen zitten daar met last en ruggespraak binnen de academie.
Academie ABO ABR AGZ AMM AMA HBS LED ROB SCV ICT&O
Naam Rien Poyck Henny Groot Zwaaftink Ben Aardema Ineke Doeschot Wegens ziekte schriftelijke instemming namens AMA door Alexander Kremers Richard Sueters Herman Surink Wietse Mensonides Gerko Hassink Pascal Huiskes Heino Logtenberg Leen van Kaam Alwin Wullink (voorzitter) Peter Heidemann (secretaris)
Programmaregiegroep Op woensdag 5 december is het keuzeadvies besproken in de programmaregiegroep. Ook hier heeft men unaniem met het advies ingestemd.
Academie MIM
Naam Rik Eijsink (voorzitter) 76
AGZ APO FEM LED ICT&O
Stephan van der Voort Jan Auwke Diepenhorst Bert Velt Peter van Dam Heino Logtenberg
Externe review De externe reviewer Michiel van Geloven onderschrijft het keuzeadvies.
77
