VGTogether samen werken in voortgangstoetsing
Programma Toetsing en Toetsgestuurd Leren PIJLER 1: Het verminderen van studie-uitval en werkdruk in het hoger onderwijs PIJLER 3: Nationale technische infrastructuur
Deliverable 5.2: Verslag Pilotstudie IMS
Datum: Auteur: Versie:
22-04-2013 Jeroen Donkers, Annemarie Camp, Frank van de Kamp 4.0
1
1 2 3 4 5 6 7 8 9 10 11
INHOUDSOPGAVE
Inhoudsopgave ................................................................................................ 2 Inleiding ......................................................................................................... 3 Effectmeting - nulmeting .................................................................................. 4 Training van gebruikers .................................................................................... 5 Aanpassingen aan het IMS systeem ................................................................... 5 Gebruik van het systeem .................................................................................. 6 Opzet Evaluatie ............................................................................................... 7 Resultaten evaluatie ......................................................................................... 8 Conclusie en aanbeveling .................................................................................13 Bijlagen .....................................................................................................13 Summary ...................................................................................................14
2
INLEIDING
In de maanden november 2012 tot en met maart 2013 is door een aantal gebruikers van het IMS systeem gebruikt gemaakt om voortgangstoetsitems te schrijven, te reviewen en om voorgangstoetsen samen te stellen. In deze deliverable vertellen we hoe de pilot met het IMS systeem is verlopen, hoe we de evaluatie daarvan hebben georganiseerd en wat de resultaten zijn van die evaluatie. In principe ging de pilot om de gebruikers in Maastricht, maar daarnaast hebben ook de centrale coördinatoren uit Groningen, Nijmegen en Leiden met het systeem gewerkt en ook de voorzitter van de WiV. De volgende besluiten die in het projectteam zijn genomen zijn belangrijk voor de inhoud van dit rapport Niet schaduwdraaien Bij de opzet van de pilot is door de betrokkenen gezamenlijk besloten om IMS niet als schaduwsysteem te gebruiken omdat het dubbel administreren op centraal niveau als te belastend werd gezien. Er is daarom besloten gegevens tussen het IMS systeem en het VOSYS systeem regelmatig te synchroniseren zodat aanpassingen in IMS ook in VOSYS beschikbaar komen en vice versa. Dit betekent dat de centrale administratie tijdens de pilot volledig in IMS plaatsvond. Contactpersonen in plaats van itemauteurs Er is in het team besloten om niet alle mogelijke itemauteurs bij de pilot te betrekken, maar alleen de contactpersonen. Dit zijn docenten binnen de diverse vakgroepen die binnen hun groep verantwoordelijk zijn voor de items. De reden hiervoor is dat deze contactpersonen vaak de voornaamste zo niet de enige auteur binnen de groep zijn, en dat andere auteurs slechts sporadisch een item schrijven. Voor een pilotstudie leek het ons beter om gebruikers te betrekken die met enige zekerheid ook tijdens de pilotperiode met het systeem aan de slag gaan. Lokale coördinatoren Om de centrale coördinator te ontlasten is besloten om vragen die in andere instellingen dan Maastricht door de lokale coördinatoren van die instellingen (Groningen, Nijmegen en Leiden) te laten invoeren in IMS, met gebruikmaking van de word-importmogelijkheid van IMS. Leiden heeft echter weinig gebruikt gemaakt van het IMS-systeem tijdens de pilot en daarom is de LiC Leiden niet meegenomen in de evaluatie van de pilot. Functionaliteit IMS Het bleek niet haalbaar voor Heidelberg om alle functionaliteit die voor de iVTG noodzakelijk is, al vóór de start van de pilot gereed te hebben. Het ging daarbij met name om de ondersteuning van de centrale coördinator en het samenstellen van toetsen. Niet alleen omdat daarvoor de tijd ontbrak, maar ook omdat de precieze invulling van die functionaliteit het beste in samenspraak met de betrokken gebruikers in de praktijk kon worden ontwikkeld. Dit betekent dat er tijdens de pilot regelmatig updates hebben plaatsgevonden waarbij nieuwe functionaliteit beschikbaar kwam. Dit betekende echter ook dat zich daarbij problemen voordeden omdat onverwachte neveneffecten optraden, of performanceproblemen de kop opstaken. Aan het einde van de pilot studie blijken nog niet alle noodzakelijke functionaliteiten beschikbaar te zijn. Daarom nemen we in dit rapport een lijst op van functionaliteiten die wel zijn ingevoerd en zaken die nog open staan. Inrichting IMS Het is belangrijk om te realiseren dat IMS een complex systeem is dat op verschillende manieren kan worden geconfigureerd en ingericht. De gebruikerservaringen hangen daarmee niet alleen af van de functionaliteiten in IMS, maar ook van de wijze waarop IMS tijdens de pilot is geconfigureerd. Voor gebruikers is dit verschil natuurlijk niet te maken, maar bij de evaluatie is het wel belangrijk om hiervoor oog te hebben. De precieze inrichting is voor een deel pas tijdens de pilot tot stand gekomen en is steeds in overleg met sleutelgebruikers en Heidelberg gedaan.
3
EFFECTMETING - NULMETING
Als onderdeel van de evaluatie is een onderzoek gedaan naar de (verwachtte) effecten van het IMS systeem op het proces van de iVTG. Hiertoe is als nulmeting voorafgaande aan de pilot een enquête uitgegaan naar itemauteurs en VBC-leden zowel in Maastricht als in Nijmegen, Leiden en Groningen. Het onderwerp van deze enquête is met name de huidige praktijk rond de itemproductie en itemreview in de voortgangstoets en met name de ingeschatte hoeveelheid tijd. Onder de 49 respondenten waren 18 VBC-leden en 31 auteurs en/of contactpersoon. 61% van de respondenten is afkomstig uit Maastricht en de overige zijn uit Nijmegen, Groningen of Leiden (ongeveer gelijk verdeeld aantal respondenten over deze instellingen). De gemiddelde leeftijd van alle respondenten is 49 jaar, 60% is man en 40% is vrouw. Van het totaal aantal respondenten zijn er 31 auteurs en/of contactpersoon en zijn er 18 mensen VBC-lid. Van de 29 auteurs en/of contactpersoon heeft 75,9 % minder dan 1x per maand contact met de VBC of een contactpersoon binnen de VBC. 62% heeft een goed contact met de VBC of een contactpersoon binnen de VBC. Van 20,7% van de 29 auteurs en/of contactpersoon moet de VBC vaak achter hun broek aanzitten voor het afleveren van vragen (37,9 % neutraal; voor 41,4 % geldt dit niet). Van de 29 auteurs en/of contactpersonen schrijft 78,6% minder dan 1x per maand een vraag en 71,4 % van deze groep schrijft ook vragen voor andere toetsen. Van de 18 VBC-leden schrijft 35,3 % meer dan 1x per week een vraag, 29,4% schrijft 1x per maand een vraag en 35,3% schrijft minder dan 1x per maand een vraag. 88,2% van deze groep schrijft ook voor andere toetsen vragen. Van het totaal aantal respondenten schrijft 48,9% tussen 0 en 3 jaar al vragen voor de voortgangstoets en 37,8% 5 jaar of meer (13,3% tussen de 3 en 5 jaar). Gemiddeld worden er 8 vragen per kwartaal geschreven (mediaan is 5 vragen). Gemiddeld kost het 31 minuten om een vraag te schrijven; 24 minuten wordt besteedt aan het formuleren van de vraag; 14 minuten voor het opzoeken van literatuur en 11 minuten wordt besteed aan administratieve handelingen van een vraag. Middels een open vraag is er gevraagd wanneer de vragen bedacht worden. De meest voorkomende antwoorden waren: wanneer een boek erbij gepakt wordt; tijdens het werk n.a.v. gebeurtenissen in de kliniek; als de deadline nadert en op wisselende momenten (na onderwijsactiviteiten, na overleg, tijdens fietsen, onder de douche). Van het totaal aantal respondenten weet 71,1 % aan welke eisen een vraag voor de VGT wat betreft inhoud en opmaak moet voldoen. 62,3% geeft aan dat hij/zij goed is in het schrijven van VGT-vragen en 31,1% schrijft VGT-vragen snel. 57,7% schrijft vragen vlak voor de deadline. 80% schijft meerder vragen op het zelfde moment achter elkaar. Slechts 24,4% heeft genoeg inzicht in hoe zijn/haar vragen presteren in de toets en 66,6% ziet zijn vraag wel geredigeerd terug voordat de vraag in de toets terecht komt. 64,5% vindt dat men voldoende feedback krijgt op de kwaliteit van de geschreven vraag. 66.7% heeft geen goed overzicht over welke vragen al door hem/haar geschreven zijn voor de VGT. Ook het inzicht over welke vragen al op zijn/haar vakgebied geschreven zijn is minimaal (15,5%). 33,4% kijkt altijd in het toetsboekje of zijn/haar geschreven vraag is terug te vinden. Van de groep respondenten geeft 82,6 % aan zeer veel gebruik te maken van computers en 17,4% vaak. 63% is handig in het omgaan met computers en 13% geeft aan onhandig te zijn met computers. 47,8 % geeft aan dat het veel energie kost om met een nieuw computerprogramma te leren werken, 32,6% doet geen uitspraak en voor 19,5% van de respondenten kost het weinig energie. Uit deze enquête kunnen we concluderen dat voor verreweg de meeste auteurs het schrijven van vragen voor de voortgangstoets een sporadisch zaak is en dat VBC leden dat veel vaker doen. Over het algemeen krijgt men wel genoeg feedback op de geschreven vraag, maar men heeft niet voldoende inzicht in welke vragen er al zijn (eigen of van anderen) en men weet niet wat de vragen in de toets doen.
4
TRAINING VAN GEBRUIKERS
Aan het begin van de pilotstudie en ook later tijdens de pilot hebben een aantal training-sessies plaatsgevonden met het IMS systeem. Deze trainingen waren aangepast aan de verschillende gebruikersrollen. Bij deze trainingen werden de handleidingen gebruikt die bij deliverable 5.1 zijn bijgesloten – al dan niet aangepast aan opmerkingen die tijdens een eerdere training zijn gemaakt. Voor contactpersonen/itemauteurs zijn op 1 november, 2 november en 10 december 2012 trainingen verzorgd. Aan deze trainingen hebben in totaal 21 docenten deelgenomen. Daarnaast hebben alle VBC-leden, de LiC’s en de CiC op 1 en 2 november aan een voor hen specifieke training meegedaan. Er zijn terugkomdagen voor auteurs aangekondigd, maar daar bleek geen belangstelling voor te zijn. Op 21 februari is een extra training in de vorm van een item-schrijfsessie georganiseerd waar 4 auteurs en een VBC-lid aanwezig waren. Naast deze formele training sessies heeft individuele training plaatsgevonden. De VBC-leden zijn tijdens hun eerste vergaderingen met het IMS systeem begeleid. Met de CiC is steeds intensief contact geweest tijdens de pilot. Omdat de functionaliteit voor deze gebruiker tijdens de pilot pas vorm kreeg, kon hier geen formele training plaatsvinden. Dit geldt ook voor de cDB.
5
AANPASSINGEN AAN HET IMS SYSTEEM
Tabel 1 geeft aan welke functionaliteiten voorafgaand aan of tijdens de pilot t.b.v. van de iVTG in IMS zijn gerealiseerd. In de kolom “prioriteit” staat de MOSCOW categorie van de functionaliteit zoals die tijdens de requirementsanalyse in werkpakket 1 (of in sommige gevallen tijdens de pilot) zijn opgesteld. De hoeveelheid werk per functionaliteit is in de tabel (in overleg met Heidelberg) in grove categorieën ingedeeld. Tabel 1: gerealiseerde aanpassingen in IMS per 1 april 2013 Aanpassing Reviewsysteem aangepast (4 knock-out stappen ingebouwd) Clasificatie aangepast naar iVTG blauwdruk Literatuur-classificatie ingebouwd (drop-down met toegestane literatuur) Spellingscontrole Nederlands + Engels Item op slot kunnen zetten Item als concept/draft kunnen opslaan Zoekfunctie uitgebreid met auteursnaam en trefwoord Labeling-functie (item-status) ingebouwd, met mogelijkheid tot zelf beheren Blueprint-functie ingebouwd, om voorraad tegen blauwdruk te controleren Exportfunctie voor Blueprint-functie, om resultaten te exporteren naar Excel Exportfunctie voor toets aangepast (logo, header e.d.) Importfunctie ingebouwd om bestaande items vanuit VOSYS te importeren Diverse sorteringen en filtering-opties in de kolommen van het itemoverzicht Knop om commentaar te kunnen verwijderen Diverse verbeteringen om vensters/tekstvakken te kunnen inklappen/resizen Mogelijkheid om zelf volgorde van kolommen te bepalen Mogelijkheid om meer items per pagina te tonen (enkel voor admins)
Prioriteit Hoeveelheid werk Must have hoog Must have middel Must have middel Must have middel Must have laag Must have middel Must have middel Must have hoog Must have middel Must have laag Must have laag Must have hoog Must have laag Should have laag Should have middel Should have laag Should have laag
De volgende tabel (tabel 2) bevat de functionaliteiten die bij de requirementsanalyse als belangrijk zijn genoemd en die bij het schrijven van deze rapportage nog niet zijn gerealiseerd. Omdat er al wel activiteiten voor deze functionaliteiten zijn ontplooit, wordt bij iedere functionaliteit de actuele status weergegeven. Over de precieze planning en prioritering van deze functionaliteiten zullen op korte termijn met het Heidelberg team moeten verdere afspraken moeten worden gemaakt.
Tabel 2: Openstaande aanpassingen per 1 april 2013 Aanpassing Spellingscontrole medisch (Pinkhof): onderhandelingen omtrent prijs en wijze van implementatie zijn gevoerd met BSL, en over beide is overeenstemming bereikt. BSL is nu bezig met de ontwikkeling van een webservice, die door IMS gebruikt kan worden voor de spellingscontrole Uitgebreide, specifieke rapportages voor CiC tbv voorraadbeheer: specifieke(re) rapportages om bijv. spreiding van toets over de deelnemende faculteiten te zien zijn nodig. Specificaties zijn grotendeels helder, deze worden op korte termijn ingebouwd Formule-editor: op dit moment wordt gewerkt aan een module om in het itemscherm een formule te kunnen invoeren. Het invoeren/bewerkenzal niet plaatsvinden in de tekst zelf, maar in een los 'panel' naast de tekst, vergelijkbaar met de mediabrowser Automatische toetstrekking obv een of meerdere parameters: deze module nadert zijn gereedheid. Op dit moment bevindt deze zich in de bèta-fase, en op korte termijn zal deze in onze demo-omgeving worden getest Directe link naar item in notificatie (systeem/Email): deze functie is min of meer al ingebouwd, maar werkt nog niet goed. Dit heeft te maken met sessies/cookies binnen eenzelfde browser Beheermodule voor Literatuur, om zelf de lijst te kunnen beheren: op dit moment wordt de inhoud van de lijst door het supportteam in IMS geprogrammeerd/ingevoerd (aan de back-end kant). Medio 2013 zal een functie gereed zijn waarmee aan gebruikerskant de inhoud van deze lijst zelf kan worden beheerd door bijv. de administrator Exportfunctie voor toets aanpassen tbv export naar Word: de mogelijkheid om een toets te exporteren naar een bewerkbaar tekstformaat (waarschijnlijk RTF) wordt binnenkort gerealiseerd. Exportfunctie voor item aanpassen tbv export naar Word: indien bovenstaande RTF-export-mogelijkheid gereed is, kan deze op eenvoudige wijze ook voor de export van een of meerdere items worden toegepast
6
Prioriteit
Hoeveelheid werk
Must have
middel
Must have
middel
Must have
middel
Must have
hoog
Should have
laag
Must have
middel
Must have
middel
Should have
middel
GEBRUIK VAN HET SYSTEEM
Tabel 3 geeft een overzicht van het aantal accounts dat per rol is aangemaakt in IMS en het aantal accounts dat ook actief is gebruikt (d.w.z. waarmee ten minste éénmaal is ingelogd in de pilot periode). Tabel 3. Aantal accounts per rol en aantal daarvan actief. Rol #accounts Itemauteur 19 VBC-lid Maastricht 4 VBC-voorzitter 1 LiC (lokale coördinatoren) 3 CiC (centrale coördinator) 1 cDB (voorziiter WiV) 1 beheer 4 totaal 33
#ingelogd 8 4 1 3 1 1 4 22
Van de 19 itemauteurs hebben, ondanks deelname aan de training, er 8 daadwerkelijk gebruik gemaakt van IMS tijdens de pilot. in De volgende tabel (tabel 4) geeft in meer detail aan hoeveel gebruik is gemaakt van het IMS systeem binnen de verschillende rollen. De tabel geeft het aantal items aan dat tijdens de pilot nieuw is aangemaakt, is gewijzigd, is gereviewd of van commentaar is voorzien.
Tabel 4. Activiteit in IMS per rol tijdens de pilot cDB CiC LiC Groningen LiC Leiden LiC Nijmegen VBC voorzitter VBC-lid Itemauteur
nieuw
wijzigen
38 3 252 24 0-24 (totaal 24) 0-55 (totaal 103)
366 5 1 406 97 0-118 (totaal 148) 0-33 (totaal 52)
review 153 614 54 448 194 114-154 (totaal 494) 0
commentaar 63
162 0-3 (totaal 4)
Bij de twee laatste rollen in deze tabel (die allebei door meerdere personen worden ingevuld) staan per categorie het minimum en maximum aantal items per persoon en het totaal aantal items over de hele groep.
7
OPZET EVALUATIE
Omdat het doel van de evaluatie met name is om tot een advies aan de WiV te komen omtrent het IMS systeem, zijn vóór de evaluatie werd uitgevoerd criteria opgesteld die belangrijk zijn voor dit advies. Deze criteria zijn in het projectteam besproken en goedgekeurd. Op basis van deze criteria zijn vragen opgesteld voor een schriftelijke enquête en voor een reeks focusgroepen. Na afloop van de pilot is de schriftelijke enquête uitgestuurd (zie bijlage) naar alle deelnemers van de pilot (behalve LiCs, CiC en cDB). De enquête is naar 24 deelnemers verstuurd en door 14 deelnemers beantwoord. Daarnaast zijn een aantal focusgroepen georganiseerd die werden geleid door een interviewer buiten het projectteam (Daniëlle Verstegen). We hebben daarbij de gebruikers in vier groepen ingedeeld: itemauteurs, VBC-leden (inclusief voorzitter), LICs en de twee centrale rollen CiC en cDB. Per groep zijn aparte criteria opgesteld. Daarnaast zijn algemene criteria geformuleerd die vooral in het projectteam zijn geëvalueerd. Criteria voor itemauteurs/contactpersonen het programma moet als gebruiksvriendelijk worden ervaren: o eenvoudig vragen kunnen invoeren o vragen eenvoudig ter beoordeling aanbieden aan de VBC o feedback eenvoudig kunnen opzoeken en inzien o snel en eenvoudig items in de bank kunnen opzoeken (om beeld te krijgen van wat er al in de bank zit op hun expertisegebied) o eenvoudig vragen in de constructiefase met elkaar kunnen delen auteurs/contactpersonen moeten er voordeel in zien om met het systeem te werken criteria voor VBC-leden het programma als gebruiksvriendelijk ervaren o snel vragen selecteren die ze moeten reviewen o de review eenvoudig kunnen uitvoeren en feedback/commentaar kunnen geven alle informatie kunnen vinden die ze nodig hebben o o.a. aantal vragen, productie per discipline, per auteur de communicatie met auteurs via IMS moet naar tevredenheid zijn criteria voor LiC’s het programma als gebruiksvriendelijk ervaren o eenvoudig invoeren, reviewen en wijzigen van vragen, delen met CIC de nodige informatie eenvoudig kunnen opzoeken o wie heeft welke vraag aangeleverd, wie moet nog aanleveren, hoeveel vragen, welke status hebben de vragen moeten zich in staat voelen om anderen in de organisatie te helpen met IMS criteria voor de CiC en cDB goed inzicht hebben in de actuele stand van zaken rond de VGT het volledige reviewproces (o.a. wijzigingen) goed kunnen uitvoeren
voorlopige toets goed kunnen samenstellen uit preselectie het toetsboekje goed kunnen aanmaken definitieve toets kunnen bepalen voldoende vertrouwen dat IMS de ontbrekende functionaliteit goed zal kunnen aanbieden voldoende vertrouwen hebben dat het VGT-proces in voldoende mate ondersteund zal worden
algemene criteria voldoende vertrouwen in samenwerking met Heidelberg voldoende vertrouwen in organisatie/bedrijfsvoering Heidelberg voldoende vertrouwen dat ontbrekende functionaliteit wordt ingevuld voldoende vertrouwen in kwaliteit software IMS tevreden zijn over wijze waarop issues worden afgehandeld performance moet voldoende zijn beveiliging moet voldoende zijn financieel haalbaar (beheersbaarheid, kosten ondersteuning) De volgende (focusgroep)gesprekken hebben plaatsgevonden: 8 april: 2 LiC’s (Nijmegen, Groningen) – via skype 10 april: 5 VBC leden inclusief voorzitter (Maastricht) 16 april: 3 itemauteurs (Maastricht) 16 april: gesprek met CiC 18 april: gesprek met cDB Van de focusgesprekken zijn schriftelijke verslagen gemaakt die ter goedkeuring aan de betrokken deelnemers zijn voorgelegd.
8
RESULTATEN EVALUATIE
Hieronder worden de resultaten per focusgroep kort samengevat, daarna zal de uitslag van de enquête worden besproken. Evaluatie itemauteurs/contactpersonen (3 deelnemers) De gebruiksvriendelijkheid van het programma wordt door de auteurs/contactpersonen niet erg positief beoordeeld. Door de complexiteit van het systeem is het voor incidentele gebruikers lastig om vragen in te voeren. Als een gebruiker er wat langer mee werkt gaat dat wel beter, maar veel auteurs schrijven slechts af en toe een vraag. Gezien het feit dat contactpersonen nu al moeite hebben om vragen van deze auteurs te krijgen, zien ze IMS voor deze auteurs niet als stimulans. Twee van de drie auteurs geven aan dat het invoeren van een vraag met IMS meer tijd kost dan het maken van een Word bestand omdat er veel handelingen moeten worden uitgevoerd. De derde auteur is daar positiever over. Bij het invoeren spelen nog wel een aantal problemen in functionaliteit en inrichting van het IMS systeem. Zo is de literatuurlijst die nodig is om (verplichte) literatuur bij een item aan te geven niet optimaal geïmplementeerd in IMS waardoor men bijv. niet op auteur kan zoeken. Doordat de literatuurlijst op dit moment nog niet adequaat kan worden beheerd vanuit de iVTG, is de inhoud van deze lijst bovendien niet up-to-date. Auteurs noemen ook het probleem dat meerkeuzevragen in IMS niet slechts 2 opties mogen hebben. Soms gaat het opslaan van een vraag niet door een fout in het programma. Het insturen van vragen ter beoordeling van de VBC (in IMS gaat dat door vragen te delen met een groep) ging in het begin moeizaam (ook door fouten in het programma – die inmiddels zijn verholpen). Het opzoeken van vragen in IMS hangt af van de auteur. Eén auteur doet dit regelmatig, de anderen kost het te veel tijd. Bovendien moet de gebruiker een aantal handelingen verrichten om een vraag in een overzichtslijst in te zien waar zij een dubbelklik eerder zouden verwachten. De auteurs geven aan dat ook zij behoefte hebben aan een overzicht waaraan ze kunnen zien hoe groot de voorraad is en hoeveel vragen ze nog moeten produceren. Het inzien van feedback is niet besproken, maar er wordt wel aangegeven dat het systeem door de huidige configuratie op dit moment te veel berichten stuurt waardoor het overzicht verloren gaat. Het delen van vragen tussen auteurs is eveneens niet aan de orde geweest.
De geïnterviewde contactpersonen zagen overigens zeker wel voordelen van het IMS systeem, met name voor de centrale administratie. Voor de eigen vragenmakers zagen ze eigenlijk geen voordeel omdat deze voor de voortgangstoets te incidenteel gebruik zouden maken met IMS en bovendien, afhankelijk van de groep, weinig animo was voor feedback die de VBC en anderen op de vraag geven. Dit heeft ook te maken met het algemeen laag animo voor onderwijstaken en de voortgangstoets binnen sommige groepen. Binnen het skillslab bijvoorbeeld was men wel positief hierover en is men zelfs aan het onderzoeken om IMS voor eigen toetsing in te zetten. Met name doordat gesignaleerde problemen snel en adequaat zijn opgelost door de helpdesk in Maastricht, hebben de contactpersonen wel vertrouwen in het systeem mits de gebruiksvriendelijkheid verbetert. Het invoeren van vragen moet eenvoudiger worden gemaakt met een beter formulier of door bijvoorbeeld een stap-voor-stap procedure zoals bij het uploaden van een artikel voor een tijdschrift steeds vaker gebeurt. Evaluatie VBC-leden en VBC voorzitter (5 deelnemers) De VBC-leden geven aan dat zij het programma zoals het nu functioneert en is ingericht niet intuïtief vinden. Als je het systeem intensief gebruikt wordt het op den duur echter wel eenvoudiger. Doordat het systeem veel mogelijkheden kent, moeten voor handelingen veel schermen worden opengeklikt en door de vele knoppen kun je het overzicht kwijtraken. Hierdoor kunnen mensen zelfs afhaken. Door de complexiteit van het systeem wordt nu te veel tijd in de VBC-vergadering aan het systeem besteedt die eigenlijk aan de vragen moet gewijd. Bij het reviewproces loopt de VBC tegen de volgende punten aan: Een overzicht van de stand van zaken is nu alleen omslachtig te krijgen en dat hindert hen om hun acties te prioriteren. Dit wordt als een urgent probleem ervaren. Het is lastig te zien welke commentaren zijn gegeven door CiC en cDB. E-mail notificatie zou daarbij helpen. Het is lastig te zien waarom vragen zijn afgekeurd omdat het lastig is om het commentaar te vinden. De literatuurlijst is onhandig. Het systeem om vragen op slot te zetten met een wachtwoord is te lastig. De VBC-leden geven veel tips om het systeem te verbeteren, zowel voor zichzelf als voor auteurs/contactpersonen. De helpinformatie in het systeem is nu duitstalig en niet doorzoekbaar: een betere helpvoorziening is nodig. Meer functionaliteit uitschakelen, standaard instelbaar maken of groeperen per gebruikersrol. Word export van vragen maken om naar de auteur te sturen Betere ingericht berichtenstroom in en buiten het programma De VBC-leden zien wel voordelen van het IMS systeem. Zo zijn alle vragen op één plek beschikbaar vanaf elke werkplek, is feedback op de vraag in te zien voor alle betrokkenen, krijg je inzicht in de kwaliteit van vragen, is het eenvoudiger vragen te zoeken voor review. Bovendien zorgt het systeem ervoor dat vragen volgens een vast stramien worden gemaakt. De VBC ziet in dat het IMS systeem nooit compleet aan hun wensen zal kunnen voldoen omdat er nu eenmaal door meer universiteiten en toetsen gebruikt wordt. Een aantal aspecten moeten echter wel worden aangepakt en met name het verbeteren van de overzichten met tekorten en voorraad in de itemproductie en het inperken van het aantal handelingen om het systeem intuïtiever te maken. Op de vraag of IMS uiteindelijk tot meer gemotiveerde en betrokken auteurs zal leiden wordt door de VBC negatief beantwoord: alleen de echt gemotiveerde auteurs uit de kliniek kun je bereiken, mits de interface wordt aangepakt. Evaluatie LiC’s (Nijmegen, Leiden) De beide LiC’s zijn in het begin van het proces geconfronteerd met aanloopproblemen die hen veel tijd hebben gekost. Dit gaat deels om onbekendheid met het systeem (dat aanvankelijk niet voldoende intuïtief op hen overkwam) en door ontbrekende afspraken op centraal niveau die vroeger in het VOSYS systeem vastlagen en dus niet bekend waren bij de LiC’s. Dit is inmiddels opgelost.
De LiC’s hebben minder moeite met het gebruik van het systeem, zij beoordelen het invoeren en reviewen van vragen veel positiever dan de auteurs en de VBC-leden hierboven. Zij stellen echter wel dat het noodzakelijk is om een aantal zaken beter te documenteren en in hulpteksten beschikbaar te krijgen, met name de iVTGspecifieke aspecten van het systeem. De import van vragen vanuit word en de export van vragen naar PDF zijn nog niet naar wens. Het opzoeken van de voor LiC nodige informatie is voor hen nog een gesloten boek. Ze houden nu zelf nog Excel bestanden bij met de lokale productie en voorraad. Hierover dienen nog afspraken gemaakt te worden binnen de iVTG. Op de vraag of de LiC’s zich in staat voelen om lokale gebruikers te ondersteunen is men positief over VBCleden, maar auteurs denkt men verschillend. Auteurs die vaak vragen schrijven (zoals In Nijmegen) zullen eerder met IMS gaan werken dan incidentele auteurs (zoals in Groningen). Het voordeel van het gebruik van IMS voor auteurs is voor beiden evident omdat auteurs nu niet weten wat er met hun vragen gebeurt. Met IMS zouden ze meer betrokken kunnen raken bij het proces. Ze zien ook grote voordelen voor henzelf: het proces wordt transparanter. Ze hebben echter nog geen idee of het IMS systeem hen uiteindelijk tijd gaat opleveren. Het zorgt wel voor een gezamenlijke verantwoordelijkheid voor de voortgangstoets en voor betere communicatie. Dit maakt het makkelijker om elkaar te begrijpen. De LiC’s streven er naar dat er meer samenwerking komt wanneer IMS wordt ingevoerd. Het is nu nog geen centraal team. Om teamvorming te stimuleren stellen zij voor een apart forum op de iVTG website in te richten voor de centrale organisatie. Over het vertrouwen in IMS zegt men dat problemen snel en adequaat zijn opgelost door de helpdesk in Maastricht en ze vertrouwen er ook op dat ze voldoende ondersteund zullen worden. Het systeem functioneert prima als databank, maar de gebruikersomgeving en de helpfunctie behoeven verbetering. Het is voor hen nog niet duidelijk hoe het functioneel beheer van het systeem in de toekomst geregeld moet worden en of dit deels in hun takenpakket ondergebracht moet worden. Evaluatie CiC (Maastricht) De CiC noemt het systeem niet intuïtief – veel schermen en sommige knoppen zijn lastig te vinden. Na het lang ermee werken komt het wel onder de knie. In de gebruikersomgeving van IMS zitten een aantal problemen die de gebruiksvriendelijkheid niet bevorderen: Soms moet je van browser wisselen. Het systeem sluit soms te snel af (sessie) en dan moet je opnieuw inloggen en ben je gegevens kwijt. Het gebruik van het wachtwoord om vragen op slot te zetten is omslachtig. Het verversen van het beeld moet vaak gebeuren en duurt te lang. Het aantal vragen per overzicht is te laag. De instellingen in de gebruikersomgeving worden niet geheel bewaard. Een specifieke handleiding voor de CiC/cDB ontbreekt nog. Het IMS systeem ondersteund het centrale logistieke proces van de iVTG nog niet voldoende. Door de ontbrekende functionaliteit moeten door de CiC nog veel zaken handmatig worden gedaan en moeten veel zaken worden nagekeken. Het gaat daarbij met name om: Rapportages Vraagvoorraad volgens blauwdruk per universiteit Automatische preselectie Op slot zetten van vragen die in toetsen zitten Export van toets in Word (kan nu alleen in Heidelberg) Spellingscontrole ontbreekt Beheer literatuurlijst ontbreekt Omtrent het voordeel van IMS is de CiC op dit moment nog niet positief: veel van voor de CiC belangrijke functionaliteit is nog niet beschikbaar. Wel worden genoemd het overal beschikbaar zijn en het feit dat vragen niet zomaar verwijderd kunnen worden. Wat betreft de CiC komt het vertrouwen in IMS pas als de essentiële functionaliteit snel beschikbaar komt en de communicatie beter met de CiC afgestemd wordt.
Evaluatie cDB (voorzitter WiV) De cDB geeft aan dat het reviewproces weliswaar in IMS wordt ondersteund, maar dat de gebruiksvriendelijkheid hiervan nog te wensen overlaat: het kost meer werk dan in de oude situatie. Ook het maken van de pre-selectie kost veel werk omdat vragen individueel geopend moeten worden. Tenslotte noemt de cDB de browser/platform afhankelijkheid van het systeem als een probleem. Op dit moment ziet de cDB geen voordelen in IMS voor het reviewen van vragen. Er zijn wel voordelen in het gebruik van een elektronisch systeem. Het grote voordeel, met name voor de vragenmakers, is dat alle vragen in een bank zitten. Het krijgen van feedback zal voor de vragenmakers op lange termijn voordeel bieden. Dit ligt er wel aan of je te maken hebt met actieve vragenmakers. Afhankelijk van de persoon kan IMS dus zeker in deze feedback faciliteren. Aangaande het vertrouwen in IMS geeft de cDB aan dat geconstateerde problemen snel en adequaat zijn opgelost door de helpdesk in Maastricht. Hij heeft twijfels of Heidelberg veel prioriteit zal geven aan de nu voorliggende problemen nadat de pilotfase is afgerond. Er zullen hierover goede afspraken gemaakt moeten worden. Er komen meer partners bij die van het systeem gebruik gaan maken en de vraag is dan of er makkelijk en snel veel aanpassingen gedaan kunnen worden. De cDB heeft onlangs een bezoek gebracht aan Heidelberg en gemerkt dat het team van IMS het erg druk heeft en er calamiteiten zijn die voorrang hebben en hij vraagt zich daarom af of minder urgente problemen vanuit de iVTG ook tijdig kunnen worden aangepakt. De cDB geeft aan dat hij vertrouwen in IMS heeft, mits de gebruiksvriendelijkheid drastisch wordt aangepakt en er goede afspraken gemaakt kunnen worden. Resultaten enquête Onder de 14 respondenten waren 4 VBC leden, 9 contactpersonen en 12 auteurs (de rollen overlappen). Van deze groep geven 6 aan dat ze niet in IMS hebben ingelogd, 6 geven aan dat ze 1 tot 5 keer IMS hebben gebruikt en 2 hebben 10 of meer keer ingelogd. Van de mensen die niet hebben ingelogd geven 4 aan dat ze dit wel overwegen. Redenen voor het niet inloggen zijn: geen tijd/ te druk (3x); nog niet nodig geweest (3x); “mij te moeilijk” (1x). Van de mensen die wel hebben ingelogd hebben 4 geen vragen ingevoerd. Redenen daarvoor waren dat dit om VBC-leden ging die geen vragen zelf schreven of omdat er geen tijd was. Slechts 3 respondenten hebben de overige vragen van de enquête over IMS ingevuld. Het oordeel van deze 3 respondenten over IMS was (licht) positief. De score op de gebruiksvriendelijkheidvragen varieerde tussen 2.6 en 4.3 (5-punts Likert schaal). Het invoeren van een vraag in IMS kostte hen 2-10 minuten. De respondenten waren echter iets minder positief over de vragen over het reviewproces (2.6 – 3.3). Men was heel tevreden over de aangeboden ondersteuning, en twee respondenten zouden overwegen om IMS ook voor andere toetsen in te zetten. Evaluatie algemene criteria Voldoende vertrouwen in samenwerking met Heidelberg – de samenwerking vóór en tijdens de pilot met de ontwikkelgroep in Heidelberg is zeer positief geweest en de samenwerking heeft zich inmiddels uitgebreid tot het opzetten van een steunpunt voor de ondersteuning van IMS in Nederland. Voldoende vertrouwen in organisatie/bedrijfsvoering Heidelberg / tevreden zijn over wijze waarop issues worden afgehandeld – tijdens de pilot is gebleken dat in het ontwikkelteam van IMS verbetering mogelijk is in de onderlinge communicatie, het documenteren van verzoeken tot veranderingen (requests for change), en het documenteren van oplossingen. Onze indruk is dat er op een aantal punten weliswaar snel en adequaat op onze verzoeken is gereageerd, maar dat ad hoc overkwam. Op dit gebied zal het ontwikkelteam nog een slag moeten maken, zeker bij de te verwachtte toenemende complexiteit van het systeem. Een punt dat daar ook belangrijk bij is, is de communicatie met de klant over met name de planning van aanpassingen. Voldoende vertrouwen dat ontbrekende functionaliteit wordt ingevuld – we hebben er zeker vertrouwen in dat indien het besluit valt om met IMS verder te gaan, deze functionaliteiten zullen worden ingevuld. In welke vorm en op welk tijdstip zal ons inziens punt van onderhandeling daarbij moeten zijn.
Voldoende vertrouwen in kwaliteit/performance/beveiliging software IMS – Hieronder geven we een aantal in het oog springende observaties. Ondersteuning van het logistiek proces – het IMS systeem kan in principe het logistiek proces van de iVTG ondersteunen. De hoedanigheden van de items, zoals die in werkpakket 1 zijn gedefinieerd, kunnen allemaal op een unieke wijze in IMS worden gerepresenteerd. Dit gebeurt weliswaar niet zoals in een workflow-gebaseerd systeem, door attributen aan items en formele procesregels, maar door combinaties van datum-attributen, labels en review-vlaggen. It levert een meer open representatie van de logistiek op, met mogelijkheden om daar flexibeler mee om te gaan. De prijs daarvoor is dat niet alle logistieke stappen even helder zijn te doorzien en gebruikers soms veel handelingen (filters) moeten uitvoeren. Ontwerp van aanpassingen – de aanpassingen zoals die tijdens de pilot zijn gedaan zijn vanzelfsprekend compromissen tussen de bestaande filosofie en opzet van het IMS en de wensen vanuit de iVTG. Bij het doen van deze aanpassingen is weliswaar met gebruikers overlegt, maar voor de uiteindelijke oplossingen is toch vaak vooral gekozen voor generaliseerbaarheid en hergebruik van functionaliteit in IMS met als gevolg dat gebruikersgemak op het tweede plan is geraakt. Testen - tijdens de pilot bleek dat ook op get gebied van het testen van de software verbetering mogelijk is. Gezien het feit dat oude problemen soms na een update weer de kop opstaken, blijkt dat een gedegen incrementele test niet (voldoende) wordt uitgevoerd. Browserafhankelijkheid - de gebruikte web-technologie blijkt erg browser-afhankelijk te zijn. Er zijn oplossingen daarvoor, zoals de veelgebruikte jQuery bibliotheek, die een meer stabiele en browseronafhankelijke gebruikersinterface kunnen opleveren. Vertaling - Uit het feit dat nog regelmatige Duitstalige boodschappen verschijnen in de gebruikersomgeving, blijkt dat de wijze waarop de meertaligheid is geïmplementeerd en wordt onderhouden eveneens verbetering behoeft. Performance - De tegenvallende performance van het systeem heeft onder andere te maken met de wijze hoe informatie tussen server en browser wordt uitgewisseld. Onze indruk is dat met name bij overzichten van vragen te veel informatie van de server naar de browser wordt gestuurd (die deze vervolgens in flexibele tabellen presenteert) waardoor het verversen van pagina’s te lang duurt en bovendien problemen oplevert bij lange lijsten van vragen. De oorzaak kan ook liggen in de wijze waarop database-queries zijn opgesteld. Beveiliging - De toegangsbeveiliging van een systeem is altijd een compromis tussen veiligheid en werkbaarheid. Voor zover we de beveiliging kunnen inschatten is die gebaseerd op beveiliging van het internetverkeer via het SSL protocol en op een gebruikersnaam-wachtwoord beveiliging. Het is te overwegen om de toegangsbeveiliging voor centrale rollen te verzwaren. Veiligheid beslaat echter ook dataveiligheid: hoe eenvoudig kunnen gebruikers door eigen fouten data onbruikbaar maken. Doordat IMS gebruikers (uit principe) heel vrij laat in de mogelijkheden, levert dit in een situatie waarbij je met veel gebruikers aan dezelfde data werkt, een gevaar voor de dataveiligheid. Zo kunnen gebruikers bijvoorbeeld vragen snel een verkeerd label geven waardoor ze feitelijk onvindbaar worden. Het IMS systeem houdt overigens wel versies en histories van vragen bij, wat natuurlijk de dataveiligheid weer verhoogd. Ook de keuze om een deel van het logistieke traject te beveiligen door vragen met een password op slot te zetten is een bron van veiligheidsproblemen. Een relatief grote groep gebruikers moet dit password kennen en het password kan slechts moeizaam worden veranderd. Dit levert in feite een publiek password op dat daarmee zijn waarde verliest. Bovendien levert dit slotje extra handelingen op die kunnen worden vergeten. Financiële haalbaarheid – De additionele kosten die specifiek aan IMS zijn verbonden zijn naast de lidmaatschapskosten vooral gelegen in centraal functioneel beheer, het lokaal functioneel beheer, technisch beheer van de data-uitwisseling tussen VOSYS en IMS, en in training en eerstelijns helpdesk. Het lokaal functioneel beheer is beperkt tot het beheer van gebruikersaccounts. Deze taak kan over de instellingen worden verdeeld.
9
CONCLUSIE EN AANBEVELING
Het IMS systeem is een uitgebreid systeem met veel mogelijkheden, ontwikkeld door een enthousiast team en wordt door veel gebruikers naar tevredenheid toegepast voor het beheer van itembanken. Uit de pilot is gebleken dat IMS ook voor de voortgangstoets van de iVTG een belangrijke lacune in de ICT ondersteuning kan invullen. Auteurs kunnen zelf hun vragen in het systeem schrijven, waarbij ze automatisch het goede vraagformat gebruiken. De enquête van de nulmeting heeft uitgewezen dat minder dan één derde inzicht heeft over hoe zijn/haar vraag presteert in de toets. Ook krijgt meer dan één derde van de mensen nog onvoldoende feedback op de kwaliteit van de geschreven vraag. Auteurs kunnen in IMS volgen wat er met hun vraag gebeurt, wat de resultaten van de reviews zijn en of de vraag in een toets wordt gebruikt. Auteurs kunnen in een database als IMS naar vragen zoeken in hun vakgebied (volgens de nulmeting blijkt het inzicht in deze vragen minimaal) en kunnen ze medeauteurs zelf om feedback op hun vragen verzoeken. De VBC-leden, en andere reviewers hebben met IMS een krachtige tool om de vragen te reviewen en van commentaar te voorzien en daarmee aan de kwaliteitsverbetering van de toets te werken. De lokale en centrale coördinatoren hebben met IMS een instrument in handen waarmee het overzicht over en de aansturing van de itemproductie niet meer in één hand ligt maar meer over de instellingen kan worden verdeeld. Tenslotte hebben de centrale coördinator en de voorzitter een tool in handen waarmee voortgangstoetsen kunnen worden samengesteld uit de voorraad van vragen. De enquête die we voorafgaand aan de pilot hebben uitgezet als nulmeting geeft aan dat de behoefte aan zo’n systeem zeker aanwezig is en uit de evaluaties blijkt dat ook na de pilot vrijwel iedereen deze voordelen van het IMS systeem voor de iVTG onderschrijft. Uit de evaluatie blijkt echter ook dat er aan en rond het IMS systeem nog wel een aantal essentiële punten zijn te verbeteren alvorens het systeem succesvol kan worden uitgerold. Gebruiksvriendelijkheid – de meeste geïnterviewden hadden moeite met de gebruikersomgeving van IMS door de complexiteit van het systeem: het aantal schermen, knoppen en klikmomenten. Weliswaar namen die problemen wat betreft het invoeren van vragen af bij mensen die dat erg veel deden, maar dit is een serieuze drempel voor veel nieuwe gebruikers. Voor andere veelvoorkomende taken blijken structureel te veel handelingen nodig te zijn en daardoor wordt IMS voor deze taken als een verzwaring van de taak ervaren. Functionaliteit – Een aantal belangrijke functionaliteiten zijn nog niet in IMS aanwezig of voldoen niet aan de verwachtingen. Het ontbreken van sommige daarvan maken het haast onmogelijk om op dit moment met IMS door te gaan, zoals het maken van toetsboekjes, het krijgen van essentiële overzichten. Het ontbreken van andere functionaliteiten, zoals het opnemen van de item-analyse en studentcommentaren bij items maken dat de volle kracht van ICT ondersteuning van het proces nog niet tot uitdrukking is kunnen komen. De pilot heeft ook enkele aspecten van het iVTG proces aan het daglicht gebracht die aandacht behoeven. Zo blijken itemauteurs soms weinig gemotiveerd om items voor de toets te schrijven. Het invoeren van een nieuw systeem voor een taak die gebruikers sowieso niet zien zitten is onverstandig. Dit geldt zeker voor itemauteurs die slechts zeer incidenteel items schrijven. Wanneer hetzelfde systeem ook gebruikt zou worden voor andere toetsen binnen de instelling (hierover wordt in Leiden en Maastricht nagedacht), zal dit bezwaar wellicht minder belangrijk worden. Daarnaast is gebleken dat het feit dat de centrale logistiek en controle, die voorheen in één hand lag binnen VOSYS, nu in IMS verdeeld kan worden over meerdere rollen, behoefte schept aan betere afspraken en communicatie tussen centrale en decentrale coördinatoren. Onze aanbeveling is tenslotte om IMS in te voeren voor de voortgangstoets, maar om daarbij wel goede concrete afspraken te maken op korte termijn met het team in Heidelberg over de voorwaarden waaronder dat kan plaatsvinden. Zo zullen alle essentiële functionaliteiten beschikbaar moeten komen en zal ook de gebruiksvriendelijkheid moeten verbeteren.
10 BIJLAGEN Goedgekeurde gespreksverslagen Enquêteteksten
11 SUMMARY The IMS is an extensive system with many possibilities, developed by an enthusiastic team and it is being applied by many user in a satisfactory way for the management of item banks. The pilot study shows that IMS indeed can fill an important gap in the ICT-support for the progress test medicine. Authors can write their questions directly in the system which forces them to use the correct question format. The baseline inquiry among item authors reveals that less than one third of the authors had insight in how their own questions perform in the progress test. Moreover, more than one third of the authors did not receive sufficient feedback on the quality of items they produced. In IMS, authors can view what happens to their items, see the results of reviews, and whether a question is actually used in a progress test. Authors can search in the IMS database for questions in their own discipline (the baseline inquiry shows that authors did not have any clue on this before) and they can ask colleague authors to review or comment their questions. IMS is for the VBC members and other reviewers a powerful tool to review and comment questions and therewith it can improve the quality of the progress test. IMS is for the local and national coordinators an instrument that allows them to spread the overview and control over the item production process among the institutes instead of having these task concentrated in one person. Finally, the central coordinator and the chair of the WiV now have access to a tool with which progress tests can be assembled online from the item stock. The inquiry that we used for the baseline measurement, shows that there clearly is a need for a system like IMS and the evaluation of the pilot shows that almost every participant sees the advantages of the IMS system for the iVTG. However, the evaluation also shows that in and around IMS a number of essential issues have to be resolved before the system can be successfully implemented within in the complete iVTG. Usability – Most of the interviewees experienced difficulties with the user interface of IMS because of the complexity of the system: the number of windows, buttons and click-events. Certainly, those problems diminished, with respect to the entering of questions, with people that used the system often, but for newcomers this is a serious barrier. Some other highly recurrent tasks appear to require at the moment too many actions of the users involved which have the effect that those users experience IMS as an increase of their work load. Functionality – A number of important functionalities are not yet present or not in a sufficient way implemented in IMS. The lack of these functionalities makes it almost impossible to continue with IMS in its current state. The construction of test booklets and crucial overviews are among those functionalities. The lack of other functionalities such as presenting item-analysis and student comments in items make that it is not yet possible to use the full power of ICT support of the progress test process. The pilot study also revealed some aspects of the iVTG process that need attention. Firstly, some item authors appear to be poorly motivated to produce items for the progress test. The introduction of a new ICT-system for a task that users do not like at all is not wise. This is especially the case for authors that only incidentally write items. When the same system would be used to support other assessments within the institutes (Leiden and Maastricht are considering this), this problem might become less important. Secondly, the fact that IMS allows for the central logistic tasks, that used to be centralized in VOSYS, now to be distributed among multiple roles, creates a need for better communication and agreements between central and local coordinators. Our advice to the WiV therefore is to continue with IMS, but to come to clear and concrete agreements on short term with the Heidelberg team on the conditions under which this can take place. At least the essential functionality will have to be available and the usability will have to be improved.
