X@m! Implementatieproject digitale toetsing RUG
Implementatieplan
Detailplanning
Uitvoerder: Educational Support and Innovation i.s.m. Faculteiten
25 januari 2013
Versiebeheer Datum
Titel en documentnaam
Status
Opmerkingen
1-10-2012
X@m! – Implementatieplan
Goedgekeurd door ICT Cie en CvB
Inclusief begroting op hoofdlijnen, taken nog niet toegewezen aan teams, detailplanning ontbreekt.
(bestand: X@m!– Implementatieplan – goedgekeurd ICT-Cie.docx)
8-1-2013
X@m! – Implementatieplan 2.0
Concept
Plan van aanpak verder uitgewerkt, taaktoedeling uitgewerkt binnen randvoorwaarden toegewezen aanvraag. Voorgelegd voor advies aan projectteam.
25-1-2013
X@m! – Implementatieplan 2.0
Definitief
Aanpassingen doorgevoerd in plan van aanpak; overige hoofdstukken herzien.
(bestand X@m! – Implementatieplan 2.0.docx)
Inhoud: Table of Contents 1
Samenvatting................................................................................................................................... 1
2
Algemene informatie ....................................................................................................................... 3
2.1
Projectopdracht ........................................................................................................................... 3
2.2
Stuurgroep................................................................................................................................... 3
2.3
Projectteam en deelprojectteams ................................................................................................ 3
2.4
Projectadministratie .................................................................................................................... 4
2.5
Website en overige informatiekanalen......................................................................................... 4
3
Plan van aanpak............................................................................................................................... 5
3.1
Werkpakket 1: Planning en uitvoering tentamens ........................................................................ 5
3.1.1
Uitgangssituatie ....................................................................................................................... 5
3.1.2
Deelpakketten.......................................................................................................................... 5
3.1.3
Resultaten................................................................................................................................ 6
3.1.4
Uitvoering in uren, kosten en periode ...................................................................................... 7
3.2
Werkpakket 2: Toetsontwikkeling Nestor ..................................................................................... 7
3.2.1
Uitgangssituatie: ...................................................................................................................... 7
3.2.2
Deelpakketten.......................................................................................................................... 8
3.2.3
Resultaten................................................................................................................................ 9
3.2.4
Uitvoering in uren, kosten en periode .................................................................................... 10
3.3
Werkpakket 3: Toetsontwikkeling QMP ..................................................................................... 10
3.3.1
Uitgangssituatie: .................................................................................................................... 10
3.3.2
Deelpakketten........................................................................................................................ 10
3.3.3
Resultaten.............................................................................................................................. 13
3.3.4
Uitvoering in uren, kosten en periode .................................................................................... 13
3.4
Werkpakket 4: Toetsinfrastructuur ............................................................................................ 14
3.4.1
Uitgangssituatie: .................................................................................................................... 14
3.4.2
Deelpakketten........................................................................................................................ 15
3.4.3
Resultaten.............................................................................................................................. 16
3.4.4 3.5
Uitvoering in uren, kosten en periode .................................................................................... 17 Werkpakket 5: Management en communicatie .......................................................................... 18
3.5.1
Uitgangssituatie ..................................................................................................................... 18
3.5.2
Deelpakketten........................................................................................................................ 18
3.5.3
Resultaten.............................................................................................................................. 20
3.5.4
Uitvoering in uren, kosten en periode .................................................................................... 20
4
Risicoanalyse ................................................................................................................................. 21
5
Begroting ....................................................................................................................................... 23
5.1
Totaal in uren, kosten en periode............................................................................................... 23
5.2
Kostenverdeling (conform eerdere versie projectplan) ............................................................... 23
6
Standlijnenoverzicht ...................................................................................................................... 24
1 Samenvatting Digitaal toetsen wordt sinds september 2012 aangeboden als een standaardvoorziening binnen de RUG. Er kan worden getoetst in zaal 3 van de Aletta Jacobshal (AJH) op basis van Nestor. Daarnaast zijn voorbereidingen getroffen om, conform het advies van de projectgroep Idem Dito, Questionmark Perception (QMP) als standaardvoorziening aan te bieden. Tenslotte is er een inventarisatie gestart van specifieke wensen en overige vormen van toetsing die momenteel nog niet kunnen worden ondersteund. Hiervoor moeten aanpassingen aan de computerinfrastructuur binnen de Aletta Jacobshal en op andere lokaties binnen de RUG worden doorgevoerd. Voor de overwegingen die hebben geleid tot de keuzes voor implementatie wordt verwezen naar het Eindadvies Idem Dito (http://www.rug.nl/let/voorzieningen/ictol/projecten/IdemDitoEindadvies.pdf). Het voorliggende plan betreft de nadere uitwerking van de hoofdlijnen van het implementatietraject, zoals beschreven in dat advies (pp. 18-21). De vraag naar digitale toetsing is substantieel. Voor het studiejaar 2012-13 waren in september 2012 124 digitale tentamens ingeroosterd in de AJH. Van 1 oktober 2012 tot 1 januari 2013 zijn 15 digitale toetsen afgenomen. Dit aantal ligt lager dan gepland, maar het toetsproces is goed verlopen. Voor de tentamenperiode vanaf januari 2013 zijn weer meer tentamens ingeroosterd en afgenomen. Bovendien zijn er tussentijdse aanvragen binnengekomen voor nieuwe tentamens. De verwachting is dat het aantal afnames over 2012-1013 ongeveer op het begrote aantal zal uitkomen. Voor het studiejaar 2013-14 wordt rekening gehouden met een minimale afname van 200 toetsen. Inmiddels zijn ook verschillende facultaire innovatieplannen door het CvB gehonoreerd. Digitale toetsing speelt een rol in verschillende hiervan. Dit zal leiden tot een verdere toename in de komende jaren. De dienstverlening digitale toetsing is ondergebracht bij de afdeling ESI van het CIT. Het functioneel beheer is belegd bij de medewerkers toetsondersteuning, het technisch beheer bij de medewerkers onderwijsapplicaties. Om tegemoet te komen aan de vraag naar digitale toetsing vanuit de universiteit is uitbreiding van het functioneel beheer noodzakelijk, verder zijn aanpassingen aan Nestor nodig en moet de toetsinfrastructuur worden verbeterd en uitgebreid. Hiervoor is de formatie voor technisch beheer uitgebreid. Ook zijn middelen vrijgemaakt voor coördinatie en communicatie. Het betreft tijdelijke uitbreidingen van de formatie van ESI gedurende de projectperiode. Na afloop zal de dienstverlening, zoals ook nu gebruikelijk is voor de ondersteuning van papieren tentamens, voor een belangrijk deel aan de faculteiten kunnen worden doorberekend. Daarnaast is de financiering geregeld voor exploitatie en de aanschaf van Questionmark Perception. Ook hiervoor zal na afloop van het project een definitief kostenmodel moeten worden opgesteld. In oktober 2012 heeft het CvB ingestemd met de eerste versie van het projectplan. Het Managementberaad is in november 2012 akkoord gegaan met de voorstellen t.a.v. matching. De financiering van het project is hiermee gedekt. In het voorliggende plan is het implementatietraject afgestemd op de actuele situatie en verder uitgewerkt in een gedetailleerd plan van aanpak, met bijbehorende uren- en kostenoverzichten. 1
Voor de implementatie van digitale toetsing is door het CvB € 356.250 subsidie verleend. De faculteiten en CIT (inclusief ESI) dragen samen € 341.136 bij. ESI maakt ca. 1 fte per jaar vrij uit de formatie ten behoeve van de ondersteuning, en zet de aanvullende middelen in voor functionele en technische ondersteuning. CIT bekostigt een deel van de personele ondersteuning uit het lopende UWP 2.0 project. De faculteiten dragen bij aan de technische assistentie tijdens de toetsafnames en de licentiekosten voor het gebruik van QMP (voorzover ze hier gebruik van maken). De kosten voor digitale toetstrainingen en toetsverwerking (toets- en itemanalyse) zullen op de gebruikelijke wijze worden verrekend met de faculteiten en blijven buiten beschouwing in dit plan. De grootste investering die faculteiten zullen moeten doen om digitale toetsing mogelijk te maken betreft de kosten voor docentprofessionalisering, coördinatie en ondersteuning, en de ontwikkeling van toetsen en itembanken. Hiervoor hebben verschillende faculteiten aanvullende financiering verworven. Deze kosten blijven in dit implementatieplan eveneens buiten beschouwing.
2
2 Algemene informatie 2.1 Projectopdracht De implementatie wordt uitgevoerd in opdracht van prof. dr. C.G.M. Sterks, directeur CIT. De projectopdracht kan als volgt worden samengevat: Het project dient ervoor te zorgen dat:
digitale toetsing op korte termijn breed wordt ingevoerd binnen de RUG (zaal 3 van de AJH moet optimaal worden benut); een concreet aanbod aan toetsmogelijkheden wordt gecreëerd waarmee wordt ingespeeld op de vraag vanuit de faculteiten en waarmee nieuwe vraag wordt gegenereerd; de toetsing voldoet aan eisen van kwaliteit (inhoudelijk), betrouwbaarheid (bedrijfszekerheid) en veiligheid (fraudebestendigheid).
2.2 Stuurgroep De voorlopige samenstelling van de Stuurgroep is:
Prof. Dr. Nico Bos, Geneeskunde Drs. Rob Wagenaar, Letteren Drs. Rob van Ouwerkerk, GMW Drs. Louwarnoud van der Duim, ESI Dr. Sake Jager, projectleider
Voor de andere faculteiten, waar de invoering van digitale toetsing kleinschaliger is of nog op gang moet komen, wordt een gedeelde vertegenwoordiging in de Stuurgroep nagestreefd. Voorgesteld is om één vertegenwoordiger aan te wijzen namens Rechten, Godgeleerdheid en Godsdienstwetenschappen en Wijsbegeerte en één namens Economie en Bedrijfskunde, Ruimtelijke Wetenschappen en Wis- en Natuurkunde.
2.3 Projectteam en deelprojectteams Het projectteam is samengesteld uit de teamleiders van de verschillende deelprojecten:
Planning en beheer: Drs. Rolf Klein Hegeman Toetsen met Nestor: Dr. Lisette Bakalis Toetsen met QMP: Ir. André Rosendaal Toetsinfrastructuur: UWP 2.0 medewerker CIT Management en communicatie: Dr. Sake Jager
In verband met advisering en terugkoppeling ten aanzien van toetstraining, -analyse en –evaluatie neemt Dr. Yta Beetsma eveneens deel aan de bijeenkomsten van het projectteam. 3
De deelprojectteams hebben een wisselende samenstelling. Namens ESI zijn onderstaande medewerkers reeds betrokken bij de uitvoering van verschillende projecttaken:
Drs. Engelien de Jong, functioneel beheer toetsen Drs. Dineke van Es, functioneel beheer toetsen Carlien Vermue, Msc, evaluatie toetsen Dhr. Peter Fokkinga, applicatieontwikkeling Dhr. Robert de Haan, communicatie Mevr. Lisa Loeve, communicatie Nestorsupport (verschillende student-assistenten)
De teamleiders bepalen de invulling van de overige functies (Nestor-ontwikkeling/-ondersteuning, QMPontwikkeling/-ondersteuning, etc.). Aan de uitvoering van werkzaamheden wordt ook deelgenomen door medewerkers van andere afdelingen van het CIT (werkplek- en middleware services, applicatiebeheer) en door medewerkers van de faculteiten. De namen van de betrokken medewerkers zijn nog niet allemaal bekend.
2.4 Projectadministratie Voor de leden van de stuurgroep, teamleden en uitvoerders binnen de faculteiten is een teamsite (Edugroep) ingericht: https://www.edugroepen.nl/sites/xam/default.aspx met toegang op basis van de gebruikersnaam en het wachtwoord aan de RUG. Alle projectdocumenten worden via deze site ontsloten voor leden van de Stuurgroep, projectteam en deelprojectteams, en eventuele andere gebruikers / toezichthouders binnen de RUG. Iedere twee maanden worden uren- en kostenoverzichten opgesteld over de voorliggende periode. ESI medewerkers administreren de uren in Korade (m.u.v. Nestorsupporters); de overige projectmedewerkers houden de uren bij in een Excelformulier dat iedere twee maanden door de projectleiding wordt opgevraagd.
2.5 Website en overige informatiekanalen Informatie over het project wordt vanuit het volgende adres ontsloten: http://www.rug.nl/science-and-society/centre-for-information-technology/esi/innovation/digitaaltoetsen/. Nieuws en informatie zal via MyUniversity en de RUG website onder de aandacht van specifieke doelgroepen worden gebracht. Ook zullen nieuwsbrieven worden verspreid en de sociale media LinkedIn, SURFSpace en Yammer zullen worden ingezet om het project onder de aandacht van specifieke groepen te brengen.
4
3 Plan van aanpak Het PvA beslaat de periode vanaf september 2012 tot september 2014. Aan het eind van deze periode moet een adequaat aanbod aan toetsmogelijkheden zijn gerealiseerd, betrouwbare toetsing binnen de AJH en op specifiek aangewezen lokaties daarbuiten zijn geïmplementeerd, en een dienst voor digitale toetsing zijn ingericht. De werkzaamheden zijn verdeeld over vier werkpakketten, ingedeeld naar de voornaamste gebieden waarop acties worden ondernomen. Ten opzichte van het eerder ingediende (en goedgekeurde) projectplan is één wijziging doorgevoerd. Werkpakket 1 Planning en uitvoering tentamens is toegevoegd om duidelijker onderscheid te maken tussen het proces van digitale toetsing (dienst in opbouw) en de ontwikkelwerkzaamheden die nodig zijn om nieuwe functionaliteit te realiseren. De beoogde resultaten zijn zo concreet mogelijk gespecificeerd op basis van de nu bekende informatie. De binnen de werkpakketten opgenomen uren- en kostenoverzichten zijn gebaseerd op een globale inschatting van uren per medewerker per taak. De teamleider bepaalt in overleg met de projectleider hoe de beschikbare middelen per werkpakket worden ingezet. In de periode sinds september 2012 zijn de werkzaamheden in hoofdlijnen volgens de hier gespecificeerde planning opgestart.
3.1 Werkpakket 1: Planning en uitvoering tentamens Verantwoordelijke teamleider: Rolf Klein Hegeman
3.1.1 Uitgangssituatie: De planning, ondersteuning en afname van de toetsen wordt via een vaste procedure geregeld. De procedure zal in de loop van het project verder worden geoptimaliseerd. De huidige tijdsinvestering in de ondersteuning van toetsen is relatief hoog (ca. 8 uur per toets), onder andere omdat extra personeel wordt ingezet tijdens toetsafnames en omdat extra controles en aanpassingen nodig zijn van toetsen die door docenten binnen de UWP zijn ontwikkeld (ondermeer vanwege de afwijkende configuratie in de AJH). De bedoeling is dat het aantal uren aan het eind van het implementatietraject zal zijn teruggelopen tot ca. 2 a 3 uur per toets. Uiteraard neemt de tijd voor assistentie (aanwezigheid) door toetsassistenten tijdens de afnames niet af, maar in overleg met faculteiten kunnen de taken worden uitgebreid met reguliere surveillancetaken.
3.1.2 Deelpakketten 3.1.2.1 Toetsondersteuning De ondersteuning wordt door ESI uitgevoerd volgens een vastgestelde procedure, waarin o.a. de volgende zaken zijn geregeld: 5
Er worden intakegesprekken gevoerd met docenten en facultaire coördinatoren; de intakegegevens worden op een standaardformulier vastgelegd. Op basis van de intakes wordt de definitieve planning en taakverdeling voor de toetsondersteuners vastgelegd. Tijdens de voorbereiding wordt begeleiding geboden bij de ontwikkeling van de toets door de docent(en), docenten krijgen inhoudelijke adviezen ten aanzien van kwaliteits- en uitvoeringsaspecten van de toets, de toetsomgeving in Nestor wordt ingesteld, er wordt een functionele en technische check uitgevoerd na aanlevering van de toets, de instellingen van de toets worden afgestemd met de technisch beheerders, en de docenten krijgen een proefversie van de toets ter controle aangeboden. Op het moment van afname wordt de toets opengezet voor studenten, tijdens de afname zijn naast de docent, één of twee (bij meer dan 100 studenten) Nestorsupporters aanwezig voor het oplossen van technische problemen; in de beginfase is ook een medewerker toetsondersteuning aanwezig bij het tentamen. Van het toetsverloop wordt door de student-assistent(en) standaard proces verbaal opgemaakt. Na afloop worden de antwoorden van studenten eenvoudig toegankelijk gemaakt voor docenten. Bij open vragen gaan de docenten aan de slag met correctie van de antwoorden. Op verzoek wordt een analyse van de toetsresultaten uitgevoerd (nog niet beschikbaar voor alle vraagtypen). De docent krijgt assistentie bij het bepalen van de eindscore. De toets wordt gearchiveerd. Van alle toetsafnames wordt een formatieve evaluatie uitgevoerd aan de hand van online enquêtes voor studenten en docenten, eventueel gevolgd door vervolggesprekken.
3.1.2.2 Verbetering procedures, protocollen en gebruikersdocumentatie Het verbeteren van het toetsproces en de documentatie ervan is een doorlopende activiteit, waarvoor structureel tijd is gereserveerd. De huidige toetsprocedure werkt in de praktijk redelijk goed en heeft ertoe bijgedragen dat grote problemen tijdens de toetsafnames beperkt zijn gebleven. Maar de procedure vergt relatief veel tijd. Ook de tooling kan verder worden verbeterd. Daarnaast zullen o.a. uit de evaluaties onder studenten en docenten (3.1.2) verbeterpunten in het toetsproces naar voren komen die vragen om bijstelling van procedures, protocollen en gebruikersdocumentatie. Ook uitbreiding van digitale toetsing met nieuwe functionaliteit of nieuwe software maakt geregelde bijstelling noodzakelijk.
3.1.2.3 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de detailplanningen, procedures, gebruikersdocumentatie en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt.
3.1.3 Resultaten 1 2 3
Uitvoering van ca. 120 toetsen in jaar 1 en ca. 200 toetsen in jaar 2 Adviezen aan docenten t.a.v. ontwerp en resultaten toets Technische ondersteuning bij iedere toets 6
4 5 6 7 8
Evaluaties onder studenten en docenten na iedere toets Verbeterde procedures en protocollen voor digitale toetsing Adequate administratieve afhandeling van digitale toetsen Gebruikershandleidingen en overig instructiemateriaal Ontwerpen, rapporten en verslagen
3.1.4 Uitvoering in uren, kosten en periode
Planning en uitvoering tentamens
5.374h
€ 223.700,00
Mon 3-9-12
Fri 29-8-14
164h
€ 8.200,00
Mon 3-9-12
Fri 29-8-14
4.690h
€ 189.500,00
Mon 3-9-12
Fri 29-8-14
144h
€ 7.200,00
Mon 3-9-12
Fri 30-5-14
Voorbereiding
1.600h
€ 72.000,00
Mon 17-9-12
Fri 15-8-14
Afnames
1.986h
€ 62.300,00
Mon 1-10-12
Fri 29-8-14
Nazorg
232h
€ 11.600,00
Mon 1-10-12
Fri 29-8-14
Evaluaties
728h
€ 36.400,00
Mon 5-11-12
Fri 29-8-14
Verbetering procedures, protocollen en gebruikersdocumentatie
216h
€ 10.800,00
Sun 2-12-12
Fri 30-5-14
Teamoverleg en rapportages
304h
€ 15.200,00
Mon 3-9-12
Thu 28-8-14
Coördinatie Toetsondersteuning Intakes
3.2 Werkpakket 2: Toetsontwikkeling Nestor Verantwoordelijk teamleider: Lisette Bakalis
3.2.1 Uitgangssituatie: Met ingang van september 2012 worden digitale tentamens afgenomen in de AJH op basis van Nestor. Voor het toetsen in Nestor wordt gebruik gemaakt van de standaard Blackboard toetsmogelijkheden aangevuld met een maatwerk buildingblock “Essayvragen”. Studenten komen na inloggen direct terecht in de voor hen bestemde digitale toets binnen een van internet afgesloten omgeving. Aanvullende UWP/SWP software (zoals Word, Excel, SPSS, etc) is nog niet beschikbaar. De toetspagina toont een foto van de ingelogde student en zijn of haar gegevens. Er zijn nog enkele issues met het gebruik van deze persoonlijke pagina in combinatie met het essay-building block. Item- en toetsanalyse kan op verzoek door ESI worden verzorgd voor multiple choice items, matching met partiële puntentoekenning en open 7
vragen, op de manier die ook voor papieren toetsen gebruikelijk is. Voor de overige vraagtypen kan nog geen standaardanalyse worden geboden. De verdere ontwikkeling en verbetering van Blackboard als toetssysteem voor de RUG wordt langs vier hoofdlijnen (deelpakketten) uitgevoerd. Teamoverleg en rapportages worden benoemd als afzonderlijk deelpakket. De teamsamenstelling varieert naar gelang het onderdeel dat wordt ontwikkeld of verbeterd. De realisatie wordt uitgevoerd volgens een cyclisch implementatieproces. Een functioneel ontwerp op basis van eisen en wensen door gebruikersgroepen maakt standaard deel uit van het ontwikkeltraject. Nieuwe functionaliteit wordt uitvoerig getest alvorens in productie te worden genomen. Functionele wijzigingen in de productieomgeving kunnen ongeveer vier keer per jaar worden doorgevoerd tijdens tentamenvrije periodes.
3.2.2 Deelpakketten 3.2.2.1 Verbetering toegang studenten, afscherming en differentiatie Doel van deze activiteit is om de toegang van studenten tot de toets in Nestor te verbeteren, afscherming van of juist toegang tot bepaalde bronnen te kunnen regelen en toetsen met verschillende instellingen en toegangsrestricties door en naast elkaar te kunnen aanbieden. De ontwikkeling van de bedoelde functionaliteit wordt verricht in nauw overleg met de uitvoerders van WP4. Wijze van toegang en de instellingen van restricties gelden bij voorkeur ook voor programma’s die vanuit Nestor worden opgestart, waaronder QMP.
3.2.2.2 Implementatie score-, cijferbepaling en cijferadministratie Doel van deze activiteit is om de koppeling van het toetsanalysesysteem Ttlyse met Nestor te verbeteren, en de doorgifte van cijfers naar Progress te automatiseren. De toetsanalyse kan nu alleen worden toegepast bij MC, matchingvragen en essayvragen, en het gebruik in combinatie met itempools is lastig. Cijfers kunnen nu alleen na export naar Excel, op papier of via de mail, worden doorgegeven aan de facultaire onderwijsbureaus voor verdere verwerking.
3.2.2.3 Verbetering en aanpassing vraagtypen Doel van deze activiteit is om de bestaande vraagtypen te verbeteren en desgewenst nieuwe vraagtypen te realiseren. Het eerder ontwikkelde building block voor essayvragen zal worden verbeterd. O.a. zijn verbeteringen gewenst m.b.t. on-screen horizontaal en verticaal nakijken van essays, feedback geven op gemaakt werk, al dan niet tonen van studentgegevens en vastlegging en optelling van deelresultaten in het grade center. Bij eventuele aanpassing of uitbreiding van vraagtypen zal een nauwkeurige afweging worden gemaakt in hoeverre de wijzigingen wenselijk zijn met het oog op de reeds beschikbare functionaliteit van de 17 bestaande vraagtypen.
8
3.2.2.4 Realisatie beheeromgeving toetscursussen Digitale toetsen worden standaard afgenomen via een hiertoe ingerichte toetscursus in Nestor. Dit geldt zowel voor toetsen op basis van de toetsfunctie in Nestor als voor toetsen die worden afgenomen via externe toetsprogramma’s. Ten behoeve van planning, overzicht en rapportages is het wenselijk om alle toetsen via een specifieke portal (of beheeromgeving) in Nestor te ontsluiten voor toetsondersteuners, docenten, coördinatoren, studenten en eventuele andere belanghebbenden. Rubricering van toetsen (indeling naar faculteit en opleiding) en archivering worden via deze portal gefaciliteerd. Ook eventuele import- en conversiemogelijkheden van verschillende bronbestanden kunnen via de portal worden geregeld. De portal biedt verder toegang tot alle relevante informatie m.b.t. digitale toetsing voor docenten en toetsondersteuners binnen de RUG (overzicht geplande toetsen, gebruikersdocumentatie, etc.). Voor studenten wordt o.a. gedacht aan overzichten van, en indien gewenst door de opleidingen, toegang tot eerder gemaakte toetsen. Het conceptueel en functioneel ontwerp en de realisatie van de portal worden door deze projectactiviteit uitgevoerd.
3.2.2.5 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de functionele ontwerpen, detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt.
3.2.3 Resultaten 1 2 3 4 5 6
Gepersonaliseerde, afgeschermde toegang voor studenten Uitgebreide en verbeterde koppeling met Ttlyse Koppeling / workflow cijferadministratie in Progress Verbeterde/uitgebreide functionaliteit voor essayvragen, evt. realisatie aanvullende vraagsoorten Beheeromgeving/portal in Nestor Ontwerpen, rapporten en verslagen
9
3.2.4 Uitvoering in uren, kosten en periode
2.364h
€ 118.200,00
Mon 3-9-12
Fri 29-8-14
Coördinatie
200h
€ 10.000,00
Mon 3-9-12
Fri 29-8-14
Toegang studenten, afscherming en differentiatie
164h
€ 8.200,00
Mon 3-9-12
Fri 1-2-13
Score-, cijferbepaling en administratie
576h
€ 28.800,00
Mon 4-2-13
Thu 29-8-13
Verbetering en aanpassing vraagtypen
536h
€ 26.800,00
Wed 2-1-13
Fri 27-6-14
Beheer toetscursussen
608h
€ 30.400,00
Fri 30-8-13
Thu 28-8-14
Teamoverleg en rapportages
280h
€ 14.000,00
Mon 3-9-12
Fri 29-8-14
Toetsontwikkeling Nestor
3.3 Werkpakket 3: Toetsontwikkeling QMP Verantwoordelijk teamleider: André Rosendaal
3.3.1 Uitgangssituatie Vanuit Idem Dito is geadviseerd om Questionmark Perception (QMP) aan te schaffen en binnen de RUG te implementeren als tweede pakket voor digitale toetsing. Belangrijke gebruikers van het pakket zijn FMW en Letteren. FMW zal vrijwel uitsluitend gebruikmaken van QMP, terwijl Letteren het pakket naast Nestor zal gebruiken. Bij GMW zal het gebruik worden ontwikkeld door het pakket in te zetten voor het opbouwen van toetsdatabanken (Innovatieplan) en als repository voor vragen voor de afname van papieren toetsen. Het gebruik bij de andere faculteiten moet nog op gang komen. Volgens plan wordt QMP gekoppeld aan de hierboven genoemde Nestoromgeving (toegang en autorisatie, terugkoppeling resultaten). Voor de betreffende faculteiten moet het gehele digitalisatietraject (aanleveren van vragen door docenten, onderbrenging in database, aanbrengen topicstructuur/metadata, instellen toetsmatrijs, uitlevering aan studenten op PC of papier) in samenwerking met toetsexperts van ESI worden geïmplementeerd.
3.3.2 Deelpakketten 3.3.2.1 Voorbereiding Deze activiteit is erop gericht om de benodigde software (QMP en benodigde componenten) aan te schaffen en te implementeren voor gebruik. QMP 5.4 wordt aangeschaft. De hosting en technische installatie van QMP wordt verzorgd door de leverancier. Aanvullende componenten (Blackboard 10
Building Block, Print-en-Scan module, Authoring Module) worden lokaal geïnstalleerd. Uitgangspunt voor het contract is een licentie voor 5000 gebruikers over twee jaar. Er wordt gekozen voor een On Premise contract (eigen licentie, hosting in een datacenter in Nederland), waarbij initieel wordt uitgegaan van een piekbelasting voor maximaal 150 simultane logins. Bij toetsen met een groter aantal studenten wordt het inlogmoment verdeeld over twee groepen. In het contract wordt een voorbehoud gemaakt ten aanzien van het goed doorstaan van een stresstest. Het Blackboard Building Block is bedoeld voor integratie met Nestor (authenticatie en koppeling van resultaten aan grade center) en wordt door Nestorsupport geïnstalleerd. De Print-en-Scan module moet worden aangesloten op de Teleform scanner en software. De authoring module wordt geïnstalleerd op de lokale PC’s van de toetsmedewerkers met de rol van toetsexpert (beheerders van de topic tree in QMP). De installatie van deze modules wordt verzorgd in overleg met de afdeling applicatiebeheer van CIT. In afwachting van definitieve ondertekening van het contract, richt de leverancier tijdelijk een testserver in waarop de modules kunnen worden getest.
3.3.2.2 Inrichting functionele ondersteuning Deze activiteit is bedoeld om de functionele ondersteuning van QMP op te zetten. Het gaat hierbij om de functionele inrichting van het toetspakket, het vaststellen en inrichten van het ondersteuningsproces en het opzetten en toerusten van de ondersteuningsorganisatie. Bij de implementatie wordt nauw samengewerkt met de leverancier. Ook wordt informatie ingewonnen bij zusterinstellingen die ervaring hebben met het inrichten van het QMP-systeem en de bijbehorende ondersteuning. In het contract met de leverancier is ondersteuning bij de volgende onderdelen van het implementatieproces opgenomen:
Kick off met stakeholders Training auteurs Inzet technische implementatie Ondersteuning functioneel beheerders Ondersteuning inrichting item-bank (topicstructuur) Ontwikkeling en beschrijving klant specifieke procedures Ontwikkeling templates Stresstesten Projectleiding & nazorg
Bij de implementatie van QMP in de organisatie wordt ervan uitgegaan dat naast ESI alle faculteiten die gebruik willen maken van QMP een passende functionele organisatie inrichten. Dit betreft in ieder geval de faculteiten FMW, Letteren en waarschijnlijk ook GMW. De inrichting van het functioneel beheer wordt door ESI en de toetsexperts van de faculteiten samen verzorgd. ESI draagt zorg voor het centraal beheer, de onderlinge afstemming en de overdracht van kennis en uitbreiding van het gebruik van QMP naar de andere faculteiten. Aan de trainingen in het eerste jaar wordt deelgenomen door de 11
toetsondersteuners van ESI en de betreffende faculteiten. ESI ontwikkelt ook zelf trainingen en gebruikersdocumentatie. In het eerste jaar werken uitsluitend FMW, Letteren, en GMW met QMP. In het tweede jaar worden ook de andere faculteiten betrokken bij het gebruik.
3.3.2.3 Ondersteuning bij invoer en afname toetsen Binnen het implementatieproces neemt de wijze van aanlevering van nieuw toetsmateriaal door docenten en verwerking hiervan in de centrale database door de toetsexperts een belangrijke plaats in. Bij het invoeren van toetsvragen in de itembanken wordt onderscheid gemaakt tussen de rechtstreekse invoer door toetsexperts en assistenten en de indirecte invoer door docent-ontwikkelaars. In de eerste fase worden bestaande vragensets ingevoerd door specifiek hiertoe opgeleide functionarissen (zie boven) binnen de hiervoor opgezette topicstructuur. Kort daarna zal worden begonnen met het inrichten van het proces voor aanleveren van nieuwe vragen door docenten. De docenten zullen hiervoor o.a. een kort instructieprogramma volgen. De opbouw van itembanken begint bij FMW met het Ma-onderwijs (M1 blokken bewegen, heelkunde, geneeskunde, levenscyclus) waarbinnen de eerste pilot zal worden uitgevoerd en het Ba-onderwijs (IBMG, en BA1, BA2, Ba3) waarvan alle herkansingen in juli 2013 via QMP zullen worden afgenomen. Bij invoer van vragen bij Letteren wordt prioriteit gegeven aan het inrichten van ca. 30 toetsenbanken bij de 5 grote propedeuseopleidingen (Notitie Prestatieafspraken/ Innovatiegelden Faculteit der Letteren) en het verder ontwikkelen van bestaande itembanken (opleiding KCM). Bij GMW worden itembanken opgebouwd in het kader van het door het CvB gehonoreerde onderwijsinnovatieproject. Dit betreft het opzetten van toetsenbanken voor ca. 35 vakken in het 1e en 2e jaar van het Ba-programma Psychologie en Pedagogische Wetenschappen. GMW overweegt ook het gebruik van QMP voor formatieve toetsing. Bij Letteren en GMW is formatie begroot voor het opzetten van de databanken (resp. 2,5 fte en 1,75 fte). Bij FMW moet formatie worden vrijgemaakt voor het invoeren van de toetsen en de coördinatie. Deze formatie maakt geen onderdeel uit van het X@m! project. Het invoeren van toetsvragen bij de overige faculteiten is afhankelijk van de vraag en begint niet eerder dan september 2013. De afname van toetsen in QMP wordt stapsgewijs ingevoerd. De eerste pilot wordt uitgevoerd bij een van de toetsen die iedere 6 weken binnen van het Masterprogramma FMW worden afgenomen. Deze pilot en eventuele volgende toetsen binnen dit programma worden afgenomen in een computerzaal bij UMCG. Als dit goed verloopt worden alle herkansingen van het Ba-programma in juli in de AJH afgenomen. De eerste afnames bij Letteren en GMW volgen na de eerste pilot bij FMW. Deze vinden eveneens plaats in de AJH. Het is (o.a. i.v.m. roostering) niet te verwachten dat alle te ontwikkelen toetsen (zie 3.3.3) bij deze faculteiten vóór september 2013 zullen worden afgenomen. Bij de afnames zal minimaal één papieren afname via print-en-scan module (3.3.1 hierboven) worden uitgevoerd. Doel hiervan is om te onderzoeken of dit een optie is voor grote aantallen studenten en MC
12
tentamens (mogelijke voordelen: één vragendatabase en resultaten geconsolideerd in één systeem, ongeacht de wijze van afname).
3.3.2.4 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de procedurevoorstellen, detailplanningen en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt.
3.3.3 Resultaten 1 2 3 4 5 6 7 8 9
Invoering QMP Inrichting ontwikkel- en afnameomgeving QMP Procedures voor aanleveren nieuw toetsmateriaal Methoden voor metadatering en trekking toetsitems uit de database Training en instructie toetsexperts en docenten in gebruik Kennisontwikkeling en functionele ondersteuning QMP Afnames van toetsen in QMP Afnames van papieren toetsen vanuit de QMP databank Rapporten en verslagen
3.3.4 Uitvoering in uren, kosten en periode
2.376h
€ 197.840,00
Thu 1-11-12
Fri 29-8-14
Coördinatie
164h
€ 8.200,00
Thu 1-11-12
Thu 28-8-14
Voorbereiding
104h
€ 85.200,00
Thu 1-11-12
Fri 15-2-13
Aanschaf QMP
16h
€ 80.800,00
Thu 1-11-12
Tue 15-1-13
Inrichting SAAS-server
16h
€ 800,00
Tue 1-1-13
Fri 1-2-13
Installatie en test windows-based authoring tool
12h
€ 600,00
Wed 2-1-13
Sat 2-2-13
Installatie en test building block Blackboard
24h
€ 1.200,00
Wed 2-1-13
Fri 15-2-13
Installatie en test print en scan connector
36h
€ 1.800,00
Wed 2-1-13
Fri 15-2-13
Inrichten functionele ondersteuning
976h
€ 47.840,00
Wed 2-1-13
Fri 29-8-14
Toetsontwikkeling QMP
13
168h
€ 7.440,00
Wed 2-1-13
Fri 1-3-13
88h
€ 4.400,00
Sun 3-3-13
Fri 3-5-13
Metadatering en selecties
480h
€ 24.000,00
Sun 3-3-13
Fri 29-8-14
Training en begeleiding toetsondersteuners faculteiten
240h
€ 12.000,00
Mon 1-4-13
Fri 27-6-14
916h
€ 45.800,00
Mon 18-2-13
Fri 29-8-14
Toetsing FMW, LET, GMW
436h
€ 21.800,00
Mon 18-2-13
Fri 30-8-13
Toetsing alle faculteiten
480h
€ 24.000,00
Mon 26-8-13
Fri 29-8-14
216h
€ 10.800,00
Mon 7-1-13
Thu 28-8-14
Training toetsteam Opzetten mappen en rechtenstructuur RUG
Ondersteuning bij invoer en afname toetsen
Teamoverleg en rapportages
3.4 Werkpakket 4: Toetsinfrastructuur Verantwoordelijk teamleider: CIT-medewerker UWP 2.0
3.4.1 Uitgangssituatie De AJH is ingericht met 288 op maat gemaakte toetstafels met toetspc’s voorzien van een specifieke, beveiligde Windows image en policies (op basis van Windows 7). Deze opzet maakt het mogelijk om digitale toetsen af te nemen vanaf deze toets pc’s waarbij de student na inloggen in de beveiligde toetsomgeving van Nestor terechtkomt. De toets pc’s met beveiligde omgeving worden op dit moment alleen in de AJH ingezet en ondersteund. Het afnemen van toetsen met verschillende instellingen binnen de AJ hal op hetzelfde moment, of een toets met dezelfde instellingen binnen de AJH en daarbuiten, is met de huidige configuratie niet mogelijk. En de toegang tot, of het uitsluiten van, specifieke websites kan niet eenvoudig worden geregeld. De image is niet ingericht op basis van UWP of SWP. Plug-ins voor het lezen van PDF- of Word-bestanden en het afspelen van audio en video zijn nog niet beschikbaar. Gebruik van standaard UWP/SWP applicaties is niet mogelijk. Ook is het niet mogelijk om onder Linux te toetsen. De werkzaamheden worden langs 4 hoofdlijnen uitgevoerd. Nauwe afstemming met de implementatie van UWP 2.0 is hierbij vereist. In verband hiermee worden de werkzaamheden uitgevoerd onder eindverantwoordelijkheid van een teamleider verbonden aan het UWP 2.0 project.
14
3.4.2 Deelpakketten 3.4.2.1 Generieke instellingen Deze activiteit is bedoeld om ervoor te zorgen dat:
toetsen binnen een afgeschermde omgeving kunnen worden afgenomen, desgewenst met toegang tot per toets instelbare secundaire bronnen; standaardapplicaties kunnen worden aangeboden als onderdeel van het toetsproces; audio- en video vanaf het RUG videoplatform binnen de toetsomgeving worden geïntegreerd.
Het inrichten van een proxyserver in combinatie met het instellen van de gebruiker- en machinepolicies dient als basis voor de afscherming. Ten behoeve van het functioneel beheer (door ESI) zal een beheermodule worden ontwikkeld, waarmee de instellingen kunnen worden bepaald en gewijzigd. De ontwikkeling van deze module zal in nauwe afstemming plaatsvinden met de ontwikkeling van de toegang voor studenten binnen Nestor (3.3.1) omdat Nestor dient als main point of entry voor alle toetsen binnen de AJH. Applicaties, browser plug-ins, etc. zullen uitsluitend worden aangeboden op basis van UWP 2.0 technieken. Dit betekent dat applicaties gevirtualiseerd zullen worden aangeboden en via RES (Dynamic Desktop Studio) i.c.m. Citrix en AD zullen worden aangeboden. De beschikbaarheid van applicaties volgt de binnen het UWP 2.0 project overeengekomen planning en tijdpad. De functionele instellingen van de applicaties en de wijze van integratie met de toetsapplicaties worden door de functioneel toetsbeheerders in overleg met eindgebruikers en CIT MWS vastgesteld. Audio- en videointegratie wordt ontwikkeld i.s.m. medewerkers betrokken bij de implementatie van de videodiensten van de RUG. Een evaluatie van elders ontwikkelde systemen / methodieken voor functioneel beheer vormt een onderdeel van de projectactiviteiten. Dit betreft o.a. WUR: Secure Test Environment (toetsbeheer, inclusief applicatietoetsen op basis van policies en AD) en TUD: applicatiemanagement (op basis van RES en Citrix).
3.4.2.2 Specifieke toetsen Deze activiteit is bedoeld om toetsen, anders dan toetsen in Nestor en QMP, af te kunnen nemen binnen de beveiligde omgeving. Dit betreft o.a. toetsen onder Linux en elders ontwikkelde toetsen met specifieke inhoud (taaltoetsen, etc.). Het betreft dus toetsen met een duidelijk andere opzet, functionaliteit en/of inhoud dan de standaardtoetsen in Nestor en QMP. Uitgangspunt is dat het gaat om web-gebaseerde toetsen die via een URL kunnen worden aangeroepen. De toetsen onder Linux betreffen o.a. toetsen Imperatief Programmeren binnen een speciaal hiervoor ontwikkeld toetssysteem bij de Faculteit Wis- en Natuurwetenschappen. Afgesproken is dat hiervoor door FWN een virtuele server zal worden opgezet die vanuit de AJH zal worden ontsloten. 15
Andere toetsen zijn nog niet expliciet genoemd, maar gedacht wordt aan toetsen behorend bij bepaalde onderwijsmethoden, (verplichte) reken en taaltoetsen (lerarenopleidingen) en andere commercieel of vrij verkrijgbare toetsen.
3.4.2.3 Toetsen buiten AJH Doel van deze activiteit is om toetsafnames mogelijk te maken:
op andere lokaties binnen de RUG; met specifieke instellingen voor functiebeperkte studenten; op eigen devices van de studenten (voor een beperkt repertoire toetsen, met aangepast afschermingsniveau).
Door te toetsen op andere lokaties binnen de RUG kan op termijn alle beschikbare computercapaciteit optimaal worden benut. Uitgangspunt voor deze opschaling is dat alle PC’s moeten zijn voorzien van UWP 2.0. Voorwaarde is dat ook op andere lokaties een adequaat afschermingsniveau kan worden gegarandeerd. Aanpassingen voor functiebeperkte studenten worden ontwikkeld in nauw overleg met de Faculteit Rechten die momenteel een pilotproject aan het voorbereiden is op een decentrale lokatie (Turftorenstraat 2), voorzien van PC’s die identiek zijn aan de in de AJH gebruikte machines. Ook worden afdelingen met een specifieke taakstelling op dit gebied betrokken, zoals het Studenten Service Centrum. De betreffende configuraties moeten decentraal kunnen worden aangeboden, maar eveneens binnen de AJH indien de aard van de beperking (of de computerconfiguratie) dit toelaat. Tenslotte zullen, in eerste instantie via een pilotproject, de mogelijkheden worden verkend om de toetsomgeving aan te bieden op eigen devices van de studenten. Uitgangspunt hierbij zal zijn gebruik van de niet-beheerde versie van de UWP 2.0 op door de studenten zelf meegebrachte laptops of tablets, met toetsen die zich hiertoe lenen (open boek tentamens, bepaalde soorten essayopdrachten). Een minimaal vereist afschermingsniveau zal hierbij worden gedefinieerd.
3.4.2.4 Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen, detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt.
3.4.3 Resultaten 1 2 3 4
Afgeschermde toetsomgeving met toegang tot specifieke resources Gebruik standaardapplicaties voor toetsing Geïntegreerde audio en video Toetsen binnen Linuxomgeving 16
5 6 7 8 9
Toetsen met elders ontwikkelde toetsen (commercieel, niet-commercieel) Toetsen op iedere plek binnen de RUG Toetsen voor studenten met een functiebeperking Toetsen op eigen devices studenten Ontwerpen, rapportages en verslagen
3.4.4 Uitvoering in uren, kosten en periode 1.644h
€ 82.200,00
Mon 3-9-12
Fri 29-8-14
Coördinatie
108h
€ 5.400,00
Mon 3-9-12
Thu 28-8-14
Generieke instellingen
520h
€ 26.000,00
Mon 1-10-12
Thu 2-5-13
Toetsinstellingen, afscherming en beheer
112h
€ 5.600,00
Mon 1-10-12
Sun 3-2-13
Toetsen icm UWPapplicaties
248h
€ 12.400,00
Wed 2-1-13
Thu 2-5-13
Integratie audio- en videoservices
160h
€ 8.000,00
Wed 2-1-13
Thu 28-3-13
176h
€ 8.800,00
Mon 3-6-13
Fri 27-6-14
112h
€ 5.600,00
Mon 3-6-13
Fri 27-9-13
64h
€ 3.200,00
Mon 2-9-13
Fri 27-6-14
712h
€ 35.600,00
Mon 2-9-13
Fri 29-8-14
Toetsen op andere lokaties RUG
304h
€ 15.200,00
Mon 2-9-13
Fri 29-8-14
Toetsen voor functiebeperkte studenten
264h
€ 13.200,00
Mon 2-9-13
Fri 28-2-14
Toetsen op basis van BYOD
144h
€ 7.200,00
Mon 3-3-14
Fri 29-8-14
128h
€ 6.400,00
Mon 3-9-12
Thu 28-8-14
Ontwikkeling toetsinfrastructuur
Specifieke toetsen Toetsen onder Linux Gebruik elders ontwikkelde toetsen Toetsen buiten AJH
Teamoverleg en rapportages
17
3.5 Werkpakket 5: Management en communicatie Verantwoordelijke teamleider: Sake Jager, ESI
3.5.1 Uitgangssituatie In mei 2012 is een tijdelijk project manager aangesteld. Deze rol wordt vervuld door S. Jager (ICT en Onderwijs Letteren, voor het project gedetacheerd bij ESI). De project manager is gevraagd om de bestaande initiatieven (inrichting toetshal, toetsen met Nestor, resultaten Idem Dito project) samen te brengen om ervoor te zorgen dat vanaf september 2012 digitale toetsing op ruime schaal mogelijk wordt. Het opstellen van het voorliggende projectplan maakt hier onderdeel van uit. De project manager is verantwoordelijk voor de uitvoering en bewaking van het implementatietraject. Naast aansturing van het projectteam, gaat het hierbij om overleg met de opdrachtgevers, het leggen en onderhouden van contacten met de faculteiten (klanten), overleg met verschillende partijen die bij de implementatie betrokken zijn (roosteraars, facilitair managers), het verzorgen van de interne en externe communicatie en het uitvoeren van evaluaties en voortgangsrapportages. Het opzetten van een passende organisatiestructuur maakt eveneens onderdeel uit van de taken. De de huidige projectmanager draagt zijn werkzaamheden uiterlijk 1 juli 2013 over aan zijn opvolger. De werkzaamheden binnen WP5 zijn verdeeld over de volgende activiteiten:
3.5.2 Deelpakketten 3.5.2.1 Interne communicatie en disseminatie Overleg met stakeholders. Digitale toetsing is een nieuwe dienst in opbouw binnen de RUG. Overleg met verschillende stakeholders is essentieel om aan te sluiten bij onderwijsbeleid en andere ontwikkelingen. ESI voert daarom minimaal eenmaal per jaar gesprekken met (vertegenwoordigers van) de faculteitsbesturen. Verder vindt geregeld overleg plaats met roosteraars, technisch ondersteuners (CIT), facility managers en demand managers over verbetering van processen en voorzieningen. Website en nieuwsbrieven. Er wordt een communicatiemedewerker aangesteld die verantwoordelijk is voor de nieuwsgaring en informatieverspreiding met betrekking tot digitaal toetsen. De belanghebbenden binnen de universiteit en belangstellenden daarbuiten worden via verschillende kanalen op de hoogte worden gehouden van de mogelijkheden van digitale toetsing en de bereikte resultaten (nieuwsbrieven, website, sociale media). In overleg met de webplatformredacteur van ESI (Koos Winnips) en de portalbeheerder van CIT (Dick Prins) worden binnen het ESI-deel van de portal informatieve webpagina’s opgezet ter ondersteuning van digitaal toetsen. Ook wordt vier keer per jaar een digitale nieuwsbrief verstuurd naar belangstellenden binnen de RUG. Verder worden geïnteresseerden via o.a. LinkedIn, SURFShare en Yammer op de hoogte gehouden van de nieuwste ontwikkelingen.
18
Bijeenkomsten en presentaties. ESI verzorgt informatie- en kennismakingsbijeenkomsten digitaal toetsen op lokatie bij faculteiten of centraal binnen de RUG. In juni 2013 en juni 2014 worden universiteitsbrede voorlichtingsbijeenkomsten georganiseerd waarbij de resultaten door betrokken docenten, studenten en ondersteuners worden gepresenteerd. De werkzaamheden worden uitgevoerd volgens een nader uit te werken communicatieplan.
3.5.2.2 Externe communicatie en disseminatie De leden van het projectteam leveren een actieve bijdrage aan nationale en –incidenteelinternationale bijeenkomsten, conferenties en netwerken die relevant zijn voor de invoering van digitale toetsing aan de RUG. Hiertoe behoren o.a. de bijeenkomsten in het kader van de SIG Digitaal Toetsen van SURF. Doel van de deelname is tweeledig. Enerzijds gaat het om kennisvermeerdering en het leggen van contacten met uitvoerders van digitale toetsing elders om te profiteren van elders opgebouwde ervaringen en expertise. Anderzijds om de door de RUG behaalde resultaten te delen met belangstellenden elders. Een deel van de website (zie boven) wordt ingericht voor externe doelgroepen. Teamleden verzorgen incidenteel publicaties in vakbladen en andere media gericht op digitale toetsing (bijvoorbeeld in het tijdschrift Examens).
3.5.2.3 Organisatieopbouw Het inrichten en optimaliseren van de werkprocedures is een onderdeel van de organisatieopbouw. Hiertoe behoren ook het opzetten en het onderhoud van de administratie van digitale toetsing (van aanmelding tot het archiveren van toetsen en toetsresultaten) volgens de hiervoor geldende richtlijnen voor onderwijs en examens. Verder bereidt de projectmanager, in overleg met het Louwarnoud van der Duim, de organisatievorm en personele invulling voor van de eenheid die belast is met digitale toetsing. Tenslotte zorgt de projectmanager voor een goede overdracht van taken en en eventueel het inwerken zijn opvolger als leider van het project.
3.5.2.4 Teamoverleg en rapportages Het projectteam komt eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de programmma’s van eisen, systeemontwerpen, detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt. De project manager rapporteert tweemaal per jaar over de voortgang van het project naar de opdrachtgever, ICT Cie en CvB. Een afschrift hiervan gaat naar de faculteiten.
19
3.5.3 Resultaten 1 2 3 4 5 6 7 8
Teamsite Projectwebsite Publicaties via websites en andere kanalen Twee RUG-brede voorlichtingsbijeenkomsten Presentaties tijdens lokale, nationale, evt. Internationale bijeenkomsten Vakpublicaties Dienst(onderdeel) digitaal toetsen met dienstenportefeuille en personeelsplan Rapportages en verslagen
3.5.4 Uitvoering in uren, kosten en periode 1.488h
€ 75.400,00
Mon 3-9-12
Fri 29-8-14
780h
€ 39.000,00
Mon 3-9-12
Fri 29-8-14
€ 5.000,00
Mon 3-9-12
Fri 29-8-14
412h
€ 16.600,00
Mon 3-9-12
Fri 29-8-14
60h
€ 3.000,00
Mon 3-9-12
Fri 30-5-14
Verzorgen bijeenkomsten en presentaties
136h
€ 6.000,00
Wed 1-5-13
Mon 30-6-14
Website en nieuwsbrieven
216h
€ 7.600,00
Sun 13-1-13
Fri 29-8-14
112h
€ 5.600,00
Sun 3-3-13
Fri 29-8-14
112h
€ 5.600,00
Tue 10-6-14
Fri 27-6-14
0h
€ 0,00
Sun 3-3-13
Fri 29-8-14
40h
€ 2.000,00
Sun 3-2-13
Fri 28-6-13
144h
€ 7.200,00
Mon 3-9-12
Fri 29-8-14
Management en communicatie Projectleiding Exploitatie Interne communicatie en disseminatie Overleg stakeholders
Externe communicatie en disseminatie Deelname aan conferenties, bijeenkomsten en netwerken Publicaties Organisatieopbouw Teamoverleg en rapportages
20
4 Risicoanalyse
Risicobeschrijving
Kans
Impact
Acties om risico’s te beperken
Te weinig personeel beschikbaar / vrijgemaakt
Middel
Middel
Risico is hoogst voor technische ondersteuners. Zal leiden tot vertraging bij invoering nieuwe mogelijkheden. Impact kan worden beperkt door vooral standaardmogelijkheden toetsprogrammatuur te benutten. Functioneel beheer (ondersteuning bij voorbereiding en afname toetsen) is belegd bij meerdere medewerkers die elkaar kunnen afwisselen. Capaciteit FB is op beoogd niveau gebracht.
Draagvlak / belangstelling is gering
Laag
Hoog
Er is al flinke belangstelling. Commitment op opleidings/managementniveau creëren. Koppeling maken met toetsbeleid. Individueel gebruik door docenten stimuleren. Project in publiciteit brengen. Technisch betrouwbare dienst leveren.
Kwaliteitsvoordelen worden onvoldoende benut
Middel
Laag
Aansluiting zoeken bij professionaliseringsbeleid (BKO) en maatregelen in kader van nieuwe taakstelling examencommissies (betere inzage). Kwaliteitskenmerken toetsen na afloop terugkoppelen naar docenten, specifieke meerwaarde digitaal toetsen benutten (toetsmatrijs, gebruik multimedia).
Efficiencyvoordelen worden onvoldoende benut
Laag
Hoog
Gebruik gesloten toetsen bevorderen, hergebruik van items mogelijk maken, efficiencyvoordelen essaytentamens op de computer benutten en voor het voetlicht brengen.
Roostering digitaal toetsen is een probleem
Laag
Hoog
Vroegtijdige inroostering van digitale toetsen door facultaire roostermakers; vast contactpersoon voor naplaatsingen binnen roosterorganisatie RUG aan laten wijzen; op termijn: spreiding digitale toetsing over meerdere geschikte lokaties RUG en wellicht op eigen devices studenten.
Er kan geen opvolger worden gevonden voor de tijdelijke projectleider
Middel
Middel
Delegeren van uitvoerende taken over meerdere teamleiders. Aanstelling van nieuwe projectleider vóór vertrek huidige. Overdracht van opgebouwde ervaringen, kennis, documentatie en contacten.
ToetsPC’s werken niet goed
Middel
Hoog
Harde afspraken met leveranciers over servicevoorwaarden. Voorbereiding digitale toetsen continueren bij (tijdelijke) problemen toets PC’s. . Desnoods afname op andere lokaties of met vervangende
21
PC’s (eventuele kostenpost). Impact zeer hoog omdat vertrouwen in digitale toetsen ernstige schade kan oplopen. Toetsprogrammatuur werkt niet goed
Laag
Middel
Programma’s zijn binnen RUG en elders uitgebreid beproefd. Risicospreiding door twee verschillende toetsprogramma’s. Zwakke punten programma’s zijn bekend. Nadruk leggen op organisatie ipv programmatuur.
Technische infrastructuur is niet adequaat
Laag
Middel
De gekozen infrastructuur (RES, AD, beheer via policies) is ook elders in gebruik. Waar mogelijk elders ontwikkelde tools en technieken inzetten. De gekozen infrastructuur is niet specifiek voor toetsing (aangepaste versie UWP 2.0). Eventuele vertraging in oplevering betekent vertraging in realisatie nieuwe functies, geen stopzetting van huidige manier van toetsen.
22
5 Begroting 5.1 Totaal in uren, kosten en periode 13.246h
€ 697.340,00
Mon 3-9-12
Fri 29-8-14
Planning en uitvoering tentamens
5.374h
€ 223.700,00
Mon 3-9-12
Fri 29-8-14
Toetsontwikkeling Nestor
2.364h
€ 118.200,00
Mon 3-9-12
Fri 29-8-14
Toetsontwikkeling QMP
2.376h
€ 197.840,00
Thu 1-11-12
Fri 29-8-14
Ontwikkeling toetsinfrastructuur
1.644h
€ 82.200,00
Mon 3-9-12
Fri 29-8-14
Management en communicatie
1.488h
€ 75.400,00
Mon 3-9-12
Fri 29-8-14
Totaal
5.2 Kostenverdeling (conform eerdere versie projectplan) Onderstaande kostenverdeling is conform de verdeling waarmee CvB en MB akkoord zijn gegaan. Om binnen het budget te blijven is het exploitatiebudget met € 5000,- verlaagd. De huidige herziene begroting wijkt slechts gering af van de eerder ingediende (verschil van -€46). De overeengekomen verdeling kan hiermee worden gehandhaafd, met dien verstande dat de kosten van QMP waarschijnlijk iets lager zullen zijn dan hier begroot en dat de bijdrage in de kosten voor technische toetsassistenten over de faculteiten pas achteraf kan worden vastgesteld. Eenheid
Bedrag
Toelichting
CvB (ICT-fonds)
€ 356.250
Personeel, bijdrage QMP en exploitatie
CIT – ESI
€ 160.000
Toetsondersteuners
CIT – Infrastructuur (UWP 2.0)
€ 65.600
Technische ondersteuning inrichting infrastructuur
LET
€ 20.000
Bijdrage QMP, naar rato werkelijke kosten
FMW
€ 30.000
Bijdrage QMP, naar rato werkelijke kosten
GMW
€ 10.000
Bijdrage QMP, naar rato werkelijke kosten
Alle faculteiten
€ 55.536
Technische assistentie tijdens afname toets, naar rato gebruik, op basis van prognose aantal toetsen, verrekening achteraf
Totaal
€ 697.386
€ 46 hoger dan in voorliggende plan
23
6 Standlijnenoverzicht
24
