IDEM DITO Project voor de selectie van één gemeenschappelijk digitaal toetssysteem voor de RUG
Projectplan
Uitvoerders: Faculteit der Letteren, Faculteit Medische Wetenschappen, Faculteit Economie en Bedrijfskunde, UOCG
Versie 2 Juni 2011
1 Samenvatting De projectaanvraag Idem Dito (december 2010, Faculteit der Letteren, Faculteit Medische Wetenschappen, Faculteit Economie en Bedrijfskunde i.s.m. Universitair Onderwijs Centrum Groningen) is in maart 2011 door het College van Bestuur goedgekeurd (referentie). De naam van het project verwijst naar de wens om bij invoering van een digitaal toetsprogramma (Dito) te streven naar een uniforme aanpak binnen de RUG. In dit projectplan worden de projectactiviteiten nader beschreven en de kosten ervan gespecificeerd. Het project heeft tot doel om voor de gehele RUG een online toetssysteem te selecteren dat kan worden ingezet voor entreetoetsing, formatieve en summatieve toetsing binnen de instelling en op lokaties daarbuiten. Het project is onderverdeeld in verschillende werkpakketten waarbinnen het opstellen van relevante selectiecriteria, de beoordeling van mogelijke pakketten, inrichten testomgeving en het in de praktijk toetsen van de meest geschikte pakketten wordt georganiseerd. In een afzonderlijk werkpakket worden de gevolgen voor de onderwijsorganisatie (beheer systeem, logistiek, regelen en richtlijnen,financiën, etc.) onderzocht als onderdeel van het advies aan de opdrachtgever bij afsluiting van het project. Het algehele projectmanagement en de interne en externe communicatie zijn eveneens in een afzonderlijk werkpakket ondergebracht. Uren en kosten per werkpakket worden in onderstaande tabel samengevat. Voor de gemiddelde personele kosten is uitgegaan van WP: €50 per uur; SA: € 30 per uur. De kosten zijn tot stand gekomen na vaststelling van de taakverdeling voor alle activiteiten binnen het project. Een nadere specificatie hiervan wordt gegeven in paragraaf 4 hieronder. Werkpakketten
Uren
Kosten
Start
Einde
Opstellen criterialijst
114
€ 5.700,00
3-01-11
1-07-11
Bureauonderzoek toetspakketten
265
€ 13.250,00
11-04-11
24-06-11
Inrichting testomgeving (incl. materiële kosten)
156
€ 22.640,00
27-06-11
7-09-11
1.566
€ 67.100,00
30-05-11
23-12-11
Organisatie en beheer
148
€ 7.400,00
3-01-11
13-01-12
Management en communicatie
596
€ 27.480,00
3-01-11
27-01-12
2845
€ 143.570,00
3-01-11
27-01-12
Uitvoering pilots
Totaal
Zoals blijkt uit bovenstaand overzicht is het project begin 2011 van start gegaan. Omdat het bureauonderzoek naar geschikte toetspakketten pas van start kon gaan na goedkeuring van de aanvraag 1
door het CvB is enige vertraging opgetreden ten opzichte van het tijdschema in de projectaanvraag. Bovenstaand schema geeft de actuele doorlooptijd van het project aan. De uitvoering verloopt momenteel volgens plan. De verdeling van middelen over de deelnemende eenheden is als volgt begroot: Eenheid
Uren
Kosten
FEB
337
€ 16.850,00
FMW
457
€ 22.850,00
LET
805
€ 40.250,00
UOCG
1.022
€ 38.620,00
Andere faculteiten, CIT, niet toegewezen
224
€ 10.000,00
Inrichtingskosten testomgeving
€ 15.000,00
Totaal
2845
€ 143.570,00
Dit projectplan is vastgesteld door de voor dit project ingestelde stuurgroep, onder leiding van de decaan van de Faculteit der Letteren (zie paragraaf 3). De uitvoerende partijen (FdL, FMW, FEB, UOCG) committeren zich hiermee aan uitvoering van het project op basis van het voorliggende plan.
2
2 Algemene informatie 2.1 Doel Dit project heeft tot doel om een centraal systeem voor digitaal toetsen te realiseren voor alle faculteiten binnen de Rijksuniversiteit Groningen. De aanvraag is opgesteld door de faculteiten Letteren, Medische Wetenschappen en Economie en Bedrijfskunde, in nauw overleg met het UOCG. Het project sluit aan bij eerdere verzoeken van de faculteiten en UOCG aan het CvB om de centrale examenhal (Aletta Jacobshal) geschikt te maken voor digitaal toetsen (brief 23 december 2008, kenmerk L08.01609) en de verdere implementatie in universitair verband vorm te geven (brief 21 mei 2010, kenmerk L10.00738). De faculteiten zijn door prof. dr. C.G.M. Sterks (directeur UOCG en CIT, tevens voorzitter van de ICT Cie van de RUG) uitgenodigd om een gezamenlijk voorstel in te dienen om te komen tot een centraal toetssysteem voor de RUG. Het project wordt gefinancieerd op grond van het Meerjarenplan ICT 2010-2014, onderdeel ICT en Onderwijs (Advies CvB aan Managementberaad, dd. 18 april 2011). Er zijn inmiddels belangrijke stappen gezet met betrekking tot de infrastructurele aanpassingen van de examenhal en de verwachting is dat in het najaar 2011 ca. 290 digitale toetswerkplekken binnen de examenhal zullen worden opgeleverd. Een deel van de bestaande digitale toetsactiviteiten zal hierdoor op korte termijn overgebracht kunnen worden naar de Aletta Jacobshal waardoor gelijktijdige toetsing van aanzienlijke aantallen studenten kan worden gerealiseerd. In dit projectplan wordt ervan uitgegaan dat de digitale toetsruimte vanaf oktober 2011 beschikbaar zal zijn voor het uitvoeren van pilots met een aantal geselecteerde pakketten. Voor het optimaal benutten van de meerwaarde van digitaal toetsen en opschaling naar grotere aantallen studenten is de invoering van een centraal toetssysteem van groot belang. In de huidige praktijk wordt voor het ontwikkelen en afnemen van digitale toetsen binnen de RUG vooral gebruik gemaakt van Blackboard (Nestor) in combinatie met Respondus. Blackboard is een generieke leeromgeving. O.a. op punten van veiligheid, itemanalyse, itembeschrijving, integratie van multimedia en beheer van (uitgebreide) itembanken lijkt Blackboard niet te voldoen aan de voorwaarden van een volwaardig toetssysteem. De mogelijkheden van Blackboard 9.1 op deze punten zullen als onderdeel van dit project nader worden onderzocht. Het beoogde centrale toetssysteem is een aanvulling op, of een uitbreiding van, de onderwijsleeromgeving Blackboard en complementeert de faciliteiten voor digitale toetsing in de Aletta Jacobshal. Het gebruik zal echter zeker niet worden beperkt tot deze specifieke lokatie. Gezien de behoeften van de faculteiten om toetsing ook op eigen lokaties, bij zusterinstellingen en op termijn ook op toetslokaties in het buitenland mogelijk te maken zal het centraal toetssysteem een belangrijke bijdrage leveren aan de verdere flexibilisering van verschillende vormen van toetsing binnen alle faculteiten van de RUG. De activiteiten binnen Idem Dito zijn gericht op de keuze van dit RUG-brede toetssysteem. Na afloop van het project zullen de faculteiten het systeem op uiteenlopende manieren integreren in het onderwijs. Hiertoe willen de faculteiten aanvullende activiteiten ontwikkelen, waarbij van UOCG onder andere ondersteunende activiteiten op het gebied van training, toetsontwikkeling en analyse zullen worden gevraagd. Voor deze additionele activiteiten die nodig zijn om het toetssysteem in de facultaire onderwijsprogramma’s te verankeren zijn of worden door de faculteiten afzonderlijke plannen ingediend bij het ICT-strategiefonds. 1
2.2 Achtergrond FMW heeft in de afgelopen jaren gewerkt aan de ontwikkeling van digitale toetsing in eigen beheer (o.a. vragendatabase en toetsgenerator) maar door chronische capaciteitsproblemen is grootschalige digitale toetsing niet van de grond gekomen. Binnen de opleiding wordt op beperkte schaal gebruikt gemaakt van de toetsmogelijkheden binnen Nestor, waarbij bovengenoemde beperkingen van dit systeem een uitbreiding feitelijk in de weg staan. De behoefte om de efficiëntie en kwaliteit van het toetsproces in zowel de Ba- als Ma- fase van het onderwijs te verhogen is echter onverminderd aanwezig (zie Motivering hieronder). Gestimuleerd door ervaringen elders (Twaalf tips voor computerondersteund toetsen in het medisch onderwijs, WPM Hols-Elders cs, TVMO 2009;28:4-12), is besloten om in te zetten op een erkend toetssysteem. Na vergelijking van verschillende programma’s (o.a. aan de hand van presentaties binnen het OWI) kwam Question Mark Perception (QMP) als meest geschikte kandidaat voor digitale toetsing binnen FMW uit de bus. De geschiktheid van QMP als universiteitsbreed programma voor digitale toetsing voor alle faculteiten is echter nog niet onderzocht. FdL heeft in de afgelopen jaren met subsidie uit het ICT-strategiefonds digitale toetsen ingevoerd bij de opleiding Kunsten, Cultuur en Media (KCM) en het Talencentrum. Digitale toetsing heeft integratie van multimedia mogelijk gemaakt (een belangrijk element bij genoemde opleidingen) en bijgedragen aan de verhoging van de flexibiliteit en efficiëntie van het toetsproces. In samenwerking met de IB-groep (tegenwoordig DUO) zijn de procedures voor toetsafname nader uitgewerkt en toegepast tijdens de betreffende tentamens. De docenten zijn door UOCG getraind in het opstellen van valide en betrouwbare toetsen en er is een begin gemaakt met het opstellen van een vragendatabase. UOCG heeft daarnaast itemanalyses uitgevoerd en de resultaten besproken met de docenten en ondersteuning geboden bij de inrichting van de noodzakelijke infrastructuur. Door de samenhang van maatregelen is de kwaliteit van het toetsproces bij genoemde opleidingen verhoogd. Voor bredere, structurele toepassing zijn de grenzen echter bereikt. De grootste belemmering hierbij, het beperkte aantal computerwerkplekken voor digitale toetsing, wordt met de ingebruikname van de digitale toetsruimte opgeheven. Voor verdere ontwikkeling van digitale toetsing binnen de faculteit is de beschikbaarheid van een centraal toetssysteem echter van groot belang. FEB volgt de ontwikkelingen met betrekking tot digitale toetsing nauwgezet. Door verschillende docenten is in de afgelopen periode al op beperkte schaal met digitale toetsing geëxperimenteerd. Eén van de conclusies is dat de mogelijkheden binnen Nestor te beperkt en onvoldoende betrouwbaar zijn. Er is behoefte aan georganiseerde structuren en ondersteuning om te voorkomen dat: de kennis van individuele docenten gefragmenteerd blijft, en docenten te maken krijgen met een te hoge werkdruk. Binnen de FEB-cursussen die worden verzorgd door het Talencentrum vindt digitale toetsing al op beperkte schaal plaats. De verwachting is dat de belangstelling bij de opleidingen voor digitale toetsing snel zal toenemen zodra de digitale toetshal gereed is. Er is enige zorg dat een groeiende belangstelling voor digitale toetsing kan leiden tot een nog grotere druk op de beperkte tentamencapaciteit. Een goede planning van activiteiten op het gebied van digitale toetsing is daarom van groot belang. De drie faculteiten vormen een goede afspiegeling van de mate van belangstelling voor digitale toetsing binnen de RUG en de manier waarop deze vorm van toetsing kan bijdragen aan verbetering van het toetsproces en het onderwijs als geheel. Door de voorgestelde projectopzet zullen ook andere faculteiten bij het selectie- en implementatieproces worden betrokken waardoor het draagvlak voor het initiatief wordt verhoogd en de resultaten optimaal worden geborgd.
2
2.3 Motivering In de literatuur over digitale toetsing en in praktijkervaringen (zie onder andere de sites van het Onderwijscentrum van de VU1 en Digitale Didactiek2) komen verschillende didactische en organisatorische voordelen van digitaal toetsen naar voren. Mogelijke voordelen betreffen o.a. het gebruik van nieuwe vraagvormen, verhoging van efficiëntie van het toetsproces door digitalisering van de gehele toetsketen van productie tot beoordeling, afname van toetsen op verschillende plaatsen, tegelijkertijd of op verschillende tijdstippen, en het aanleggen van toetsdatabanken (http://www.digitaledidactiek.nl/wp/?p=923). In een interne notitie van de VU, een van de voortrekkers van digitale toetsing in Nederland, worden o.a. de volgende voordelen van digitale toetsing genoemd: Terugdringen van de nakijklast van docenten bij grote cohorten studenten; Verminderen van de logistieke last van papieren toetsen (drukwerk maken, scannen van formulieren, herstellen van fouten op formulieren, beoordelen, cijfer geven, aanpassingen plegen); Verlaging van de foutmarge ten aanzien van de verwerking van de toetsen, resultaten en analyse ten opzichte van optisch leesbare formulieren; Efficiëntere inzet van grootschalige vormen van formatief toetsen; Systematisch werken aan het opbouwen van vragenbanken door faculteiten en docenten. Dat verhoogt de kwaliteit en de efficiëntie van het toetsen; Gebruiken van andere vraagvormen dan slechts multiple-choice vragen zoals multiple respons, ordening, slepen, numeriek en vrije tekst. Dat verhoogt de vrijheid van vraagontwikkelaars om inhoud en vorm van de te bevragen kennis en concepten in balans te brengen; Gebruik van afbeeldingen, grafieken, foto’s, geluid, video’s en animaties in vragen. Deze opties kunnen het te bevragen domein vergroten alsmede de authenticiteit van de stimuli of antwoordopties; Transparant aanbieden van toetsen (zowel formatief als summatief) aan studenten binnen het geheel van de digitale leeromgeving; Directe terugkoppeling aan studenten van hun kennisniveau (beoordeling in de vorm van een cijfer), inhoudelijke feedback en studeeraanwijzingen. Gebaseerd op: S. Draaijer, Projectbeschrijving Digitale Toetszaal VU, 2008 (Interne publicatie VU) Deze en andere voordelen zijn op verschillende manieren (en in verschillende mate) van belang voor de indieners van het voorliggende projectvoorstel. Samengevat kan winst van digitale toetsing zowel behaald worden op efficiency als kwaliteit. 2.3.1 FMW FMW ziet grote voordelen in verbetering van het toetsproces en het aanleggen van uitgebreide itembanken. Momenteel worden toetsen gemaakt door de coördinatoren van de verschillende blokken in de Ba- en Ma-opleiding, die hun vragen weer deels betrekken van hun (pre-)klinische docenten. Al met al is het gebruikelijk dat meer dan 15 docenten bijdragen leveren aan één enkele toets. Iedere coördinator en iedere docent heeft op zijn of haar computer een aantal bestanden met oude vragen staan. Een aantal weken voor de eerstvolgende toets wordt deze gemaakt op basis van een aantal oude en nieuwe vragen, waarbij -idealiter- de nieuwe vragen eerst de toetsservice en de Ba- respectievelijk Ma-coördinator passeren. Door de logistieke rompslomp en het hanteren van verschillende formaten 1 2
http://www.onderwijscentrum.vu.nl/nl/dienstenaanbod/intern/onderwijsvernieuwing/digitale-didactiek/digitaal-toetsen/index.asp http://www.digitaledidactiek.nl/wp/?cat=7
3
worden veel toetsen op het allerlaatste moment geconstrueerd . Er is in de praktijk dan te weinig tijd voor een gedegen pre-screening van de toetsen. Tijdens de laatste visitatieronde heeft de visitatiecommissie kritiek geuit op de wijze van toetsen. Ook studenten hebben het huidige toetssysteem bekritiseerd. Het aanleggen van uitgebreide itembanken heeft hoge prioriteit, omdat er bij het overgrote deel van de (kennis)toetsing gebruik wordt gemaakt van geprecodeerde vragen. Het huidige aantal toetsvragen is eenvoudigweg te beperkt. Veel vragen zijn inmiddels terug te vinden op studentensites; dat geldt met name voor de bloktoetsen in het M1-jaar. Studenten zijn gefrustreerd omdat de slaagkans voor iemand met weinig inzet, die over veel oude vragen beschikt vaak hoger is dan voor iemand die veel tijd besteedt aan het bestuderen van de stof en over minder oude tentamenvragen beschikt. Docenten besteden veel tijd aan het maken van toetsvragen, terwijl collega’s uit een andere fase van de opleiding (Ba vs Ma) vaak uitstekende vragen in hun bestanden hebben staan: goed gecodeerde vragen van hoge kwaliteit kunnen op verschillende plaatsen van het curriculum worden toegepast (blokken in de Bacheloropleiding, bloktoetsen in M1 en entreetoetsen in M2). Al met al verdampt er heel veel energie van vragenmakers, die benut kan worden door een (web-based) uniformering van het aanleveren van vragen en gestandaardiseerde itemopslag. Daarnaast is er onvoldoende bekend wat de kwaliteit van toetsvragen is en wordt er nog zeer sporadisch gebruik gemaakt van beeld- en geluidsmateriaal. In landelijk verband zijn uitgebreide databanken met vragensets ontwikkeld die via een digitaal toetssysteem eenvoudiger beheerd en afgenomen zouden kunnen worden. FMW wil het digitale toetssysteem gebruiken voor de Ba- en Ma-opleidingen, voor entreetoetsen en formatieve en summatieve toetsing, en in landelijk verband. 2.3.2 FdL Binnen Letteren spelen deels dezelfde overwegingen. In de huidige digitale toetspraktijk is het hergebruik en beheer van toetsvragen een zwakke schakel. Door de invoering van BSA is het noodzakelijk om vaker te toetsen. Door meer gebruik te maken van digitale toetsing zal de correctielast en –tijd kunnen worden beperkt. Het gebruik van multimedia als onderdeel van de toetsing neemt snel in belang toe. De FdL is al lang niet meer uitsluitend gericht op “letteren” in de traditionele zin. Er is sprake van een breed aanbod aan opleidingen op het gebied van taal, cultuur en media, waarbinnen beeld en geluid belangrijke onderdelen vormen. Het is essentieel om de bijbehorende media ook een plaats te kunnen geven bij toetsafname. In het VO wordt digitale toetsing al toegepast binnen verschillende vakken (o.a. kunstvakken). Deze vorm van toetsing zal de komende jaren op grotere schaal in het VO worden ingezet. Voor aankomende studenten zal digitale toetsing steeds vanzelfsprekender worden, zeker binnen disciplines waar traditionele toetsing inhoudelijk of didactisch niet goed voldoet. In het kader van mobiliteit en internationalisering is er toenemende behoefte aan toetsmogelijkheden voor studenten op afstand. Het gaat hierbij om deeltijdstudenten die een deel van het onderwijs als afstandsonderwijs volgen, voltijdstudenten die tijdelijk elders (in binnen- of buitenland) verblijven, en aankomende studenten die nog niet tot de universiteit zijn toegelaten, bijvoorbeeld buitenlandse studenten die moeten aantonen dat ze over het vereiste kennis- en /of vaardigheidsniveau beschikken om de universitaire studie met goed gevolg te kunnen doorlopen. Daarnaast is binnen internationale samenwerkingsprogramma’s (bijvoorbeeld Erasmus Mundus) in toenemende mate behoefte aan gemeenschappelijke toetsing. Verder is er een sterke vraag naar de mogelijkheid om tentamens in vorm van essays of andere schrijfopdrachten via de computer af te kunnen nemen. Studenten maken gebruik van de tekstverwerker bij vrijwel alle werkstukken die ze schrijven. Daarnaast wordt in het onderwijs het gebruik van digitale hulpmiddelen actief gestimuleerd (outline tools, spellingscontrole, woordenboeken, 4
etc.). Veel studenten zijn niet meer gewend aan schrijven met pen en papier en moeten bovendien vaak het gebruik van de vertrouwde hulpmiddelen ontberen. Door essays en andere schrijfwerkstukken digitaal af te nemen sluit de toetsing beter aan bij het leerproces, wordt de leesbaarheid verhoogd en komt het gebruik van digitale hulpmiddelen tijdens het beoordelingsproces binnen bereik. Verder wordt verdeling van het werk over meerdere docenten vereenvoudigd doordat documenten niet fysiek hoeven te worden verspreid en scores op één plek kunnen worden geadministreerd. Dit zal de snelheid van het nakijken ten goede komen. 2.3.3 FEB Bij de faculteit Economie en Bedrijfskunde is in de achterliggende periode reeds een aantal activiteiten op het terrein van (digitale) toetsing ontplooid. Per opleiding is een toetsplan opgesteld en per vak is een toetsprotocol ontwikkeld. Er ligt daarmee een goede inhoudelijke basis om te experimenteren met nieuwe vormen van toetsing. In het kader van de onderwijsintensivering zijn bij veel van de propedeusevakken tussentoetsen ingevoerd. De faculteit wil graag de mogelijkheden verkennen om hierbij gebruik te maken van digitale toetsing. Vanuit de opleiding Accountancy is een groep docenten actief aan de slag gegaan met digitale toetsing via Nestor, deels om hiermee tot een herontwerp van vakken te komen. In één van de eerstejaars vakken van Bedrijfskunde (500 studenten) is een experiment gedaan waarbij studenten onder het motto “Vragen om te slagen” zelf tentamenvragen ontwikkelen, om zo een actievere studiehouding te stimuleren. Deze vragen vormen een oefendatabank en bovendien worden de beste vragen gebruikt door de docent. Voor Wiskundevakken zijn diverse digitale toetsen ter oefening en remediëring ontwikkeld. De faculteit heeft niet alleen interesse voor multiple choice vragen, maar wil nadrukkelijke ook digitale toepassingen bij andere vraagtypen verkennen (met name essay vragen). Nieuwe vormen van digitale toetsing hoeven overigens niet altijd in een nieuw te kiezen toetssysteem onder gebracht te worden. Ook het in een gecontroleerde setting beschikbaar stellen van gangbare systemen als Excel heeft voor de faculteit een meerwaarde. De faculteit Economie en Bedrijfskunde staat aan de vooravond van een grootschalige herziening van het onderwijs dat per 2012 van start zal gaan. Vanaf januari 2011 worden de curricula en vakken (her)ontworpen. FEB gaat in dit verband actief aan de slag om de mogelijkheden van digitale toetsing te verkennen.
5
3 Projectorganisatie 3.1 Opdrachtgever en stuurgroep Het project wordt uitgevoerd in opdracht van de faculteitsbesturen FdL, FMW en FEB. De vertegenwoordigers in de stuurgroep zijn gemandateerd om namens genoemde besturen besluiten te nemen ten aanzien van de uitvoering van het project. UOCG wordt vertegenwoordigd in de stuurgroep door de directeur van de afdeling Onderwijstechnologie en Innovatie. In de stuurgroep is ook een vertegenwoordiger van de andere faculteiten en een vertegenwoordiger van de studenten opgenomen. De projectleider maakt uit hoofde van zijn functie deel uit van de stuurgroep. De samenstelling van de stuurgroep is als volgt: Prof. Dr. Gerry Wakker, decaan FdL, voorzitter Prof. Dr. Rob Henning, FMW Drs. Wijnand Aalderink, FEB Drs. Louwarnoud van der Duim, UOCG Dr. Sake Jager, FdL (projectleider) Dhr. Okke Faber, student IBIO Letteren, fractievoorzitter Alpha in FR Letteren Vacature, vertegenwoordiger overige faculteiten
3.2 Projectteam en deelprojectteams Alle uitvoerders binnen het project vormen samen het projectteam. De uitvoering van de gedefinieerde werkpakketten wordt uitgevoerd door deelprojectteams, eventueel aangevuld met deskundigen van buiten het project. De algehele leiding van het project berust bij Sake Jager, Project manager / hoofd ICT en Onderwijs, FdL. De projectleider organiseert de centrale projectactiviteiten en draagt eindverantwoordelijkheid voor alle activiteiten binnen het project. De deelprojectleiders organiseren de projectwerkzaamheden binnen het betreffende werkpakket. Als deelprojectleiders zijn aangesteld: Ir. André Rosendaal, FdL, werkpakketten Bureauonderzoek, Inrichting testomgeving Drs. Floor Mulder, FMW, werkpakket Uitvoering pilots Drs. Wijnand Aalderink, FEB, werkpakket Organisatie en beheer Dr. Sake Jager, FdL, werkpakketten Opstellen criterialijst, Management en communicatie Als overige teamleden zijn aangesteld: Drs. Peter de Groot, FdL Drs. Albèrt Kerkhof, FEB Dr. Yta Beetsma, UOCG Dhr. Reinder Dallinga, FEB Drs. Niek van Ruler, UOCG Prof. Dr. Jos Snoek, FMW Daarnaast is in de begroting ruimte opgenomen voor functies die nog niet zijn vervuld. Het betreft o.a. medewerkers aan de pilots (WP en SA), facultaire contactpersonen overige faculteiten, en medewerkers CIT.
3.3 Facultaire contactpersonen Alle faculteiten zullen bij de uitvoering van de projectactiviteiten worden betrokken. De faculteiten zal worden verzocht een facultair contactpersoon (FCP) digitale toetsing aan te wijzen. Deze zal worden 6
benaderd bij de uitvoering van de activiteiten (specificaties programmatuur, opzet pilots, etc.) en via de mailinglist en projectwebsite op de hoogte worden gehouden van de voortgang in het project.
3.4 Teamsite en publieke website Voor de interne informatie, communicatie en documentuitwisseling is een SURFGroep ingericht. Het adres van deze site is: https://www.surfgroepen.nl/sites/idemdito. Alle projectdocumenten zijn op deze site terug te vinden. Vanuit deze site wordt tevens een blog onderhouden met informatie over het project voor belangstellenden binnen de RUG en daarbuiten. Deze blog is o.a. te benaderen vanuit de projectwebsite op http://www.rug.nl/let/voorzieningen/ictol/projecten/idemdito. De tussenrapportages en overige openbare documenten zullen eveneens via laatstgenoemde site worden ontsloten.
7
4 Plan van aanpak Hieronder wordt een globale opzet gegeven voor het plan van aanpak voor het project. De selectie van een universiteitsbreed toetssysteem wordt uitgevoerd aan de hand van de ondergenoemde werkpakketten. De deelprojectleider stelt per werkpakket een nader uitgewerkt plan van aanpak op.
4.1 Opstellen criterialijst Deelprojectleider: Sake Jager FMW, FdL, FEB en UOCG stellen een lijst van technische en inhoudelijke specificaties op. Bij het opstellen van de specificaties wordt onderscheid gemaakt tussen harde eisen en opties. Deze lijst vormt de basis voor een gemeenschappelijke specificatielijst voor een digitaal toetssysteem voor de RUG. De manier waarop de criteria zullen worden gescoord wordt vastgelegd in een protocol voor de selectieprocedure. Tevens wordt een long list opgesteld van programma’s die mogelijk geschikt zijn als toetspakket voor de RUG. De criterialijst en long list worden gebruikt als basis voor de werkzaamheden van het Desk Review Team (zie 4.2 hieronder). Andere faculteiten krijgen de mogelijkheid om wijzigingen of / aanvullingen op de lijsten aan te brengen. In de planning is rekening gehouden met eventuele aanpassingen in een later stadium. Taken naar uren, kosten en periode: Opstellen criterialijst Coordinatie Beschrijving procedures Bepaling en prioritering criteria Bepaling long list Aanpassingen
114h 8h 20h 62h 2h 22h
€ 5.700,00 € 400,00 € 1.000,00 € 3.100,00 € 100,00 € 1.100,00
Mon 3-1-11 Mon 3-1-11 Thu 20-1-11 Mon 24-1-11 Mon 14-3-11 Wed 1-6-11
Fri 1-7-11 Fri 8-4-11 Fri 21-1-11 Fri 8-4-11 Fri 8-4-11 Fri 1-7-11
Resultaten: 1. Selectiecriterialijst 2. Long list 3. Procedurebeschrijving selectie Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
4.2 Bureauonderzoek toetspakketten Deelprojectleider: André Rosendaal De specificatielijst wordt gebruikt voor het selecteren van toetspakketten die (zo goed mogelijk) aan de gestelde specificaties voldoen. De beoordeling wordt uitgevoerd door het Desk Review Team (DRT). Het DRT volgt een getrapte aanpak waarbij een eerste schifting van pakketten plaatsvindt op grond van de meest genoemde knock out criteria, gevolgd door een beoordeling van de overgebleven pakketten op grond van de overige criteria. De lijst van selectiecriteria wordt ook voorgelegd aan de leveranciers met het verzoek om aan te geven of het pakket aan het betreffende criterium voldoet. Daarnaast betrekt het DRT, waar mogelijk, ervaringen van andere instellingen met de betreffende pakketten in de beoordeling.
8
Er bestaan o.a. met de SIG Toetsing SURF, het Onderwijscentrum VU, Onderwijs & Studentzaken AMC, en de Dienst Uitvoering Onderwijs van het Ministerie van OCW. Het DRT selecteert uiteindelijk ongeveer drie systemen waarmee pilots zullen worden uitgevoerd (zie 4.4). Taken naar uren, kosten en periode: Bureauonderzoek toetspakketten Coördinatie Opstellen criteriumlijst voor leveranciers Opstellen brief voor leveranciers Vaststellen definitieve samenstelling DRT Vertalen brief en criteriumlijst voor leveranciers Aanvullen long list met contactgegevens van leveranciers Versturen brieven aan leveranciers Selectie te beoordelen criteria aan de hand van prioritering partners Afspraken over taakverdeling Beoordeling pakketten fase 1 Tussenrapportage Beoordeling pakketten fase 2 Rapportage Presentatie voor projectgroep
265h 20h 5h 2h 1h 4h 2h 1h 4h 8h 77h 10h 77h 52h 2h
€ 13.250,00 € 1.000,00 € 250,00 € 100,00 € 50,00 € 200,00 € 100,00 € 50,00 € 200,00 € 400,00 € 3.850,00 € 500,00 € 3.850,00 € 2.600,00 € 100,00
Mon 11-4-11 Mon 11-4-11 Fri 15-4-11 Fri 15-4-11 Tue 19-4-11 Thu 21-4-11 Thu 21-4-11 Tue 26-4-11 Mon 18-4-11 Mon 18-4-11 Mon 25-4-11 Fri 20-5-11 Wed 18-5-11 Mon 20-6-11 Fri 24-6-11
Fri 24-6-11 Fri 24-6-11 Fri 15-4-11 Fri 15-4-11 Tue 19-4-11 Thu 21-4-11 Thu 21-4-11 Tue 26-4-11 Mon 18-4-11 Mon 18-4-11 Wed 25-5-11 Fri 27-5-11 Mon 20-6-11 Thu 23-6-11 Fri 24-6-11
Resultaten: 1. 2. 3. 4. 5.
Brieven leveranciers (NL en Eng) Criterialijsten voor leveranciers (NL en Eng) Beoordelingen DRT per pakket Tussenrapport Eindrapport
Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
4.3 Inrichting testomgeving kandidaat toetssystemen Deelprojectleider: André Rosendaal In overleg met de leveranciers wordt voor de geselecteerde pakketten een testomgeving ingericht. De testomgeving is bedoeld voor het uitvoeren van de pilots in het najaar 2011. Afhankelijk van de mogelijkheden en wensen t.a.v. de beoogde vorm van installatie, worden de testomgevingen lokaal binnen de RUG of op een server van de leverancier geïnstalleerd. Na systeemtests op correcte werking, veiligheid, authenticatie, etc. worden de testomgevingen opgeleverd voor het uitvoeren van pilots met docenten en studenten van verschillende opleidingen van de RUG. Taken naar uren, kosten en periode: Inrichting testomgeving Inrichtingskosten Coordinatie Overleg leveranciers Begroting en financiering Pakket van eisen Installatie Systeemtest
156h 1 16h 8h 4h 8h 44h 32h
9
€ 22.640,00 € 15.000,00 € 800,00 € 400,00 € 200,00 € 400,00 € 2.200,00 € 1.600,00
Mon 27-6-11 Mon 27-6-11 Mon 27-6-11 Mon 27-6-11 Mon 27-6-11 Mon 27-6-11 Mon 11-7-11 Mon 22-8-11
Wed 7-9-11 Wed 7-9-11 Fri 26-8-11 Fri 8-7-11 Fri 8-7-11 Fri 1-7-11 Fri 19-8-11 Fri 2-9-11
Gebruikerstest Acceptatie pilotomgeving Teamoverleg
32h 0h 12h
€ 1.440,00 € 0,00 € 600,00
Mon 5-9-11 Wed 7-9-11 Mon 27-6-11
Wed 7-9-11 Wed 7-9-11 Fri 26-8-11
Resultaten: 1. 2. 3. 4.
Kostenoverzicht inrichting testomgeving Pakket van eisen voor leveranciers Gebruikersinstructies Pilotomgeving voor maximaal drie toetssystemen
Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
4.4 Uitvoering pilots Deelprojectleider: Floor Mulder De projectuitvoerders stellen een lijst op van de pilots die met de testomgevingen van de kandidaat toetssystemen zullen worden uitgevoerd. Aan de pilots wordt deelgenomen door docenten, studenten, toetsdeskundigen, en onderwijstechnologen. Tijdens de pilots wordt onderzocht in hoeverre de geselecteerde toetssystemen in de praktijk aan de gestelde criteria voldoen. Tijdens de pilots komen alle aspecten van samenstelling, afname, verwerking/analyse en hergebruik aan bod. Gedacht wordt aan verschillende activiteiten, zoals invoersessies waarbij docenten vragen invoeren in de geselecteerde systemen en hierover worden bevraagd (eventueel geobserveerd), het overzetten van bestaande toetsen, het aanbieden van digitale toetsen aan studenten in de vorm van proeftoetsen (met authentieke toetsvragen) of formatieve toetsen, het invoeren van toetsvragen in itembanken bij de verschillende systemen en het maken van selecties hieruit door toetsassistenten of docenten en het analyseren van toetsresultaten door toetsdeskundigen. Er zullen ook proeftentamens worden gepland waarbij alle PC’s in de digitale toetsruimte van de examenhal gelijktijdig worden gebruikt. Bij de samenstelling van de pilots zal specifiek op bepaalde aspecten worden geselecteerd. Hierbij zal onder andere aandacht zijn voor: Import van bestaande vragen in tekst- of Word-formaat; Directe invoer door docenten en andere toetsontwikkelaars; Beheer van databanken door/voor verschillende gebruikersgroepen (opleidingen, faculteiten); Selectie van vragen uit databank bij samenstelling toets; Random selectie van vragen uit vragensets op basis van criteria tijdens afname; Gebruik van variabelen en gewogen scores, overige statistiek en geschiktheid voor adaptief toetsen; Ondersteuning van verschillende vraagtypen, met mogelijkheid voor gebruik formules, nietwesterse lettertekens, afbeeldingen, audio en video (binnen stimuli en antwoordvelden); Gelijktijdige afname door een groot aantal gebruikers, gelijktijdige afname van verschillende toetsen op één lokatie en op meerdere lokaties; Analysemogelijkheden binnen het programma, exportmogelijkheden t.b.v. analyse door extern programma; Integratie met Blackboard (authenticatie, gradebook).
10
Verschillende aspecten kunnen door proefgroepen (docenten, studenten, begeleiders) vanuit de faculteiten FMW, FdL, FEB worden getest. Bij de eerste definitie van pilots en selectie van uitvoerders zal worden onderzocht in hoeverre de betreffende pilot door de drie uitvoerende faculteiten i.s.m. UOCG kunnen worden uitgevoerd. De keuze van pilots wordt voorgelegd aan de overige faculteiten die voorstellen kunnen doen voor aanvullende pilots. maar voor een betrouwbaar beeld van de geschiktheid van het toetssysteem voor de hele universiteit zullen ook de andere faculteiten moeten worden betrokken bij de definitie en uitvoering van de pilots. Voor iedere pilot wordt een specifiek protocol opgesteld waarin onder andere is aangegeven: het doel van de pilot, het programma of de programma’s die zullen worden gebruikt, de uitvoerders, de wijze van uitvoering en het tijdstip van uitvoering. Voor iedere pilot wordt tevens een evaluatieprotocol opgesteld. Het pilotprogramma wordt afgesloten met een rapportage waarin de bevindingen van de pilots uitgebreid worden gedocumenteerd. Taken naar uren, kosten en periode: Uitvoering pilots Coordinatie Selectie en definitie pilots Selectie uitvoerders Voorlopige planning pilots Selectie pilots andere faculteiten Definitieve planning pilots Uitvoeringsprotocol per pilot Evaluatieprotocol Vaststelling pilotprogramma Uitvoering pilots Verwerking evaluatie Rapportage
1.566h 120h 14h 52h 32h 32h 28h 64h 40h 0h 1.000h 136h 48h
€ 67.100,00 € 6.000,00 € 700,00 € 2.600,00 € 1.600,00 € 1.600,00 € 1.400,00 € 3.200,00 € 2.000,00 € 0,00 € 40.400,00 € 5.200,00 € 2.400,00
Mon 30-5-11 Mon 30-5-11 Mon 30-5-11 Mon 13-6-11 Mon 4-7-11 Mon 15-8-11 Mon 29-8-11 Mon 15-8-11 Mon 29-8-11 Thu 15-9-11 Mon 19-9-11 Mon 26-9-11 Mon 5-12-11
Fri 23-12-11 Fri 23-12-11 Fri 10-6-11 Fri 1-7-11 Fri 15-7-11 Fri 26-8-11 Mon 29-8-11 Tue 16-8-11 Fri 9-9-11 Thu 15-9-11 Fri 18-11-11 Fri 2-12-11 Mon 19-12-11
Resultaten: 1. 2. 3. 4. 5. 6. 7.
Specificatie van gewenste / noodzakelijke pilots Lijst uit te voeren pilots Planning pilots Uitvoeringsprotocollen Evaluatieprotocollen Evaluatierapporten Eindrapportage
Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
4.5 Organisatie en beheer Deelprojectleiders: Wijnand Aalderink, Sake Jager De selectie van een digitaal toetssysteem brengt verschillende vragen met zich mee op het gebied van organisatie en beheer. Zo moet onder andere worden onderzocht in hoeverre Europese aanbesteding noodzakelijk is. Verder hangt het gebruik van een digitaal toetssysteem in hoge mate af van de manier waarop beheer en organisatie van het systeem (inclusief roostering, etc.) zijn geregeld. Op grond van 11
ervaringen elders is niet uit te sluiten dat de regelen en richtlijnen voor examens op bepaalde punten moeten worden aangepast. Tenslotte moet de financiering voor een langere periode gegarandeerd zijn om over te kunnen gaan tot invoering van een digitaal toetssysteem. Binnen het werkpakket Organisatie en beheer worden deze vraagstukken nader onderzocht en voorstellen gedaan ten aanzien van de exploitatie met betrekking tot genoemde punten. Vanwege hun specifieke verantwoordelijkheid of affiniteit met betrokken vraagstukken binnen de betreffende eenheden zullen verschillende leden van de stuurgroep binnen dit werkpakket uitvoerende taken op zich nemen. Uitgangspunt hierbij is dat de vereiste aanpassingen hierdoor eenvoudiger op het juiste niveau kunnen worden ingestoken. De eindrapportage binnen dit werkpakket zal van doorslaggevend belang zijn voor de daadwerkelijke invoering van een digitaal toetssysteem. De feitelijke implementatie van het systeem zal via een afzonderlijk traject moeten worden uitgevoerd op basis van het advies van de stuurgroep. Taken naar uren, kosten en periode: Organisatie en beheer Coordinatie Onderzoek aanbesteding Beheer- en organisatiestructuur Aanpassing regelgeving examens (OER) Begroting kosten investering en exploitatie Advies aan opdrachtgevers
148h 16h 16h 40h 28h 8h 40h
€ 7.400,00 € 800,00 € 800,00 € 2.000,00 € 1.400,00 € 400,00 € 2.000,00
Mon 3-1-11 Mon 3-10-11 Mon 3-10-11 Mon 12-9-11 Mon 12-9-11 Mon 3-1-11 Fri 16-12-11
Fri 13-1-12 Wed 23-11-11 Fri 28-10-11 Fri 16-12-11 Fri 16-12-11 Mon 3-1-11 Fri 13-1-12
Resultaten: 1. Deelrapportages en adviezen 2. Eindadvies Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
4.6 Management en communicatie Deelprojectleider: Sake Jager Binnen dit werkpakket zijn de overkoepelende taken opgenomen met betrekking tot algemeen projectmanagement (definitie projectplan, rapportages, bijeenkomsten projectteam en stuurgroep) en interne en externe communicatie en disseminatie. Taken naar uren, kosten en periode: Management en communicatie Coördinatie project Opstellen projectplan Rapportages, inclusief eindrapportage Centraal teamoverleg Stuurgroepbijeenkomsten Vaststelling selectieprocedure en -criteria Vaststelling projectplan Vaststelling pakketten voor pilots Vaststelling pilotprogramma
596h 120h 24h 48h 144h 0h 0h 0h 0h 0h
12
€ 27.480,00 € 6.000,00 € 1.200,00 € 2.400,00 € 7.200,00 € 0,00 € 0,00 € 0,00 € 0,00 € 0,00
Mon 3-1-11 Mon 3-1-11 Mon 25-4-11 Mon 6-6-11 Mon 3-1-11 Tue 5-4-11 Tue 5-4-11 Thu 9-6-11 Thu 7-7-11 Thu 15-9-11
Fri 27-1-12 Fri 27-1-12 Fri 27-5-11 Fri 27-1-12 Fri 13-1-12 Thu 12-1-12 Tue 5-4-11 Thu 9-6-11 Thu 7-7-11 Thu 15-9-11
Vaststelling eindrapportage Interne / externe communicatie Teamsite Website en nieuwsbrieven Presentatie kandidaten pilotprogramma Voorlichtingsbijeenkomst RUG Overleg andere faculteiten Kennismaking Voorleggen criterialijst, long list en short list Informatie pilots Extern overleg en disseminatie Bijeenkomsten SURF Overleg zusterinstellingen
0h 168h 16h 80h 28h 44h 20h 16h 2h 2h 72h 48h 24h
€ 0,00 € 7.280,00 € 800,00 € 3.200,00 € 1.400,00 € 1.880,00 € 1.000,00 € 800,00 € 100,00 € 100,00 € 2.400,00 € 2.400,00 € 0,00
Thu 12-1-12 Mon 6-6-11 Wed 24-8-11 Mon 6-6-11 Mon 20-6-11 Thu 15-12-11 Mon 23-5-11 Mon 6-6-11 Mon 23-5-11 Mon 29-8-11 Mon 3-1-11 Thu 12-1-12 Mon 3-1-11
Resultaten: 1. 2. 3. 4. 5. 6. 7.
Projectplan Rapportages Agenda’s en verslagen bijeenkomsten en overleg Teamsite en websites Regelmatige (online) publicaties Voorlichtingsbijeenkomsten Presentaties
Voor een gedetailleerde taakverdeling en tijdschema wordt verwezen naar de bijlagen bij dit projectplan.
13
Thu 12-1-12 Fri 13-1-12 Fri 13-1-12 Fri 6-1-12 Fri 22-7-11 Fri 16-12-11 Fri 2-9-11 Fri 15-7-11 Fri 27-5-11 Fri 2-9-11 Fri 13-1-12 Fri 13-1-12 Fri 25-11-11
5 Risicoanalyse 5.1 Geen (eenduidig) resultaat Aan het selectieproces zelf (de uitvoering van Idem Dito) kleven betrekkelijk weinig risico’s. Het projectteam werkt reeds enkele maanden samen; het selectieproces is transparant en goed gedocumenteerd. Er bestaat echter een risico dat aan het eind van het project geen eenduidig advies kan worden gegeven ten aanzien van het meest geschikte systeem, of dat organisatorische of financiële belemmeringen de feitelijke invoering in de weg staan. Ook in dat geval heeft het project aan het doel beantwoord. Er zal dan bekeken moeten worden of en hoe de RUG digitale toetsing het best kan continueren.
5.2 Acceptatie digitaal toetsen binnen de instelling Het invoeren van een digitaal toetssysteem heeft alleen zin wanneer er voldoende draagvlak bestaat bij management en docenten voor het gebruik ervan. De uitvoerders van Idem Dito zijn overtuigd van het nut en noodzaak van digitaal toetsen en zullen tijdens de uitvoering van het project door het rechtstreeks benaderen van docenten en opleidingen, ook van andere faculteiten, en via de website, nieuwsbrieven en voorlichtingsbijeenkomsten de belangstelling voor digitaal toetsen verder verbreden. Voor bredere acceptatie van digitaal toetsen na afronding van het project zijn verder de volgende zaken van groot belang: 5.2.1 Betrouwbare toetsinfrastructuur en organisatie Hoewel het toetssysteem geschikt moet zijn voor toetsing op meerdere locaties, zal een centrale voorziening voor digitale toetsing in belangrijke mate bijdragen aan het vergroten van de belangstelling voor, en de acceptatie van, digitaal toetsen binnen de RUG. Het gereedkomen van digitale toetswerkplekken binnen de Aletta Jacobshal is daarom een vereiste voor het goed uitvoeren van de pilots met kandidaat toetssystemen. Hiertoe moet de digitale toetsruimte uiterlijk oktober 2011 beschikbaar zijn voor gebruik. Het technisch en functioneel beheer van het toetssysteem moeten goed belegd zijn en aansluiten bij de verschillende toetspraktijken binnen de faculteiten. Ook de roostering van de digitale toetsplekken in relatie tot het gebruik van deze plekken voor traditionele toetsing moet goed worden geregeld om het draagvlak voor digitaal toetsen te verbreden. 5.2.2 Toetsontwikkeling en scholing Het ontwikkelen van nieuwe digitale toetsen vergt een belangrijke initiële tijdsinvestering van de faculteiten en opleidingen. Bestaande vragen beoordelen op bruikbaarheid voor digitale toetsing, het verzamelen van aanvullend (multimediaal) materiaal, ontwikkelen van nieuwe vraagformaten, redigeren en rubriceren vergen veel tijd van toetsontwikkelaars (docenten) en ondersteuners. De mate waarin faculteiten hiervoor de benodigde middelen vrij kunnen maken zal mede bepalend zijn voor het succes van digitale toetsing. Uit eerdere ervaringen is gebleken dat scholing van docenten in toetsconstructie en de interpretatie van toetsresultaten en training in de gebruiksmogelijkheden van digitale toetssystemen belangrijke voorwaarden zijn voor de verhoging van de acceptatie en verbetering van de kwaliteit van digitale toetsen. In samenspraak met de faculteiten zou UOCG een aantrekkelijk en gedifferentieerd
14
scholingsprogramma moeten ontwikkelen en implementeren als aanvulling op het gereedkomen van het toetssysteem en de digitale toetsplekken.
15
16
Bijlage 1: Tijdschema Idem Dito Project
17
18
