Flexibilisering van Toetsing
7
Implementatie van een centraal toetssysteem: Saxion Hogescholen Casusbeschrijving door Alexander Kremers en Silvester Draaijer
7.1
Samenvatting In deze casus wordt geschetst hoe op Saxion Hogescholen getracht wordt een instellingsbreed toetssysteem te implementeren. Via strategisch beleid probeert Saxion tot brede inzet van digitaal toetsen te komen. Er zijn voorzieningen op het gebied van hardware en software gecreëerd en er wordt getracht ondersteuning voor de organisatie te creëren op het gebied van functioneel beheer en didactiek. Gestructureerd werken aan itemontwikkeling vindt echter nog niet plaats en de beschikking over een infrastructuur voor summatieve toetsing is een grote wens. Het is een organisatie op weg.
7.2
Probleemstelling In 2000 besloot de Raad van Bestuur van Saxion Hogescholen om het toetsbeleid op haar instelling meer handen en voeten te geven. Er werd een behoeft gevoeld om dit proces systematischer en met een hogere kwaliteit uit te voeren. In een strategisch beleidsdocument werd aangegeven dat toetsen en assessment een speerpunt voor innovatie moest gaan vormen. Daarin werd ook belangrijke rol voorzien voor digitaal toetsen.
7.3
Oplossing MeetingPoint is de dienst die dit beleid moet vertalen naar concrete acties. In 1998 is de afdeling MeetingPoint opgericht. MeetingPoint is de ondersteunende dienst binnen Saxion Hogescholen voor de digitale leer- en werkomgeving. MeetingPoint onderzoekt nieuwe digitale onderwijsproducten, ondersteunt instituten en academies bij de implementatie van een digitale leeromgeving. MeetingPoint verzorgt in dit kader cursussen en trainingen. MeetingPoint geeft advies en helpt bij het schrijven van implementatieplannen. MeetingPoint verzorgt de opleiding van docenten en beheerders voor de digitale toetsomgeving van Saxion Hogescholen. Er zijn handleidingen geschreven en er liggen diverse procedures en standaard formulieren klaar voor de docenten welke eenvoudig en snel kunnen worden aangepast voor hun eigen situatie. Vanuit het strategisch document zijn in 2002 en 2003 toetsbeleidsplannen in samenwerking met de afdeling Onderwijs en Kwaliteit, in overleg met alle 22 instituten, herschreven om de toetsbeleidsplannen integraal in te kunnen voeren. Daarbij is aangegeven dat de instituten kunnen beschikken over een centrale toetsvoorziening. Het is aan de instituten over gelaten om aan te geven hoe een dergelijk systeem in hun beleid ingepast moet gaan worden. Keuze voor één centrale toetsomgeving Na een keuzeprocedure voor een centrale toetsomgeving voor Saxion Hogescholen, is in september 2001 gestart met een pilot met TestVision (TV). Binnen de pilot is gekeken of het programma en de ondersteuning goed de verschillende doelen met betrekking tot de toetsing zou kunnen ondersteunen. Belangrijke eisen waren bijvoorbeeld: •
Robuustheid van de technologie (database)
•
Gebruiksvriendelijkheid van de software
•
Mogelijkheid om systematisch toetsen en toetsvragen te ontwikkelen aan de hand van
•
Mogelijkheid tot schriftelijke afname en digitale afname
•
Aanwezigheid van krachtige Ingebouwde toetsanalysemodule
competentie en leerdoelen specificaties
De pilots zijn succesvol afgesloten en in 2002 is besloten om TestVision Hogeschoolbreed aan te gaan bieden en in te voeren.
pagina 38 van 86
Flexibilisering van Toetsing
Introductie van TestVision MeetingPoint heeft onderkend dat het belangrijk is de introductie van TestVision goed te communiceren om een breder draagvlak te creëren. Alle docenten van Saxion Hogescholen hebben een “programmaboekje” ontvangen van MeetingPoint en de ondersteuning die deze dienst biedt. Onderdeel van het boekje is informatie en aan te bieden ondersteuning bij implementatie van TestVision. Daarnaast houdt MeetingPoint om de drie maanden workshops waarin verschillende onderdelen worden gepresenteerd. Elke medewerker wordt hiervoor uitgenodigd en via inschrijving kan men dan deelnemen. Verder worden alle directeuren elk jaar bezocht en aan hen wordt gevraagd wat zij van MeetingPoint verwachten. Het overleg met de projectgroepen van de verschillende instituten gebeurt niet op regelmatige basis maar op basis van aanvraag. Wel proberen de projectleiders binnen MeetingPoint een vinger aan de pols te houden en als er te weinig contactmomenten dreigen te ontstaan worden deze door MeetingPoint weer opnieuw afgesproken. Bij contacten met docenten worden over het algemeen de volgende concrete argumenten gebruikt om docenten te overtuigen om digitale toetsen in te zetten: •
Snel nakijken (efficiënt);
•
Het maken van hertoetsen of nieuwe toetsen is heel gemakkelijk en snel (rendement);
•
Met de toetsanalyse kunnen de eigen toetsen sterk verbeterd worden (kwaliteit);
•
Meertaligheid (Binnen TestVision bestaat de mogelijkheid om dezelfde toets in verschillende talen aan te bieden).
7.4
Toetsontwikkeling Het ontwikkelen van toetsitems en toetsen wordt niet centraal aangestuurd. Op instituutsniveau worden kunnen per opleiding verschillende afspraken gemaakt worden hoe toetsen in het algemeen ontwikkeld kunnen worden. Bij een paar opleidingen is er een expliciet toetsbeleid dat er op gericht is om een samenhangende en coherente itembank te ontwikkelen. Het professionaliseren en ondersteunen van de docenten en instituten op het gebied van toetsontwikkeling ligt in de handen van de afdeling Onderwijs&Kwaliteit (O&K). De samenwerking en afstemming tussen MeetingPoint en O&K is nog beperkt. De samenwerking begint van 2003 meer vorm te krijgen doordat O&K als doelstelling heeft gesteld voor elk instituut dat zij hun toetsbeleid duidelijk formuleren en op papier zetten en daar ook de rol van ICT en TestVision in opnemen. O&K biedt ondersteuning aan de instituten voor dit proces.
7.5
Beheer van de toetsomgeving TestVision is zo ingericht dat elk van de 22 instituten zijn eigen databestand met toetsitems heeft. Wel wordt via de centrale Novell Application Launcher (NAL) de ingang tot de toetsitems en toetsen geregeld voor zowel docenten, studenten als administrators. Het beheer van de toetsen is zodanig dat de instituten zelf kunnen bepalen welke toetsen worden klaargezet en welke studenten daaraan mogen deelnemen. De logistieke organisatie hiervoor is tussen de verschillende lokaties van Saxion Hogescholen (Enschede en Deventer) verschillend.
7.5.1 Beheer in Enschede en Deventer Docenten van opleidingen bij Saxion Enschede kunnen een account aanvragen bij het hoofd van de werkgroep digitaal toetsen voor het invoeren van toetsitems en het samenstellen van toetsen. De docenten krijgen dan de rechten om voor één/meerdere cursussen/onderwerpen toetsvragen aan te maken. Iedere opleiding regelt dus zelf de accounts tot zijn/haar database.
pagina 39 van 86
Flexibilisering van Toetsing
Als de toetsitems zijn ingevoerd in TestVision kunnen docenten/beheerders met die toetsitems een toets maken. Als deze toets gereed is kan een instituutsadministrator studenten toewijzen aan deze toets. Het koppelen van studenten aan toetsen kan op verschillende manieren: •
Automatisch, via een door MeetingPoint ontwikkelt programma. Het is bijvoorbeeld mogelijk om het hele adresboek in één keer toe te voegen. Ook groepen kan men toevoegen. Eigenlijk kan men alle lijsten die in een MS-Excel of Access database staan, bijvoorbeeld de namen en de wachtwoorden, snel toevoegen.
•
Handmatig, door het invoeren van namen en wachtwoorden. Deze optie zit standaard in TestVision. Een combinatie met automatisch toevoegen is ook mogelijk.
7.5.2
Afname in Enschede Voor het afnemen van summatieve toetsen zal gebruik moeten worden gemaakt van een PC-lokaal binnen Saxion Hogescholen. In de meeste gevallen hebben de instituten wel de beschikking over eigen PC-lokalen waar zij de toets kunt afnemen. Deze PC-lokalen moeten worden besproken via het roosterbureau. Het roosterbureau is op de hoogte van de inzet van deze lokalen voor toetsing en geeft bij roostering daar dan ook zo mogelijk prioriteit aan. Als het instituut niet beschikt over PC-lokalen of als ze grote groepen tegelijk willen toetsen, dan kan uitgeweken worden naar een groot PC-lokaal in het studielandschap. Hierin staan 50 PC’s opgesteld. Hieraan zijn wel enkele randvoorwaarden verbonden: •
Minimaal 5 dagen voor de toets moet het lokaal gereserveerd worden (studenten kunnen tot
•
Er kunnen maximaal 60 studenten tegelijk getoetst worden;
•
Tijden die gereserveerd mogen worden zijn:
vijf dagen van tevoren een PC reserveren);
o
‘s Maandagochtends van 8.00 tot 12.00 uur en vrijdagmiddagen van 13.00 tot 17.00 uur;
o
Verder elke dag van 8.30 – 11.00 uur en van 16.00 - 18.00 uur. ‘s Avonds zijn er, beperkt, ook mogelijkheden. Deze tijden zijn afgesproken met de beheerder van het studielandschap. Alleen via hem kan met het hele lokaal reserveren;
o
In de tentamenperioden zijn er extra mogelijkheden. Dit komt omdat het dan minder druk is in het studielandschap.
7.5.3 Beveiliging tegen fraude in Enschede Saxion is tot de conclusie gekomen dat de enige manier om fraude effectief tegen te gaan is om mensen ‘ouderwets’ te laten surveilleren. Er is niet een 100% zekere technische oplossing om te achterhalen dat degene die achter de PC zit ook daadwerkelijk daar zit. Surveillance moet door het instituut zelf geregeld worden. Dit wordt dus niet door de mensen van het studielandschap of systeembeheerders geregeld of gedaan. Ook mensen van MeetingPoint verzorgen deze functie niet. Het roosterbureau bepaalt wie er gaan surveilleren. In Enschede is het meestal zo dat de vakinhoudelijk docent in ieder geval surveilleert en meestal ook een paar collega-docenten of medewerkers. De surveillanten komen allemaal wel uit het instituut waarvoor de toets gehouden gaat worden. Ook is het mogelijk externe surveillanten in te huren maar dit bepaalt het instituut in overleg met het roosterbureau zelf. Externe surveillanten moeten uit het instituutsbudget betaald worden. De surveillanten worden door MeetingPoint getraind in het begeleiden van beeldschermtoetsen. MeetingPoint heeft standaard instructie formulieren gemaakt waar de desbetreffende docent gebruik van kan maken. Zij krijgen concrete instructies en aanwijzingen hoe zij moeten handelen bij inlogproblemen, authentificatie van studenten, tegengaan van fraude e.d.
pagina 40 van 86
Flexibilisering van Toetsing
Ook de studenten die de toets afgenomen krijgen, ontvangen een korte instructie voordat de toets start. Deze taak is de verantwoordelijkheid van de surveillant. Om de logistiek van het koppelen van studenten aan toetsen zo betrouwbaar mogelijk te maken krijgen studenten voorafgaand aan de toets van tevoren te horen of hij/zij mee mag/moet doen. Dit gaat via een registratieprogramma waarover elk instituut beschikt. Het enige dat de studenten verneemt is waar en wanneer de toets gehouden gaat worden en om welke toets het gaat. Saxion heeft ervoor gekozen om bij het inloggen van summatieve toetsen iedereen in te laten loggen met hetzelfde wachtwoord. Dit wachtwoord wordt pas in de toetsruimte bekend gemaakt door de surveillant. Hiermee wordt voorkomen dat studenten op een andere plek in het gebouw inloggen. Toetsen waarvoor geen cijfer behaald hoeft te worden, of welke voor oefening bedoeld zijn, moeten altijd bereikbaar zijn voor studenten. Saxion kiest er voor om bij deze low-stakes toetsen (formatieve en voortgangstoetsen) een bij een student behorend wachtwoord te gebruiken. Dat wachtwoord is het studenten e-mailadres. Studenten hoeven zo geen extra wachtwoord te onthouden. Ook wordt de inlogtijd om in de toets te komen vrij kort gehouden. Met TestVision is dit zeer eenvoudig in te stellen. Pas nadat deze tijd verstreken is mogen studenten die al klaar zijn of het niet zien zitten, vertrekken. Immers, vanaf dat tijdstip kan je niet meer inloggen in de toets, dus doorgeven van wachtwoorden heeft geen enkele zin. 7.5.4
Afname in Deventer In Deventer zijn er vrij weinig PC-lokalen en er is ook geen groot PC-lokaal met veel PC’s. Er is wel een studielandschap met 50 PC’s maar dat is zo groot en onoverzichtelijk dat daar geen summatieve toets kan plaatsvinden. Het aantal surveillanten dat nodig is voor een afdoende controle tegen fraude zou onevenredig groot zijn. Bovendien is dat landschap eigenlijk nooit beschikbaar. Er zijn daarom in Deventer afspraken gemaakt met het roosterbureau. Men kan nu, zij het alleen in de toetsperiodes, de PC-lokalen (er liggen er vier naast elkaar) allemaal tegelijk ‘afhuren’. Op deze manier kunnen er ongeveer 50 studenten tegelijk getoetst worden. Er zijn dan vier surveillanten nodig. Op locatie Deventer willen de instituten daarbij nog graag grote groepen in één keer toetsen. Hier moet worden gedacht aan groepen van 150 deelnemers. Met papier en pen toetsen kan dit in een grote collegezaal geregeld worden. Moeilijker wordt het om 150 PC’s te regelen en ook nog in één lokaal. Op locatie Deventer is het beleid dat het surveilleren bij tentamens niet door de docenten plaatsvindt, maar dat hiervoor mensen worden ingehuurd. Ook dit wordt door het roosterbureau geregeld en niet door het instituut. Deze ingehuurde surveillanten krijgen in Deventer dus eerst een kleine cursus in het afnemen van digitale toetsen. Materialen en cursus worden ook hier verzorgd door MeetingPoint. Op dit moment is MeetingPoint bezig om een procedure op te stellen hoe het ‘opstarten van een toets’ nu precies geregeld moet worden. Ook zal het zo moeten worden dat docenten in Deventer zelf gaan surveilleren. Het zal een extra drempel betekenen om digitaal te gaan toetsen omdat deze docenten er daardoor extra taken bij krijgen. MeetingPoint geeft de volgende adviezen om toch deze grootte aantallen studenten summatief te toetsen via het beeldscherm. •
Toon de vragen in random volgorde aan studenten
•
Toon de alternatieven van vragen in random volgorde aan studenten
pagina 41 van 86
Flexibilisering van Toetsing
•
Zorg ervoor dat er meerdere, maar verschillende, toetsvragen beschikbaar zijn van hetzelfde niveau die random aan de studenten worden aangeboden
Door een beperkte hoeveelheid toetsitems en een gebrek aan tijd en kennis om voldoende gelijkwaardige toetsitems te kunnen ontwikkelen ervaren docenten dit wel als een groot probleem. In de praktijk kiest Saxion er op dit moment voor om toetsen voor grote groepen toch via het aangeven van antwoorden op schrapkaarten af te handelen. In TestVision wordt nu gewerkt aan functionaliteit om deze schrapkaarten service te integreren met de toetsanalyse software van TestVision. Voordeel van deze opzet is dat grote groepen tegelijk getoetst kunnen wat ruimte en surveillanten bespaard en dat er door omzetting van de gegevens snel resultaten gegenereerd kunnen worden. Hiervoor heeft het instituut wel software nodig van TestVision en een schrapkaartenlezer, maar dit weegt ruim op tegen het handmatig nakijken. 7.6
Kosten en Baten De inzet van het systeem is heel verschillend per instituut. Op dit moment is er één instituut die verplicht heeft gesteld dat alle tentamens via TestVision worden afgenomen. In de meeste instituten wordt TestVision nog niet gebruikt voor tentamens maar voor tussentoetsen. Ongeveer 5% van alle toetsen wordt gedaan met TestVision. Na twee jaar inzet van TestVision is dat niet zo’n slecht resultaat. Per 1 september 2003 gaan weer twee nieuwe instituten met TestVision aan de slag gaan dus het gebruik en inzet van TestVision stijgen. Een andere opbrengst betreft de kwaliteitstoename van de toetsen. Inherent aan het gebruik van TestVision zijn de resultaten en toetsanalyse die met de analysetool van TestVision worden gegenereerd. Docenten worden hiermee veel directer geconfronteerd met de aanwezigheid van psychometrische data. Veel docenten vinden dat in het begin niks: ze zien het belang en de relevantie er niet van in en bovendien vergt het veel tijd om dergelijke analyses goed te interpreteren en consequenties aan te verbinden. Toch is de indruk van MeetingPoint dat ze daardoor – en zeker op de langere termijn – met een ander oog kijken naar de kwaliteit van het toetsvragen en toetsen. Docenten moeten er dus aan wennen maar zien er ook de voordelen uiteindelijk van in.
7.7
Discussie De invoering van een centraal toetsprogramma, in dit geval TestVision, op Saxion Hogescholen wordt landelijk gezien als één van de meer succesvolle pogingen in Nederland. Het is Saxion gelukt om op centraal niveau middelen en ondersteuning vrij te maken voor de implementatie van digitaal ondersteund toetsen. Er is ook centraal beleid en visie over de rol van toetsing binnen de curricula van de Hogeschool. Daarin wordt veel aandacht besteed aan competentiegericht opleiden. Helaas is de vertaling in de richting van digitaal toetsen met TestVision weinig operationeel uitgewerkt. Ook de instituten van Saxion geven niet aan hoe ze systematisch gebruik willen maken van het systeem op de Economische opleidingen na. Binnen TestVision wordt de verantwoordelijkheid voor de inhoud van de toetsing voor het belangrijkste deel bij de docent gelaten. Op dit moment heeft dat o.a. geresulteerd in een grote database met toetsvragen die weinig coherentie vertonen en kwaliteitscontrole en borging nauwelijks toelaten. Het ideaal om tijd- en plaatsonafhankelijk te toetsen is bij Saxion Hogescholen nog zeker niet gerealiseerd. Om dat ideaal te realiseren zal het proces van toetsontwikkeling, toetsbeheer en afname ‘losgekoppeld’ moeten worden van de onderwijsorganisatie en moet tevens de curriculumfasering losgelaten worden. Zolang de organisatie en het onderwijs niet op deze wijze flexibel is ingericht en studenten niet op aanvraag cursussen individueel of in zelf samengestelde groepjes volgen, blijft dat ideaal nog ver verwijderd.
pagina 42 van 86
Flexibilisering van Toetsing
Ook het gebrek aan een voldoende grootschalige voorziening om beveiligd te toetsen vormt een drempel om traditionele summatieve toetsing via beeldschermen grootschalig in te voeren. We verwijzen hier nog naar de video van de casus van de University of Dundee op de website Flexibilisering van Toetsing via http://www.du.nl/flextoets. In die video wordt een gelijksoortige casus beschreven als die van Saxion Hogescholen, maar bij de University of Dundee wordt het aspect van een beveiligde toetsomgeving integraal meegenomen in het beleid. MeetingPoint heeft helaas geen nadere evaluaties gedaan onder studenten. Het is niet duidelijk welke voor- en nadelen zij op dit moment precies ervaren. De docenten zijn over het algemeen pas overtuigd van de voordelen van een centraal digitaal toetssysteem als ze er zelf mee gewerkt hebben. De initiële tijdsinvestering voor docenten om met het systeem te werken en toe te passen is groot (alle vragen moeten worden ingevoerd, toetsen moeten gemaakt worden, studenten moeten worden toegevoegd etc.). Docenten krijgen van hun instituten slechts in beperkte mate compensatie voor het gebruik van het systeem. Als docenten eenmaal ervaring hebben opgedaan met het systeem zijn ze redelijk tot zeer tevreden over TestVision en ervaren ze ook de geschetste voordelen. Meer informatie over TestVision: http://www.testvision.nl Informatie over TestVision bij Saxion Hogescholen http://edapp01.saxion.nl/QuickPlace/qpcolumbus/PageLibraryC1256D8D004916EA.nsf/h_Toc/9BC 8CFE58C18C5B6C1256E68003CDD6C/?OpenDocument
pagina 43 van 86
