CONCEPT

Van: Aan: Datum: Onderwerp:

Jeroen Bos, John Bovenlander Rob Kampman 20 februari 2007 Memo PC tentamens MB hallen

----------------------------------------------CONCEPT----------------------------------------------

MB hallen De Begane grond van het M gebouw wordt momenteel hoofdzakelijk gebruikt voor het afnemen van tentamens. Verdeeld over drie ruimten is de maximale capaciteit 1078 plaatsen. Gedurende ca. 35 weken per jaar worden deze hallen ingezet voor het afnemen van tentamens (niet alleen door EUR, maar ook door Geneeskunde, RSM BV en de HES). In de overige weken worden de hallen ingezet voor beurzen en evenementen (o.a. kunstbeurs, accountantsbeurs, masterdag, etc.). Ook wordt MB-5 veel gebruikt als cateringruimte bij grote congressen (vanaf 300 personen) in het M gebouw. De externe opbrengsten (door verhuur) van de hallen zijn als volgt: (excl opbrengsten ivm cateringruimte) 2005 Tentamens € 132.000 Commercieel/Beurzen € 40.000 TOTAAL € 172.000

2006 € 170.000 € 75.000 € 245.000

Ook voor 2007 en 2008 zijn al contracten afgesloten voor beursactiviteiten en grote evenementen.

Capaciteit MB Hallen In totaal zijn er momenteel 1078 tentamenplaatsen (zie bijlage: tekening tentamenindeling). De afmeting van de tafels is 70X80 cm. Voor een PC opstelling, incl. ruimte voor boeken wordt een tafel met afmeting 80X120 cm voorgesteld. Dit heeft gevolgen voor de capaciteit van de hallen: (grove inschatting, rekening houdend met vluchtwegen, voorkomen afkijken en globale blokindeling) MB3 MB4 MB5 TOTAAL

Grootte 1.820 m² 834 m² 1.116 m² 3.770 m²

Huidige opstelling 588 196 294 1078 plaatsen

PC opstelling 400 130 200 730 Plaatsen

De capaciteit loopt terug van 1078 plaatsen nu naar 730 plaatsen bij een PC –opstelling. Op basis van collegejaar 2006/2007 zou dit betekenen dat er voor 108 dagdelen onvoldoende tentamencapaciteit is. Op deze dagen zullen dus maximaal 350 plaatsen elders gerealiseerd moeten worden. In Ahoy zou dit ca. € 6000 per dag kosten; omgerekend dus € 325.000-€ 650.000 per jaar (afhankelijk van aantal aaneengesloten tentamenblokken) De opbrengsten uit verhuur zullen vanwege de beperkte capaciteit dalen. De HES en de Geneeskunde huren regelmatig capaciteiten van 600 plaatsen en het is de vraag of dat nog ingepast kan worden. Mogelijk zijn zij wel geïnteresseerd in PC tentaminering. Bij een aanpassing van alleen MB5 (pilot) vervallen zo’n 100 examenplaatsen. Dit zou betekenen dat er voor 37 dagdelen onvoldoende capaciteit is. De afmetingen van 80X120 voor de tafel en de uitvoering van een bureaustoel zijn gebaseerd op minimale “werkplek” eisen. Het is niet helemaal duidelijk of deze eisen ook van toepassing zijn op tentamenplekken. Volgens diverse leveranciers van onderwijsmeubilair ligt er voor tentamen-/onderwijsplekken niets specifiek vast in de Arbo richtlijnen. Het is aan de onderwijsinstantie zelf om een risico inventarisatie te maken. Er zou bijvoorbeeld gekozen kunnen worden om 10% van alle plekken uit te voeren met hogere tafels en stoelen; mogelijk kan de EUR zich hiermee voldoende indekken. Het verdient zeker aanbeveling dit nader uit te zoeken en te onderzoeken. Bij een combinatie tentamenplek/studieplek ligt het voor de hand dat hogere eisen gesteld worden. Als een tafelafmeting van 70 X 80 cm voldoet, vervalt het probleem van de capaciteit. Er zijn tafels op de markt waarbij een ingebouwd TFT scherm, het toetsenbord en de muis eenvoudig in het meubilair kunnen worden weggewerkt (zie voorbeeld hieronder). Beoordeeld moet worden of de beoogde apparatuur in deze opstelling past. Het blijft met dit meubilair mogelijk om reguliere “schrijf” tentamens te houden.

Groot aandachtspunt is de opslag van het meubilair indien de hallen vrij moeten worden gemaakt voor een beurs/evenement (afgebeelde tafels zijn niet inklapbaar). Er is nu voldoende capaciteit voor de huidige klaptafels en stoelen. Indien ander meubilair en stoelen gebruikt gaan worden is de bestaande opslagcapaciteit onvoldoende. In de huidige situatie wordt binnen een dag de gehele verdieping opgebouwd. Verwacht mag worden dat dit in het geval van PC meubilair langer gaat duren en dus de tentamencapaciteit verder terugloopt.

Uitgangspunten Op basis van bovenstaande gelden vanuit het perspectief van EFB de volgende uitgangspunten: 1. Continueren commerciële verhuuractiviteiten - Flexibele oplossing - Beperkte mogelijkheden als PC werkplekken (35 weken tentamen+beursen/evenementen) - Complete op en afbouw ca. 4 á 7 keer per jaar 2. Handhaven huidige tentamencapaciteit - Tafels 70X80 cm - Losse opstelling (=huidige tentamenopstelling) - PC’s moeten wegklappen in meubel of frequent neergezet/weggehaald worden om “schrijf” tentamens niet te hinderen.

Bouwkundige aanpassingen Op basis van bovenstaande uitgangspunten worden de volgende werkzaamheden voorzien: a. Aanvullende koelcapaciteit Indien alleen gebruik wordt gemaakt van TFT schermen en er geen computerkasten op de werkplek noodzakelijk zijn, is er naar verwachting geen extra koelcapaciteit nodig. b. Aansluitmogelijkheden E en data Een verhoogde vloer is, bij het hanteren van de uitgangspunten, het enige realistische alternatief om de PC’s aan te sluiten. In verband met gebruik als beursruimte zal de hele hal aangepakt moeten worden, omdat er anders hoogteverschil ontstaat. De kwaliteit van de vloer moet hoog zijn in verband met vloerbelastingen bij evenementen. Totale kosten (inclusief nieuwe vloerafwerking (rubber) voor de hele hal worden geraamd op € 600.000. Hierbij komen nog kosten voor het maken van vloerputten of sparingen t.b.v. de doorvoer van bekabeling. Deze putten dienen voorzien te zijn van vlakke deksel. De kosten voor het maken van 1076 vloerputten worden ruwweg geschat op € 110.000. c. Bekabeling Elektra Totale kosten worden geraamd op ca. € 80.000. Uitgangspunt is dat huidige capaciteit voldoende is. d. Aanvullende Fysieke beveiligingsmaatregelen Vanwege grote aantal computers krijgt het M gebouw een hoger veiligheidsprofiel. Het beter beveiligen van de nooduitgangen en het plaatsen van camera’s bij de uitgangen is in ieder geval noodzakelijk. De apparatuur zelf wordt niet beveiligd en is bij toepassing van een geïntegreerd meubel ook overbodig. Totale kosten ca. €50.000

e. Meubilair Kosten meubilair € 700 per opstelling (excl. stoel en TFT scherm). Totale kosten voor pilot (MB5) € 200.000. Voor het inrichten van de gehele MB hal: € 770.000. Uitgangspunt is gebruik van huidige klapstoelen. Opbouw en afbouw van de hal zal naar verwachting 4-7 keer per jaar noodzakelijk zijn. De kosten hiervan en eventuele opslag van het meubilair is niet meegenomen. f. Noodstroom Geen noodstroomvoorziening g. Bouwkundige aanpassingen Er zullen wat kleine bouwkundige aanpassingen noodzakelijk zijn. Er worden nadrukkelijk geen kosten opgenomen voor het verfraaien van de zalen en/of het inrichten van de zalen als PC ruimte. Raming: € 10.000. Bouwkundige maatregelen ten behoeve van een serverruimte/computerruimte zijn hierin niet meegenomen. h. Datanetwerk Voor de realisatie van het datanetwerk (voor 1078 aansluitpunten, standaard EURnet beschikbaarheid) moet rekening worden gehouden met de volgende kostencomponenten: Infrastructuur delen Kosten Aanleg outlets onder verhoogde vloer € 280.000 Kabelwegen onder verhoogde vloer € 45.000 Aanpassing stijg- en hoofdgoten naar SER € 10.000 Patch/apparatuurkasten 4 stuks € 12.000 Patchkabels aan SER-zijde € 10.000 Schakelapparatuur t.b.v. zaalaansluitingen (switches) € 130.000 Extra glasvezelverbinding naar MER-ruimte € 8.000 Aanpassing building switch (uitbr. trunkpoorten) € 8.000 Diverse installatiekosten € 8.000 Bouwkundige aanpassing SER-ruimte M1C € 36.000 Koelunit in Ser-ruimte € 15.000 Totaal € 562.000 Voor de realisatie van een pilotdeel (MB5, 200 aansluitpunten) is ca. € 200.000 nodig. Aandachtspunten bij eventuele verbouwing Tentamens zijn, met enkele tussenposen, vrijwel gehele jaar gepland (m.u.v. medio augustus- eind september). Als er verbouwingswerkzaamheden plaatsvinden moet goed gekeken worden naar de overlast. Werkzaamheden uitvoeren tijdens de tentamens is geen optie en voor het verplaatsen van tentamens zijn op de EUR momenteel geen alternatieven.

Totaal dient rekening te worden gehouden met een investering van ca: € 2.182.000 incl. BTW voor bouwkundige werkzaamheden en meubilair. Dit zijn de kosten voor het omvormen van alle tentamenplakken. Voor de pilot (MB5, 200 pc opstellingen) zullen de meeste activiteiten toch noodzakelijk zijn (verhoogde vloer alle hallen, beveiliging) De kosten voor alleen de pilot worden geraamd op ca. M€ 1.1 incl. BTW. In de genoemde bedragen zijn geen indirecte kosten opgenomen, zoals:  Verlies in opbrengsten uit verhuur  Eventuele huur van (aanvullende) tentamenruimte buiten de EUR (als gekozen wordt voor grote maat tafels)  Kosten voor installatie van meubilair en pc-voorzieningen  Kosten van weghalen, opslag en herinstallatie van meubilair en pcvoorzieningen (voor zover een vaste opstelling niet haalbaar is)  Energiekosten  Kosten voor service/onderhoud aan het netwerk (HW/SW servicecontract)

Conclusie De kosten voor het aanpassen van MB hallen zijn aanzienlijk. Dit wordt mede veroorzaakt door het uitgangspunt dat de zalen geschikt moeten blijven als evenement en beursruimte. Dit is dan ook een belangrijke bron van inkomsten voor de EUR (opbrengst in 2006: € 235.000, waarvan € 75.000 voor beursen). Het multifunctionele gebruik van de PC’s zal bovendien beperkt zijn, omdat er gedurende ongeveer 35 weken per jaar examens plaatsvinden. Het eventuele verlies aan tentamenplaatsen (als grotere tafels moeten worden ingezet t.o.v. het huidige pc-loze tentamineren) kan mogelijk worden opgevangen door in het Ggebouw (extra) tentamenopstellingen te creëren. Vanaf 2010/2011 zouden hier de 2e en 3e verdieping beschikbaar kunnen komen. Het geschikt maken van deze omgeving zal hier (per werkplek bekeken) wat goedkoper uitvallen dan berekend voor het M-gebouw. Er hoeft hier geen rekening te worden gehouden met evenementen zodat de kosten van de aan te brengen verhoogde vloeren lager kunnen uitvallen.

MEMO Aan Van Datum Kenmerk Betreft

: College van Bestuur : D. Mentink en C. Lansbergen : 9 augustus 2007 : EFB/CL/RvD/222159 : Tentamineren op de PC

1. Inleiding Eind 2005 is binnen de Faculteit Rechtsgeleerdheid het plan ontstaan te gaan onderzoeken of het gebruik van computers bij examinering praktisch mogelijk is en of hiervoor onder studenten en docenten ondersteuning bestaat. De overwegingen waren de volgende: •

Massaliteitsprobleem m.n. voor docenten: honderden handgeschreven tentamens nakijken.

•

Bij ‘take home’ tentamens en creditsystemen blijkt steeds op grote schaal fraude plaats te vinden. De examencommissie kan hier onvoldoende tegen optreden.

•

Vreemde setting voor studenten: niet meer gewend op papier te schrijven.

•

Betere mogelijkheden voor computerondersteund nakijken en het controleren van afwijkingen.

•

Verlichting van het administratieve proces rond de tentamencorrectie.

•

Onderzoeken van de mogelijkheden van e-tentaminering met name voor flexibele toetsing en beoordeling, ‘toetsing op maat’.

Het belang van bovenstaande overwegingen werd bevestigd door de opgedane ervaringen bij een 4-tal tentamens (mei en juni 2006 met steeds tussen de 40 en 80 deelnemende studenten)1. Extra argumenten zijn naar voren gekomen om de ingeslagen weg voort te zetten. De volgende overwegingen kunnen worden genoemd: •

De behoefte aan meer aandacht voor zelf formuleren en schrijven.

•

Per computer kan mogelijk een eerste selectie van opvallend slechte uitwerkingen worden gezocht. Aan deze uitwerkingen zouden docenten dan minder tijd kunnen besteden.

•

Multiple choice zou ook makkelijker gaan op de computer.

Het hebben van een dergelijke voorziening kan het prestige van de EUR ten goede komen. Door de aantoonbare bestrijding van fraude (past ook goed in het integriteitsbeleid van de EUR) zal het imago versterkt worden. Dit kan nog extra cachet krijgen als de ruimte fraai wordt ingericht (‘eye catcher’). In tijden dat de werkplekken niet worden ingezet voor tentamens, zouden studenten vrij kunnen werken. Dit bevordert de uitgesproken wens om van de EUR een echte campusuniversiteit te maken, waar studenten graag en veelvuldig vertoeven.

1

Computertentamens van IBA in februari en maart 2007 ondersteunen deze inzichten wederom 1

Ook externe partijen zouden geïnteresseerd kunnen zijn in deze voorzieningen. Met name buiten de reguliere tijden (avonden en weekeinden) zouden marktpartijen hier weleens graag gebruik van kunnen willen maken. Het OECR heeft uitgebreid verslag gedaan in Onderzoeksverslag Pilot Computertentamens (Stegers-Jager, Kampman, De Mulder en Van de Ven, 14 oktober 2006). Op basis hiervan heeft de onderwijsdecaan Nederlands Recht (Mentink) de wens geuit om de pilot uit te breiden naar een substantiëlere groep (B2-cohort FRG; ca. 500-600 studenten). Binnen de EUR bestaat geen voorziening om dergelijke aantallen te accommoderen. Een eerste inventarisatie naar benodigde faciliteiten is verricht door medewerkers van EFB, DIA, LIA (L-gebouw I&A) en BIT (I&A RSM). Ook is de behoefte bij een aantal faculteiten gepeild. Om een eerste stap voor het collegejaar 2008-2009 mogelijk te maken is het noodzakelijk om het besluitvormingsproces op te starten. 2. Benodigde faciliteiten en kosten Op Woudestein is maar een plek te vinden waar op grote schaal PC-tentamens afgenomen kunnen worden en dat is het M-gebouw. Daar zijn op dit moment al 1078 werkplekken ingericht voor reguliere tentamens. Zaken die aan de orde komen als hier tentamens op de computer moeten plaatsvinden zijn oa. het aanleggen van datanetwerk en elektriciteitsvoorzieningen, het vervangen van meubilair (multifunctioneel inzetbaar) en het aanschaffen van hardware en software. Daarnaast zal er rekening moeten worden gehouden met het feit dat de begane grond nu met enige regelmaat wordt verhuurd voor beurzen en evenementen. Met het realiseren van computerwerkplekken t.b.v. tentamens zullen deze beursactiviteiten niet of slechts in beperkte mate voortgezet kunnen worden. Ervan uitgegaan wordt dat verhuur van een ruimte met computers deze inkomsten compenseert. Als de gehele begane grond van het M gebouw ingericht gaat worden met computers dan zullen de investeringen naar schatting M€ 3,5 zijn. De jaarlijkse exploitatiekosten bedragen ongeveer € 800.000. Zie de bijlage voor een overzicht. Het is mogelijk om de examenhal gefaseerd te voorzien van bovengenoemde faciliteiten. Gedacht wordt om met ongeveer 300 examenplekken te starten. 3. Draagvlak Naast FRG heeft ook RSM expliciet aangegeven een voorziening te wensen om (met name) tussentijdse toetsen af te nemen in een gecontroleerde omgeving. Erasmus MC heeft aangegeven geïnteresseerd te zijn. FEW en FSW zijn nog aarzelend hieromtrent. Het is zinvol om deze vraag formeel bij de decanen van de faculteiten neer te leggen om het oordeelsvormings- en besluitvormingsproces over dit onderwerp af te ronden. Het uitgangspunt m.b.t. de financiën is als volgt: - het CvB neemt de initiële investering voor haar rekening (zie ook de mogelijk fasering) - Faculteiten dragen zorg voor de dekking van de exploitatiekosten. De wijze van tariferen moet nog nader bepaald worden.

2

4. Besluitvorming Gevraagd wordt aan het CvB het volgende: - Oordeel over E-tentaminering - Bereidheid om dit voorstel neer te leggen bij de decanen en hen te vragen zich binnen een maand uit te spreken of zij positief staan tegenover dit initiatief en in welke mate zij hierin gaan participeren.

3

Overzicht financiele gegevens computertentamens en computergebruik(1078 werkplekker) Investeringen Bouwkundige aanpassingen: Aanvullen koelcapaciteit Aansluitmogelijkheden E en data Bekabeling elektra Aanvullende fysieke beveiligingsmaatregelen Meubilair Bouwkundige aanpassingen Datanetwerk Onvoorzien 10% subtotaal Hard- en software: Beeldschermen Thin Clients Software Servers Plaatsings-projectkosten 5%

€ 50.000 € 710.000 € 80.000 € 50.000 € 780.000 € 10.000 € 562.000 € 224.000 € 2.466.000 € 216.000 € 323.000 € 250.000 € 200.000 € 50.000

subtotaal

€ 1.039,000

Totale investering

€ 3.505,000

Exploitatiekosten Afschrijvingen bouwkundig Afschrijvingen computers Software abonnement Bijdrage aan software investering Onderhoudskosten bouwkundig + datanetwerk 5% Extra huuropbrengsten Verlies verhuur opbrengsten Energiekosten Personele kosten t.b.v. beheer

€ 244.000 € 158.000 € 50.000 € 60.000 € 123.000 -€ 75.000 € 75.000 € 40.000 € 120.000

Totale exploitatiekosten per jaar

€ 795.000

Op basis van het aantal ingeschreven studenten zou, bij participatie van alle faculteiten (EMC is 'externe' partij), de verdeling er als volgt uitzien in K€: RSM 260 FEW 186 FRG 184 FSW 108 FW 11 FHKW 30 iBMG 21 Totaal 800

01-09-13

Onderzoekverslag Pilot Computertentamens

Datum 14 oktober 2006 Auteurs Drs. K.M. Stegers-Jager Drs. R. Kampman Prof. Mr. R.V. De Mulder MBA Dr. M.J.J.M. van de Ven Opdrachtgever Onderwijsdecaan FR

ERASMUS UNIVERSITEIT ROTTERDAM

Inhoudsopgave 1. Samenvatting, conclusies en advies 1.1 Resultaten van het onderzoek 1.2 Voortzetting pilot 2. Inleiding 3. Onderzoeksopzet 4. Overzicht van de onderzoeksresultaten 4.1 Deelnemersaantallen 4.2 Enquête vooraf 4.3 Enquête achteraf 4.4 Onderwijsevaluatie 4.5 Tentamencijfers 4.6 Docentenpanel 5. Bijlagen Bijlage 1. Vragenlijst voorafgaand aan een computertentamen Bijlage 2. Vragenlijst na afloop van een computertentamen Bijlage 3. Lijst met suggesties ter verbetering van de computertentamens Bijlage 4. Voorbeelden van berichten aan studenten

2

1. Samenvatting, conclusies en advies 1.1 Resultaten van het onderzoek Een herkenbare groep studenten ziet belangrijke voordelen in het afleggen van een tentamen per computer in plaats van op papier. Hun motieven hebben vooral te maken met tekstverwerken: zij schrijven teksten liever met een computer dan met pen en papier. Voordelen die zijn zien in elektronisch tekstverwerken zijn een hogere snelheid van schrijven, een netter schrijfresultaat en betere mogelijkheden om teksten te redigeren. Verder zijn het vaak studenten die geïnteresseerd zijn in nieuwe ontwikkelingen. De omvang van deze groep is af te leiden uit de deelname aan de computertentamens: ongeveer 10% van de studenten die binnen dit onderzoek tentamen hebben gedaan, deden dat middels de computer. Een andere groep studenten ziet juist belangrijke nadelen in het afleggen van een tentamen per computer in plaats van op papier. Hun motieven om niet aan de computertentamens deel te nemen zijn in drie categorieën onder te verdelen. De eerste categorie motieven heeft te maken met het vermijden van risico (bijvoorbeeld omdat met bang is voor op optreden van computerstoringen of omdat men geen proefkonijn wil zijn). De tweede categorie heeft betrekking op het elektronisch verwerken van teksten (bijvoorbeeld omdat men sneller schrijft dan typt, omdat men liever schrijft dan typt of omdat men beter overweg kan met papier dan met een computerscherm). De derde categorie heeft te maken met onzekerheid over mogelijke problemen die zich in een computerzaal kunnen voordoen (bijvoorbeeld storende typegeluiden van andere studenten, problemen met het kijken naar het scherm of het bedienen van het toetsenbord, of gebrek aan werkruimte voor het raadplegen van toegestane boeken). Het aantal studenten achter de verschillende categorieën van motieven is lastig vast te stellen. De procedure voor het afleggen van het tentamen per computer is voor de betrokken studenten, docenten en begeleiders duidelijk. Bij het eerste vak waarbij een computertentamen werd afgenomen, het vak PFE, was de instructie over de werkwijze niet meteen duidelijk. Dit leidde tot een wat rommelige start en uiteindelijk tot minder hoge tevredenheid bij studenten. Bij de drie daaropvolgende computertentamens was de instructie over de werkwijze wel duidelijk. De tevredenheid van de studenten over de afname per computer was bij die vakken dan ook positiever. De studenten kunnen daarom op toekomstige gelegenheden adequaat over de werkwijze bij het computertentamen geïnstrueerd worden. Computerstoringen of andere technische storingen hebben zich niet voorgedaan. Het bewaren en opslaan van antwoorden leverden de studenten geen problemen op. Alle gegeven antwoorden zijn in het computersysteem adequaat verwerkt en aan de docenten overgedragen. De techniek van het afnemen van tentamens per computer lijkt onder controle te zijn. Grote problemen met het gebruik van de computerzaal hebben zich niet voorgedaan. Studenten zijn enigszins positief over de afwezigheid van storende geluiden binnen de computerzaal, bijvoorbeeld typegeluiden van medestudenten. Verder is de werkruimte

3

om de computer heen voldoende voor het raadplegen van meegebracht studiemateriaal (voor zover toegestaan). De manier waarop het tentamen is afgelegd blijkt niet van invloed te zijn op de behaalde tentamenresultaten. De tentamenresultaten van de studenten die aan een computertentamen hebben deelgenomen, zijn gelijk aan de tentamenresultaten van de studenten die aan het pen-en-papier tentamen van hetzelfde vak hebben deelgenomen. Het gebruik van computer-tentamens in deze pilot heeft de docenten nog geen direct voordeel in tijdsinspanning opgeleverd. Een volgende stap is het gebruik van software als ondersteuning van de docent bij het nakijken van de elektronisch ingeleverde tentamens, bijvoorbeeld om op voorhand eventuele zware onvoldoendes te selecteren. 1.2 Voorzetting pilot 1.2.1 Pilot 1e fase geslaagd In de inleiding van dit rapport zijn de belangrijkste aanleidingen tot het uitvoeren van dit project aangegeven. De overwegingen variëren van: docenten kunnen handschriften niet goed lezen; de schaalvergroting in het onderwijs; docenten moeten soms veel sorteren en kopiëren voor het nakijken; voor studenten is het heel raar om plotseling weer met papier en pen te moeten werken; tot overwegingen als: je kunt weinig computerondersteuning bij het nakijken en evalueren inzetten als het werk handgeschreven is. Deze overwegingen zijn tijdens het project alleen maar ondersteund. In de loop van het project zijn andere argumenten naar voren gekomen om de ingeslagen weg voort te zetten. De volgende overwegingen kunnen worden genoemd: - De behoefte aan meer aandacht voor zelf formuleren en schrijven - Bij “take home” tentamens en creditsystemen blijkt steeds op grote schaal fraude plaats te vinden. De examencommissie kan hier onvoldoende tegen optreden. - Per computer kan mogelijk een eerste selectie van opvallend slechte uitwerkingen worden gezocht. Aan deze uitwerkingen zouden docenten dan minder tijd kunnen besteden. - Multiple choice zou ook makkelijker gaan op de computer De pilot mag geslaagd worden genoemd. M.b.t. techniek en organisatie zijn de kinderziekten overwonnen, terwijl studenten en docenten tevreden zijn. Het project is rijp voor verder uitbouw, gevolgd door implementatie. Suggesties voor verbetering zijn: print de tentamens uit volgens een vast format dat voor alle ingeleverde tentamens hetzelfde is (bijvoorbeeld met de naam van de student op alle geprinte pagina’s). Op die manier kan een docent op basis van de bladspiegel snel voor iedere student diens antwoord op een bepaalde vraag vinden. Voorts is het aan te bevelen de betreffende wetsvoorstellen digitaal beschikbaar te stellen.

4

1.2.2 Perspectief Aan het volgende kan gedacht worden: . • Een vaste infrastructuur van grote zalen met computers, mogelijk niet alleen voor tentamens en opdrachten maar ook als uitbreiding van de PC-labs. • Alle tentamens vinden op de computer plaats. • Computer ondersteunde evaluatie van de beoordelingen wordt mogelijk. • Computer ondersteund nakijken, althans het selecteren van duidelijk onvoldoende tentamenuitwerkingen wordt misschien mogelijk. • Regelmatig opdrachten uitvoeren, met de mogelijkheid van opdrachten voor de gehele groep in een vak als er risico is dat de vragen ‘uitlekken’. • Pilots met op voor de student geschikte tijden voor bijvoorbeeld multiple choice uit vragenbanken. 1.2.3

Voorstel op hoofdlijnen pilot 2e fase

In samenspraak met de onderwijsdecaan NR wordt voor de kortere termijn voorgesteld de pilot voort te zetten. Het voorstel is in de komende 2e fase de thans opgedane ervaring met het afnemen van computer-tentamens uit te bouwen door (a) het plaatsen van PC in vooralsnog enkele blokken in het M-gebouw en (b) het afnemen van tentamens op door studenten zelf meegebrachte laptops. Bij de opzet en evaluatie wordt wederom gebruik gemaakt van de diensten van het OECR. Als het bestuur daartoe een principebeslissing neemt kan vervolgens op korte termijn een projectplan worden opgesteld en ter goedkeuring en financiering aan het Dagelijks Bestuur Onderwijs worden aangeboden. De verwachting is dat na een succesvolle afronding van deze 2e fase binnen de faculteit een beslissing kan worden genomen over een structurele inzet van de computer bij het afnemen van tentamens.

2. Inleiding In december 2005 is binnen de commissie ICT in het onderwijs het plan ontstaan te gaan onderzoeken of het gebruik van computers bij examinering een praktisch mogelijk was en of hiervoor onder studenten en docenten ondersteuning zou bestaan. De overwegingen waren de volgende: o Massaliteitsprobleem m.n. voor docenten: honderden handgeschreven tentamens nakijken. o Vreemde setting voor studenten: niet meer gewend op papier te schrijven. o Betere mogelijkheden voor computerondersteund nakijken en het controleren van afwijkingen. o Verlichting van het administratieve proces rond de tentamencorrectie.

5

o Onderzoeken van de mogelijkheden van e-tentaminering met name voor flexibele toetsing en beoordeling, “toetsing op maat”. In januari 2006 werd door middel van een “pop-up” enquête in SIN-Online getracht een eerste indruk te krijgen van de mogelijke belangstelling bij studenten. Hun werd de volgende vraag gesteld: “Ik zou bij een open vraag tentamen liever gebruik maken van een PC dan van ‘pen en papier”. Op deze vraag kwamen meer dan 2000 antwoorden, waarvan 39 % ja en 61% neen. In februari 2006 werden in overleg met de onderwijsdecaan Nederlands recht van de FRG de contouren van het project nader bepaald in het kader van het zgn. Massaliteitsproject (vernieuwingsthema Facilitering1). Het project zou tezamen met OECR, met name t.b.v. het evaluatieve aspect, moeten worden uitgevoerd. De beschikbare computerfaciliteiten konden van RSM worden betrokken. Nadere invulling van te hanteren techniek en van de te kiezen vakken kon later plaatsvinden, maar een inzicht in de beschikbare middelen was van direct belang. In maart 2006 kwam een projectplan gereed en zegde het FRG-bestuur de benodigde middelen toe voor de financiering van o.a. de huur van PC-zalen en extra surveillanten. Daarna zegden de verantwoordelijke docenten van alle vier in aanmerking komende ’grote’ vakken: – PFE, personen-, familie- en erfrecht(24 mei) – Rechtsfilosofie (30 mei) – Staatsrecht (12 juni) – Arbeidsrecht (17 juni) zeer snel en met enthousiasme hun medewerking aan de pilot toe. In het T-gebouw konden tegelijk op de tentamentijdstippen steeds 100 PC werkplekken worden gereserveerd. In april 2006 was er nadere besluitvorming over enkele technische aspecten. Besloten werd dat studenten geen beschikking zouden moeten hebben over een internetverbinding, at aparte inlog-accounts voor de RSM-zalen noodzakelijk waren en dat mede op grond van de beschikbare tijd een standaard desktopomgeving met het Word tekstverwerkingsprogramma voor de hand lagen. In mei 2006 verschenen de eerste channelberichten voor de deelneers aan de vier gekozen tentamens. De enquêtes voor voor en na de tentamen werden opgesteld en er werden voor ieder vak een extra channel alsmede en extra channelmet discussieforum onder de titel Exameninnovatie gestart. Voor ieder vak werd twee dagen voor het tentamen een nader bericht gestuurd (zie bijlagen). Het eerste vak, PFE, kreeg 53 aanmeldingen. Uiteindelijk namen 46 personen aan het 1

Doel van dit instellingsproject is het scheppen van noodzakelijke randvoorwaarden om de massaliteit op termijn te bestrijden door het ontwikkelen van nieuwe vormen van beoordeling en toetsen.

6

computerexperiment mee (in het M-gebouw zaten 582 deelnemers). Er waren enkele duidelijke kinderziekten. Zo was de zaalnummering in het T-gebouw onduidelijk, was de zaal pas om 13:30 uur leeg, was er te veel tijd nodig voor uitleg, waren de surveillanten onvoldoende voorgelicht. Er waren ook te weinig surveillanten (men denke aan begeleiding bij toiletbezoek), was er te veel inloop van niet-deelnemers. Ook waren er boorwerkzaamheden in het T-gebouw en was in sommige gevallen het programma Workpace niet uitgeschakeld. Tenslotte bleek de woordenlimiet voor de beantwoording van de vragen te krap opgegeven, ook in vergelijking met het het handgeschreven tentamen. Voor het tweede tentamen werd voor verbeteringen gezorgd voor deze problemen. Duidelijker werdt aangeven “EXAMEN”, de inlogprocedure werd vooraf duidelijker en op schrift uitgelegd, er was een duidelijker instructie voor surveillanten, er was in ieder zaaltje een extra surveillant, de zaal was eerder beschikbaar, Workpace was uitgeschakeld en de studenten werd gevraag voorafgaand aan het uitdelen van de tentamenopgavan reeds in te loggen op hun PC. Het tweede tentamen kende 79 inschrijvingen, 69 deelnemers en 560 studenten in Mgebouw. Ook nu was er weer een aantal specifieke problemen. Zo was er in een van de zalen lekkage, zodat van zaal moest worden gewisseld. Ook bleken er enkele opgaven enkelzijdig gekopieerd waardoor sommige vragen ontbraken. Ook was niet voorzien in potloden voor MC-gedeelte. Op de betreffende dag bleek in een aantal gevallen de Internetverbinding open door een fout in de software. Later is bij dit tentamen een fraudecheck per computer uitgevoerd. Tenslotte bleken er verkeerde of niet ingevulde examennummers te zijn. Op 12 juni vond Staatsrecht met 29 deelnemers plaats (419 in M-gebouw) en op 17 juni Arbeidsrecht met 40 deelnemers (449 in M-gebouw). De kinderziekten en de genoemde problemen waren bij deze tentamens goeddeels ondervangen. In de volgende hoofdstukken zijn de resultaten van het onderzoek en met name de studenten- en docentenstandpunten weergegeven. Een zekere blijheid kan men in deze waarderingen beslist aantreffen. Zo zijn docenten blij met geprinte tentamens, en toonden de studenten steeds tevredener bijdragen in de discussieforums. Er kwamen zelfs vragen of het hertentamen ook op de PC kon plaatsvinden.

3. Onderzoeksopzet2 De pilot met de computertentamens is opgezet om antwoord te krijgen op de volgende vraag: Is het organisatorisch haalbaar om bij een redelijk grote groep studenten (50 tot 100 studenten) op verantwoorde wijze een open-vragen tentamen af te nemen middels computers?

2

Een substantieel deel van het onderzoek, met name het evaluatieve deel is verricht door OECR. Zo heeft OECR de vragenlijsten verzorgd en de resultaten verwerkt. De bijdrage van OECR is gefinancieerd uit het FRG-trekkingsrecht ‘kwaliteitszorg’ bij OECR (de betreffende middelen zijn door het CvB ter beschikking gesteld).

7

Belangrijke aspecten hierbij zijn de ervaringen van studenten met het afleggen van het tentamen, de ervaringen van de docenten met het nakijken van het tentamen en het geven van tentamencijfers onafhankelijk van de wijze waarop het tentamen is afgelegd. Om deze vraag te kunnen beantwoorden is in een reële praktijksituatie een experiment met computertentamens uitgevoerd, dat middels evaluatieonderzoek is geanalyseerd. Bij de pilot ware 4 vakken uit het 2e jaar van de Bachelor opleiding Nederlands recht betrokken. Bij ieder vak betrof het de 1e tentamengelegenheid van het lopende studiejaar. Deze tentamenzittingen vielen in een periode van 4 weken (eind mei tot medio juni). Het gaat hierbij om de volgende vakken en tentamendata: • • • •

Personen, familie en erfrecht (PFE), zitting van 24 mei 2006 Rechtsfilosofie (RF), zitting van 30 mei 2006 Staatsrecht (SR), zitting van 12 juni 2006 Arbeidsrecht (AR), zitting van 17 juni 2006

In het onderzoek zijn per vak drie vragenlijsten aan de studenten voorgelegd. Enkele dagen voorafgaand aan een computertentamen werd de deelnemende studenten via SIN Online een vragenlijst voorgelegd, gericht op het achterhalen van verwachten van studenten over het computertentamen. Vervolgens werd het tentamen afgenomen. Het computertentamen en het pen-en-papiertentamen werden gelijktijdig afgenomen. Enkele dagen na afloop van het computertentamen werd de studenten via SIN Online een vragenlijst voorgelegd, gericht op het achterhalen van ervaringen met en meningen over het computertentamen. Tenslotte werd in de reguliere onderwijsevaluatie een vraag opgenomen, gericht op motieven om al dan niet aan het computertentamen van het betreffende vak deel te nemen. Het tentamen zelf en de onderwijsevaluatie waren de enige onderzoeksinstrumenten waarbij gegevens verzameld zijn over studenten die niet aan het computertentamen deelnamen.

4. Overzicht van de onderzoeksresultaten Dit hoofdstuk start met een overzicht van aantallen studenten bij de verschillende onderzoeksactiviteiten. Vervolgens worden de resultaten van de verschillende onderzoeksactiviteiten gegeven. Achtereenvolgens komen aan de orde de resultaten van de enquête die voorafgaand aan ieder van de computertentamens is afgenomen, de resultaten van de enquête die nà ieder van de computertentamens is afgenomen, de reguliere onderwijsevaluatie van de vakken en de op het tentamen van ieder vak behaalde cijfers. Bij de resultaten van de onderwijsevaluaties en bij de tentamencijfers worden vergelijkingen getrokken tussen enerzijds studenten die bij een bepaald vak aan een computertentamen hebben deelgenomen en anderzijds studenten die bij dat vak aan een papieren tentamen hebben deelgenomen. Het hoofdstuk eindigt met een beschrijving van de ervaringen van de betrokken docenten met het afnemen van deze computertentamens.

8

4.1. Deelnemersaantallen Tabel 1 geeft per vak overzichten van studenten die aan de onderzoeksactiviteiten bij dat vak hebben deelgenomen. Tevens wordt in de kolom ‘aantal unieke deelnemers’ per onderzoeksactiviteit aangegeven hoeveel studenten tenminste één keer aan de betreffende onderzoeksactiviteit heeft deelgenomen, over de vakken heen bekeken. Tabel 1. Aantal deelnemers bij de verschillende metingen voor de verschillende vakken PFE RF SR AR Aantal unieke deelnemers Inschrijvingen vak 899 1046 788 886 1127 Gemaakte tentamens 628 629 448 489 1114 Deelnemers computertentamen 46 69 29 40 129 Vragenlijsten vooraf 35 41 12 12 90 Vragenlijsten achteraf 35 56 12 23 110 Onderwijsevaluaties 350 283 179 195 588 Computertentamen & 43 37 10 24 76 onderwijsevaluatie

In deze pilot is informatie verzameld bij in totaal 1127 studenten. In totaal 1114 van deze studenten hebben aan één of meer van de vier tentamens meegedaan. Van het totaal aantal studenten hebben 129 studenten deelgenomen aan één of meer tentamens per computer. Nadere analyse laat zien dat van deze groep studenten 90 studenten aan één, 27 studenten aan twee, 8 studenten aan drie en 4 studenten aan vier computertentamens meegedaan. Als onderdeel van de pilot zijn verschillende vragenlijsten bij studenten afgenomen. Alle studenten die zich voor een bepaald computertentamen hadden ingeschreven kregen vooraf een vragenlijst (zie bijlage 1) en achteraf een vragenlijst (zie bijlage 2) voorgelegd. De vragenlijsten vooraf zijn ingevuld door in totaal 90 studenten, van wie 6 studenten de vragenlijst 2 keer en 2 studenten de vragenlijst 3 keer invulden. De vragenlijst achteraf is ingevuld door 110 studenten, van wie 14 studenten de vragenlijst 2 keer en 1 student de vragenlijst 3 keer invulden. Naast de vragenlijsten die tijdens de pilot zijn afgenomen hebben alle studenten die zich voor een vak hadden ingeschreven het verzoek gekregen de vragenlijst voor de reguliere facultaire onderwijsevaluatie van FR in te vullen. In totaal 588 studenten hebben één of meer onderwijsevaluaties ingevuld, van wie 360 studenten voor één vak, 108 voor twee vakken, 49 voor drie vakken en 71 voor alle vier vakken. Bij ieder vak is een beperkt aantal studenten dat zowel aan het computertentamen voor het betreffende vak heeft deelgenomen, als de onderwijsevaluaties heeft ingevuld. In totaal zijn dat 76 studenten, waarvan 52 studenten voor één vak, 14 studenten voor twee vakken, 6 studenten voor 3 vakken en 4 studenten voor alle 4 vakken. 4.2. Enquête vooraf De vragenlijsten vooraf zijn ingevuld door in totaal 90 studenten, van wie 6 studenten de vragenlijst 2 keer en 2 studenten de vragenlijst 3 keer invulden.

9

Tabel 2 geeft per tentamen een overzicht van de mate waarin de studenten zichzelf ICT-vaardig vinden. Hierbij is een onderscheid gemaakt naar geslacht. Het overzicht maakt duidelijk dat de deelnemers aan de computertentamens zichzelf redelijk tot zeer vaardig vinden in het gebruik van ICT. Geen enkele van de deelnemers geeft van zichzelf aan weinig computerervaring te hebben. Mannen zijn over hun computervaardigheid iets positiever dan vrouwen. Tabel 2: ICT-vaardigheid deelnemers verdeeld naar sekse en naar vak.

2 9 11

1 1

Zeer vaardig

8 6 14

Zeer vaardig

8 19 27

AR Redelijk vaardig

7

Redelijk vaardig

7

SR

Zeer vaardig

10 18 28

RF Redelijk vaardig

Man Vrouw Totaal

Zeer vaardig

Redelijk vaardig

PFE

1 5 6

2 4 6

De deelnemers zijn middels een open vraag gepolst over hun motieven om aan de pilot met computertentamens deel te nemen (zie tabel 3). De belangrijkste motieven die men noemt zijn gerelateerd aan het gebruik van een tekstverwerker: de studenten verwachten in vergelijking met pen en papier met een tekstverwerker sneller en netter te kunnen werken, terwijl ze bovendien verwachten de teksten gemakkelijker te kunnen verbeteren. Ze vinden het werken met een tekstverwerker makkelijker en prettiger. Daarnaast noemt een aantal studenten als motief dat ze graag eens het afleggen van een tentamen middels een computer willen uitproberen. Tabel 3. Motieven om aan de computertentamens deel te nemen Motief PFE RF SR AR Sneller 17 18 6 5 Netter 16 16 1 2 Gemakkelijk verbeteren 8 16 4 2 Uitproberen 6 7 2 4 Makkelijker 4 3 2 2 Fysiek prettiger 4 4 1 2 Fijner 3 1 1 1 Overzichtelijker 3

Totaal 46 35 30 19 11 11 6 3

In de enquête is gevraagd naar de voordelen die men van computertentamens verwacht (tabel 4). De meest genoemde voordelen die deze studenten verwachten liggen ook in de lijn van tekstverwerking. Het gebruik van een tekstverwerker leidt naar verwachting zowel tot verbetering van de teksten zelf (betere leesbaar, beter na te kijken en overzichtelijker) als tot verbetering van het schrijfproces (sneller, gemakkelijk te verbeteren en fysiek prettiger). Verder valt op dat een aantal studenten bij het 1e tentamen nog dacht dat het nakijken van het tentamen door de docenten bij een computertentamen sneller zou gaan dan bij een pen-en-papier tentamen. Die verwachting bleek echter niet uit te komen en bij de volgende tentamens speelde dat punt steeds minder. 10

Tabel 4. Verwachte voordelen van het afleggen van een tentamen per computer Voordeel PFE RF SR Leesbaarheid 23 11 3 Snelheid 21 29 5 Gemakkelijk verbeteren 16 19 6 Sneller nakijken 5 3 1 Fysiek prettiger 4 4 1 Fijner 2 Omgeving prettiger 1 1 Overzichtelijkheid 8 Betere kwaliteit van antwoorden 4

AR 5 8 2 2 1

Totaal 41 63 43 9 11 2 3 8 4

Tenslotte is gevraagd naar nadelen die men van computertentamens verwacht (tabel 5). De belangrijkste nadelen die werden genoemd zijn technische storingen (waardoor bijvoorbeeld ingegeven antwoorden niet worden opgeslagen) en storende geluiden (waardoor men zich moeilijker kan concentreren). Het aantal studenten dat technische problemen verwacht loopt na verloop van tijd terug. De angst voor storende geluiden wordt vooral bij RF genoemd, met als waarschijnlijke oorzaak het feit dat de studenten tijdens het 1e tentamen last hadden van storende boorgeluiden. In vergelijking met de aantallen voordelen werden er beduidend minder vaak nadelen genoemd. De groep deelnemers ziet waarschijnlijk meer voordelen dan nadelen aan het afleggen van tentamens per computer. Tabel 5. Verwachte nadelen van het afleggen van een tentamen per computer Nadeel PFE RF SR (verwachte) technische problemen 17 11 3 Ruimtegebrek Storende geluiden Opstartproblemen/onbekendheid Tekeningen maken moeilijker ICT-vaardigheden beperkt Formuleren lastiger Fysieke problemen

6 4 3 3 2 1

13 5

AR

Totaal 31

1 1

7 18 5 3 5 2 4

2 3

4.3. Enquête Achteraf De vragenlijst achteraf is ingevuld door 110 studenten, van wie 14 studenten de vragenlijst 2 keer en 1 student de vragenlijst 3 keer invulden. Onderdeel van deze vragenlijst waren 10 stellingen. De studenten werden gevraagd aan te geven in welke mate zij het met deze stellingen eens zijn. Tabel 6 bevat de gemiddelden en standaarddeviaties van de antwoorden, gerangschikt per vak. Tabel 6.Meningen over de computertentamens op basis van stellingen. Stelling PFE RF M SD M (N=35) (N=56) 1. Het typen van antwoorden kost mij minder tijd dan het schrijven van antwoorden. 2. Het formuleren van antwoorden kost mij op de computer minder tijd dan op papier. 3. Het verbeteren van antwoorden op de

SD

SR M (N=12)

SD

AR M (N=23)

SD

3.40

1.29

4.48

.69

4.42

.99

4.43

.79

3.00

1.16

4.18

.83

4.25

.86

4.00

1.04

4.57

.70

4.89

.31

5.00

.00

4.87

.34

11

computer is gemakkelijker dan op papier. 4. De procedure voor de afname van het 2.20 1.11 3.73 tentamen was duidelijk. 5. Mijn werkplek achter de computer was 4.00 .97 4.30 groot genoeg. 6. Ik had geen probleem met het opslaan van 4.03 .67 4.39 de antwoorden. 7. Ik werd afgeleid door storende geluiden in 3.49 1.27 2.59 mijn omgeving. 8. Ik vond het maken van een tekening op de 4.53 .85 2.714 computer lastig. 9. Ik vond de combinatie van het lezen van 2.94 1.16 3.55 vragen op papier en het beantwoorden op de computer prettig. 10. Ik zou de volgende keer opnieuw kiezen 3.31 1.3 4.32 voor de afname per computer. De schaalverdeling loopt van 1 (meest oneens) tot 5 (meest eens).

1.07

4.58

.52

4.04

1.02

.66

4.67

.49

4.30

.77

.62

4.42

.67

4.43

.59

1.19

2.67

1.3

2.39

1.07

.49

Nvt

2.675

1.63

.97

3.75

1.22

3.70

.93

.81

4.42

.79

4.61

.78

De eerste drie stellingen hebben betrekking op de motieven om deel te nemen. Deze motieven hebben betrekking op tekstverwerken per computer. De deelnemende studenten zijn het er duidelijk over eens dat het verbeteren van antwoorden met een tekstverwerker gemakkelijk is dan op papier. Daarnaast vinden de studenten die aan de laatste drie computertentamens hebben meegedaan dat typen op de computer minder tijd kost dan schrijven op papier, terwijl ook het formuleren van antwoorden op de computer sneller gaat dan op papier. Over de duidelijkheid van de procedure van de afname waren de studenten bij het 1e tentamen nog tamelijk negatief. Bij de drie latere tentamens was dat geen probleem meer. Mogelijk heeft dit te maken met gewenning: zowel voor de studenten als voor de begeleiders die de procedure moesten toelichten. Verder valt op dat het opslaan van de gegevens niet als probleem wordt ervaren en dat de studenten in de gebruikte computerzalen voldoende werkruimte hebben. De studenten staan over vrij neutraal tegenover de combinatie van tentamenvragen op papier en antwoorden middels de computer. Bij het 1e tentamen hadden verschillende studenten moeite met het tekenen van een figuur op de computer, bijvoorbeeld van een schematisch overzicht. Bij de latere tentamens was dat probleem minder, wellicht vanwege het feit dat er bij die tentamens geen figuren nodig waren. Het tekenen van figuren of schema’s blijft een aandachtspunt. Tijdens het 1e tentamen was er een aantal deelnemers dat last had van storende geluiden. Bij de drie daaropvolgende tentamens trad dat probleem nauwelijks op. Bij het 1e tentamen gaf ruim de helft van de studenten aan dat ze in de toekomst opnieuw zullen kiezen voor het afleggen van tentamens per computer. Bij de drie volgende tentamens was de groep studenten daarover veel explicieter.

3

N=10; zonder niet van toepassing N=7; zonder niet van toepassing 5 N=6; zonder niet van toepassing 4

12

Samenvattend blijkt uit de resultaten dat de studenten bij het 1e tentamen minder positief waren over het afnemen van tentamens per computer, dan bij de drie daaropvolgende tentamens. Dat is duidelijk te zien in figuur 1, waarin de antwoorden grafisch worden weergegeven. Figuur 1. Meningen over stellingen bij de vier computertentamens Typen kost minder tijd Formuleren computer kost minder tijd Verbeteren computer gemakkelijker Procedure was duidelijk

PFE RF

Werkplek groot genoeg

SR AR

Geen problemen opslaan Afgeleid door storende geluiden Combinatie vragen op papier prettig Opnieuw computer tentamen 1,0

1,5

2,0

2,5

3,0

3,5

4,0

4,5

5,0

De enquête achteraf kent ook drie open vragen. Met deze open vragen wordt achtereenvolgens ingegaan op de positieve aspecten van computertentamens, op de negatieve aspecten daarvan en op mogelijke suggesties ter verbetering. Tabel 7 geeft een overzicht van positieve punten. Het gaat om punten die op tenminste 1 van de vier tentamens 2 keer worden genoemd. Uit het overzicht blijkt dat studenten, in overeenstemming met hun verwachtingen vooraf, met name positief zijn over vooral aspecten die met tekstverwerking te maken hebben: op de computer kan men gemakkelijker antwoorden verbeteren, sneller werken, overzichtelijker werken en beter leesbaar schrijven dan op papier. Tabel 7. Het als meest positieve genoemde punt van het afleggen van het tentamen per computer Totaal Positief punt PFE RF SR AR 75 verbeteren antwoorden 22 34 6 13 42 sneller typen 9 22 6 5 16 overzichtelijker 8 7 1 10 beter leesbaar 8 3 1 5 typen ipv schrijven 2 2 1 3 zoals in dagelijks leven 2 1 2 fijner 2 7 Geen kramp/ rugpijn 1 4 2 2 Gebruik pc als kladblok 2

13

Ontspannen sfeer/ goede werkomgeving Kleinere groep/zaal

2 2

2

4 1

8 3

Een overzicht van genoemde negatieve punten bevindt zich in tabel 8. De meest genoemde negatieve punten zijn het maximum aantal woorden en de geluidsoverlast. Het maximum aantal woorden heeft betrekking op de beperkte antwoordruimte die in het 1e tentamen bij een aantal vragen werd gehanteerd. De docent heeft dit gedaan om de studenten te dwingen om kort en bondig te formuleren. Mogelijk is de ruimte te nauw afgemeten. De geluidsoverlast heeft betrekking om boorgeluiden, die juist op het moment van de tentamenafname te horen waren. Dit zou overigens ook bij een papieren afname kunnen gebeuren. Het is aannemelijk dat de kans op storende boorgeluiden bij papieren afnamen net zo groot is als bij afnamen per computer. Tabel 8. Het als meest negatieve genoemde punt van het afleggen van het tentamen per computer Negatief punt PFE RF SR AR Totaal 13 maximum aantal woorden 13 8 later begonnen/ lange voorbereiding 8 5 onrustig & rumoerig 4 1 7 combinatie typen/wettenbundel/ vragen op papier 3 3 1 3 geen vaste layout 2 1 2 tijd kwijt aan computer gerelateerde zaken 2 2 surveillanten niet goed voorbereid 2 2 switchen papier/beeldscherm 2 3 procedure onduidelijk 1 2 1 overige deelnemers met gebrek aan ICT-ervaring 1 6 geen zekerheid ontvangst tentamen 1 3 2 21 geluidsoverlast 1 11 4 5 6 mc-vragen op papier 6 5 Ontbreken vragen 5 6 (angst voor) technische problemen 2 4 2 Onwennig 2 2 Ruimtegebrek 2

Tenslotte is in de enquête achteraf gevraagd naar mogelijke suggesties ter verbetering van de computertentamens. Dit heeft een lange lijst met suggesties opgeleverd. Voorbeelden van gegeven suggesties zijn: • Computerzalen eerder open stellen • Vragen ook in digitale vorm aanbieden • Checken op werkzaamheden rond de tentamenzalen • Wettenbundel digitaal beschikbaar stellen • Bevestiging van ontvangen antwoorden geven Alle gegeven suggesties zijn integraal overgenomen in bijlage 3.

14

4.4. Onderwijsevaluatie In totaal 588 studenten hebben één of meer onderwijsevaluaties ingevuld, van wie 360 studenten voor één vak, 108 voor twee vakken, 49 voor drie vakken en 71 voor alle vier vakken. In de onderwijsevaluaties is aan de studenten die niet aan de pilot hebben deelgenomen gevraagd waarom ze dat niet gedaan hebben. Tabel 9 bevat een lijst van genoemde redenen. De lijst van genoemde redenen is lang. Het is mogelijk om in deze lijst een aantal categorieën te onderscheiden. Een eerste categorie omvat redenen die te maken hebben met het mijden van risico. Voorbeelden van dergelijke redenen zijn dat men bij een tentamen geen proefkonijn wil zijn (120 keer genoemd) en dat men bang is voor mogelijke computerproblemen (62 keer genoemd). Een tweede categorie heeft te maken met het karakter van tekstverwerken. Voorbeelden van deze redenen zijn het sneller kunnen schrijven dan typen (69 keer), het liever schrijven dan typen (53 keer), het beter kunnen concentreren op papier dan op het computerscherm (20 keer), het liever lezen van papier dan van een computerscherm (13 keer) en het beter kunnen schrijven dan typen (10 keer). Een derde categorie bevat redenen die te maken hebben met de fysieke kant van het werken in een computerzaal. Voorbeelden hiervan zijn de angst voor storende geluiden (62 keer genoemd), fysieke problemen met ogen of RSI (28 keer) en ruimtegebrek aan de computertafels (26 keer). Tabel 9. Redenen om niet deel te nemen aan de computertentamens Redenen om niet deel te nemen PFE RF Experiment/nieuwigheid/geen proefkonijn 46 33 Schrijven sneller dan typen 34 18 Angst voor problemen computer (wissen, vastlopen) 30 18 Storende geluiden (getik, gezoem) 17 15 Schrijf liever 17 18 Fysieke problemen (ogen, rsi) 12 7 Ruimtegebrek (combinatie met wetboek) 11 2 Tekenen op papier makkelijker 22 Beter concentreren op papier 7 6 Niet op de hoogte 6 3 Lezen op papier fijner 3 5 Schrijven beter dan typen/ type vaardigheid/ ICT vaardigheid 4 Negatieve ervaringen/ geluiden 4 Duidelijk handschrift 1 6 Geen nut/ geen probleem huidige vorm 1 Kwaliteit antwoorden op computer lager 4 1 Beperking aantal woorden op pc Sfeer tentamenzaal ontbreekt 2 1 Computer niet fijn/ al genoeg achter computer Winst bij dit vak niet zo hoog (niet zo veel schrijven) 3 Tijdnood door netter formuleren antwoorden 2 1 Computerzaal geen relaxte omgeving 1 2 Onduidelijk 1 1 Bladeren makkelijker dan scrollen/ 1

SR 17 7

AR 24 10

17 9 5 5

14 13 9 4 8

7 6 3

2 2

6 2 1 3 3 1 4

2 2 2

Totaal 120 69 62 62 53 28 26 22 20 17 13 10 8 7 6 5 5 4 4 3 3 3 2

1

15

overzichtelijker Eten en drinken niet mogelijk Verbeteren makkelijker Onhandig

1 1 1

1

2 2 1 1

Het is overigens interessant om de redenen die aangevoerd worden om niet deel te nemen aan de pilot te vergelijken met de redenen die genoemd worden om wel aan de pilot deel te nemen. Deze staan vermeld in tabel 10 (en eerder al in de tabellen 3, 4 en 7). Een belangrijke categorie van redenen om aan de pilot deel te nemen heeft te maken met het karakter van tekstverwerken. Voorbeelden van genoemde redenen in deze categorie zijn het sneller kunnen typen dan schrijven, het kunnen verbeteren van antwoorden, het vermijden van problemen vanwege een onleesbaar handschrift, het makkelijker kunnen formuleren op de computer dan op papier en het beter kunnen schrijven met de computer dan op papier. Tabel 10. Redenen om wel deel te nemen aan de computertentamens Reden PFE RF Typen sneller 7 7 Verbetermogelijkheden 3 8 Onleesbaar handschrift 9 3 Benieuwd 3 3 Makkelijker formuleren 1 3 Typen beter dan schrijven 1 Werk liever op pc 1 Impulsief 1 Schrijf veel 1

SR 2 3

AR 6 4 2 1

1 1

1

Totaal 22 18 14 7 4 3 2 1 1

Het is duidelijk dat het tekstverwerken een belangrijke rol speelt in de motieven van studenten, zowel om aan de pilot deel te nemen als om niet aan de pilot deel te nemen. Studenten die aan de pilot meedoen vinden van zichzelf vaak dat ze beter kunnen tekstverwerken dan typen, terwijl studenten die niet aan de pilot deelnemen juist van zichzelf vinden dat ze beter kunnen schrijven op papier dan op de computer. In de onderwijsevaluaties is gevraagd naar de mening van de studenten over een aantal aspecten van het tentamen (zoals moeilijkheid van het tentamen, duidelijkheid vooraf over het soort tentamenvragen, spreiding van de tentamenvragen over de leerstof, formulering van de tentamenvragen en algeheel oordeel over het tentamen). Darnaast is gevraagd om een eindoordeel over het vak te geven. Deze meningen worden per vak weergegeven in tabel 11. Hierbij is een onderscheid gemaakt naar enerzijds studenten die aan het computertentamen deelnamen en anderzijds studenten die aan het schriftelijk tentamen deelnamen.

16

Tabel 11. Meningen over het tentamen en totaaloordelen over het vak

Schriftelijk tentamen M (n=248

Computer tentamen M (n=7

Schriftelijk tentamen M (n=172

Computer tentamen M (n=16)

Schriftelijk tentamen M (n=179)

AR

Computer tentamen M (n=35

SR

Schriftelijk tentamen M (n=318)

Moeilijkheid tentamen6 Duidelijkheid type tentamenvragen Spreiding tentamenvragen over leerstof Heldere formulering tentamenvragen Totaaloordeel tentamen Totaaloordeel vak

RF

Computer tentamen M (n=32)

PFE

3.66 2.75

4.007 3.08

3.77 2.63

3.61 2.71

3.71 3.14

3.49 2.81

3.81 2.88

3.79 2.98

2.97

3.20

2.66

2.65

3.71

2.918

3.38

3.37

2.87

2.93

3.03

2.86

2.86

2.77

3.19

3.18

3.34 2.56

3.839 2.56

2.97 2.57

2.95 2.66

3.43 2.71

2.93 2.48

3.50 2.44

3.34 2.43

De meningen van de studenten die voor een vak aan het papieren tentamen hebben deelgenomen zijn gelijk aan de meningen van studenten die voor dat vak aan het computertentamen hebben deelgenomen. Hierop zijn slechts 2 uitzonderingen gevonden, beiden bij het vak PFE. Studenten die aan het computertentamen van PFE deelnamen vonden het tentamen makkelijker dan studenten die aan het schriftelijk tentamen van dit vak deelnamen. Het totaaloordeel over het tentamen van de studenten die aan het computertentamen deelnamen was ook iets positiever dan het oordeel van de andere studenten. Een mogelijke oorzaak hiervoor is het nieuwheideffect: een aantal studenten hebben het deelnemen aan een experiment als prettig ervaren. Bij de volgende drie tentamens, waarbij het computertentamen niet meer helemaal nieuw was, is dit effect ook niet meer zichtbaar. Overigens leiden deze verschillen niet tot verschillen in behaalde tentamencijfers. 4.5. Tentamencijfers De cijfers van de studenten die voor een vak aan het computertentamen hebben deelgenomen zijn vergeleken met de cijfers van de studenten die aan het pen-enpapiertentamen van dat vak hebben deelgenomen (zie tabel 12). Het blijkt dat de tentamenresultaten van de verschillende groepen gelijk te zijn: bij geen van de vakken zijn er tussen de beide groepen verschillen in tentamencijfers gevonden.

6

Alle schalen zijn aflopende 5-puntschalen, met uitzondering van Moeilijkheid Tentamen dat een oplopende 5-puntschaal is 7 p<.05 8 De varianties kunnen hier niet gelijk worden verondersteld 9 p<.01

17

Tabel 12. Cijfers

Schriftelijk tentamen M (n=560)

Computer tentamen M (n=29)

Schriftelijk tentamen M (n=418)

Computer tentamen M (n=40)

Schriftelijk tentamen M (n=449)

AR

Computer tentamen M (n=69)

SR

Schriftelijk tentamen M (n=582)

Behaald cijfer10

RF

Computer tentamen M (n=46)

PFE

6.09

6.38

5.74

5.59

5.66

5.70

4.83

5.19

4.6. Docentenpanel De docenten hebben aan de pilot met computertentamens meegedaan omdat ze nieuwsgierig zijn naar nieuwe mogelijkheden. Aan de computertentamens hebben docenten vooral positieve ervaringen overgehouden. De leesbaarheid van de ingeleverde computertentamens was heel goed, beter dan bij geschreven tentamens. Verder leek de omvang van de teksten minder te zijn. Voornamelijk bij het 1e tentamen waren er ook negatieve ervaringen. De pilot kostte de docenten van dat vak meer tijd dan ze van tevoren hadden verwacht. Bovendien kregen ze veel klachten van studenten, met name over de instructie aan het begin van het tentamen. Bij alle tentamens viel op dat het aantal slechte handschriften in de stapel pen-en-papier tentamens niet opvallend minder was dan voorheen. Naar het oordeel van de docenten was de kwaliteit van de antwoorden van de computertentamens gelijk aan die van de pen-en-papier tentamens. Al met al willen de docenten een volgende keer weer meewerken aan het afnemen van computertentamens. Zelf verwachten ze geen tijdwinst, maar ze beschouwen het computertentamen als een service aan hun studenten. Wel hebben ze enkele suggesties voor de toekomstige computertentamens: • Print de tentamens uit volgens een vast format dat voor alle ingeleverde tentamens hetzelfde is (bijvoorbeeld met de naam van de student op alle geprinte pagina’s). Op die manier kan een docent op basis van de bladspiegel snel voor iedere student diens antwoord op een bepaalde vraag vinden. • Gebruik de computer om zware onvoldoendes uit te selecteren, waardoor de nakijklast voor de docent minder wordt. • Maak de wetsvoorstellen digitaal beschikbaar.

10

10-puntsschaal, oplopend

18

Bijlage 1. Vragenlijst voorafgaand aan een computertentamen Geachte student, U gaat aanstaande woensdag het tentamen Personen-, familie en erfrecht per computer afleggen. Dit is nieuw binnen de Faculteit Rechtsgeleerdheid. Het experiment maakt onderdeel uit van een breder onderzoek naar de mogelijkheden om tentamens per computer af te nemen. Belangrijk onderdeel van het onderzoek is de mening van studenten over de afname per computer. We willen u daarom vriendelijk, maar dringend verzoeken om onderstaande vragen te beantwoorden. Alle gegevens zullen anoniem worden verwerkt. Alvast vriendelijk dank voor uw medewerking. Vragen 1. Wat is uw geslacht? 2. Wat is uw belangrijkste motief om deel te nemen aan dit experiment? 3. Welke van onderstaande typeringen is op u het meest van toepassing? - Ik heb nog weinig computerervaring. Het kost me dan ook nog veel tijd om met computers te werken en heb over het algemeen minder verstand van computers dan mijn medestudenten. - Ik ben redelijk vaardig in het werken met computers. Het werken met standaardprogramma’s (Word, Excel, e.d.) gaat me goed af. - Ik ben zeer computervaardig. Ik gebruik veel verschillende programma’s en heb over het algemeen meer verstand van computers dan mijn medestudenten. 4. Welke voordelen verwacht u van het afleggen van een tentamen per computer? 5. Welke nadelen verwacht u van het afleggen van een tentamen per computer?

19

Bijlage 2. Vragenlijst na afloop van een computertentamen Geachte student, U heeft onlangs het tentamen Personen-, familie en erfrecht per computer afgelegd. Dit is nieuw binnen de Faculteit Rechtsgeleerdheid. Het experiment maakt onderdeel uit van een breder onderzoek naar de mogelijkheden om tentamens per computer af te nemen. Belangrijk onderdeel van het onderzoek is de mening van studenten over de afname per computer. We willen u daarom vriendelijk, maar dringend verzoeken om onderstaande vragen te beantwoorden. Alle gegevens zullen anoniem worden verwerkt. Alvast vriendelijk dank voor uw medewerking. Vragen Wij willen graag weten hoe u de afname van het tentamen per computer heeft ervaren. Geef aan in welke mate u het eens/ oneens bent met de volgende stellingen. 1. Het typen van antwoorden kost mij minder tijd dan het schrijven van antwoorden. 2. Het formuleren van antwoorden kost mij op de computer minder tijd dan op papier. 3. Het verbeteren van antwoorden op de computer is gemakkelijker dan op papier. 4. De procedure voor de afname van het tentamen was duidelijk. 5. Mijn werkplek achter de computer was groot genoeg. 6. Ik had geen probleem met het opslaan van de antwoorden. 7. Ik werd afgeleid door storende geluiden in mijn omgeving. 8. Ik vond het maken van een tekening op de computer lastig. 9. Ik vond de combinatie van het lezen van vragen op papier en het beantwoorden op de computer prettig 10. Ik zou de volgende keer opnieuw kiezen voor de afname per computer. Tot slot drie open vragen: 11. Wat vond u het meest positieve punt van het afleggen van het tentamen per computer? 12. Wat vond u het meest negatieve punt van het afleggen van het tentamen per computer? 13. Heeft u verder nog opmerkingen?

20

Bijlage 3. Lijst met suggesties ter verbetering van de computertentamens

Opmerkingen/ suggesties voor verbetering Computerzalen eerder vrij/ eerder in zaal Vragen ook in digitale vorm Checken op werkzaamheden (problemen boren) Duidelijke instructies/ inloggen Realistische instructies Surveillanten beter informeren Compensatie tijd achteraf Restricties vooraf bekend ICT-medewerker in zaal Meer tijd voor tentamen Lastig voor Mac gebruikers Wettenbundel digitaal Uitwerkingen uitprinten/doormailen Toiletbezoek regelen Bevestiging ontvangen antwoorden Waarschijnlijk niet voor iedereen geschikt Docent aanwezig Meer geschikt voor vak als rechtsfilosofie met langere verhalen RSI meter uit Tekstkader ipv max woorden Tafels met meer ruimte Eten en drinken toestaan

PFE 5 4 4 3 3 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1

RF

SR

AR

1

1

1

1

1

1

1 1

21

Bijlage 4. Voorbeelden van berichten aan studenten Uitnodiging deelname Aan de studenten die op 24 mei zullen deelnemen aan het tentamen Personen-, familie- en erfrecht. Binnen de faculteit der rechtgeleerdheid is de eerste fase gestart van een onderzoek naar de mogelijkheden om tentamens niet meer met de hand geschreven op papier te laten plaatsvinden, maar achter de computer (vooralsnog met behulp van het vertrouwde Word-programma). Het vak Personen-, familie- en erfrecht is het eerste vak waarmee een - nog kleinschalig - experiment zal worden uitgevoerd. Ongeveer 100 studenten van het vak kunnen, als ze dat willen, het tentamen op dezelfde tijd (24 mei 13.30 uur), maar op een andere plaats, namelijk in de PC-rooms 1 en 2 van het Tgebouw op de computer uitvoeren. Ze ontvangen hetzelfde tentamen, het wordt op de normale manier nagekeken, alleen de docent ontvangt de uitwerking in getypte vorm in plaats van handgeschreven. Tijdens het tentamen is het overigens niet mogelijk gebruik te maken van computerfaciliteiten zoals internet. Studenten, die zich voor het tentamen PFE op 24 mei in Osiris hebben ingeschreven en die aan dit experiment willen deelnemen, kunnen zich hier aanmelden. Er is plaats voor bijna 100 studenten. Er geldt "Wie het eerst komt, het eerst maalt". Voor eventuele vragen hierover kunt u zich richten tot Rob Kampman, secretaris ICT-commissie faculteit der rechtsgeleerdheid ([email protected]) of Richard De Mulder, voorzitter van deze commissie ([email protected]).

Bericht vooraf Aan de studenten die op 24 mei zullen deelnemen aan het tentamen Personen-, familie- en erfrecht op de PC. U wordt voor uw tentamen verwacht in het T-gebouw in zaal 1 en 2. De zalen bereikt u via de roltrap. Na boven aangekomen te zijn gaat u linksaf en dan vindt u vlot deze zalen. Het tentamen vangt aan om 13:30 uur en u heeft de tijd tot 16:30 uur. Zorg dat u tijdig aanwezig bent. U ontvangt hetzelfde gedrukte examen als de andere studenten. De opdrachten kunt u maken met behulp van MS Word. Ter plekke zult u nadere instructies ontvangen. Omdat we graag willen weten hoe dit experiment verloopt en kritiek willen gebruiken, is er een speciaal (besloten) channel aangemaakt voor studenten en docenten die meedoen aan een of meerdere tentamens op de PC. Dit channel heet Exameninnovatie. U bent door uw deelname automatisch abonnee geworden van dit channel. Ga hier naar toe om mee te discussieren in het forum van het channel. We willen u ook graag al enkele vragen stellen voorafgaand aan het tentamen. We zouden het op prijs stellen als u de enquête die hier staat z.s.m. invult. Voor eventuele vragen hierover kunt u zich richten tot Rob Kampman, secretaris ICT-commissie faculteit der rechtsgeleerdheid ([email protected]) of Richard De Mulder, voorzitter van deze commissie ([email protected]).

22