o.oos/wl13030
Aan: College van Bestuur Van: Jos. van Wollingen Datum: 12 augustus 2013 Betreft: Inventarisatie elektronisch toetsen 1. Inleiding Tijdens het laatste bilo met Erasmus MC is onder andere gesproken over ‘digitaal toetsen’. Het Erasmus MC is al ver gevorderd met plannen op dit gebied, maar wordt beperkt in de mogelijkheid daartoe. Ook kwam de vraag op welke faculteiten nu eigenlijk op welke wijze bezig zijn met deze vorm van toetsen, met welke ambitie en of zij ook dezelfde problemen ervaren. Het College van Bestuur heeft een inventarisatie hiervan toegezegd. Verder is afgesproken dat een werkgroep wordt ingesteld die de beperkingen bij het elektronisch afnemen van toetsen gaat oplossen die Erasmus MC en mogelijk ook andere faculteiten ondervinden. Deze notitie beoogt antwoord te geven op de vragen naar de stand van zaken bij andere faculteiten. De inventarisatie wordt gevolgd door een voorstel hoe de EUR mede in het kader van de strategie 2013-2018 verder kan gaan met dit onderwerp. De realisatie van synergie staat daarbij voorop. 2. Inventarisatie gebruik en ambitie digitaal toetsen Voor het goede begrip is het noodzakelijk kort stil te staan bij twee vormen van toetsen: het summatief toetsen en formatief toetsen. Summatief toetsen ofwel het toetsen van de opgedane kennis leidt tot een cijfer voor het getoetste studieonderdeel. Dergelijke toetsen worden om fraude uit te sluiten in een gecontroleerde omgeving afgenomen en zijn daarmee dus tijd en plaats gebonden. Formatieve toetsen, ook wel het toetsen voor de kennis genoemd, zijn in principe tijd en plaats onafhankelijk en kunnen dus 24/7 worden afgelegd. Deze toetsvorm zit dicht op het onderwijs en wordt ingezet om studenten aan het werk te krijgen en te houden, om als docent en student de studievoortgang te monitoren, of als ingangsvereiste voor de deelname aan een volgend onderwijsonderdeel. De resultaten van deze toetsen kunnen overigens wel onderdeel uitmaken van het uiteindelijke eindcijfer van het studieonderdeel. In de context van deze notitie gaat het om het doen van bovengenoemde toetsen met gebruikmaking van elektronische apparatuur, waarbij de toegang tot het internet al dan niet beperkt is. Vaak wordt in dit verband het summatief toetsen dan digitaal toetsen genoemd, terwijl het formatief toetsen als online toetsen wordt aangeduid. In het navolgende zijn alleen de termen summatief en formatief toetsen gebruikt, als onderdelen van elektronisch toetsen (e-assessment). De tabel in de bijlage geeft een overzicht van de stand van zaken van beide toetsvormen bij de verschillende organisatieonderdelen van de EUR. Het overzicht is tot stand gekomen op basis van contacten met functionarissen van deze organisatieonderdelen. De conclusie kan niet anders luiden dan dat het Erasmus MC voorligt op de andere faculteiten en instituten. Het maakt intensief gebruik van zowel summatieve als formatieve toetsen, terwijl op Woudestein alleen ESHCC en RSM gebruik maken van summatieve toetsen en ESE, ESL en RSM formatieve toetsen inzetten. 3. Plan van aanpak Door het verschil in ontwikkelingsfase tussen Erasmus MC en de meeste overige faculteiten en instituten is een eenduidig plan van aanpak lastig te formuleren. Daar waar Erasmus MC in zijn 2
streven naar het elektronisch afnemen van summatieve toetsen aanloopt tegen beperkingen op infrastructureel en facilitair vlak – het ontbreken van een toetszaal met 450 computers, een toegankelijke itembank, een dedicated toetssysteem ter vervanging van Blackboard en voldoende ondersteuning op IT-gebied – zijn de meeste andere organisatieonderdelen nog niet zo ver dat zij zich expliciet uitspreken voor het elektronisch afnemen van summatieve toetsen. In de strategie van de Erasmus Universiteit Rotterdam gaat e-learning een rol spelen. Het is daarom belangrijk het denken over elektronisch toetsen bij de andere faculteiten, instituten en overige organisatieonderdelen verder te helpen. De door het College van Bestuur toegezegde werkgroep kan dit bevorderen door bijvoorbeeld een kort informatietraject te verzorgen voor vooral opleidingsdirecteuren en voorzitters examencommissie, waarin de mogelijkheden en beperkingen van elektronisch toetsen en ook de ervaringen van de hierin vooroplopende faculteiten en zusterinstellingen aan de orde komen. Dit informatietraject leidt bij voorkeur tot het instellen van een EUR-brede werkgroep die zich beleidsmatig gaat bezighouden met elektronisch toetsen. De door het College van Bestuur toegezegde werkgroep kan dan als opdracht meekrijgen: het vaststellen van de omvang van de behoefte aan pc-faciliteiten voor het elektronisch afnemen van summatieve toetsen en de daarbij bijkomende facilitaire en technischorganisatorische aspecten, het informeren van de opleidingsdirecteuren en voorzitters examencommissie over de mogelijkheden van elektronisch toetsen, het opstellen van een business case, en het rapporteren aan het College van Bestuur. De bepaling van het toetssysteem en de database die daarbij het beste past is onderwerp van ‘Erasmusarts 2020: Beleid voor digitaal toetsen, opleiding geneeskunde’, een Erasmus MC intern project. De werkgroep kan worden samengesteld uit: vertegenwoordigers van Erasmus MC, een vertegenwoordiger van SSC ICT (infrastructuur), een vertegenwoordiger van SSC EFB (fysieke ruimte), een vertegenwoordiger van SSC OO&S (logistiek en organisatie), en een vertegenwoordiger van Risbo (expertise toetsen/elektronisch toetsen). De opleidingsdirecteur geneeskunde kan worden uitgenodigd het voorzitterschap op zich te nemen. Het secretariaat van de werkgroep kan door een beleidsmedewerker van SSC OO&S worden gevoerd. 4. Advies aan het College van Bestuur Het College van Bestuur wordt geadviseerd: Een werkgroep in te stellen met de in paragraaf 3. genoemde opdracht en samenstelling en voor 1 november 2013 te rapporteren aan het College van Bestuur. De opleidingsdirecteur geneeskunde uit te nodigen het voorzitterschap van de werkgroep op zich te nemen.
3
Bijlage
Tabel: Overzicht inzet summatieve en formatieve toetsen bij de organisatieonderdelen van de EUR Onderdeel Erasmus MC
Gebruik summatieve toetsen Taaltoets (Ba1)1
Gebruik formatieve toetsen Voorkennistoetsen (Ba2, Ma1)
Kennistoetsen basisvaardigheden (vóór coschappen)
Ingangstoetsen VO’s (Ba3)
Ambitie / opmerkingen Ambitie: summatief toetsen mogelijk maken met een dedicated toetssysteem in een toetszaal met 450 computers met gebruikmaking van een gebruikersvriendelijke database voor vragen.
Wekelijkse kennistoetsen (MSN)
ESE
Pre- en post toetsen (ICK- en MAK) (coschappen -
Toetsen vooralsnog uitgevoerd met behulp van Blackboard. Taaltoets (Ba1) O.a. Wiskunde Bedrijfseconomie Economie Gedragseconomie
Ambitie: Twijfel bij beleidsmakers over summatief toetsen. Fraudegevoeligheid, kunnen de softwareplatforms complexe vragen wel aan, is taalherkenning wel goed genoeg voor economie, wat is de benodigde investering en wat haal je eruit? Wegens fraudegevoeligheid geen summatieve toetsen. Maple T.A. wordt gebruikt voor het maken, afnemen en beheren van toetsen. Software minder geschikt voor talige antwoorden.
ESHCC
Taaltoets (Ba1) Statistiekonderwijs en methodenvakken in beperkte mate
Incidenteel ingezet bij sommige vakken
Resultaten van de formatieve toetsen tellen in beperkte mate mee in de eindbeoordeling van vakken. Ambitie: digitale toetsing van statistiek en methodenvakken zonder problemen laten verlopen. Ambitie: mogelijkheden verkennen om ook tentamens met open vragen digitaal af te nemen (papierbesparing, geen
1
De taaltoetsen worden onder regie van het Taal- en TrainingsCentrum uitgevoerd met behulp van SIN-Online en vinden plaats onder gecontroleerde omstandigheden in een pc-zaal. Bij EMC en ESHCC is het behalen van een minimale score voorwaarde voor het behalen van het BSA. Bij de andere faculteiten is de taaltoets formatief van karakter. ESL organiseert een eigen toets via SINonline in een afgeschermde ruimte zonder toegang tot internet. .
1
Onderdeel
Gebruik summatieve toetsen
Gebruik formatieve toetsen
Ambitie / opmerkingen onleesbare handschriften, correctiewerk gemakkelijker te verdelen etc.). Ambitie: mogelijkheden verkennen om mc-tentamens digitaal af te nemen.
ESL
-
Taaltoets (Ba1) Practicum Erasmus Law College (ELC) voor rechtsgeleerdheid, fiscaal recht, criminologie en het vrijdagmiddagonderwijs Public International Law (Ba-vak rechtsgeleerdheid en voor individuele ma-studenten International and European Public Law met achterstand) Arbeidsrecht (Ma)
Formatief toetsen heeft geen prioriteit. Ambitie: op termijn zoveel mogelijk tentamens in computerzaal. Op langere termijn ook ontwikkeling van meer distance learning en dus behoefte aan het afnemen van distance exams. ELC: modules met te maken opdrachten betreffende deels vaardigheden en kennis. Vanaf blok 1.7 moet 50% goed zijn beantwoord. LawWeb biedt deze mogelijkheid passend bij het kleine-groepen-onderwijs. Public International Law in een zelf ontwikkelde elektronische leeromgeving: 20-25 e-learnings met mctoets aan einde. Ook forum waarop overstellingen gediscussieerd wordt/moet worden. Arbeidsrecht: in drie van de acht blokken vóór elk college 10 mc vragen te beantwoorden over collegestof en literatuur. Als bij 6 van de 8 toetsen een voldoende is behaald levert dit één punt op bij het eindtentamen. SIN-Online kan randomiseren en is zowel digitaal als online inzetbaar. Fraude checken mogelijk bij SIN-Online en LawWeb.
EUC FSW
-
Taaltoets (Ba1)
CODAS vergemakkelijkt digitaal nakijken en beoordelen van ingescande toetsen en checkt op plagiaat. Ambitie: toetsbeleid nog in ontwikkeling. Ambitie: facultair project ‘verbeteren kwaliteit van toetsen’ is gericht op de ontwikkeling van een itembank. Als dit is gerealiseerd, ligt de overstap naar digitaal summatief
2
Onderdeel
Gebruik summatieve toetsen
Gebruik formatieve toetsen
FW
-
-
RSM
ICT-vaardigheden (BA/IBA)
Met behulp van Maple T.A.: Wiskunde (BA/IBA) Microeconomics and markets (IBA) Macro-economische en institutionele context (IBA) Met behulp van Connect van McGraw-Hill: Inleiding in de bedrijfskunde (BA/IBA) Financiële processen
iBMG
Experiment in Ba1 gedaan bij statistiek op basis van een itembank met vragen.
Ambitie / opmerkingen toetsen in de rede. Alleen de faciliteiten worden als probleem gezien. Ambitie: geen om summatief en/of formatief toetsen mogelijk te maken. In voorkomende gevallen wordt Blackboard momenteel ingezet voor opdrachten met het oog op de leesbaarheid van uitwerkingen. Ambitie: geen geëxpliciteerde ambitie In het algemeen is een bepaalde bonus te behalen bij het tentamen als een bepaalde prestatie is neergelegd. Ook wordt voor tussentijdse toetsen door docenten gebruik gemaakt van MyLab van Pearson en Blackboard.
Ambitie: examencommissie staat nogal huiverig tegenover summatief toetsen. Experiment statistiek niet echt geslaagd.
ISS
-
-
Wel ideeën op het gebied van e-learning. Geen geëxpliciteerde ambitie.
Taal- en TrainingsCentrum
Organisatie taaltoetsen in pc-zaal voor de faculteiten EMC en ESHCC
Organisatie taaltoetsen in pc-zaal voor de faculteiten ESE en FSW
Alleen uploaden werkstukken en scannen op plagiaat In het kader van blended learning wordt elektronisch toetsen steeds belangrijker.
Studeren met een functiebeper-
Studenten met een functiebeperking kunnen met toestemming van hun examencommissie in GB-29
Quick placement, een adaptieve toets Engels, als onderdeel van de intake voor studenten en personeel EUR. n.v.t.
Quick placement toets kan ook in een gecontroleerde omgeving worden afgenomen.
Ambitie: uitbreiding van de mogelijkheid van het doen van summatieve toetsen voor studenten met een functiebeperking.
3
Onderdeel king
Risbo
Gebruik summatieve toetsen summatieve toetsen doen.
n.v.t.
Gebruik formatieve toetsen
n.v.t.
Ambitie / opmerkingen Gaat om toetsen in Word afgelegd met behulp van een pc in een gecontroleerde omgeving. Onderwijskundig didactische expertise, kwaliteit van items en toetsconstructie. Scannen antwoordformulieren, elektronisch nakijken en nabespreking met docenten van de huidige paper & pencil toetsen. Analysemogelijkheid van ca. 18.000 toetsen opgeslagen in het elektronische systeem van Risbo met rapportagemogelijkheid over de toetskwaliteit op het niveau van de EUR, faculteiten, opleidingen en docenten.
4
