Protocol digitaal werkboek

Protocol digitaal werkboek

Universiteit van Amsterdam Afdeling Psychologie

Inhoudsopgave

Voorwoord _________________________________________________________ 3 Het digitaal werkboek___________________________________________________ 3

1. Het opzetten van een digitaal werkboek ______________________________ 4 1.1 De structuur van het digitaal werkboek ________________________________ 4 1.2 Implementatie in het huidige onderwijs ________________________________ 5 1.3 De interactieve oefeningen____________________________________________ 5 1.3.1 Oefeningen plaatsen in Blackboard _________________________________________ 6 1.3.2 Zelf oefeningen maken ___________________________________________________ 6 1.3.3. Overige tips bij het maken van oefeningen __________________________________ 7

1.4 De Digitale Toetsen __________________________________________________ 8 1.4.1 Het gebruik van vragenpools ______________________________________________ 8 1.4.3 Het maken van een toets _________________________________________________ 10 1.4.4 Het gradecentre ________________________________________________________ 14 1.4.4.1 Kolommen organiseren ________________________________________________ 15 1.4.4.2 Grading Schemas______________________________________________________ 17

2. Het onderhouden van een digitaal werkboek _________________________ 19 2.1 Fouten herstellen in de toets _________________________________________ 19 2.2 Het gradecenter _____________________________________________________ 20 2.2.1 Icoon:

______________________________________________________________ 20

2.2.2 Icoon:

______________________________________________________________ 21

2.3 Herkansing instellen ________________________________________________ 21 2.3.1 Een herkansing geven voordat de deadline sluit. ____________________________ 22 2.3.2 Adaptive Release instellen _______________________________________________ 23 2.3.3 Adaptive Release checken ________________________________________________ 23 2.3.4 Adaptive release voor grote groepen ______________________________________ 24

2.4 Problemen met Maple T.A. __________________________________________ 26 2.4.1 Een herkansing instellen _________________________________________________ 26 2.4.2 Cijfers corrigeren _______________________________________________________ 28

3. Contactinformatie ________________________________________________ 29 Appendix _____________________________________________________________ 30 Checklist digitaal werkboek __________________________________________________ 30

Versie 1.1, december 2011

ICTO Psychologie—2/30

Voorwoord Het digitaal werkboek In het kader van studiesucces is de UvA in 2010 begonnen met het ontwikkelen van een digitaal werkboek voor eerstejaars psychologiestudenten. Het doel was om vanuit ICT een ondersteunende structuur te bieden, waarbinnen studenten gestimuleerd worden om continu met de stof bezig te zijn, waardoor er beter wordt gestudeerd, uitstelgedrag wordt voorkomen en studenten vanaf dag één aan het studeren zijn. Met dit doel voor ogen hebben we wekelijkse opdrachten aangeboden op Blackboard bestaande uit een interactieve oefening over de collegestof en een toets. We zijn begonnen met de eerste vakken van het studiejaar 2010-2011, Inleiding & Cognitie en Onderzoeksmethoden & Statistiek. Op basis van onze ervaringen, studentevaluaties, een panelgesprek en docentevaluaties hebben we het digitaal werkboek verder ontwikkeld en uitgebreid naar alle propedeusevakken. Inmiddels zijn we een jaar verder, zijn de kinderziektes aangepakt en hebben we een goed lopende digitale onderwijsvorm voor het propedeusejaar psychologie. Door de positieve resultaten en de groeiende interesse voor digitaal toetsen en e-learning in het hoger onderwijs delen wij graag onze kennis en ervaring van het afgelopen jaar. Dit protocol geeft een overzicht van praktische tips voor het opzetten en draaiende houden van een digitaal werkboek. Om onze ervaringen tot nu toe zo bruikbaar mogelijk te maken hebben we voor zowel de interactieve oefeningen als de toetsen aangegeven hoe wij deze hebben vormgegeven, welke Blackboard-instellingen we gebruikt hebben (incl. screenshots) en welke problemen je tegen kunt komen en hoe deze op te lossen. Vervolgens geven we een aantal praktische tips over wie en wat nodig is om een digitaal werkboek draaiende te houden gedurende een cursus. Het digitaal werkboek werd mogelijk gemaakt door Maartje Prevosth (conceptontwikkeling, coördinatie, implementatie en ontwikkeling), Peter Starreveld (conceptontwikkeling en inhoudelijke invulling), Caspar Groeneveld en Paul Lodder (technische ondersteuning), Klaas Visser (financiële ondersteuning), ICTO UvA (financiële ondersteuning) en de docenten (inhoudelijke invulling). M. Prevosth MSc Coördinator Digitaal Werkboek



1. Het opzetten van een digitaal werkboek 1.1 De structuur van het digitaal werkboek Bij het ontwerpen van het digitaal werkboek op een blackboard pagina van een cursus is het handig om de opdrachten volgens een bepaald format te ontwerpen, zodat de student kan wennen aan een bepaalde manier van opdracht afname. Het is aan te raden om dit format consistent te houden gedurende het jaar. De structuur van het digitaal werkboek op de UvA ziet er als volgt uit. Binnen de blackboardpagina van een cursus is een map aangemaakt waar de digitaal werkboek opdrachten in verschijnen op het moment dat ze door studenten gemaakt kunnen worden (zie Figuur 1.1). Daar staat ook een handleiding met FAQs en contactgegevens voor het geval van technische problemen. Elke week verschijnt er een opdracht die bestaat uit een digitale interactieve oefening die gedurende de hele week gemaakt kan worden. De oefening gaat over de collegestof van die week. Hoe deze oefeningen er precies uit zien staat onder paragraaf 1.3 beschreven. Naast de oefening is er een cumulatieve (de stof tot dan toe) multiple choice (MC)-toets om de week af te sluiten. De deadline is altijd op dezelfde dag. Hoe de toetsen precies zijn opgebouwd staat onder paragraaf 1.4 beschreven. Figuur 1.1: Beginscherm van de map ‘Digitaal Werkboek’



Om studenten te stimuleren om de oefeningen en toetsen serieus te maken is gekozen voor het meenemen van de resultaten in het eindcijfer van een vak. De interactieve oefeningen zijn daarbij niet verplicht maar in de toets zijn telkens twee vragen opgenomen over de oefening. De toetsen zelf zijn ook niet verplicht om een vak te halen, maar het gemiddelde telt voor zo’n 10% van het eindcijfer mee. Dit lijkt genoeg te zijn om studenten daadwerkelijk aan de slag te krijgen. In de evaluaties van het vak Inleiding & Cognitie geeft 80% van de studenten aan alle (niet verplichte) oefeningen gemaakt te hebben, naast de toetsen die alle studenten gemaakt hebben.

1.2 Implementatie in het huidige onderwijs Bij het implementeren van een nieuwe werkvorm zoals het digitaal werkboek is een heldere communicatie naar studenten en docenten zeer belangrijk. Hieronder volgen een aantal voorwaarden: o

o o o

o o

Zorg ervoor dat docenten, begeleiders van werkgroepen en studieadviseurs goed op de hoogte zijn van de structuur en inhoud van het digitaal werkboek. Laat docenten in de colleges verwijzen naar de digitale oefeningen zodat studenten serieus aan de slag gaan. Stem de inhoud van het digitaal werkboek goed af met de colleges en werkgroepen. Zorg voor één aanspreekpunt voor studenten wat betreft het digitaal werkboek (bijv. een apart email-adres). Onze ervaring is dat studenten naar allerlei partijen mailen met vragen (naar docenten, begeleiders, studieadviseurs, de onderwijsbalie) ondanks dat op blackboard duidelijk staat aangegeven hoe ze contact op kunnen nemen. Om een hoop verwarring, doorstuurmail en inconsistente antwoorden te vermijden is het het meest praktisch om alle partijen naar blackboard te laten verwijzen, waar studenten zelf in de handleiding de juiste contactgegevens kunnen vinden. Zorg voor een overzichtelijke blackboardpagina, met duidelijke instructies, FAQs, rooster etc. Integreer de deadlines van het digitaal werkboek in het college en werkgroeprooster, zodat studenten een goed overzicht hebben van alle werkvormen en deadlines.

1.3 De interactieve oefeningen De interactieve oefeningen in het digitaal werkboek dienen ter verlevendiging en verdieping van onderwerpen die in het college aan bod zijn gekomen. In overleg met de docent zijn de onderwerpen van de oefeningen bepaald. Het kan gaan om lastige onderwerpen waar extra aandacht en oefening gewenst is, Versie 1.1, december 2011


om onderwerpen die wel belangrijk zijn maar waar weinig tijd voor was in het college of onderwerpen die zich beter lenen voor simulaties en beeldmateriaal dan voor gesproken collegevorm. 1.3.1 Oefeningen plaatsen in Blackboard Digitale oefeningen zijn op verschillende manieren te creëren binnen Bb. In eerste instantie is zoveel mogelijk gebruik gemaakt van bestaande oefeningen van uitgevers en universiteiten. Tegenwoordig hebben veel studieboeken een bijbehorende website waar bruikbare simulaties en oefeningen te vinden zijn. Voorbeelden van oefeningen voor het vak Inleiding in de Psychologie zijn PsychSim en ZAP (zeer actieve psychologie). In Bb kan eenvoudig een link gemaakt worden naar dit soort oefeningen via build-content - URL. Tip: gebruik de instelling open in new window (zie Figuur 1.2). Een onhandigheid van Bb is namelijk dat externe links die in Bb geopend worden, niet meer kunnen afsluiten. Figuur 1.2 Open in new window

1.3.2 Zelf oefeningen maken In het geval dat er geen geschikte oefeningen online voorhanden zijn kunnen deze in Bb gemaakt worden. De oefeningen die wij gemaakt hebben bestaan vaak uit een combinatie van beeld- of videomateriaal, een onderzoeksartikel en open vragen (via een survey of test) waar geautomatiseerd feedback op gegeven wordt. In het geval dat een oefening uit een aantal onderdelen bestaat kun je kiezen voor een learning module (via Build Content), waarin alle onderdelen achter elkaar doorlopen moeten worden in een overzichtelijk format (zie Figuur 1.3) .



Figuur 1.3 Voorbeeld van een ‘ learning modue’

1.3.3. Overige tips bij het maken van oefeningen o Test de oefening in Bb via een studentaccount voordat studenten ermee aan de slag gaan. o Test de oefening in verschillende browsers. Soms werken sommige onderdelen of links niet goed in bepaalde browsers. o Vermeld de URL bij youtubefilmpjes die binnen Bb embedded zijn, zodat studenten evt. zelf het filmpje kunnen openen als het niet werkt.



1.4 De Digitale Toetsen Zoals eerder aangegeven bestaat elke opdracht in het digitaal werkboek uit een oefening en een toets. De toetsen op de UvA hebben een cumulatief karakter, wat inhoudt dat alle stof tot dan toe getoetst wordt. Door deze toetsen blijven de studenten niet alleen up-to-date, maar herhalen ze ook telkens de eerder geleerde stof tot aan het tentamen. Er zijn een aantal redenen om de toetsen cumulatief te maken. De eerste is dat de toetsen zo een beter beeld geeft van wat er geleerd moet worden voor de toets. Wanneer een toets alleen de stof van die week behandelt, lijkt de stof makkelijker en kan de student ten onrechte een gevoel van beheersing van de stof krijgen. Daarnaast is het herhaaldelijk ophalen van stof binnen een toetsomgeving in zichzelf een middel waar je goed van leert. De toetsen worden individueel gemaakt, elke student krijgt een set vragen die random uit vragenpools worden getrokken. Na elke toets ontvangt de student direct een cijfer en feedback waarin staat aangegeven of een vraag goed beantwoord is of niet en waar het juiste antwoord te vinden is. Deze feedback is een verwijzing naar het hoofdstuk in het boek. Een student ziet dus geen antwoordopties en ook niet het juiste antwoord. De resultaten komen vervolgens in het gradecenter terecht, dat elke student op elk gewenst moment kan openen. In de evaluaties geeft zo’n 90% van de studenten aan de toetsen nuttig te vinden gedurende het hele jaar. Aan het eind van het jaar geeft 68% van de studenten aan dat de oefeningen en toetsen hebben bijgedragen aan het bijhouden van de stof. Daarnaast zijn de correlaties berekend tussen de tentamens en de cijfers in het digitaal werkboek. Voor elk vak lag de correlatie rond de 0.6 (p < .01). Deze positieve resultaten hebben ons ertoe gezet om het digitaal werkboek voort te zetten in het huidige studiejaar. Hieronder wordt specifiek beschreven hoe je toetsen, zoals gebruikt in het digitaal werkboek, kunt aanmaken. 1.4.1 Het gebruik van vragenpools Blackboard biedt verschillende mogelijkheden bij het maken van toetsen. De meest gebruikte vorm is de ‘multiple choice’, maar het is bijvoorbeeld ook mogelijk om ‘true/false’, ‘open question’, of ‘likert-scale’ te gebruiken. Alle soorten vragen kunnen handmatig worden ingevoerd, maar blackboard biedt ook de mogelijkheid om bestanden te uploaden met daarin een reeks vragen (ook wel een ‘vragenpool’ genoemd). Een voordeel van deze methode is dat het bij een grote hoeveelheid vragen sneller werkt dan wanneer alle vragen handmatig in blackboard worden ingevoerd.



Het programma Respondus kan de bronbestanden leveren die compatibel zijn met blackboard. Het voordeel van Respondus is dat dit programma de bestanden ook kan omzetten naar formats die in andere toetsprogramma’s kunnen worden gelezen, zoals Question Mark Perception. De input in Respondus is een bronbestand gemaakt in Microsoft Word, met daarin alle vragen die gebruikt moeten worden voor de vragenpool. Na enkele handelingen in Respondus is de output die het programma levert een Zip-bestand, dat direct in blackboard kan worden geupload. Er wordt geadviseerd om een aparte vragenpool in Word te maken voor iedere toets die uiteindelijk op blackboard moet worden ingevoerd. Het is belangrijk om iedere vraag in dezelfde opmaak te typen. Een voorbeeld van een vraag is: 1) De snelheid van het actiepotentiaal is afhankelijk van ~ Meer uitleg kun je vinden in Hoofdstuk 2 @ Meer uitleg kun je vinden in Hoofdstuk 2 a) de hoeveelheid natrium buiten de cel. *b) de dikte van het axon. c) het aantal dendrieten dat een neuron heeft. Een vraag wordt altijd geopend met een nummer gevolgd door een haakjesluiten. Na een spatie volgt de vraag, die – afhankelijk van de manier waarop de vraag gesteld wordt – afgesloten wordt met de nodige interpunctie. Op de volgende regel volgt na een tab het teken: ~ dat symbool staat voor ‘indien de vraag goed is beantwoord’. De informatie achter het symbool wordt aan studenten getoond die de vraag goed hebben beantwoord. De regel eronder houdt precies hetzelfde in, alleen nu staat het teken: @ symbool voor ‘indien de vraag fout is beantwoord’. Op de daarop volgende regels verschijnen de antwoordmogelijkheden, waarbij een * wordt geplaatst voor het juiste antwoord. De volgende vraag kan op precies dezelfde manier worden gemaakt, en vragen worden gescheiden door een witregel. Nadat het bronbestand af is gemaakt kan Respondus worden opgestart. Raadpleeg uw systeembeheerder indien dit programma niet op uw werkplek is geïnstalleerd, of kijk voor meer informatie op www.respondus.com. In Respondus kan het Word-bestand worden omgezet naar een Zip-bestand. Allereerst moet gekozen worden voor ‘import file’. Vervolgens dient aan te worden gegeven dat het bronbestand een Microsoft Word bestand is (.doc). Daarna kan het bronbestand geselecteerd worden door het op te zoeken op de opgeslagen locatie. Vervolgens kan worden geklikt op ‘create new document’



en kan het document een naam worden gegeven. Om te testen of Respondus problemen opmerkt in het bestand wordt eerst op de knop ‘preview’ gedrukt. Indien er problemen zijn opgemerkt in het bronbestand verschijnen deze in beeld. Het gebeurt regelmatig dat er problemen worden opgemerkt die eigenlijk geen probleem zijn. Voor iedere vraag gebruikt Respondus de eerste paar woorden als korte vraagbeschrijving. Soms komt het voor dat de eerste woorden van verschillende vragen overeenkomen. Dit geeft Respondus als een error aan, maar kan dus worden genegeerd. Wel is het handig om even na te gaan of er niet echt twee dezelfde vragen in het bronbestand zaten, want dan zou dit wel een terecht probleem zijn. Een ander probleem dat Respondus opmerkt, maar vaak onterecht is, is het niet kunnen vinden van ‘choice alternatives’ voor een bepaalde vraag. Maar toch is het handig om even na te gaan of de betreffende vraag wel antwoordmogelijkheden heeft. Over het algemeen is het dus handig om bij een error even na te gaan of er daadwerkelijk sprake is van deze error, en als alles correct lijkt, dan kan de error genegeerd worden. Na het controleren van de errors kan ‘finish’ worden aangeklikt. Nu verschijnt een overzicht van alle vragen uit de pool. Als alles klopt dan kunnen deze vragen naar een zip bestand worden geëxporteerd. Klik boven in de menubalk op ‘preview and publish’. Vervolgens klik je op ‘save pool to local file for manual uploading’. Daarna kan de plaats worden gekozen waar het bestand moet worden opgeslagen en ten slotte kan op ‘finish’ worden geklikt. Nadat Respondus het Zip-bestand heeft gemaakt met daarin de vragenpools, kan dit bestand worden geupload op de blackboard pagina van de cursus waar de test voor moet worden gemaakt. Linksonder op de blackboard pagina staat de menubalk ‘course management’. Hierin staat onder het kopje ‘Course Tools’ het subkopje ‘Tests, Surveys, and Pools’. Nadat op dit subkopje is geklikt verschijnt er een scherm in beeld waarin kan worden gekozen tussen tests, surveys, of pools. Om vragenpools te importeren dient op ‘pools’ te worden geklikt en vervolgens op ‘import pools’. Via ‘browse computer’ kan het Zip-bestand worden geselecteerd op de plaats waar het is opgeslagen. 1.4.3 Het maken van een toets Toetsen kunnen op twee manieren worden aangemaakt. De eerste manier is in het zelfde menu als waar de pools zijn aangemaakt (Course Management -> Course Tools -> Tests, Surveys, and Pools). Dit is handig als toetsen gemaakt moeten worden die niet direct op de blackboard pagina moeten worden weergegeven. De toetsen komen terecht in een database waar vanuit ze geselecteerd kunnen worden als een toets aan een content-area van een blackboard pagina moet worden toegevoegd. De tweede manier om een toets te maken is in de content-area van een blackboard pagina, zodat de toets direct Versie 1.1, december 2011


in deze area zichtbaar wordt. In de content-area kan worden gekozen voor ‘create assessment’ en vervolgens voor ‘test’. Daarna verschijnt er een scherm waarin kan worden gekozen voor een bestaande toets uit de database (add test) of het zelf maken van een nieuwe test (create a new test). Als wordt gekozen voor het zelf maken van een toets, dan moet eerst een aantal gegevens over de test en instructies worden ingevoerd, voordat de vragen gemaakt kunnen worden. Er zijn meerdere manieren om vragen toe te voegen aan een toets. In het test menu verschijnen drie kopjes: Create Question: vragen worden één voor één gemaakt in blackboard. Bij deze mogelijkheid kan een groot aantal verschillend soorten vragen worden gebruikt. Reuse Question: een set vragen kan in één keer worden toegevoegd aan de toets. Door bijvoorbeeld voor ‘create random block’ te kiezen, kan een reeds gemaakte vragenpool worden geselecteerd waaruit willekeurig een bepaald aantal vragen aan de toets worden gekoppeld. Upload Questions: een bestand met vragen kan in één keer op blackboard worden geupload en aan de toets worden toegevoegd. Als alle vragen aan de test zijn toegevoegd kan het aantal punten voor iedere correct beantwoorde vragen worden ingesteld. Daarna kan op ‘ok’ worden geklikt en is de test klaar voor gebruik. Het is erg handig om de toets voor gebruik te testen, zodat eventuele fouten vroegtijdig opgelost kunnen worden. De bijlage bevat een checklist die hiervoor gebruikt kan worden. In het menu ‘test options’ kan een aantal opties worden ingesteld die belangrijk kunnen zijn bij het afnemen van bepaalde tests. Zoals in Figuur 1.4 kan worden gezien is het handig om in te stellen dat de link van de toets ‘available’ is. Vervolgens kan worden aangegeven tussen welke tijdsmomenten de toets zichtbaar wordt voor studenten. Verder kan een timer worden ingesteld.



Figuur 1.4 Test options



Zoals verder in bovenstaande figuur te zien is kan voor de optie ‘forced completion’ worden gekozen. Deze optie dwingt de student om de toets in één keer af te ronden. Er wordt geadviseerd deze optie niet aan te vinken. Als een student tijdens het maken van een toets het toetsscherm per ongeluk verlaat, kan de student niet meer terug als ‘forced completion’ staat aangevinkt. Omdat er vele manieren zijn om het toetsscherm te verlaten (bijvoorbeeld een klik op de zijkant van de muis, F5, een kopje in de menubalk van Bb, een ander tabblad of Escape) gebeurt dit dan ook veel. Het gevolg is dat de gemaakte vragen niet meer gesubmit kunnen worden door de student en er geen resultaat verschijnt in het gradecenter, maar een icoon met schriftje en pen. Versie 1.1, december 2011


Dit kan vervolgens alleen handmatig door een medewerker hersteld worden, wat veel onnodig werk oplevert. Oplossing: zet ‘forced completion’ uit en de timer aan. De student kan zo in en uit de toets, maar de tijd loopt gewoon door en de vragen die al gemaakt zijn blijven behouden. In Figuur 1.4 staan bij punt 4 feedbackopties die kunnen worden weergegeven na het maken van de test. De reden dat het correcte antwoord niet staat aangevinkt is dat studenten op die manier worden gestimuleerd de literatuur te raadplegen nadat ze een fout antwoord hebben gegeven, zodat ze zelf het juiste antwoord kunnen opzoeken en daar meer van leren dan dat het correcte antwoord zo wordt gepresenteerd bij de feedback. In Figuur 1.4 deel 5 wordt de mogelijkheid geboden om alle vragen van de toets tegelijkertijd aan te bieden, of één voor één. Verder kan ook de optie worden ingesteld dat bij sequentiële weergave van de vragen de student niet de mogelijkheid krijgt om een eerder beantwoorde vraag aan te passen. Deze optie wordt geadviseerd als vragen worden gebruikt die het antwoord van eerder gestelde vragen zouden kunnen verraden. Ten slotte is het mogelijk om in te stellen dat de vragen willekeurig worden gepresenteerd of bij iedere toets volgens dezelfde volgorde. De in dit hoofdstuk beschreven procedure is een van de manieren waarop een toets kan worden gemaakt en zeker niet de enige juiste manier. Naar onze ervaring is dit een snelle en overzichtelijke manier waarop toetsen kunnen worden geconstrueerd, maar het is goed mogelijk dat er situaties zijn waarin andere manieren van testconstructie voordeliger zijn. Voor een overzicht van de mogelijkheden van blackboard met betrekking tot het maken van toetsen verwijzen we naar de blackboard Instructors manual. 1.4.4 Het gradecentre In het gradecentre wordt van alle studenten in de cursus de behaalde resultaten weergegeven. Het kan hier gaan om resultaten van het correct inleveren van opdrachten, tot een cijfer dat is verkregen voor het maken van een meerkeuzetoets. Het is noodzakelijk om een kopje in de menubalk toe te voegen waarin studenten de resultaten van hun digitaal werkboek kunnen inzien. Dit kan door linksboven in de menubalk op het + symbool te klikken en vervolgens op ‘create tool link’. Uit de lijst selecteert u ‘my grades’. Als docent of medewerker kunt u deze pagina niet bekijken, omdat de inhoud van deze pagina afhangt van de resultaten van een bepaalde student. Wel hebben medewerkers inzicht in de resultaten van alle studenten in het gradecentre. Dit is te vinden linksonder door bij ‘course management’ te klikken op ‘grade centre’ en vervolgens ‘full grade centre’.



1.4.4.1 Kolommen organiseren In het gradecentre zijn de resultaten van alle studenten zichtbaar. Voor elke toets die in Bb is aangemaakt verschijnt automatisch een kolom. Daarnaast hebben wij een average colomn toegevoegd waarin het gemiddelde van de gemaakte toetsen wordt weergegeven. De resultaten van de toetsen worden verder in cijfers (met een gokkanscorrectie) weergegeven. Dit cijfer is aangemaakt met een grading schema. Hieronder worden aan aantal opties verder uitgelegd. In het gradecentre kunnen kolommen worden toegevoegd met informatie over de student. Ook kan een kolom worden gemaakt waarbij de informatie wordt verkregen door middel van een formule. Denk hierbij aan het berekenen van de gemiddelde scores van studenten op de toetsen van het digitale werkboek. De soort kolommen die aan het gradecentre worden toegevoegd zijn afhankelijk van de manier waarop het digitaal werkboek voor een betreffende cursus is opgemaakt. Een voorbeeld opmaak zou kunnen zijn: Het digitaal werkboek van vak X bevat 10 meerkeuzetoetsen en 3 extra opdrachten. De gemiddelde score van de meerkeuzetoetsen tellen voor 10% mee voor het eindcijfer van vak X. De kolommen waarin de scores van iedere meerkeuzetoets staan weergegeven, verschijnen automatisch in het digitaal werkboek bij het aanmaken van de betreffende toets. Per kolom kan vervolgens worden ingesteld of de score in punten of in percentages moet worden weergegeven. Daarnaast kan worden ingesteld of de kolom zichtbaar moet worden voor studenten. Kolommen waarin staat aangegeven of een extra opdracht via blackboard is ingeleverd, worden ook automatisch weergegeven bij het aanmaken van een inleverpunt in blackboard (bijvoorbeeld Ephorus assignment). Om de studenten beter inzicht te verschaffen in hun voorlopige resultaat op het digitaal werkboek, kan een nieuwe kolom worden aangemaakt waarin de gemiddelde score staat weergegeven van de meerkeuzetoetsen die de student heeft moeten maken. Er zijn twee opties om een nieuwe kolom aan te maken: “create column”, en “create calculated column”. In dit geval is het wenselijk dat blackboard berekeningen uitvoert over andere kolommen (het gemiddelde berekenen van de toetsen), waardoor gekozen moet worden voor “create calculated column”. Er zijn verschillende soorten calculated columns die door blackboard kunnen worden aangemaakt (zie Figuur 1.5).



Figuur 1.5 Create calculated column

De Average Column wordt berekend op basis van de gemiddelde waarde van een aantal geselecteerde andere kolommen. De Weighted Average Column wordt berekend op basis van een gewogen gemiddelde van een aantal geselecteerde andere kolommen. De weging van iedere kolom kan handmatig worden ingesteld. De Total Column wordt berekend door de waarde van de geselecteerde kolommen bij elkaar op te tellen. Ten slotte wordt in de Minimum/Maximum Column weergegeven wat de minimale of maximale waarde is die gevonden kan worden in de geselecteerde kolommen. Om voor studenten de gemiddelde score op de 10 meerkeuzetoetsen te laten berekenen kan het best gekozen worden voor create average column. Vervolgens verschijnt een scherm waarin informatie over de aan te maken kolom kan worden ingevuld. In deel 1 kan kolominformatie worden ingevoerd zoals hoe de kolom zal heten in het gradecentre. Daarnaast kan worden aangegeven op welke manier het resultaat wordt weergegeven in het gradecentre. Dit kan worden ingesteld bij primary display. Standaard is er de mogelijkheid om de resultaten als score of percentage weer te geven. Het is echter ook mogelijk om zelf een manier te creëren waarop het resultaat wordt weergegeven. Dit kan door een grading schema te maken (zie § 1.4.4.2). Bij deel 3 van het invoeren van de kolominformatie (zie Figuur 1.6) kan worden aangegeven of het gemiddelde gebaseerd moet worden op alle kolommen in het gradecentre, of op een selectie kolommen. Indien gekozen wordt voor een selectie, dan verschijnt een scherm waarin de gewenste kolommen kunnen worden geselecteerd.



Figuur 1.6 Opties in Avarage Column

Verder is er ook de optie Calculate as runing total. Als deze optie aan staat gevinkt, dan wordt bij het berekenen van de gemiddelde score een kolom niet meegerekend als de student geen resultaat heeft behaald voor die kolom. Als van studenten wordt vereist dat alle toetsen gemaakt worden en dat de eindscore van het digitaal werkboek wordt berekend op basis van de gemiddelde score van al deze toetsen, dan dient de functie calculate as running total, niet te worden aangevinkt. Vervolgens zal blackboard de niet gemaakte toetsen als score 0 beschouwen, en zullen deze scores worden meegenomen in de berekening van het gemiddelde cijfer van het digitaal werkboek. 1.4.4.2 Grading Schemas

Een Grading Schema is een manier waarop een bepaald resultaat van het digitaal werkboek in blackboard wordt weergegeven. Standaard grading schemas zijn score of percentage, waarbij respectievelijk het totaal aantal punten op de toets, of het percentage goed beantwoorde vragen wordt weergegeven. Het is ook mogelijk om zelf grading schemas te maken. Dit kan door in het gradecentre te klikken op Manage -> Grading Schemas. Het kan bijvoorbeeld wenselijk zijn om in een kolom geen score of percentage weer te geven, maar een cijfer van 0 tot 10, zodat de student een beter inzicht heeft in de geleverde prestatie. Door te klikken op Create Grading Schema verschijnt er een scherm in beeld waarbij allereerst de naam van het nieuwe schema kan Versie 1.1, december 2011


worden aangegeven. Vervolgens kan worden ingesteld welke waarde in het schema (bijvoorbeeld het cijfer 8) hoort bij welk percentage goed beantwoorde vragen. Voor iedere mogelijke waarde die kan worden geleverd door het grading schema, dient een nieuwe Row te worden aangemaakt. Dit kan gedaan worden door te klikken op Insert Row. Stel dat de cijfers 1 t/m 10 kunnen worden behaald, dan moeten er in totaal 10 rijen te worden gemaakt. Ook kan ervoor worden gekozen de cijfers 1 t/m 10 op een schaal van halve punten toe te kennen en daar bijvoorbeeld direct een gokcorrectie op toe te passen. In Figuur 1.7 staat een voorbeeld van een dergelijk grading schema. Dit schema bevat een gokkanscorrectie. Omdat de vragen multiple choice zijn, heb je altijd 25% kans op een goed antwoord. In het onderstaande schema is deze gokkans meegenomen, waardoor je 70% goed moet hebben om een 5,5 te halen. Figuur 1.7 Grading schema



2. Het onderhouden van een digitaal werkboek In dit hoofdstuk volgen een aantal richtlijnen en tips om het digitaal werkboek draaiende te houden gedurende de cursus. Ten eerste is het aan te raden om een coördinator aan te stellen die de inhoud van de oefeningen en toetsen bewaakt. Gedurende het jaar zal met verschillende docenten en medewerkers overlegd moeten worden over de inhoud van oefeningen en toetsen. Overige taken kunnen zijn het plaatsen van de opdrachten in het rooster, ervoor zorgen dat docenten op tijd het juiste oefenmateriaal en toetsvragen aanleveren, de oefeningen en toetsen in Bb plaatsen/maken, evaluaties plaatsen en analyseren, verbeteringen doorvoeren etc. Ten tweede moet er een aanspreekpunt zijn waar studenten terecht kunnen met vragen en foutmeldingen. Het is aan te raden om een apart email-adres te gebruiken waar alle mail over het digitaal werkboek binnenkomt. Het is handig om een student-assistent (met grondige kennis van Blackboard) aan te stellen die deze mail kan beantwoorden. Veel vragen van studenten kunnen ondervangen worden door duidelijke instructies te geven en een handleiding op Bb te plaatsen. Daarnaast hebben wij in de eerste week van de studie een oefentoets op Bb aangeboden die bestond uit vragen over praktische zaken over Bb en informatie uit de studiegids. Op deze manier kunnen studenten wennen aan Bb-toetsen en leren ze tegelijkertijd een aantal praktische zaken over de studie. Er zijn echter een aantal zaken waar studenten over mailen, die gedurende de cursus opgelost moeten worden. Zo kan het bijvoorbeeld voorkomen dat er een fout in een toets zit, dat een toets niet goed of te laat afgesloten wordt of dat een herkansing ingesteld moet worden. Hieronder worden deze situaties besproken en van tips voorzien.

2.1 Fouten herstellen in de toets Door het omzetten van vragenbestanden, het uploaden in Bb en vervolgens het aanmaken van een toets met alle toetsopties is het mogelijk dat er een fout in de toets zit. Controleer daarom altijd alle toetsinstellingen en vragen voordat de toets door studenten gemaakt wordt. Zodra de toets openstaat en door een aantal studenten gemaakt is, is het vaak lastig om dingen aan te passen binnen de toets. Hieronder volgen mogelijke problemen en oplossingen: Een afbeelding die gebruikt wordt in één van de vragen van een toets wordt niet correct weergegeven. Dit kan worden opgelost door naar ‘edit test’ te gaan, en vervolgens rechts bovenin het scherm te klikken op ‘question settings’. Hier staat onder punt 2 (images, files and external



links) de optie ‘Add images, files and external links to questions’ standaard uitgevinkt. Als deze optie wordt aangevinkt wordt de afbeelding wel correct weergegeven. Deze optie is overigens niet mogelijk bij open vragen en wel bij multiple choice vragen. Een vraag of de feedback bevat een fout of het juiste antwoord staat niet juist ingesteld. Omdat de vraag niet verwijderd kan worden als de toets loopt kan dit worden opgelost door de betreffende vraag op te zoeken (in de vragenpool of in de toets zelf) en vervolgens de vraag aan te passen. Vervolgens kunnen de studenten die de vraag op dat moment al hebben gemaakt, én deze fout hebben beantwoord, toch de punten toegekend krijgen. Punten kunnen worden toegekend door in het gradecentre de testresultaten van een individuele student op te vragen. Vervolgens kan per vraag het aantal punten worden aangepast dat de student heeft ontvangen.

2.2 Het gradecenter 2.2.1 Icoon: Studenten moeten een toets zelf op tijd submitten. Blackboard sluit de toets niet zelf af als de ingestelde tijd verstreken is. Dit kan tot gevolg hebben dat een toets te laat in wordt geleverd. Zorg dus voor een duidelijke instructie over het submitten van de toets. Als een student de toets niet binnen de aangegeven tijd heeft afgerond, dan verschijnt het groene icoontje met een uitroepteken in het gradecentre bij de betreffende student en gemaakte toets. Soms is dit icoontje terecht, zoals in situaties waar studenten echt minuten langer over de toets doen; maar het kan ook onterecht worden weergegeven, wat veroorzaakt wordt door een beperking van Blackboard. Als studenten enkele seconden voor de deadline de toets submitten, dan laat blackboard in de meeste gevallen dit symbool zien in het gradecentre, terwijl de studenten gewoon op tijd de toets hebben gesubmit. Blackboard heeft namelijk tijd nodig om het submitten te verwerken, waardoor altijd een aantal seconden wordt opgeteld (hoe groter de toets hoe meer seconden) bij de totale duur van de gemaakte toets. Indien de student terecht het icoontje in het gradecentre heeft gekregen, dan kan dit gewoon blijven staan en zal blackboard een score van 0 rekenen voor de betreffende toets. Indien de student onterecht het icoontje in het gradecentre heeft, dan kan dit simpelweg verwijderd worden door erop te klikken en vervolgens op enter te drukken. Nu verschijnt de juiste score van de student in het gradecentre. In sommige gevallen verwerkt blackboard de enter niet goed en moet de handeling nog een paar keer worden herhaald.



Studenten met een dyslexie-verklaring kunnen toestemming krijgen om langer over de toetsen te doen. Dat betekent dat ze de toets standaard te laat submitten. Na iedere toets wordt het groene uitroepteken verwijderd voor alle dyslectici. 2.2.2 Icoon: Als een student bezig is met de toets of deze niet goed heeft gesubmit verschijnt er een icoontje van een schriftje met pen in het gradecentre. Het niet goed afronden van de toets kan meerdere oorzaken hebben. In veel gevallen is de student op het moment van submitten niet meer ingelogd volgens blackboard. Dit zou veroorzaakt kunnen worden doordat bijvoorbeeld het internet tijdelijk uitvalt. Een andere oorzaak van het niet correct submitten van de toets is alleen van toepassing als de optie ‘forced completion’ is aangevinkt bij de ‘test options’. In dit geval wordt de student gedwongen de toets in één keer af te ronden. Op het moment dat de student per ongeluk de browser afsluit, is het niet meer mogelijk om opnieuw in te loggen en wordt de toets als niet gesubmit beschouwd. Als studenten tijdens het maken van de toets ieder antwoord afzonderlijk opslaan door op ‘save answer’ te klikken, dan blijven de gegeven antwoorden zichtbaar in blackboard. Indien studenten antwoorden niet hebben opgeslagen, dan leidt het niet correct submitten van de toets tot het verliezen van alle gegeven antwoorden. In het eerste geval kan het probleem eenvoudig worden opgelost, in het tweede wordt het lastiger. Als de student de antwoorden heeft opgeslagen dan kan in het gradecentre naast het icoontje worden geklikt op ‘view attempt … ‘. In dit scherm wordt vervolgens ‘test information’ geselecteerd en er verschijnt een knop met ‘submit attempt’. Nu wordt de toets van de student correct gesubmit en wordt het juiste resultaat zichtbaar in het gradecentre. Indien de student de antwoorden niet heeft opgeslagen, of dat wel heeft gedaan maar nog niet alle antwoorden had gegeven, zit er niets anders op dan de student een herkansing aan te bieden voor de betreffende toets. Om dit te doen moet eerst weer in het gradecentre via ‘view attempt … ‘ naar ‘test information’ worden gegaan, om daar vervolgens te kiezen voor ‘remove attempt’. Nu kan de student de toets opnieuw maken. Indien de deadline van de toets al is verstreken kan een ‘adaptive release’ voor de student worden ingesteld (zie § 2.3.2).

2.3 Herkansing instellen In sommige situaties zal een student toestemming worden verleend om een toets van het digitaal werkboek te herkansen. Het kan zijn dat studenten door



overmacht een toets niet kunnen maken. Als het hierbij gaat om persoonlijke omstandigheden hanteren wij de regel dat de student dit voor de deadline moet aangeven en dat de overmachtsituatie geldt voor de gehele toetsperiode (studenten hebben namelijk 2 dagen de tijd om de toets te maken). In het geval van technische storingen hanteren wij de regel dat studenten zelf verantwoordelijk zijn voor een werkende computer met werkend internet. De UvA biedt daarnaast genoeg computers met stabiele internetverbinding. Alleen in het geval van Blackboard storingen of een storing op een UvAcomputer wordt een herkansing gegeven. Begin 2010-2011 hadden wij minder strenge regels en stond in de instructie dat in het geval van een technisch probleem zoals een computercrash een herkansing mogelijk was. Onze ervaring was dat het regende met mails over gecrashte computers, internetverbindingen, gecrashte muizen en toetsenborden. Nu horen wij daar zelden meer iets van. 2.3.1 Een herkansing geven voordat de deadline sluit. Wanneer er sprake is van een storing tijdens een toets kan een nieuwe kans gegeven worden door de toetspoging te verwijderen middels “clear attempt”. De handigste manier om dit te doen is als volgt. Klik in het Grade Centre op View Grade Details (zie Figuur 2.1) Figuur 2.1 View grade details

Vervolgens klik je op View attempt en krijg je de toets met de eventuele antwoorden van de student in beeld. Bovenin beeld klik je op Test Information. Vervolgens verschijnt de testinformatie van de betreffende student (zie Figuur 2.2) Hier kies je voor “Clear Attempt” om de poging te verwijderen, zodat de student opnieuw de toets kan maken (mits de deadline nog niet voorbij is), of voor “Submit Attempt” om de toets met antwoorden namens de student in te leveren, wanneer die bewaard zijn.



Figuur 2.2 Test informatie

2.3.2 Adaptive Release instellen Als de deadline van een toets is verstreken en er moet een herkansing voor een student worden ingesteld, dan kan dit worden gedaan met behulp van een adaptive release. Een adaptive release is een functie waarmee een onderdeel op blackboard beschikbaar kan worden gesteld aan een selectie studenten. Het is overigens van belang dat er geen andere weergaverestricties actief zijn op het betreffende onderdeel. Stel dat staat ingesteld dat een onderdeel wordt weergegeven van 1 mei tot 1 juni, en op 10 juni wil een student een toets herkansen, dan moet eerst de weergaverestrictie van 1 mei tot 1 juni worden uitgezet, voordat de adaptieve release effect kan hebben. Een adaptive release kan worden ingesteld door bij het gewenste onderdeel op de twee pijltjes rechts ervan te klikken en vervolgens te kiezen voor “Adaptive Release”. Er verschijnt een scherm waar allereerst de data kunnen worden ingesteld waarbinnen het onderdeel beschikbaar moet zijn. Daarna kan worden aangegeven voor welke studenten dit onderdeel beschikbaar moet zijn. Studenten kunnen individueel worden toegevoegd op basis van hun studentnummer. Als het om grote aantallen studenten gaat is het handiger om een groep aan te maken met daarin de betreffende studenten en vervolgens deze groep te selecteren bij het instellen van de adaptieve release (zie § 2.3.4). 2.3.3 Adaptive Release checken Je kunt een groep of een individuele student opnieuw toegang geven tot een toets met Adaptive Release. Het is niet altijd duidelijk of een student ook echt toegang heeft tot een toets die je voor haar geopend hebt. Dit kun je altijd checken door op de dubbele pijltjes naast een folder te klikken, en vervolgens op User Progress te klikken (zie Figuur 2.3). Hier zie je vervolgens aan het icoontje, onder visibility, of een bepaalde student inderdaad de folder kan zien.



Figuur 2.3 User progress

2.3.4 Adaptive release voor grote groepen Soms komt het voor dat een grote groep studenten een herkansing krijgt voor een toets, en het daardoor erg lang gaat duren om al deze studenten één voor één handmatig een adaptive release te geven. Dit probleem kan sneller worden opgelost door de betreffende studenten op de blackboard pagina lid te maken van een groep en vervolgens de adaptive release voor alle leden van die groep in te stellen. Hiervoor moet eerst in Excel een bestand worden gemaakt met daarin drie kolommen (zie Figuur 2.4). In kolom B staan de studentnummers van alle studenten die je aan de groep op blackboard wilt toewijzen. In kolom A staat voor ieder van die studenten steeds dezelfde cursuscode (het gaat immers om maar één vak), en in kolom C staat voor ieder van de studenten de naam van de groep waar ze aan moeten worden toegewezen (deze groep hoeft nog niet te bestaan). Vervolgens wordt dit bestand opgeslagen als Comma separated file (.csv). Figuur 2.4 Excelbestand voor het instellen van een adaptive release voor groepen

Dit bestand kan op de blackboard pagina van de betreffende cursus worden geupload (Course management -> Course tools -> Group batch enroll). Vervolgens kan, zoals in Figuur 2.5 te zien is, een adaptive release worden ingesteld voor de groep door naar de betreffende opdracht te gaan en op de twee pijltjes naar beneden te klikken en vervolgens op ‘adaptive release’.



Figuur 2.5 Instellen adaptive release

Figuur 2.6 Selecteren van een groep studenten voor een adaptive release

Ten slotte kan de betreffende groep worden verschoven van de linker- naar de rechterkolom (zie Figuur 2.6), en rechtsboven (of onder) op submit worden geklikt. Het is ook mogelijk om puur vanuit blackboard een adaptive release voor een groep studenten in te stellen, zonder dat gebruik hoeft te worden gemaakt van Excel. Dit gaat op dezelfde manier als hierboven beschreven, alleen moet de groep direct in blackboard worden aangemaakt in plaats van in Excel (Course management -> Users and Groups -> Groups). Vervolgens moet worden gekozen voor ‘’create single group’’ en daarna ‘’manual enroll’’ (zie Figuur 2.7). Figuur 2.7 Groep aanmaken in blackboard

Er verschijnt een scherm waar informatie over de groep kan worden ingesteld en ten slotte kan onderin worden aangegeven welke gebruikers lid moeten worden van de groep (zie Figuur 2.8)



Figuur 2.8 Instellen groepslidmaatschap

2.4 Problemen met Maple T.A. In het jaar 2010-2011 zijn voor het vak Onderzoeksmethoden & Statistiek oefeningen en toetsen via Maple T.A. aanboden. We liepen echter tegen een aantal technische problemen of onhandigheden aan, waardoor we dit jaar hebben gekozen voor andere oefeningen en toetsen. Waar wij tegenaan liepen was dat het gradebook van Maple T.A. en het gradecentre van Bb niet goed synchroniseerden. Dit was vooral het geval bij herkansingen of aanpassingen in scores nadat een toets gemaakt was. Daarnaast moet er zeer nauwkeurig geantwoord worden door een student (punten, komma’s, decimalen, open vragen) waardoor vaak door een punt/komma verwisseling al scoreverlies was. Aangezien de toetsen meetelden voor een cijfer gaf dit veel ontevredenheid bij studenten en correctiewerk voor medewerkers. Zodra Maple T.A. alleen gebruikt wordt om te oefenen vervalt dit probleem en biedt het systeem vele voordelen. In het geval dat Maple T.A. binnen Bb gebruikt wordt volgen hieronder instructies om een herkansing in te stellen of een cijfer aan te passen. 2.4.1 Een herkansing instellen Wanneer een student herkansing mag krijgen, gaan we eerst naar /Course Tools /Maple T.A. Instructor Menu We komen nu in het Maple T.A. menu. We klikken linksboven op Actions, en selecteren dan Proctor Tools. Het zoekscherm werkt niet helemaal lekker. Het beste kunnen we zoeken op (zie Figuur 2.9). Achternaam met Exact als Match Unfiltered als Authorization Mode Assignment filter moet leeg zijn



Figuur 2.9 Student zoeken in Maple T.A.

We klikken nu op Search, en vervolgens klikken we op het vinkje voor de student die een nieuwe poging mag. Bij permission vullen we in “Start and Grade” en in de dropdownlist kiezen we de toets waar het om gaat. Vervolgens klikken we op Authorize (zie Figuur 2.10). Figuur 2.10 Instellen herkansing in Maple T.A.

Hiermee heeft de student binnen Maple T.A. een herkansing gekregen. In Blackboard moet je vervolgens in het Grade Centre het cijfer verwijderen, door Clear Grade te kiezen. (Wanneer je dit niet doet, en de student krijgt een nieuwe kans, dan wordt het cijfer niet door het nieuwe cijfer overschreven.) Aan studenten wordt de volgende instructie gemaild: Klik op Request Exception. Vervolgens op Remotely Authorized. Als het goed is kan de toets nu opnieuw gemaakt worden.



2.4.2 Cijfers corrigeren Het kan voorkomen dat een vraag een fout bevat of het automatisch nakijken niet naar wens is verlopen. Een docent kan dan beslissen om een gemaakte vraag alsnog goed te keuren. Dit werkt als volgt. Om de antwoorden van studenten te bekijken gaan we naar het Maple T.A. in Instructor Menu. Daar selecteer je de toets, en klikt vervolgens op submit. Je kunt nu een student aanklikken. Wanneer je onderaan op Details… klikt, kun je de eigenlijke antwoorden van de student zien. Naast de antwoorden kunnen de scores handmatig aangepast worden. Klik op opslaan of update. Het gradebook van Maple T.A. heeft nu een aangepaste score geregistreerd. Deze score wordt echter niet automatisch door het gradecentre van Bb overgenomen. In het gradecentre moet dus alsnog het nieuwe cijfer ingevoerd worden. Pas dan ziet de student via my grades de aangepaste score.



3. Contactinformatie Dit document is samengesteld door medewerkers van de ICTO afdeling Psychologie aan de Universiteit van Amsterdam. Voor vragen en/of suggesties voor uitbreidmogelijkheden kunt u contact opnemen met onderstaande medewerkers: Maartje Prevosth Coördinator Digitaal Werkboek Tel: 0205256912 E-mail: [email protected]

Paul Lodder Student-assistent ICTO Tel: 0205256907 E-mail: [email protected]

Blackboard Psychologie E-mail: [email protected]



Appendix Checklist digitaal werkboek Voorafgaand aan een oefening en/of toets:.

Check?

 Controleer tekst en ingestelde data/tijden waarop de oefening en/of toets beschikbaar zou moeten zijn

……….

 Controleer de vragenpools (juiste weergave en antwoord van de vragen)

……….

 Controleer de toetsinstellingen (bijvoorbeeld: force completion uit, timer aan)

……….

 Controleer de inhoud van de toets (correct aantal vragen, vragen horen bij te bestuderen stof)

……….

 Controleer gradecentre (kolom zichtbaar, possible points correct, due dates eruit, juiste weergave cijfer/score etc)

……….

 Controleer gradecentre onder studentaccount ……….  Test de oefening en toets onder studentaccount (test accounts kunnen worden aangemaakt door de ICT medewerkers)


……….


Protocol digitaal werkboek

Recommend Documents