Basiscursus digitaal toetsen in Blackboard Manfred te Grotenhuis
INHOUD: 1. Digitale toets maken 2. Digitale toets openstellen 3. Digitale toets controleren 4. Uitslagen bekijken 5. Resultaten wegschrijven Appendix: Itemanalyse op multiple choice tentamens via BlackBoard
# Gepresenteerd tijdens RU-onderwijsdag, 13-04-2010
In deze handleiding worden stapsgewijs de stappen beschreven hoe men een digitale toets maakt, openstelt voor gebruik en verwerkt. De tekst in de kaders zijn computerhandelingen en worden voorafgegaan door . De uitkomsten van de handelingen zijn ter controle toegevoegd.
1. Digitale toets maken
Ga via de internetbrowser naar http://blackboard.ru.nl Vul in gebruikersnaam (doorgaans U-nummer, zoals u286112) en RU-wachtwoord en klik op login.
Na het inloggen kies een cursus waarin u een toets wilt opnemen (cursussen staan in ‘Courses en in ‘My Courses’). De cursus openen met linker muisklik.
2
Als de cursus is geopend, kies dan voor ‘Control Panel’ (in Blackboard in de standaardtaal Engels, dit is aan te passen via Control Panel Settings (onder course options), Set Language Pack. Na aanpassen, heet Control Panel ‘configuratiescherm’. In het verdere verloop van de uitleg wordt uitgegaan van de Engelse termen.
Kies nu voor Test Manager .
3
Kies nu voor Add Test .
Vul de naam van de toets in, geef een beschrijving, instructies en klik op Submit.
4
Klik op Creation Settings om de toetsinstellingen te bewerken.
Verander het aantal punten per vraag in 1. Klik na het veranderen van 10 in 1 op Submit. Opmerking: het is mogelijk om bij vragen en antwoorden bestanden toe te voegen, standaard staat dit uit.
5
Je krijgt nu een overzicht van de instellingen. Klik als alles naar wens is op OK.
Nu de instellingen goed staan kan een vraag aan de toets worden toegevoegd. Klik daartoe op het pijltje naast Add en kies voor Multiple Choice (andere veel gebruikte mogelijkheden zijn ‘essay’(voor open vragen) en ‘Fill in the blank’(gesloten antwoord). Klik tot slot NIET op OK maar op GO.
6
Vul nu in het teksvak ‘Question text’ de toetsvraag .
In hetzelfde scherm maar meer naar beneden kan men aangeven dat de volgorde van de antwoordcategorieën op basis van toeval moeten worden voorgelegd (dit is een handige optie want het maakt afkijken lastiger). Opmerking: als men bij Creation Settings had aangevinkt dat men bestanden wil toevoegen dan is in dit scherm ook deze mogelijkheid weergegeven.
7
In hetzelfde scherm maar weer meer naar beneden kan men de antwoordcategorieën inhoudelijk invullen. Opmerking: als men bij Creation Settings had aangevinkt dat men bestanden wil toevoegen dan is in dit scherm ook deze mogelijkheid weergegeven.
Vul ook de andere drie antwoordmogelijkheden in en vink aan welke categorie het correcte antwoord is. klik op Submit (helemaal onderaan scherm). Het volgende scherm verschijnt.
8
vraag toevoegen Correcte antwoord ( )
Opmerking: het correcte antwoord wordt geïndiceerd met een groen vinkje. Men kan nu op OK klikken of nog een vraag toevoegen vóór de vraag of ná de vraag (zie de ‘Add question here’ opties in het vorige scherm. Het onderstaande scherm verschijnt na OK klikken in het vorige scherm (dus geen vraag meer toegevoegd).
Opmerking: De digitale toets is klaar! Opmerking: via export is de toets te exporteren zodat het ook in andere cursussen kan worden gebruikt. Met modify is de toets weer te bewerken en remove spreekt voor zich. 9
2. Digitale toets openstellen
Als de toets is gemaakt verlaat u deze door op OK te klikken, u komt weer in het configuratiescherm.
Configuratiescherm:
Klik in het configuratiescherm voor ‘Course documents’ (of een andere folder waar u de toets wilt plaatsen). 10
U kunt nu 2 dingen doen: meteen de toets in de folder plaatsen of eerst een subfolder aanmaken. Vanwege de overzichtelijkheid van de Blackboardcursus wordt hier gekozen voor het laatste. Klik op Folder en vul de naam van de folder in en voeg eventueel een korte beschrijving toe.
11
Verder in het scherm kan men instellen wanneer de folder zichtbaar wordt, standaard is dat meteen en dat is in dit geval prima. Klik vervolgens op Submit helemaal onderaan het scherm.
In Blackboard krijgt men vaak een bevestiging van de handeling. Klik op OK om dit bevestigingsscherm te verlaten
12
Klik nu op de folder Tentamen
Klik op Test om de toets toe te voegen
13
Selecteer de toets met muisklik en klik op Submit
Klik op OK om het bevestigingsscherm te verlaten
De toets is toegevoegd en moet nu alleen nog worden voorzien van wachtwoord en verschijningsdatum. Dit komt in het volgende scherm aan de orde. 14
Klik op ‘Modify the Test Options, (met Modify the Test kan men de toets aanpassen.
Maak de toets zichtbaar door aanvinken van YES . Vul verder in wanneer de toets zichtbaar moet zijn en eventueel wanneer weer uit de lucht. Opmerking: aangeraden wordt om Multiple attempts en Force Completion niet aan te vinken. Als namelijk tijdens het tentamen de pc uitvalt dan is inloggen in tentamen met ‘Force Completion’ aangevinkt niet mogelijk! Vink Password en VOEG EEN WACHTWOORD TOE!!
15
Verderop in scherm staat standaard aan dat de uitslag in berekeningen van grade center komt. Verder is de feedback standaard beperkt tot de score. Deze instellingen zijn ok.
Aan het eind kan men instellen of alle vragen in 1 keer worden gepresenteerd of per vraag (AANGERADEN WORDT HET LAATSTE, OMDAT DAN PER VRAAG WORDT OPGESLAGEN EN DE TOETS SNELLER WERKT). Klik op Submit.
16
Klik op OK om het bevestigingsscherm te verlaten.
Klik ten slotte op OK, de toets staat nu gereed.
Voordat men de toets afneemt is het uiteraard de bedoeling om een controle uit te voeren, dit komt in paragraaf 3 aan de orde.
17
3. Digitale toets controleren
Klik op de toets in de folder tentamen van Course Documents. Opmerking: de toets opent niet als men in het schem ‘display view’ staat.
Klik op OK.
18
Vul het wachtwoord in (gokkast). Klik vervolgens op Submit.
Het tentamen is geopend en kan worden gecontroleerd en ingevuld. Klik na het invullen van een antwoord (goed of fout) op Submit.
19
Blackboard vraagt na elk antwoord op bevestiging, klik op OK in bevestigingsscherm.
Omdat de toets uit 1 vraag bestond is dit meteen het einde van de toets! Om de uitslag in punten te zien klik op OK.
20
De uitslag van de toets! Klik op OK om af te sluiten. Opmerking: het beste werkt de controle als men de toets zelf maakt en – naast de vraagformulering en de antwoordcategorieën – controleert of men inderdaad het maximale aantal punten behaald heeft.
De uitslag
4. Uitslagen van digitale toets bekijken Elk gemaakt tentamen kan worden ingezien (en eventueel beoordeeld als het tentamen openvragen bevat.
Ga naar het configuratiescherm (zie paragraaf 1) Klik op Grade Center
21
Het Grade Center met geldige toets voor e137621. Opmerking: vaak is het Grade Center veel uitgebreider, met Manage, Organize Grade Center is in te stellen welke kolommen zichtbaar moeten zijn. Selecteer daartoe de kolommen die onzichtbaar moeten zijn en klik bovenaan op Show/Hide en Submit.
ORGANIZE GRADE CENTER
22
In het Grade Center kan men per student de toets bekijken (vooral handig voor inzage). Zet de cursor in het veld met de toetsuitslag en klik op de knop met twee pijlen. Klik op Grade Details.
23
Klik op View Attempt
24
Merk op dat Blackboard zowel het gegeven antwoord als het correcte antwoord weergeeft. Als beide gelijk zijn is het veld groen anders rood. Na inzage klik op Cancel, dan blijft de toets zeker zoals ingestuurd. Klik ten slotte op OK in het daarop volgende scherm om terug te gaan naar het Grade Center.
Tot slot van deze handleiding volgt het wegschrijven van de resultaten.
25
5. Resultaten wegschrijven Alle tentamens kunnen worden weggeschreven naar een bestand dat inleesbaar is met bijvoorbeel Excel
Kies in het Grade Center voor Manage en klik op Download.
26
Kies bij Data voor Selected Column (anders worden alle kolommen weggeschreven). Kies de kolom (hier het tentamen ‘Onderwijsdag’. Vink Tab bij Options aan (vaak standaard al aangevinkt). Vink My Computer aan (ook vaak standaard). Klik op Submit.
Kies voor Download!
27
Doorgaans volgt de vraag of men wil openen dan wel opslaan, kies voor opslaan.
Open Excel en open het bestand dat zojuist is opgeslagen. Opmerking: in het bestand staat in de eerste kolom de gebruikersnaam en in de tweede kolom het studentnummer, in de derde kolom staat de uitslag.
28
Bij de Faculteit der Sociale Wetenschappen werkt de studentadministratie met een tekstkolom waarin het studentnummer (zonder S) is opgenomen. Onderstaande Excel file is daarop aangepast (gaat vrij eenvoudig). Onderstaande file kan automatisch worden ingelezen en verwerkt
Tot slot: in de Test Manager kan de toets worden geëxporteerd (zie pagina 8), deze is na export in te lezen in de testmanager van een andere cursus met import (zie volgende pagina).
29
IMPORTEREN VAN TOETS
APPENDIX: Itemanalyse op multiple choice tentamens via BlackBoard Met BlackBoard is het mogelijk multiple choice tentamens af te nemen. In dit voorbeeld gaan we uit van een tentamen met 30 vragen met 4 antwoordcategorieën. Een goede beoordeling van de itemkwaliteit van elke vraag is niet binnen BlackBoard te maken, daarvoor moeten de gegevens geëxporteerd worden, bijv. naar SPSS. Aanpak: a. Exporteer vanuit BlackBoard de antwoorden naar Excel. b. Maak er een echte Excel-file van. c. Haal de gegeven in SPSS binnen. d. Itemanalyse. a. Exporteer vanuit BlackBoard de antwoorden naar Excel 1. Open in Blackoard de cursus waar je het multiple choice tentamen hebt afgenomen. 2. Open Control Panel en open Grade Center 3. Kolom opzoeken waar de tentamenresultaten staan 4. In die kolomkop aan de rechterkant op de knop met tweepijlen naar beneden klikken 5. Kies voor Download Results 6. Vink Tab-delimited, Formats of Results: By user (only valid attempts ligt voor de hand) 7. Click to download results indrukken (links), dus niet OK! 8. Save (directory en naam opgeven). b. Maak er een echte Excel-file van. 30
Het bestand dat BlackBoard aanmaakt is nog geen echte Excel-file, het is een tab-delimited file die Excel kan lezen 1. Start Excel 2. Open > bestand > bestand opzoeken > Openen 3. Wizard tekst importeren, stap 1 van 3: gescheiden > Volgende 4. Wizard tekst importeren, stap 2 van 3: delimiter: tab, Tekstindicator “ > Volgende 5. Wizard tekst importeren, stap 3 van 3: Voltooien. 6. Bestand opslaan (niet als unicode .txt) als Microsoft Excel Werkbestand (.xls) 7. Sluit Excel (anders kan SPSS dit laatste bestand niet lezen). c. Haal de gegeven in SPSS binnen. 1. Start SPSS 2. File > Open > Data > Files of type .xls > bestand opzoeken > Open > read variable names from the first row of data, maximal string length=32767 > OK De studenten komen netjes als cases (rijen) in beeld, in de kolommen staat achtereenvolgens: - 3 studentidentificatievelden (Username, Lastname, Firstname) - Per multiple choice vraag 6 velden (met veldnamen QuestionID, Question, Answer, Possiblepoints, Autoscore en Manualscore gevolgd door een volgnummer). Question en Answer bevatten de vraagformulering en het gegeven antwoord inclusief de opmaakelementen. Of het antwoord goed of fout was blijkt uit de numerieke variabele AutoscoreXX. d. Itemanalyse 1. Een standaard itemanalyse (berekening moeilijkheidsgraden, Cronbach’s alpha e.d.) is eenvoudig via het standaardmenu: Analyze > Scale > Reliability Analysis > Autoscore1, …, Autoscore30, Model=Alpha > Statistics > Descriptives for item, scale if item deleted, Inter-item correlations > Continue > OK, Of in SPSS syntax: RELIABILITY /VARIABLES=Autoscore1 Autoscore2 Autoscore3 Autoscore4 Autoscore5 Autoscore6 Autoscore7 Autoscore8 Autoscore9 Autoscore10 Autoscore11 Autoscore12 Autoscore13 Autoscore14 Autoscore15 Autoscore16 Autoscore17 Autoscore18 Autoscore19 Autoscore20 Autoscore21 Autoscore22 Autoscore23 Autoscore24 Autoscore25 Autoscore26 Autoscore27 Autoscore28 Autoscore29 Autoscore30 /SCALE('ALL VARIABLES') ALL /MODEL=ALPHA /STATISTICS=DESCRIPTIVE, CORR /SUM=TOTAL.
2. Voor een analyse van de gegeven antwoorden per vraag is het handiger om de variabelen numeriek te maken: In syntax: autorecode var=Answer1 Answer2 Answer3 Answer4 Answer5 Answer6 Answer7 Answer8 Answer9 Answer10 Answer11 Answer12 Answer13 Answer14 Answer15 Answer16 Answer17 Answer18 Answer19 Answer20 Answer21 Answer22 Answer23 Answer24 Answer25 Answer26 Answer27 Answer28 Answer29 Answer30 /into a1 to a30. formats a1 to a30(f1). fre var=a1 to a30.
Manfred te Grotenhuis en Theo van der Weegen, 16 april 2010.
31
