Handleiding peer assessment-tool in Minerva, versie docent

Handleiding peer assessment-tool in Minerva, versie docent Volg onderstaande stappen om een peer assessment succesvol in Minerva te organiseren 1. 2. 3. 4.

Activeer de peer assessment-tool WebPA in je Minerva-cursus Stel groepen samen in Minerva Breng de groepen over van Minerva naar WebPA Maak een peer assessment in WebPA 4.1 Creëer een scoreformulier (my forms) 4.2 Creëer de peer assessment (my assessments) 5. Volg de peer assessment op nadat deze gelanceerd is 6. Bepaal de scoreberekening en consulteer de rapporten 6.1 Geef de groepsscore in 6.2 Laat de berekening van de individuele eindcijfers lopen 6.3 Bekijk en download de resultaatsrapporten Al deze stappen worden hieronder kort uitgelegd.

Stap 1: Activeer de peer assessment-tool WebPA in je Minerva-cursus 1. Contacteer de helpdesk van Minerva via mail naar [email protected] of per telefoon naar 09/2648570 en vraag daar om de WebPA module te activeren in de cursus op Minerva waarbinnen u de peer assessment-tool WebPA wilt activeren. 2. Na activering is het WebPA-icoontje te zien op de startpagina van je cursus:

Handleiding Peer Assessment-tool in Minerva, versie docent – Afdeling Onderwijskwaliteitszorg - UGent -1-

Stap 2: Stel groepen samen in Minerva In Minerva wordt met categorieën van groepen gewerkt. Een categorie = een collectie van groepen en bevat dus 1 of meerdere groepen van studenten die elkaar moeten beoordelen. Bijvoorbeeld: een docent wil een groepswerk met peer assessment organiseren bij zijn 60 studenten. Hij verdeelt deze in 10 groepen in van telkens 6 studenten. Die 10 groepjes samen met telkens 6 studenten vormen dus de categorie. Onderneem volgende stappen om een categorie aan te maken en daarbinnen de groepjes samen te stellen: 1. Een categorie aanmaken. De categorie wordt gebruikt als de verzameling van groepen die per groep dezelfde peer assessment moeten invullen. In dit voorbeeld is de categorie Peer Assessment – 24 oktober 2013 aangemaakt. 2. Groepen aanmaken binnen de categorie. Een groep is de groep van studenten die een groepswerk hebben gemaakt of een andere activiteit hebben uitgevoerd waarvoor je de peer assessment wilt organiseren. In onderstaand voorbeeld zijn er 3 groepen binnen de categorie Peer Assessment – 24 oktober 2013. 3. Studenten toekennen aan de groepen. Je kan de studenten zelf toekennen aan een groep, of je kan de studenten zichzelf ook laten inschrijven in de juiste groep. In onderstaand voorbeeld zijn er 2 groepen van 6 studenten en 1 groep van 5 studenten. Hoe je categorieën en groepen aanmaakt, en hoe je studenten – al dan niet automatisch – toewijst aan groepen staat helder beschreven op http://icto.ugent.be/nl/handleiding/lesgevers/groepen.

Let op! -

Een categorie noemt een “collection” in WebPA. Dus categorie in Minerva is hetzelfde als collection in WebPA.


-

Binnen dezelfde categorie mag de student maar tot 1 groep behoren. Anders zullen de categorie en de corresponderende groepen niet goed worden overgezet naar WebPA. Wens je meerdere assessments te organiseren waarbij de groepjes anders samengesteld worden, maak dan voor elke assessment een aparte categorie aan met een duidelijke naam en vorm de nieuwe groepen binnen deze categorie.

Stap 3: Breng de groepen over van Minerva naar WebPA

Klik in de startpagina van je cursus op het WebPA-icoon. Je komt op volgende pagina terecht:

1. Als je cursus nog niet is overgebracht naar WebPA, dan dien je de tweede optie aan te klikken: ‘Breng deze cursus en gebruikers over naar de WebPA-applicatie’. Op dat moment wordt WebPA voor deze cursus geactiveerd en worden de gebruikers over gezet. Je komt via een nieuw venster in de WebPA-omgeving terecht. Lees en verifieer de informatie.

2. Sluit het venster en keer terug naar je Minerva-cursus. Klik nu een tweede maal op het WebPAicoon. Handleiding Peer Assessment-tool in Minerva, versie docent – Afdeling Onderwijskwaliteitszorg - UGent -3-

3. Naast je cursus en gebruikers, moet je ook nog de groepscategorieën overzetten. Klik op de derde optie. Per categorie die je wil overzetten, klik je op de link ‘Breng volgende groepscategorie over:… ‘. Indien je nog aanpassingen aanbrengt in de groepscategorieën, zal bij de derde optie de link ‘Werk de volgende categorie bij: …’ verschijnen. Zolang je in WebPA nog geen assessment hebt gekoppeld aan een categorie of collection, kunt u groepscategorieën bijwerken. Bij een lopende assessment raden we af om de groepscategorieën nog aan te passen. Er zal een nieuwe bevestigingsboodschap verschijnen. Sluit het venster en keer terug naar je Minerva-cursus 4. Nu alle gegevens (inclusief de groepssamenstellingen) overgezet zijn naar WebPA, klik op de eerste optie ‘Ga naar WebPA’ om verder te werken in WebPA.

Je komt dan in de WebPA-module van je cursus:

Vanaf dat moment is de peer assessment-tool voor de cursus aangemaakt en is deze bereikbaar voor de studenten. Aangemaakte assessments kunnen door de studenten via het WebPA-icoon ingevuld worden. Opmerking: na het gebruik van de WebPA-tool (voor het aanmaken van assessments of het invullen van assessments) kunnen zowel docent als student daar afmelden door in het linkermenu te klikken op logout. Handleiding Peer Assessment-tool in Minerva, versie docent – Afdeling Onderwijskwaliteitszorg - UGent -4-

Stap 4: Maak de peer assessment beschikbaar in WebPA Wanneer de link tussen Minerva en WebPA is geactiveerd (zie vorige stap), kan elke cursusbeheerder van je Minervacursus een peer assessment aanmaken. Dit gebeurt in de WebPA-omgeving die dus enkel bereikbaar is via de aangemaakte link in Minerva. In WebPA, ziet de cursusbeheerder in het linkermenu 3 belangrijke onderdelen bij het onderdeel Tutors: 1. My forms: dit is de verzamelplaats van scoreformulieren met criteria waarop de studenten zichzelf en elkaar kunnen beoordelen; 2. My groups: hier worden de aangemaakte groepen uit Minerva overgebracht; 3. My assessments: hier worden de peer assessments aangemaakt door een scoreformulier te verbinden met de juiste groep, ...


Stap 4.1: Creëer een scoreformulier (my forms) 1. Creëer onder Tutors > My forms een scoreformulier met de criteria waarop de studenten zichzelf en elkaar kunnen beoordelen. 2. Klik op ‘create a new form’

3. Geef het scoringsformulier een naam, in dit geval ‘Self en Peer Assessment casusbespreking’. Opmerking: je kan meerdere scoringsformulieren maken.

4. Maak een keuze tussen het gebruik van een Likert-schaal (typisch een score tussen 1 en 5, of 1 en 10) of de Split 100 (studenten moeten honderd punten verdelen onder elkaar). Klik vervolgens op finish. Deze keuze bepaalt hoe de studenten de verschillende criteria zullen scoren. Wij geven de voorkeur aan het gebruik van de Likert-schaal. Opmerking: het is steeds mogelijk om een scoringsformulier achteraf aan te passen zoals de naam van het formulier, de criteria, het gekozen scoringstype. Dit kan door te klikken op het potlood naast het formulier, de criteria, … Het is eveneens mogelijk om een scoringsformulier, een specifiek criteria, … te verwijderen.


5. Zodra een scoringsformulier is aangemaakt, kan je er de criteria aan toevoegen. Klik hiervoor op ‘add a new criterion’. 6. Geef het criterium een naam en eventueel een beschrijving. 7. Pas desgewenst de schaal aan waarop de studenten dit criterium moeten scoren: bijvoorbeeld 05 of 1-5. Bij een oneven schaal kunnen de studenten gaan voor een meer neutrale keuze en hoeven ze zich niet echt uit te spreken.

8. WebPA laat je toe om aan elke score van de schaal een woordelijke betekenis te hangen. Druk op volgende om een betekenis aan een score te geven.


9. Klik op finish om de wijzigingen in het criterium op te slaan. 10. Herhaal bovenstaande stappen voor elk toe te voegen criterium. Opmerking: het is ook mogelijk om per criterium een aparte scoring te nemen.

Stap 4.2 Creëer een peer assessment (my assessments) In deze laatste stap maak je een eigenlijke assessment aan. Daarbij link je een scoreformulier aan een groep, bepaal je wanneer die assessment start en eindigt, wanneer die zichtbaar wordt voor de studenten enz. 1. Ga naar Tutors > My assessments

2. Hier krijg je een overzicht van alle aangemaakte (‘pending’), lopende (‘open’), afgesloten (‘closed’) en uitgerekende (‘marked’) assessments. (zie verder voor meer informatie over dit overzicht) Klik op ‘create a new assessment‘ om een nieuwe assessment aan te maken.


3. In de eerste stap van de wizard kan je de assessment een naam geven, bepalen wanneer de peer assessment start en eindigt en kan je optioneel een introductietekst voor de studenten toevoegen.

Via ‘Advanced options’ (onderaan rechts) kan je aangeven of WebPA een mail moet sturen naar alle studenten die in de groepen voor deze assessment zitten dat de assessment is aangemaakt. Klaar? Klik op ‘Next’. 4. In een volgende stap kies je het scoreformulier dat je aan deze nieuwe assessment wil koppelen. Je krijgt hier de keuze uit alle scoreformulieren uit alle cursussen waarvan je titularis of medelesgever bent. Via ‘preview’ kan je de scoreformulieren uit de lijst bekijken.


Via ‘Advanced options’ maak je 2 keuzes m.b.t. feedback:  Krijgen studenten de feedback bij deze assessment te zien? Eens de assessment is afgelopen, kunnen studenten inloggen en feedback zien m.b.t. hun prestaties in hun groep. De feedback geeft voor elk criterium aan of ze lager, gemiddeld of hoger scoren dan de rest van de groep voor deze assessment.  Moeten studenten extra tekstuele feedback of een motivering kunnen toevoegen aan de scores die ze de andere groepsleden gegeven hebben? Beslist? Klik op ‘Next’. 5. Vervolgens bepaal je welke groepscategorieën (of “groepscollecties” in WebPA) aan deze assessment deelnemen. Je krijgt een overzicht van alle collecties van groepen uit alle cursussen waarvan je titularis of medelesgever bent.

Gekozen? Klik op ‘Next’. 6. Op een volgend scherm kies je tussen ‘Self and peer assessment’ of ‘Peer assessment only’. Dit laatste (peer assessment alleen) kan je selecteren via ‘Advanced Options’. Vink je ‘Self and peer assessment’ aan, dan zullen de studenten elkaar en ook zichzelf scoren. Vink je ‘Peer assessment only’ valt de zelfevaluatie weg en scoren de studenten enkel elkaar.

Gekozen? Klik op ‘Next’.


7. Nu krijg je een overzicht van de assessment die je aangemaakt hebt. Indien je tevreden bent over de gemaakte keuzes, klik ‘Finish’. De assessment zal op het ingestelde tijdstip opengesteld worden en indien je daarvoor gekozen hebt, worden de uitnodigingsmails naar de geselecteerde studenten verstuurd. 8. Tenslotte krijg je een bevestiging dat de assessment aangemaakt is: ‘Your new assessment has been created.’

Stap 5: Volg de assessment op nadat deze gelanceerd is. Ga in het hoofdscherm naar ‘My assessments’. Op het volgend scherm krijg je een overzicht van alle aangemaakte (‘Pending’), lopende (‘Open’), afgesloten (‘Closed’) en uitgerekende (‘Marked’) assessments.

Op het tabblad ‘Pending’ zie je alle assessments te zien die zijn aangemaakt, maar die nog niet zijn opengesteld. Studenten krijgen die dus nog niet te zien. Op het tabblad ‘Open’ krijg je alle assessments te zien waarvan de einddatum nog niet verstreken is. Alle assessments die afgesloten zijn en waarvan de scores nog niet berekend zijn, zijn terug te vinden op het tabblad ‘Closed’. Alle assessments tenslotte die afgesloten zijn en waarvan de scores werden berekend, zijn te zien onder ‘Marked’. Onderstaand voorbeeld is een screenshot van het tabblad ‘Open’. De assessment ‘Uittesten Peer Assessment’ is nog open, maar ‘completed’. Dit wil zeggen dat alle studenten die de assessment moesten invullen, dit ook gedaan hebben. De docent heeft de berekening van de scores nog niet laten lopen (in dat geval zou die assessment onder het tabblad ‘Marked’ verschijnen). In de assessment ‘Test handleiding’ heeft slechts 1 student van de 4 de assessment gedaan.


Via de icoontjes rechts van de assessments, kan je de assessment aanpassen, mails naar studenten sturen, opvragen wie de assessment reeds deed, het groepspunt bepalen (zie verder) of individuele scores deleten.

Let op! Je kan aanpassingen doen aan de groepen, scoreformulieren en assessments, zolang de assessment zelf nog niet loopt. Is een assessment lopende, dan kan je geen aanpassingen meer doen. Verandert er iets aan de groepen tijdens een lopende assessment (er komt bijvoorbeeld een nieuwe student bij), dan zal je de groep moeten aanpassen, een nieuwe assessment moeten aanmaken en de oude assessment op closed zetten.


Stap 6: Bepaal de scoreberekening en consulteer de rapporten

Stap 6.1: Geef de groepsscore in 1. Ga in het hoofdscherm naar ‘My assessments’ en selecteer op één van de tabbladen die assessment waarbij je de groepsscores wil gaan ingeven en klik op het ‘Set group marks’ icoontje

2. Geef voor elke groep de groepsscore in. Groepsscores kunnen op elk moment ingegeven worden, onafhankelijk van de status van de assessment (pending, open, closed). Let wel, WebPA werkt op basis van percentages en dus niet met cijfers op 20!

De groepsscores die je als docent geeft, zullen samen met de peer assessmentscores als basis gebruikt worden voor het berekenen van de individuele eindcijfers van de studenten. Als bijlage 1 vind je een gedetailleerde beschrijving van het scoringsalgoritme dat WebPA gebruikt voor de scoreberekening steekt en een uitgewerkt voorbeeld van de berekeningswijze.


Stap 6.2: Laat de berekening van de individuele eindcijfers lopen De berekening gebeurt op basis van het groepscijfer dat je als docent hebt toegekend en op basis van de peer assessment scores die studenten elkaar gegeven hebben. Deze berekening kan enkel gebeuren nadat de assessment is afgesloten (closed). 1. Ga in het hoofdscherm naar ‘My assessments’, tabblad ‘Closed’ en klik op het ‘New mark sheet’ icoontje van de assessment waarvan je de individuele scores wil laten berekenen.

2. Op het volgende scherm kan je aangeven welk percentage van het groepscijfer gedifferentieerd moet worden met de peer assessment scores en kan je eventueel een ‘penalty for noncompletion’ opleggen aan die studenten die de peer assessment niet invulden. Bij zo’n ‘penalty’ wordt nogmaals een percentage van het eindcijfer of een aantal punten van die student afgetrokken.

Via ‘Advanced options’ bepaal je of die penalty in percentages of in absolute cijfers wordt bepaald. Bovendien kan je kiezen hoe de resultaten aan de studenten worden weergegeven: als percentages of als letters (A-F). Klaar? Klik op ‘create mark sheet’.


Stap 6.3: Bekijk en download de resultaatsrapporten Ga in het hoofdscherm naar ‘My assessments’, tabblad ‘Marked’ en klik op ‘View Reports’.

Op het volgende scherm krijg je een 7-tal rapporten die te bekijken en te downloaden zijn in Excelen/of Word-formaat:

Indien je dat wil, kan je de parameters die je bij de vorige stap ingaf wijzigen en de berekening opnieuw laten lopen. Ga hiervoor opnieuw naar ‘My assessments’, tabblad ‘Marked’ en klik op het ‘New mark sheet’ icoontje. De nieuwe berekening verschijnt bij ‘My assessments’, tabblad ‘Marked’. Klik op ‘View Reports’ om ook deze berekening te bekijken.


Tot slot…

Meer weten over de mogelijkheden en het gebruik van WebPA? Deze handleiding heeft zo beknopt mogelijk de basisfunctionaliteiten van WebPA weer. In WebPA zelf, onder het onderdeeltje ‘Support’, kan je via ‘Help’ meer uitgebreide handleidingen en extra uitleg vinden. Via ‘Contact’ (of via contact us in het roze vierkantje onderaan) kan je de betrokken medewerkers van de Afdeling onderwijskwaliteitszorg een mail sturen om bugs te melden of om technische/didactische vragen te stellen.


Bijlage 1: A Worked Example of the Scoring Algorithm Authors: Steve Loddington Paul Newman Nicola Wilkinson

Introduction This document demonstrates a worked example how the WebPA scoring algorithm is used to obtain marks for a student assessment. This is a very simple example assessment, focussing on a single group, marking each group member against a single question. For readability, most of the numbers used later, in this example, are rounded to 2 decimal places. The actual WebPA algorithm is more precise and provides a greater accuracy.

A Worked Example Alice Bob Claire David Elaine Total awarded Alice

4

4

3

2

1

14

Bob

3

5

3

2

0

13

Claire

4

4

4

4

4

20

David

3

5

4

3

1

16

Elaine

-

-

-

-

-

0

11

6

Total Received 14

18 14

Figure 1 - Example of a peer marked criterion The rows across are the marks awarded by each student, whereas the columns down shows the marks each student received. The marks received are totalled at the bottom. A quick review of the scores shows that Bob performed the best, while Elaine has performed the worst. Also, Elaine didn't submit any marks for the peer assessment at all, as denoted by the dashes in her row.

Normalise the Scores Awarded by each Student All the marks each student awarded are added up (total up each row). Alice awarded: 4 + 4 + 3 + 2 + 1 = 14 marks Bob awarded: 3 + 5 + 3 + 2 + 0 = 13 marks Claire awarded: 4 + 4 + 4 + 4 + 4 = 20 marks David awarded: 3 + 5 + 4 + 3 + 1 = 16 marks Elaine awarded: 0 + 0 + 0 + 0 + 0 = 0 marks Figure 2 – The marks awarded are added


Once it is known how many marks each student has awarded, the scores that they gave can be received and the fractional score for each student can be calculated. In other words, every student in the group has an identical 'cake', but they can give different sized slices to each other (and themselves!). Alice awarded a total of 14 marks (so her cake was split into 14 slices). Alice gave herself 4 marks = 4 / 14 = 0.29 Alice gave Bob 4 marks = 4 / 14 = 0.29 Alice gave Claire 3 marks = 3 / 14 = 0.21 Alice gave David 2 marks = 2 / 14 = 0.14 Alice gave Elaine 1 marks = 1 / 14 = 0.07 Figure 3 - How the fractional scores are calculated These are the fractions awarded by Alice to each student. As a test, all the fractions can be added up and they should equal 1. This process is repeated for every student for every question. In this example there is only one question so we only need to add up this one question.

Calculate the WebPA Score awarded to each Student Before each students WebPA score is calculated, there's one more bit of information that is needed; how many students were in the group, and how many of them submitted marks. In this case the group had 5 members, which means 5 cakes should be split between 5 members. Unfortunately, Elaine didn't submit any marks, so only 4 cakes are available! To compensate, WebPA calculates a multiplication factor to bring the total number of cakes back up to 5. This value is identified as the ‘fudge factor’. 5 (students in group) / 4 (students submitting) = 1.25 (our fudge factor) Figure 4 - Calculation of the multiplications factor The WebPA scores can now be calculated. Taking Alice as an example, we add up all the fractional scores she received. We calculated Alice's own fractions above, but the other students' fractions were produced in exactly the same way. Alice awarded herself 0.29 (as we saw above). Bob awarded Alice 0.23 (= 3 / 13). Claire awarded Alice 0.20 (= 4 / 20). David awarded Alice 0.19 (= 3 / 16). Elaine didn't submit, so she effectively awarded 0.00. Figure 5 - Fractional scores awarded to the members of the group If all the individual factors are added up, the WebPA score is calculated. For Alice: Alice's WebPA score = 0.29 + 0.23 + 0.20 + 0.19 + 0.00 = 0.91 Figure 6 - Alice's WebPA score calculation


If everyone had submitted the assessments, that would be fine, but remember we had one non-submission, so we have to bring in our fudge factor from earlier. Alice's actual WebPA score = 0.91 x 1.25 (the fudge factor) = 1.14 Figure 7 - Alice's actual WebPA score If the same calculations are done for each of the other students, we find: Bob's actual WebPA score = 1.18 x 1.25 = 1.47 Claire's actual WebPA score = 0.89 x 1.25 = 1.11 David's actual WebPA score = 0.68 x 1.25 = 0.85 Elaine's actual WebPA score = 0.33 x 1.25 = 0.41 Figure 8 - Each of the groups WebPA score As a quick check, adding up all the WebPA scores for every student, it should equal the number of students in the group. Adding up the scores gives 4.98, which allowing for rounding errors (we're using 2 decimal places in this example) is 5, the total number of students assigned to the group.

Calculate the Student's Final Grade Now the WebPA score have been worked out, it is easily to calculate a student's final grade using the overall group mark. Let's assume we've awarded this group's work 80%. Ordinarily, this may have given everyone in the group 80%, but now using the WebPA scores to give either proportionally higher or lower marks according to the students actual performance. This is one of the clear benefits of using WebPA. Alice's Grade = 1.14 x 80 = 91.2% Bob's Grade = 1.47 x 80 = 117.6% = 100% (we don't give grades above 100%) Claire's Grade = 1.11 x 80 = 88.8% David's Grade = 0.85 x 80 = 68.8% Elaine's Grade = 0.41 x 80 = 32.8% Figure 9 - Calculating the students final grades It is clear that three of the students did better than the group mark would have suggested, but two students were worse off. According to the peer assessment, that's a fair result.

PA Weighting The first parameter that can be changed is the PA Weighting. This defines how much of the overall group-mark should be fixed (given to all the students automatically), and how much should be peer-assessed (calculated using the algorithm above). If instead of peer-assessing the entire group mark it is possible to use 50% instead, then all 5 students would automatically receive the other 50% of the group mark. In this case, with an


overall group mark of 80%, that's an automatic 40% fixed, and the remaining 40% will be adjusted by the peer assessment. The students final grades would then become: Alice's Grade = 40 + (1.14 x 40) = 85.6% Bob's Grade = 40 + (1.47 x 40) = 98.8% Claire's Grade = 40 + (1.11 x 40) = 84.4% David's Grade = 40 + (0.85 x 40) = 74% Elaine's Grade = 40 + (0.41 x 40) = 56.4% Figure 10 - WebPA weighted marks The spread of grades has been reduced substantially in Figure 12. Bob's previous grade was 117.6% but this has been brought down to 98.8%. Similarly, Elaine's low score of 32.8% has been brought up to 56.8%.

Weightings and Penalties There are other factors that can come into play which affect the overall scores received by each student. The calculation above assumes that the entire group mark should be adjusted using the peer assessment. This can lead to large spread of marks. Fortunately, WebPA allows the algorithm to be adjusted, using a couple of extra parameters, controlling the spread of marks.

Non-Completion Penalty The second parameter is the non-completion penalty. For students who didn't take the peer assessment, a penalty of up 100% can be awarded to the final grade. As an example, awarding a non-completion penalty of -10%, Elaine, who failed to take the assessment, would receive this penalty: Elaine's Grade = weighted WebPA mark – non-completion penalty therefore Elaine's Grade = 56.4 - 10% = 50.76% Figure 11 - Non-completion penalty calculation

(verkregen vanop de website van WebPA http://webpaproject.lboro.ac.uk/?q=book/export/html/125 op 21/08/2013)


Handleiding peer assessment-tool in Minerva, versie docent

Recommend Documents