15.10.2015
Comparative judgment within online assessment: exploring students’ feedback reactions
SIG (Digitaal) Toetsen en Leren Integreren
Anneleen V. Mortier, Marije Lesterhuis, Peter Vlerick, Sven De Maeyer
www.d-pac.be
[email protected]
2
Inhoud 1• Comparative Judgment – Wat is comparative judgment? – Waarom comparative judgment?
2• Hoe geef je feedback bij CJ? – 4 Onderzoeksvragen
3• Studie – – – –
Design Resultaten Implicaties Mogelijks Verder onderzoek
3
Comparative Judgment – Wat is het? • Klassieke methode: rubrics/criteria
1. CJ
-
2. Feedback
-
3. Study
4
Comparative Judgment – Wat is het? • Comparative judgment: “Welke paper is de beste op de competentie verklarend schrijven?”
1. CJ
-
2. Feedback
-
3. Study
5
Comparative Judgment – Wat is het? • Wanneer we dit vele keren doen:
1. CJ
-
2. Feedback
-
3. Study
6
Comparative Judgment – Wat is het?
Demo: https://nomoremarking.com/demo1
1. CJ
-
2. Feedback
-
3. Study
12
Comparative Judgment – Waarom? 1• Rubrics = artificieel opdelen van de competentie
Bepaalde overlap
Pollitt, 2012
1. CJ
-
2. Feedback
-
3. Study
13
Comparative Judgment – Waarom? 2• Het geheel is meer dan de som van de delen Verklarend schrijven = ondersteuning + taal + structuur + ontwikkeling + indeling + conventies + spelling ? Sadler, 2009
1. CJ
-
2. Feedback
-
3. Study
14
Comparative Judgment – Waarom? 3• Soms worden er andere zaken meegenomen bij het beoordelen: Layout?
Crisp, 2007
1. CJ
-
2. Feedback
-
3. Study
15
Comparative Judgment – Waarom? 4• Beoordeling van 1 beoordelaar kan afhangen van zijn moodstoestand:
Bejar, 2012
1. CJ
-
2. Feedback
-
3. Study
17
Comparative Judgment – Waarom? 5• Scoren is ook een vergelijking maken
Laming, 2004
1. CJ
-
2. Feedback
-
3. Study
Comparative Judgment – Feedback naar studenten • Geen onderzoek naar hoe beoordeelden deze methode zien en of ze dit aanvaarden. “Welke paper is de beste op de competentie verklarend schrijven?”
1. CJ
-
2. Feedback
-
3. Study
18
Comparative Judgment – Feedback naar studenten • Hoe moet je dit voorstellen en hoe komt dit binnen?
1. CJ
-
2. Feedback
-
3. Study
19
20
Study – Onderzoeksvragen RQ 1
RQ 2
Eerlijk?
Relevant?
Betrouwbaar? RQ 3
1. CJ
-
2. Feedback
-
3. Study
21
Study – Research Questions RQ 4: Hebben specifieke tips een meerwaarde?
“Werk aan je structuur”
Algemene feedback
Specifieke feedback
Goodman & Wood, 2004
1. CJ
-
2. Feedback
-
3. Study
22
Study – Design - Studenten • 185 studenten van 10 scholen in Vlaanderen • 5de jaar middelbaar • 3 papers voor argumentatief schrijven (feedback op 1 paper)
1. CJ
-
2. Feedback
-
3. Study
23
Study – Design - Beoordelaars • 65 beoordelaars – Leerkrachten in opleiding, leerkrachten, AKOV, andere experts.
• Beoordeling in een gecontroleerde omgeving
1. CJ
-
2. Feedback
-
3. Study
24
Study - Design • CJ met D-PAC
1. CJ
-
2. Feedback
-
3. Study
25
Study - Design • CJ met D-PAC
http://demo.d-pac.be/tool/
[email protected] demo
1. CJ
-
2. Feedback
-
3. Study
26
Study – Beoordelaars Taak beoordelaars - Kies een paper - Waarom heb je deze paper gekozen? (Whitehouse, 2012)
Data - 1223 vergelijkingen - 1208 gesteunde vergelijkingen - 3739 uitspraken gerelateerd aan competentie
1. CJ
-
2. Feedback
-
3. Study
27
Argumenten van beoordelaars
Argumentatie 24%
Structuur 30%
Irrelevant 1%
Taal 21% Inhoud 24%
Similar to Huot (1993), Vaughan (1991)
28
Argumenten van beoordelaars 30 irrelevante aspecten in totaal (0,79%) “Het is geschreven in een ongelooflijk irritant lettertype om te lezen” (Vergelijking 344) “Ze waren beiden niet goed. Maar de rechtse paper maakte mij ten minste aan het lachen door de argumenten die de student heeft gebruikt.” (Vergelijking 621)
Similar to Whitehouse (2012)
29
Study - Design • Na de vergelijkingen: benchmark (6de jaar) werd vastgelegd door een groep van experts. Niet-geslaagd
Geslaagd
• Na de vergelijkingen: specifieke tips 1. CJ
-
2. Feedback
-
3. Study
Study – Design – Semi-gestructureerd interview
20 studenten
20 studenten
“Werk aan je structuur”
Algemene feedback 1. CJ
-
2. Feedback
-
3. Study
Specifieke feedback
30
31
Study – Design • Feedbackrapport bestond uit: – Informatie over de procedure
1. CJ
-
2. Feedback
-
3. Study
32
Study – Design • Feedbackrapport bestond uit: – Informatie over de sample – Informatie over de beoordelaars
1. CJ
-
2. Feedback
-
3. Study
33
Study – Design • Feedbackrapport bestond uit: – Ranking
1. CJ
-
2. Feedback
-
3. Study
34
Study – Design • Feedbackrapport bestond uit: – Ranking
Slaaggrens
1. CJ
-
2. Feedback
-
3. Study
35
Study – Design • Feedbackrapport bestond uit: – (specifieke tips)
1. CJ
-
2. Feedback
-
3. Study
36
Study – Design • Feedbackrapport bestond uit: – Eigen taak
1. CJ
-
2. Feedback
-
3. Study
37
Study – Design • Feedbackrapport bestond uit: – Beste taak
1. CJ
-
2. Feedback
-
3. Study
38
Study – Analyse • • • • •
1. CJ
Nvivo 10 Thematische aanpak (Braun & Clarke, 2009) Codes gebaseerd op onderzoeksvragen Subcodes gebaseerd op antwoorden Verschillen tussen algemene feedback en specifieke tips
-
2. Feedback
-
3. Study
39
Study – Resulten – RQ1 Eerlijk Meestal gezien als eerlijk Vergelijking Beoordeling is hetzelfde voor iedereen Veel beoordelaars Beoordelaars zijn consistent Het was anoniem
RQ 1
Eerlijk? Niet gezien als eerlijk omdat Score is afhankelijk van de klas Beoordelaars nemen de leercurve niet mee Score is niet genuanceerd (geslaagd of niet geslaagd)
1. CJ
-
2. Feedback
-
3. Study
40
Study – Resulten – RQ1 Eerlijk
Laagst scorende studenten: - Meer als oneerlijk - Leercurve wordt niet meegenomen
RQ 1
Hebben wel de grootste groeimogelijkheid! Eerlijk?
Hoog scorende studenten: - Beoordelaars kunnen niet allemaal dezelfde mening hebben - Niet genuanceerd
1. CJ
-
2. Feedback
-
3. Study
41
Study – Results – RQ2 Relevantie Meestal gezien als irrelevant Procedure Beoordelaars sample Studenten sample
RQ 2
Maar: gemengde gevoelens Relevant ? Werd nooit gezien als irrelevant Ranking & benchmark
1. CJ
-
2. Feedback
-
3. Study
42
Study – Results – RQ2 Relevantie
RQ 2 Laagst scorende studenten: - “Goed dat we onze resultaten kunnen vergelijken” (voorbeeldpaper) Hoog scorende student: - Best scorende paper is overbodig
Relevant ?
1. CJ
-
2. Feedback
-
3. Study
43
Study – Results – RQ3 Betrouwbaarheid Meestal gezien als betrouwbaar Vergelijking Vele beoordelaars die er iets van kennen Anoniem
RQ 3
Betrouwbaar? Niet betrouwbaar want: Niet representatief Hoe hebben de beoordelaars de taken beoordeeld?
1. CJ
-
2. Feedback
-
3. Study
44
Study – Resultaten – RQ4 Specifieke tips
“Werk aan je structuur”
Studenten met specifieke tips gaven dit als argument voor betrouwbaarheid en eerlijkheid. Tips werden altijd gezien als relevant. Studenten met specifieke tips gaven aan dat ze meer hebben geleerd van hun feedbackrapport. 1. CJ
-
2. Feedback
-
3. Study
45
Study - Implicaties • Over het algemeen zien studenten deze feedback als eerlijk, betrouwbaar en relevant. – Potentieel gebruik in de praktijk
– Leg de methode goed uit
1. CJ
-
2. Feedback
-
3. Study
46
Study - Implicaties • Specifieke tips zijn belangrijk om te leren en het feedbackrapport te zien als eerlijk en betrouwbaar!
“Werk aan je structuur”
• Belangrijkheid van een score Kunnen we dit implementeren?
1. CJ
-
2. Feedback
-
3. Study
47
Study – Mogelijks Verder Onderzoek • Resulteert feedback echt in leren?
• Feedbackreacties in specifieke populaties? - Bvb. studenten met dyslexie
• Veralgemeenbaarheid naar andere competenties? 1. CJ
-
2. Feedback
-
3. Study
Coenen, T., Coertjens, L., De Maeyer, S., Donche, V., Lesterhuis, M., Mortier, A.V., Vanhoof, J., Van Gasse, R., Van Petegem, P., Verhavert, S., & Vlerick, P.
Demo: http://demo.d-pac.be/tool/ username:
[email protected] password = demo Contacteer ons! http://www.d-pac.be Try-outs zijn mogelijk!
Type van beoordelaars
Bronnen Voorkennis Lay-out
Leerkrachten Taal Nt sign
Argumentatie Grammatica
Structuur
Leerkrachten Taal
AKOV
Nt sign
Nt sign
Geen specifieke focus
Leerkrachten in opleiding Sign
51
Lopend onderzoek: Benchmark categorisatie • Hoe bepaal ik nauwkeurig in welke categorie een representaties behoort? – Voorbeeld: taalkennis B2
B1
