Toetsen van groepsproducten Stan Buis & Jirka Born
Doelen workshop • Theoretische achtergrond van toetsen van groepsproducten • Beoordelingswijze g j van g groepswerk p kritisch onder de loep nemen • Elkaar via ICT ont-moeten
2
Samenwerken
2
Ervaringen
S
2
21st Century Skills
www.kennisnet.nl/themas/21st‐century‐skills/ 2
Taakverdeling Coöpereren
Collaboreren
Dillenbourg et al.(1996, in: Judd et al., 2010) 2
Individuele verantwoordelijkheid Meten of elk individueel groepslid de doelstellingen behaald heeft. In de beoordeling wordt dt zowell de d kwantiteit k tit it als l de d kwaliteit k lit it van de individuele bijdragen meegewogen. (Johnson, Johnson, & Holubec, 1998)
2
Belonen van samenwerking 3 manieren van belonen van samenwerking: (Slavin, 1977)
• Competitive reward structure • Cooperative reward structure • Independent reward structure
2
Beoordelen Wat is het doel van de beoordeling g van studenten en wat dient te worden beoordeeld? • productiviteit (en kwaliteit) van de groep meten • meten wat individuele student inhoudelijk leert van groepswerk • samenwerkingsvaardigheden individuele student meten (Webb 1997)
2
Ontwerpmodel voor onderwijs
Gebaseerd op Dee Fink (2013) 2
Beoordelingsmethoden • • • • •
groepsproduct m.b.v. scorelijsten individuele presentaties / verdediging individuele (kennis-)toetsen peer- en self-assessments lf t ICT?
2
Peer- en self-assessment Peer self assessment Lejk en Wyvil (2001):
• Peer-assessment aan de hand van criteria • Betrek studenten in het opstellen van deze criteria
• Holistisch peer-assessment • Gebaseerd op p de bijdragen j g van individuele studenten • Bij holistisch peer-assessment lopen oordelen over individuele bijdragen minder uiteen Stefani, 1994 in Cho et al. (2006)
• S Self-assessments lf t zijn ij doorgaans d minder i d accuraat dan peer-assessments 2
Groepswerk en ICT
2
Aan de slag: g opdracht p 1 ((15’)) • Surf op p de Ipad, p smartphone p of laptop p p naar: https://titanpad.com/HGZOcongres1 https://titanpad.com/HGZOcongres2 https://titanpad.com/HGZOcongres3 p p g
Hier vindt u een casusj g met opdracht p beschrijving
https://titanpad.com/HGZOcongres4
• Samenwerken met anderen! Discussie via chat rechts in het scherm Kom gezamenlijk tot consensus binnen 15 min
2
Aan de slag: g opdracht p 2 Beantwoord in groepjes van 4 de volgende vragen op de handout (20 min) 2a: Hoe wordt getoetst? 2b: Hoe wordt ‘individual accountability’ gewaarborgd?
2
Groepswerk p en ICT Welke data zijn nu beschikbaar op basis van jjullie samenwerkingen? g https://titanpad.com/HGZOcongres1 https://titanpad.com/HGZOcongres2 https://titanpad.com/HGZOcongres3 htt //tit https://titanpad.com/HGZOcongres4 d /HGZO 4
2
ICT – Monitoren van kwantiteit Biuk-Aghai et al (2008)
2
ICT – Monitoren van kwantiteit Biuk-Aghai et al (2008)
2
ICT – Monitoren van kwantiteit Biuk-Aghai et al (2008)
2
ICT – Monitoren van het proces p Social network analysis y
g y Automatische argumentatie‐analyse (van Leeuwen et al, 2014)
Wie reageert er op wie? Wie werkt er aan welk stuk tekst?
Zijn studenten het met elkaar eens?
2
ICT – monitoren van kwaliteit Buis (2010-2014)
2
ICT – monitoren van kwaliteit Buis (2014) BBT 7:
Group BBT07:
Quantity and Quality of individual contributions to the collaborative assignment
Quantity and Quality of individual contributions to the collaborative assignment
300
60 0 7
250
0 0
32
30
20
31
10 0
21
24
# Good # Sufficient
43
20
Number of Words N
40
0
# Poor # Very Poor
Group BBT7:
0 0 Tessa Hick Loes Verhoog Stefan Hol Jarno Sickens
T1
# Good 191
150 205
# Sufficient
146 180
100
0
Quantity and Quality of individual contributions to the collaborative assignment 100 90 80 70 60 50 40 30 20 10 0
200
# Poor # Very Poor # Very Poor
50
19
Numbe er of Words
Num mber of Words
50
22 0 Tessa
68
74
0 Loes
0 Stefan
18 0 Jarno
T3 # Good 68
72
76
68
# Sufficient # Poor # Very Poor
8 50 Tessa
9 60 Loes
6 40 Stefan
6 6 Jarno
T2 2
ICT – beoordelen van kwaliteit
Groepscijfer groep 5: 5 2
ICT – beoordelen van kwaliteit
Groepscijfer groep 6: 7 2
Groepswerk p en ICT Welke vragen heeft u met betrekking tot de toetsing van groepswerk in uw eigen onderwijs?
2
Contact: EXPOSZ, Vrije Universiteit St Buis Stan B i & St Stan Buis B i
[email protected];
[email protected] 2
Referentielijst j Biuk-Aghai, Robert P., Kelen C., and Venkatesan, H. Visualization of Interactions in Collaborative Writing, Proceedings of the 2008 Second IEEE International Conference on Digital Ecosystems and Technologies (IEEE DEST 2008), Phitsanulok, Thailand, 26-29 February 2008, pp. 97-102, IEEE. IEEE Buis (2010-2014): Not yet published. Work in progess. Dee Fink, L. (2013). Creating significant learning experiences, revised and updated. San Fransisco: Jossey-Bass. Dillenbourg, P., Baker, M., Blaye, A. & O’Malley, C. (1996). The evolution of research on collaborative writing. In E. Spada & P. Reiman (Eds), Learning in humans and machine: Towards an interdisciplinary learning science (pp. 189-211). Oxford, Elsevier. (in: T. Judd, G. Kennedy, S. Cropper (2010) Using wikis for collaborative learning: assessing collaboration through contribution. Australasian Journal of Educational Technology, 26 (3) (2010), pp. 341–354). Fink, L. D. (2003). Creating significant learning experiences: An integrated approach to designing college courses. San Francisco, CA: Jossey-Bass. Johnson, D.W., Johnson, R., & Holubec, E. (1998). Advanced cooperative learning (3rd ed.). Edina, MN: Interaction Book Co. Lejk, M. & Wyvill, M. (2001) The effect of the inclusion of self-assessment with peer assessment of contributions to a group project: a quantitative study of secret and agreed assessments. Assessment & Evaluation in Higher Education, 26, 551–561. Stefani, L. A. J. (1994). Peer, self and tutor assessment: Relative reliabilities. Studies in Higher Education, 19(1), 69–75. (in Cho et al. (2006). Validity and Reliability of Scaffolded Peer Assessment of Writing From Instructor and Student Perspectives. Journal of Educational Psychology, 4: 891–901. Slavin, Robert E. (1977). Classroom Reward Structure: An Analytical and Practical Review . Review of Educational Research 47 (4): 633-650. Van Leeuwen, A., Janssen, J., Erkens, G., Brekelmans, M. (2014). Supporting teachers in guiding collaborating students: Effects of learning analytics in CSCL. Computers & Education, 79: 28-39. Webb, N.M. (1997). Assessing Students in Small Collaborative Groups. Theory into practice, 36 (4): 205-213.
2
