Peer evaluatie: dé manier om van elkaar iets te leren Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
Delft University of Technology
Challenge the future
Context Faculteit Luchtvaart- en Ruimtevaarttechniek • 2000+ studenten in BSc en MSc • In BSc wordt veel gebruikt gemaakt van Projectonderwijs (ca. 35 ECTS) • Studenten werken in groepen van 8 – 10 studenten aan zeer diverse projecten
2
Probleem: Beoordeling • Onder docenten grote behoefte aan assistentie bij beoordelen • Grootste problematiek: • • • •
Wie heeft wat gedaan? Hoe groot is de individuele bijdrage geweest? Wat is de kwaliteit van de bijdrage? Hoe heeft een persoon bijgedragen aan het groepsproces?
3
Werken in een project
Formulering Project doel
Project resultaat
Evaluatie Tijd 4
Werken in project onderwijs projecten
Formulatie Project doel
Project resultaat Leer resultaat
Tijd 5
Oplossing: Peer & Zelf evaluaties Peer evaluatie: Het beoordelen van leden van het eigen project team op hun bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen. Zelfevaluatie: Het beoordelen van de eigen bijdrage tot het project en de manier waarop die bijdrage tot stand is gekomen.
6
Type peer evaluaties Drie types peer evaluatie: 1. Ranking (van beste tot slechtste) 2. Pot verdelen (een pot punten of geld door het team onderling laten verdelen) 3. Rubrics (aan de hand van opgestelde criteria studenten elkaar laten beoordelen) Voor projectonderwijs in het HO is op LR ervaren dat optie 3 het beste werkt.
7
Uitvoering • Gekozen voor een bestaande set rubrics zoals gebruikt op de United States Air Force Academy in their project • Een Rubric is een scoringsvorm waarbij je iemand punten geeft gebaseerd op van te voren opgestelde criteria
8
Criteria Op L&R aan de TU Delft worden 5 criteria gebruikt: • Job performance • Attitude • Initiative • Communication • Management of Resources
9
Job Performance
Attitude
Leadership/Initiative
Management of
Communication
Resources Consistently does more than required. Work is of exceptional quality.
Positive and professional attitude which favorably influences other company members.
Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project.
Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule.
Oral and written skills excellent. Very effective within the group and to reviewers.
Sometimes does more than required. Work is of high quality. A producer.
Positive attitude toward project and the team.
Readily accepts tasks, sometimes seeks more work. Gets involved in the project.
Uses time effectively in and of group. Completes all tasks on time.
Usually effective.
Performs all assigned tasks. Quality of work is acceptable.
Neutral attitude.
Gets involved enough to complete tasks. Does his/her share.
Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time.
Generally gets the point across. Tries to improve in weak areas.
Performs all assigned tasks. Work must be redone or repaired to meet standards.
Negative attitude toward project and/or project.
Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good.
Wastes most of group time. Seldom seen doing productive work. Some tasks completed late.
Skills ineffective. Makes an effort to improve.
Performs some assigned tasks. Work must be redone by others to meet standards.
Negative attitude which adversely affects other company members or project.
Lets others do the work; does the minimum he/she thinks is needed to get by.
Does little useful work in group or out; wastes his/her time and others. Work is constantly late.
Skills ineffective. Makes little or no effort to improve.
10
Criteria: Job Performance ++ Consistently does more than required. Work is of exceptional quality
+ Sometimes does more than required. Work is of high quality. A producer
0 Performs all assigned tasks. Quality of work is acceptable.
Performs all assigned tasks. Work must be redone or repaired to meet standards
-Performs some assigned tasks. Work must be redone by others to meet standards.
11
Criteria: Attitude ++ Positive and professional attitude, which favourably influences other team members.
+ Positive attitude toward project and the team
0 Neutral attitude.
-
--
Negative attitude toward team and/or project.
Negative attitude which adversely affects other team members or project.
12
Criteria: Initiative ++ Takes initiative to seek out work, concerned with getting the job done. Very involved in the technical project.
+ Readily accepts tasks, sometimes seeks more work. Gets involved in the project.
0
-
--
Gets involved enough to complete tasks. Does his/her share.
Tends to watch others work. Gets involved only when necessary. Volunteers to help when it will look good.
Lets others do the work; does the minimum he/she thinks is needed to get by.
13
Criteria: Management of Resources ++
+
0
-
Uses time effectively in and out of group and works to get others to do the same. All tasks completed on or ahead of schedule.
Uses time effectively in and of group. Completes all tasks on time.
Wastes some time in group, but works hard when a deadline is near. Most tasks completed on time.
Wastes most of group time. Seldom seen doing productive work. Some tasks completed late.
-Does little useful work in group or out; wastes his/her time and others. Work is constantly late.
14
Criteria: Communication ++
+
Oral and Usually written skills effective. excellent. Very effective within the group and to reviewers.
0 Generally gets the point across. Tries to improve in weak areas.
Skills ineffective. Makes an effort to improve.
-Skills ineffective. Makes little or no effort to improve.
15
IT systeem implementatie eisen • Web based, systeem onafhankelijk • Exporteerbare files • Batch enroll functie • Neutrale interface • Criteria kunnen aangepast en aangevuld worden • Ratings zijn niet terug te voeren op individuen • Docent is regisseur en beslist wat er met de data gebeurt 16
Hoe in te vullen? • Per teamlid en voor zichzelf het meest van toepassing zijnde hokje invullen voor iedere categorie • Mogelijkheid tot het geven van een toelichting via commentaar box • Commentaar kan “private” of “public” worden gegeven
17
Data beheer • Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem. • Alle studenten loggen in met NetID
• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 3 niveaus voor publicatie: • de hele groep • de staf • de administrator
18
Ervaringen met Peer evaluaties • Om optimaal gebruik te kunnen maken van peer evaluaties moeten ze min. twee keer per project worden uitgevoerd (halverwege en aan het eind) • Commentaar functie wordt als zeer nuttig ervaren • Omdat de resultaten niet in een cijfer wordt omgezet wordt het systeem door studenten geaccepteerd als eerlijk
• Een goede IT infrastructuur is onontbeerlijk om de administratieve lasten voor docenten te beperken 19
Gebruik tot nu toe •
Vanaf 2000 met eigen systeem gewerkt
•
Gemaakt door student assistenten
•
Aantal gebruikers van systeem groeit hard
•
Steeds moeilijker systeem in eigen beheer te houden en te updaten: continuïteit komt in gevaar
•
Eind 2009 is besloten om met externe partner in zee te gaan: Parantion
20
Parantion • Enquêtes: Web Survey
• Ontwikkeling: Scorion 21
Scorion: voorbeelden van modules • • • • • •
Ontwikkeling zichtbaar maken Reflectie (360 graden feedback) Formatief toetsen Matchen Formulier gedreven portfolio Peer Evaluatie
Dus: Faciliteert en visualiseert leer- en ontwikkelprocessen
22
Voortgang
23
360 graden feedback
24
Formatief toetsen (evt. competenties)
25
Matchen
Matching student competenties en competenties te behalen in project. Student kiest project en solliciteert.
26
(Medisch) Portfolio:formulier gestuurd: maart 2011
27
Peer evaluaties in Scorion Group Aantal vragenlijsten: 2x2
Self
Self
Peer
Peer
28
Hoeveel vragenlijsten zou….8
29
Dus: L&R voor één vak • Projectonderwijs L&R • 80 groepen • 8 studenten per groep • X 8 vragenlijsten
5120 30
Demo/screenshots
31
Self
Peer
32
Feedback
33
Koppelingen
34
Toekomstplannen • Succesvolle implementatie bij TUDelft eind 2010 • Kwalitatieve en kwantitatieve ontwikkeling op alle niveaus
35
Conclusies • Peer evaluaties zijn een hele nuttige tool bij het beoordelen van individuele bijdrages in projectonderwijs • IT-infrastructuur voor dit type projecten moet professioneel worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te garanderen • Met hulp van het Scorion systeem van Parantion kan dit bereikt worden
36
Vragen? • www.tudelft.nl • Dr. Ir. Gillian N. Saunders-Smits (
[email protected])
• www.parantion.nl • Drs. R.A. Smabers (
[email protected]) • Drs. R.J. Smeenk (
[email protected])
37
