Samenwerkend Leren Digitaal Ondersteund. 2.5 Beoordeling van Samenwerkend Leren Digitaal Ondersteund. Uit de praktijk gegrepen:

Samenwerkend Leren Digitaal Ondersteund

2.5 Beoordeling van Samenwerkend Leren Digitaal Ondersteund Uit de praktijk gegrepen: ‘Ik ben helemaal opgegaan in de inhoudelijke aspecten van ons werk. We hebben gezamenlijk geprobeerd ons ontwerp voor een nieuw informatiesysteem zo goed mogelijk te presenteren tijdens de afsluitende bijeenkomst. Ik was niet ontevreden over onze prestatie. Het kwam voor mij totaal onverwacht dat ik bij de afsluitende bespreking en daarna nog een apart moest aantonen welke bijdrage ik aan het verloop van het ontwikkelproces had geleverd. Uit de tussentijdse gesprekken met het team en de tutor was mij het grote belang hiervan niet duidelijk geworden.’

2.5.1 Beoordeling van SALDO leertrajecten nader bekeken. Digitaal ondersteund samenwerkend (SALDO) leren, hoe gevarieerd ook van vorm, is steeds gericht op het bereiken van vooraf gedefinieerde leerresultaten. Bij het ontwikkelen van een SALDO leertraject is het belangrijk te bedenken hoe je als ontwerper en docent er voor kunt zorgen dat studenten de gestelde individuele en groepsleerdoelen kunnen bereiken. Immers voor docent en student is het bereiken van gestelde leerresultaten misschien wel de belangrijkste uitkomst van het leerproces. Te kunnen constateren dat het leerproces geleid heeft tot aantoonbaar nieuwe prestaties schept tevredenheid. Beoordeling en certificering bieden de student officiële erkenning en waardering voor diens leerprestatie. Het is juist die erkenning van leerprestaties die zo belangrijk is, en die daardoor de sterke motor is voor stimulering en aansturing van het leerproces. De vraag van studenten naar datgene waarop ze beoordeeld gaan worden en de wijze waarop dat plaatsvindt neemt dan ook een even centrale plaats in bij digitaal samenwerkend leren als bij faceto-face leren. Alleen is het ontwerpen van beoordelingscomponenten juist bij de voor SALDO zo kenmerkende combinatie van groepsactiviteiten in een digitale setting een stuk complexer. In dit hoofdstuk proberen we, kijkend vanuit de dimensies van de matrix, na te gaan hoe we juist voor SALDO-settings de beoordeling het beste vorm kunnen geven. Nadat we de begrippen assessment en beoordeling kort hebben gedefinieerd gaan we na hoe we elk van de andere dimensies in SALDO-settings kunnen beoordelen. We concentreren ons daarbij op die zaken die apart aandacht vragen ten opzichte van het gangbare individuele en face-to-face leren. We zullen nagaan op welke momenten tijdens het leertraject beoordeling aan de orde komt en wat de speciale functie is van de beoordeling aan het einde van het leertraject. Specifiek aandacht is er dan voor de diverse beoordelingsmomenten om te kijken hoe we die het beste in geval van een SALDO-setting kunnen ontwerpen.

2.5.2 Beoordeling en assessment. Focuspunt voor studenten is de eindbeoordeling. Tussentijdse beoordelingen zijn echte mijlpalen op weg daar naar toe. Van de criteria waarop beoordeeld wordt gaat zowel in gangbare settings als in SALDO settings een sterk sturende werking uit, in de literatuur aangeduid als backwash effect. Zijn de beoordelingscriteria individueel en kennisgericht dan zal een student de neiging hebben vooral daar op te scoren, focust de beoordeling op de groep en competenties dan zal de student alert zijn op deze aspecten. Voor het beoordelen tijdens en aan het einde van onderwijstrajecten worden vaak door elkaar de termen assessment en beoordeling gehanteerd. Beide termen hebben tot doel na te gaan of de student in voldoende mate voldaan heeft aan de afgesproken leerdoelstellingen (De Haan, Martens, Slot, & Sluijsmans, 2000). Het vaststellen (assessen) van de kwaliteit van een bepaalde prestatie (performance) gebeurt volgens vooraf opgestelde en bekend gemaakte criteria. De student moet daarbij aantonen dat hij/zij inderdaad de veronderstelde competentiegroei heeft door gemaakt. Afgesproken activiteiten en opgeleverde beschrijvingen of producten maken dit zichtbaar. Tussentijds beoordelen is veelal bedoeld om tijdig feedback te kunnen geven en bij te kunnen sturen, een vorm van beoordelen die formatief assessment (‘vormende’ beoordeling) wordt genoemd. Aan het einde van het leertraject gaat het om een finaal oordeel (summatief assessment) er wordt dan beoordeeld om te waarderen, om te certificeren. Het gaat er op dat moment om vast te stellen of het bereikte eindresultaat voldoende is om een module of cursus formeel af te sluiten. Omdat het begrip assessment meer geassocieerd wordt met die laatste formele summatieve aspecten zullen wij hier het bredere begrip beoordeling hanteren. We gebruiken het als referentie aan zowel de tussentijdse, formatieve beoordelingsmomenten als aan de afsluitende, summatieve beoordeling.

41


2.5.3 Speciale aandacht voor beoordeling bij SALDO projecten. Kenmerkend voor SALDO leertrajecten is dat het leerproces van een groep gedistribueerd en computerondersteund plaatsvinden. Studenten werken vanuit aparte locaties (bijvoorbeeld thuis op het werk of op school) en soms ook niet tegelijkertijd aan een gezamenlijke taak. Delen van de beoordelingsproblemen bij SALDO leren zijn identiek aan beoordelingsproblemen bij andere leervormen en als zodanig bekend. Dit geldt voor een hele reeks van aspecten zoals representativiteit en betrouwbaarheid en het hieronder gesignaleerde sociaal (tutor) wenselijke studentgedrag. Uit de praktijk gegrepen: ‘Ik begrijp dat de docenten graag willen weten hoe het maken van de paper is verlopen en of dit veel problemen heeft opgeleverd, maar ik vraag me af of er eerlijk geantwoord zal worden.’

We zullen het in dit handboek daar niet over hebben en verwijzen je voor meer algemene informatie naar bestaande literatuur. Wij richten ons op die overwegingen die van belang zijn bij het maken van keuzes, specifiek voor het inrichten en uitvoeren van beoordelingen bij digitaal ondersteunde samenwerking. We verdiepen ons met name in datgene wat inhoudelijk anders is aan het beoordelen van groepswerk en van digitaal functioneren. Wanneer beoordelen we : bij de toelating, tussentijds en aan het einde van het traject. Welke beoordelingsvormen we kunnen inzetten: productbeoordelingen en procesbeoordeling. Bij elk beoordeling zullen we ons bewust moeten zijn van het feit dat studenten leren en presteren in een SALDO-setting. Het succesvol bereiken van vooraf gedefinieerde leerresultaten in die context is alles behalve vanzelfsprekend. De groepsprocessen zijn complex en dynamisch. Er is sprake van zowel samenwerking tussen studenten onderling (actoren, die in principe aan elkaar gelijkwaardig zijn) en van student en groep met de docent begeleider (actoren met structureel verschillende kennis en rollen). Daarenboven wordt in SALDO-settings het leren nog eens gecompliceerd door de beperkingen die digitale communicatie met zich mee brengt. Binnen die digitale context zijn veel zaken niet vanzelfsprekend die dat wel zijn in face-to-face contacten. Daarenboven komt het digitaal beoordelend spreken (van tutor naar student of tussen studenten onderling) snel directer en harder aan. Uit de praktijk gegrepen: Op zich is het goed dat je elkaar beoordeeld op inzet en prestatie. Je moet alleen wel rekening houden met het feit dat als iemand te weinig heeft gedaan je de rest van het jaar nog wel met die persoon moet werken en er ook nog normaal mee wil praten. Je bent op deze manier duidelijk naar diegene maar je beledigt ook heel snel iemand.’

Daarnaast zal het nog vaak ook zo zijn dat het samenwerken in een groep of het werken vanuit een bepaalde rol en het werken aan een gezamenlijk product nieuw is voor de studenten. Uit praktijk en onderzoek blijkt dat bij digitaal samenwerken pas structureel succes te verwachten is wanneer systematisch de beoordeling ontwikkeld wordt vanuit duidelijke leerdoelstellingen. Er zijn twee redenen om extra aandacht te besteden aan het aspect beoordelen binnen SALDO leercontexten. Allereerst hebben we hier te maken met een behoorlijk complex leerproces dat niet of niet geheel binnen de ons vertrouwde kaders van face-to-face leren plaatsvindt. Het gedistribueerde computergemedieerde karakter van de communicatie maakt dat we niet dat rijke scala van activiteiten en resultaten kunnen waarnemen als in face-to-face settings. Een tweede complicerende factor voor het beoordelen is daarin gelegen dat er juist bij samenwerkend leren sprake is van een erg dynamisch leerproces met een complexe interactiviteit. Er is dus sprake van een constante verandering bij het lerende individu, in de relatie tussen de groepsleden, de interactie met begeleiders en mogelijk ook nog met andere mensen (andere groepen, externe opdrachtgevers, beoordelaars of experts). De vraag is nu hoe we relevante groepsleerprocessen en individuele en groepsresultaten zichtbaar en beoordeelbaar maken binnen een digitale samenwerkingscontext. Rekening houdend

42


met de kernmerkende dynamiek van virtuele groepssamenwerking waarbij we nog niet uit kunnen gaan van bekende communicatie en verwachtingspatronen. In concreto vraagt beoordeling in SALDO-settings aparte aandacht voor: • Doelstellingdefinitie: Hulp bij de definiëring van beoordelingsdoelstellingen voor SALDO leertrajecten. Welke zaken wil ik beoordelen? Welke zijn SALDO specifiek? Hoe krijg ik die beoordeeld? • Beoordelingsontwerp: Hoe ontwerp ik een beoordeling die eenduidig in de breedte en diepte de te beoordelen SALDO prestaties afdekt? Met andere woorden welke observeerbare prestaties van studenten alleen en in samenwerking met groepsgenoten gaan we beoordelen? En hoe zijn digitale samenwerkingsaspecten te beoordelen? Waar moet ik dan rekening houden met de nog niet zo vertrouwde en vanzelfsprekende context van dit digitaal samenwerkend leren? • Aandacht voor nieuwe beoordelingsaspecten: hoe geeft ik vorm en inhoud aan het beoordelen van nieuwe leerdimensies die juist door het SALDO leren te realiseren zijn? Hoe beoordelen we de rollen en taken die de studenten zijn toebedeeld en de wijze waarop de student bijgedragen heeft aan het groepsproces en groepsresultaat? Hoe hebben we studenten kunnen begeleiden in het leggen en onderhouden van goede relaties binnen een ‘digitale’groep? Hoe beoordelen we of een groep digitaal effectief hun samenwerkingstaak hebben afgehandeld? Betekend dit een aparte definiëring van resultaatscriteria op juist deze aspecten die anders zijn dan in face-to-face groepswerk? • Begeleiding van het beoordelingsproces: het is ook nodig aparte aandacht te besteden aan de begeleiding van het beoordelingsproces. Immers omdat studenten in de context van SALDO leren niet op de automatische piloot weten wat van hen allemaal verwacht wordt, moeten docenten steeds helder en duidelijk communiceren welk gedrag en welke prestaties binnen welke vrijheidsgraden van de studenten individueel of als groep verwacht worden.en hoe zij dit binnen de digitale leeromgeving aantonen. Zolang digitaal groepsleren nog relatief nieuw is voor studenten is het nodig helder aan te geven wat de docent van de student ter beoordeling verwacht en welke instrumenten in de digitale leeromgeving daarvoor aanwezig zijn. Steeds weer mag van de docent verwacht worden dat hij diens verwachtingen en die van de student checkt en afstemt.

2.5.4 Beoordelingsscenario: richtsnoer voor het ontwerp. De basis voor het uitvoeren van een goede beoordeling wordt gelegd met het beschrijven van de beoordelingsdoelstellingen en de uitwerking daarvan per deelaspect in een compleet protocol. Dit is een hele klus vanwege de complexe vaardigheden die binnen SALDO leren een rol spelen en de wijze waarop deze tot uiting komen binnen de op elkaar inwerkende digitaal ondersteunde samenwerking. Simpele beoordelingen achteraf op basis van een collectieve eindproduct doen in de meeste gevallen geen recht aan het SALDO groepsleren. Kwalitatief hoogwaardige tussentijdse bijdrages aan proces en product blijven dan ongezien en ondergewaardeerd terwijl meeliften ongestraft blijven.. Een beoordelingsscenario is levensnoodzakelijk.(bijlage 1) Zij dient als een soort regieboek en score kaart voor het leerproces. Als basis dient de reflectie op de doelstellingen van het leerproject en op de verwachtingen ten aanzien van relevante interacties, processen en producten van studenten en teams. Het beoordelingsscenario beging met het in kaart brengen van de leerdoelstellingen en de op te leveren resultaten (concrete producten, zoals een programma, een rapport, een presentatie) en de verwachte zichtbare inbreng in de processen die tot het eindresultaat geleid hebben. Het gaat daarbij om de combinatie van de gestelde leerdoelen, de taken en rollen die de studenten gezamenlijk moeten vervullen en de interacties die we van de student in het groepsproces verwachten. Wanneer we het bereiken van de gestelde doelen willen beoordelen wat verwachten we dan dat de student presenteert en presteert? Wanneer moeten studenten individueel of als groep iets laten zien? Wanneer wil ik dat het groepswerk leidt tot een gezamenlijk tussenproduct, bijvoorbeeld een rapport over scholingstrajecten voor werkeloze jongeren in Rotterdam? Tijdens het ontwerp voorafgaand aan de uitvoering van een SALDO project gaan we vervolgens systematisch na hoe elk van de doelstellingen getoetst gaat worden. Op hoofdonderdelen en meer apart per deelcompetentie en per fase van het groepsproject. Welke aspecten beoordelen we apart en wanneer beoordelen we het product of proces integraal? Bij het inventariseren van de te beoordelen competentieontwikkeling van de student komen we zaken tegen als de integratievaardigheid van de student om zijn bijdragen adequaat te communiceren en in te brengen in het groepsproces. Er wordt bij SALDO leren vaak al wel gelet

43


op de beoordeling van het collectieve product, maar er is nog weinig aandacht voor de kwaliteiten van de individuele student om zijn bijdrages aan het proces zichtbaar te maken bij zijn groepsgenoten en bij de begeleider en beoordelaar. Afhankelijk van mijn leerdoelstellingen zijn eind en tussenproducten belangrijk, en wil ik dat de student zichtbaar maakt hoe binnen hun groep het product tot stand is gekomen en welke bijdrage de individuele student daaraan geleverd heeft. Inventarisatie van antwoord op dit soort vragen leidt er toe dat ik aan kan geven wat ik wanneer wil beoordelen en welke methode daarvoor geschikt is. Vraag ik bijvoorbeeld voorafgaand aan een projectplan om een tussenresultaat bijvoorbeeld een voorstel met onderwerpskeuze en methode van aanpak en een tweede tussenproduct, bijvoorbeeld de eerste outline? In aansluiting op het uitwerken van de leerdoelen in termen van het gedrag en de resultaten die we van de studenten verwachten kunnen we uitwerken hoe de docent dit proces kan faciliteren: Welke voorwaarden scheppen we? Welke processen stuurt de docent begeleider aan. Wanneer en hoe geeft de begeleider feedback op tussentijdse en eindbeoordeling? En tenslotte welke criteria leggen we aan, hoe meten we of en in welke mate de studenten het gevraagde resultaat hebben getoond? Een goede manier om de beoordelingsdoelstellingen in kaart te brengen is het hanteren van een matrixformulier (zoals in bijlage 2) waarop je elk aspect dat je wilt beoordelen noteert. Elke leerdoelstelling werk je uit in de voor deze doelstelling noodzakelijke deeldoelstellingen en de bijbehorende leerprocessen. In het kader van de in andere hoofdstukken behandelde dimensies werk je aan het ontwikkelen van de opdrachten en rollen en aan scenario’s voor de begeleiding. In dit verband is het belangrijk dat je per doel en subdoel aangeeft hoe de student het bereiken van dat leerdoel zichtbaar maakt. Teven geef je aan wanneer je dat beoordeelt. Wil je een tussentijdse beoordeling (bijvoorbeeld van het thema dat de groep gekozen heeft of van de methode die ze kiezen) of wil je de outline van hun rapportage? Dit met het oog op terugkoppeling en begeleiding en eventuele bijsturing van het lopende leerproces. Of is er sprake van een definitieve beoordeling van het eindresultaat? Met het beantwoorden van deze vragen ben je er nog niet want je kunt de beoordeling steeds laten plaatsvinden door de docent, begeleider of een andere expert. Maar je kunt bij elk van die beoordelingsmoment bedenken in hoeverre een beoordeling door de betrokkenen zelf (self assessment) of een beoordelingen door collega studenten (peer-assessment) de tutor (expert) of een combinatie van deze wenselijk is. Kortom een goede beoordeling van een SALDO project valt of staat bij een adequate en volledige inventarisatie van leerdoelstellingen en daaruit volgende leerprocessen en de aansturing daarvan. Formulier 1 en 2 in de bijlage geven u daarbij een idee hoe u dit kunt aanpakken. Je zult er veel profijt van hebben wanneer je vanaf het begin een dergelijke matrix bijhoudt. Juist omdat samenwerkend virtueel leren zo’n dynamisch en complexe zaak is is het van belang om het overzicht te houden en systematisch effecten van je keuzes te onderzoeken. Koppel steeds terug wanneer je een nieuw onderdeel aan het ontwerpen bent. Zo kun je meteen na gaan of elk van je doelstellingen zo vorm gegeven zijn dat ze observeerbaar gedrag en resultaat opleveren. Eveneens is zo na te gaan of je alle doelen die je stelt ook wel adequaat toetst. En omgekeerd of taak en inrichting van de groepsprocessen en begeleiding wel is afgestemd op wat je wilt bereiken en hoe je dat kunt beoordelen. Het laat je steeds afvragen of je je studenten duidelijk maakt waarop en wanneer je ze gaat beoordelen. En het dwingt je na te gaan of je de studenten ook in staat stelt aan je voorwaarden te voldoen. En tenslotte vraag je je af begeleid ik ze adequaat bij dat proces? Logisch eigenlijk dat het slim is om leer en beoordelingsdoelstellingen continu bij de hand te houden. Immers je doelen en de wijze waarop je die meet en waardeert zijn de belangrijkste sturingselementen voor de leerprocessen die je wilt genereren en bepalen mede de wijze waarop je ze wilt faciliteren door je taak en roltoedeling en je begeleiding. Wanneer we aannemen dat in de meeste gevallen je keuze voor SALDO leren niet alleen ingegeven is door de leerinhoud van de taak maar tevens te maken heeft met je ambitie om bepaalde samenwerkingsvaardigheden te (verder) ontwikkelen binnen computermedieerde contexten, dan zullen de zaken waarop je studenten wilt beoordelen vaak meer behelzen dan individuele, cognitieve en inhoudelijke zaken. Ook verwacht ik niet dat de complete prestatie alleen af te lezen is uit een gezamenlijke eindproduct. Voor het goed beoordelen van samenwerkingscompetenties vind je ook de mate waarin en wijze waarop de student heeft bijgedragen aan de samenwerking belangrijk. Dit houdt in dat voor de beoordeling van SALDO leren je je studenten aanspoort om hun deelname en inbreng in het samenwerkingsproces

44


zichtbaar te maken. Zelfbeoordelingen en portefeuilles met individuele bijdrages of procesbeschrijvingen zul je dan ook deel willen laten uitmaken van hetgeen studenten je ter beoordeling aanbieden. Voor SALDO leertrajecten zullen de meeste ontwerpers zowel resultaten willen zien qua opgeleverde producten als qua taakuitvoering (het proces). De te kiezen mix van producten procesbeoordeling, per individu of per groep is helemaal afhankelijk van de specifieke bedoelingen die je hebt met dat project. We kunnen daar geen advies over geven in de zin dat een bepaalde mix beter zou zijn dan de andere. Wel willen we u aanraden toch vooral ook in de gaten te houden waarom u voor dit leertraject digitaal samenwerken gekozen hebt en de samenwerking en digitale communicatie aspecten ook expliciete te ondersteunen en te beoordelen. Help, ondersteun en beoordeel studenten niet alleen op individuele domeinkennis en prestaties als u ze ondergedompeld hebt in het digitale samenwerken. Geef ze juist ook op deze voor hun later beroepsuitoefening immens belangrijke competenties ook de kans om te groeien en te presteren.

2.5.5 Communicatie van beoordelingsverwachtingen. Hebben we eenmaal onze leerdoelen en de operationalisering daarvan in kaart gebracht en beoordelingsopdrachten geformuleerd dan zijn we er nog niet. We werken in SALDO-settings nog niet vanuit een heel repertoire aan vaste conventies. De verhalen over goede bedoelingen, hoge verwachtingen, enorme misverstanden zijn talrijk. Legio de verhalen van studenten die wachtten op een actie van de docent en docenten die teleurgesteld reageerden omdat de studenten niet van zich lieten horen. We veronderstellen vanuit het ons bekende face-to-face samenwerken zoveel zaken. Laten we onze verwachtingen onuitgesproken dan is het risico op misverstanden met nare gevolgen groot zo blijkt uit praktijk en onderzoek. De vraag is nu hoe we zorgen dat de student steeds duidelijk weet waarop, op welke wijze en op welke momenten zij individueel of als groep beoordeeld worden. Vaak worden de inhoudelijke en individuele leerresultaten redelijk beschreven en duidelijk gecommuniceerd. Maar eenduidige communicatie van verwachtingen en beoordelingscriteria ten aanzien van andere resultaatverwachtingen blijken vaak problematisch. De volgende adviezen kunnen helpen om je verwachtingen duidelijk te communiceren: (1) In de eerste plaats kunnen we er voor zorgen dan we erg alert zijn op het eenduidig en volledig communiceren van onze verwachtingen en bedoelingen. Vooral als studenten nog niet vaak met hetzij elektronisch werken of samenwerken te maken hebben gehad is het raadzaam je bedoelingen uitgebreid te communiceren. Vraag daarbij vooral ook om reactie. Dit kan voorkomen dat verschillende verwachtingen lang onuitgesproken en onafgestemd kunnen blijven. Laat studenten nadrukkelijk weten welk observeerbaar gedrag en resultaten van hen verwacht worden. Zorg ervoor dat de inrichting van de ‘digitale leeromgeving’ informatie verschaft en hulp biedt om te weten wat er wanneer van hen verwacht wordt, waarbij het groepsresultaat telt en hoe hun bijdrage daaraan meeweegt. Uit de praktijk gegrepen: Een begeleider zit het volgende bericht op het digitale communicatieplatform: ‘Jullie zijn inmiddels een week aan de slag met de keuze van het thema. Gaat alles volgens plan? Ik ben benieuwd of jullie er uit komen met het opstellen van een plan van aanpak voor de opdrachtgever? Laat even van je horen. Rapporteer even jullie plannen voor de komende week. Geef ook aan wanneer ik jullie proces verslag mag verwachten..

(2) Overweeg om de beoordelingscriteria samen met de studenten uit te werken en vast te stellen. Het dwingt je je bedoeling met jouw criteria duidelijk te maken en hoe merk je dat ze begrepen zijn en gedragen worden door de studenten? Omdat samenwerken in een digitale omgeving nog al wat nieuwe ingrediënten bevat is het niet alleen zaak verwachtingen te expliciteren en te concretiseren. We zullen studenten ook moeten begeleiden bij de voor hen nieuwe elementen in het SALDO leren. Het kan onduidelijk zijn wat het team van de tutor mag verwachten bij spanningen in de groep. Je kunt studenten wat tips geven om problemen te voorkomen en spanningen op te lossen. Geef bijvoorbeeld aan dat jij altijd voor ze klaar staat, maar dat je verwacht dat zij eerst een poging hebben gedaan het zelf op te lossen. Het presteren van studenten in nieuwe rollen die zelfstandig optreden van hen vraagt bijvoorbeeld als projectleider kan moeilijk zijn, omdat ze niet goed weten wat er van hen verwacht wordt aan bijvoorbeeld delegeren en conflictoplossing. Zorg voor handreikingen en instrumenten binnen de

45


leeromgeving die de student hiervoor een richtsnoer bieden, En train ze waar nodig apart voor de rolvervulling. In het algemeen geldt dat hoe ambitieuzer en veelsoortiger je doelstellingen met een SALDO project, des te veelsoortiger en scherper het beoordelingsinstrumentarium moet zijn. Vandaar ons advies om vanaf het begin naast al je ontwerpactiviteiten tegelijkertijd je beoordelingscenario verder te ontwikkelen om daarmee de consequenties van je plannen na te gaan.

2.5.6 Beoordelingstypen voor SALDO contexten. Zoals eerder aangegeven kunnen we twee typen beoordelingen onderscheiden een vormende (formatieve) beoordeling, en een concluderende (opsommende/summatieve) beoordeling. De formatieve beoordeling heeft tot doel de stand van zaken op te nemen met het oog op terugkoppeling en verbetering van het leerproces. Ze wil helpen bij het optimaliseren en verbeteren van het proces richting het te bereiken resultaat. Studenten verwachten zoals uit onderstaand fragment blijkt tussentijdse beoordelingen met verbetersuggesties waar ze vervolgens ook nog wat mee kunnen doen. Uit de praktijk gegrepen: ‘Ik vind het een te kort project om met z'n vijven te maken. Er zullen altijd personen zijn die daardoor meer doen dan de ander. Ik denk dat wij het goed verdeeld hebben en dat niemand het gevoel heeft gekregen veel meer te hebben gedaan op een vervelende manier. Wanneer dit wel zo zou zijn vind ik dat het kenbaar gemaakt had moeten worden tijdens het samenzijn en niet pas tijdens een evaluatie. Dan geef je iemand niet meer de kans om het goed te maken. Misschien had diegene wel helemaal niet het gevoel te weinig te hebben gedaan. Kortom: Ik vind een evaluatie goed, maar je kan iemand er niet op beoordelen. Wanneer er zich problemen hebben voorgedaan zouden deze al eerder besproken moeten zijn binnen de groep en niet pas tijdens een evaluatie naar voren moeten komen.

Dit type beoordelingen is bedoeld tijdens de rit het op de goede koers liggen en de voortgang te checken en eventueel bij te sturen. Dit in tegenstelling tot een concluderende (summatieve) eindbeoordeling bedoeld een leertraject te waarderen en op basis van die waardering af te sluiten. Beide typen beoordelingen zijn niet anders voor SALDO leren dan voor de andere leervormen, alleen geldt dat we nog wel moeten leren hoe ze op een reële wijze te operationaliseren zijn binnen de virtuele context van het SALDO leren. Uit zowel de pilots als de literatuur blijkt dat studenten en tutoren zich afvragen welke beoordelingsmix recht doet aan de leer inspanningen en resultaten. Waar beoordeel je de groepsresultaten en waar de individuele?. Uit de praktijk gegrepen: ‘In onze groep hebben ik en nog een meisje het merendeel gedaan. Wij hebben de rest steeds aan moeten sporen dus dan is het niet echt leuk als iedereen hetzelfde cijfer krijgt.

Omdat het gevaar binnen SALDO contexten groter is dat het groepsproces zich anders ontwikkelt dan verwacht is het zaak met begeleiding en formatieve beoordelingen goed de leerprocessen te monitoren om bij te kunnen sturen voordat het te laat is. Summatieve beoordelingen vinden in ieder geval aan het einde van het leertraject plaats. Soms worden ze ook gebruikt om een tussenfase af te sluiten. Bijvoorbeeld doordat studenten binnen een groot project aan het einde van fase 1 hun plan moeten presenteren.. Formatieve evaluaties vinden gedurende het gehele proces plaats, waarbij frequentie en moment bepaald worden door het type taak, leerproces en soort begeleiding. Zo kan het zinvol zijn gedurende een samenwerkingstraject de student verschillende keren formatief te laten beoordelen op zijn rolvervulling en inhoudelijke bijdrages door zijn teamgenoten,

2.5.7 Beoordelingsvarianten voor SALDO contexten. Keken we in de voorgaande paragraaf naar het doel van de beoordeling in deze paragraaf bij de varianten kijken we naar wie de beoordeling doet.

46


Zelf beoordeling (self assessment) In het kader van SALDO is zelf beoordeling primair van belang voor de reflectie van studenten op hun bijdrage aan het collectieve eindresultaat en hun aandeel binnen de dynamische groepsontwikkeling. Het inzetten van zelfbeoordelinginstrumenten gedurende het leertraject biedt de docenten (begeleiders/coaches) een adequate methode om de individuele studentontwikkeling te monitoren en tijdig terugkoppeling te kunnen geven. Het resultaat van de zelfbeoordeling geeft de student enerzijds inzicht in zijn prestaties en geeft een goede reden tot regelmatig reflectie op de individuele rol en bijdrage aan het groepsproces met het oog op verbetering voor volgende fasen van het proces. Onderlinge beoordeling: Onderlinge beoordeling (ook wel peer assessment genoemd) van studenten kan vele vormen aannemen. Collega studenten kunnen elkaar beoordelen op gezamenlijk vooraf afgesproken criteria. Een bekende variant is de 360 graden feedback. (Jansen,Slot, Spoelstra 2003). Studenten evenwel zijn niet altijd even gecharmeerd van een rol als (mede) beoordelaar.zoals uit onderstaand fragment blijkt. Uit de praktijk gegrepen: ‘Naar mijn mening moet een beoordeling van elkaar’s inzet en prestatie niet nodig zijn. Op een universiteit zou iedereen volwassen genoeg moeten zijn elkaar aan te spreken op zijn of haar fouten of afwezigheid. Zo denk ik ook dat er een oplossing voor verzonnen kan worden. Als het dan nog niet lukt is het de verantwoordelijkheid van de groep. Als er een goede communicatie plaatsvindt kunnen de meeste problemen verholpen zijn. Daarnaast zijn er veel mensen die zelf veel naar zich toetrekken aan werk. Misschien omdat ze het erg interessant vinden of omdat ze een hoge mate van verantwoordelijkheidsgevoel kennen. Bovendien weet je soms niet de achterliggende reden dat iemand niet veel doet. Dus anderen beoordelen is iets heel moeilijks, wat ik liever overlaat aan docenten.

Heb je goed redenen om een onderlinge beoordeling te laten doen, bijvoorbeeld om dat die competentie van belang is in hun toekomstige beroep, maak dan duidelijk waarom je dit doet. En train de studenten vooraf in het elkaar leren beoordelen. Expert beoordelingen: Daarnaast zijn er de expertbeoordelingen door tutor, externe expert, opdrachtgever of beoordelaar. ‘Iedereen bij ons in de groep heeft zijn eigen deel geschreven. De taakverdeling was goed, en de samenwerking was ook goed. Daarom vind ik dat iedereen hetzelfde cijfer moet krijgen.’ Juist omdat in een virtuele context het nog een slag lastiger is om resultaten zichtbaar te maken is het zaak om te zorgen voor een open communicatie over doel, wijze, criteria en rechtvaardigheid van de beoordelingswijze, anders ontstaan er snel irritaties zoals het bovenstaand praktijkfragment laat zien, Genoemde beoordelingsvormen zullen de student vanuit de reguliere onderwijsvormen bekend zijn, nieuw is echter de vorm die ze krijgen in SALDO context. De wijze waarop het elkaar beoordelen vorm krijgt wanneer je niet met elkaar in de klas zit maar in een virtuele groep is anders, de aspecten waarop je beoordeeld wordt, het virtueel met elkaar een klus klaren is anders en de momenten waarop beoordelingen plaatsvinden zullen aangepast zijn aan het complexe karakter van virtueel samenwerken.

2.5.8 Beoordelingsmomenten tijdens SALDO leertrajecten: Tenslotte moeten we nog bepalen wanneer de beoordeling plaats vindt: bij de start, tijdens en aan het einde van de rit. Intakebeoordeling: In een aantal gevallen is het bij onderwijstrajecten van belang om aan de start binnenkomende studenten te beoordelen tijdens een intake. Deze beoordeling dient om te checken of studenten voldoen aan de noodzakelijke ingangseisen en of ze beschikken over het vereiste (competentie)niveau bij start van het traject.

47


Voor SALDO projecten kan er sprake zijn van (summatieve of formatieve) beoordeling van het inhoudelijke startniveau of om ervaringsniveaus te bepalen met digitaal samenwerken. Als startconditie kan de succesvolle afronding van een eerdere SALDO module gelden, maar ook het slagen voor een digitale samenwerkingsopdracht. Tussentijdse beoordelingen: Tussentijdse formatieve beoordelingen zijn bedoeld om zoals het woord ook al aangeeft tijdens te rit te meten, te checken of het leerproces goed verloopt of het de resultaten op aan het leveren is die we op dat moment mogen verwachten. Met deze beoordelingen (ook wel aangeduid als doorstroom of ontwikkelassessment) probeer je het ontwikkelproces van individu en groep te monitoren. Ze zijn heel belangrijk omdat ze studenten zowel als docenten enig inzicht geven in de ontwikkelingen. Ze maken het mogelijk om problemen vroegtijdig te signaleren, terugkoppeling te geven aan de student of het team zodat verdere problemen voorkomen kunnen worden. Juist omdat bij SALDO leren vaak nieuw is voor de studentengroep en ze op vele fronten actief moeten zijn blijken meerder check-ups tijdens de rit van uitermate groot belang. Studenten en docenten weten of ze onbezorgd verder kunnen gaan op de ingeslagen paden of aan de oplossing van welke problemen gewerkt moet worden. Juist omdat het over het al dan niet bereikt hebben van duidelijk gedefinieerde resultaten gaat blijken deze tussenbeoordelingen belangrijk te zijn voor de afstemming van de onderlinge verwachtingen en voor het waar nodig succesvol kunnen bijsturen door de begeleider. Eindbeoordelingen: De eindbeoordeling (uitstroom assessment) is vaak summatief .ze tot doel te meten of de afgesproken prestaties geleverd zijn en de doelstellingen bereikt zijn op een als tevredenstellend (als voldoende gedefinieerd) niveau. Het belangrijkste doel van deze eind beoordeling is het definitief en opsommend (summatief) waarderen van de prestaties om zo tot een formele waardering en afsluiting van het project te komen (afronding met certificaat en cijfers. Van belang bij SALDO leren is dat studenten zich over de volle breedte en diepte van SALDO dimensies hebben kunnen manifesteren en op basis van de facilitering van het voorafgaande leerproces hebben kunnen scoren. Aan de docentontwerpers de taak om voor elk van die dimensies die innovatief gebruik van SALDO leren rijk is concrete haalbare vormen van begeleiding en beoordeling te vinden.

2.5.9 Samenvatting: het ontwerpen van assessments in de praktijk Ter afsluiting vatten we de drie belangrijkste stappen voor het ontwerpen van het SALDO assessment nog even samen. Stap 1: Overweeg en ontwerp Tijdens het algehele ontwerpproces van het SALDO leertraject wordt tevens de beoordeling gedefinieerd en ontworpen. Expliciete leerdoelstellingen leiden tot het uiteenrafelen van de belangrijke proces- en taak- componenten van het leertraject. Je vraagt je af welke processen achtereenvolgens tot het beoogde leerresultaat moeten leiden. Stap 2: Specificeer. Iteratief worden aan een beoordelingsdraaiboek inclusief matrix gewerkt met het vragenschma als onderliggende hulpmiddel. De opgestelde leerdoelstellingen worden uitgewerkt in bijbehorende taken en opdrachten, leer-, groepsprocessen en hun begeleiding. Het feitelijk uitwerken van een adequate beoordeling vraagt van u om elk van de componenten één-voor-één langs te lopen en je steeds af te vragen hoe je het bereiken van een leerresultaat wilt beoordelen: Wat wil je beoordelen? Wanneer kunnen we het beste beoordelen? Hoe wil je dat beoordelen. En last but not least: vormt de voorgestelde toetsing een goede afspiegeling van het leren? Definitie van doel en functie van de beoordeling leidt tot een uitvoeringsdraaiboek waarin beschreven wordt door wie de studenten hoe beoordeeld worden en niet te vergeten hoe dat gecommuniceerd wordt. Stap 3: communiceer. Voor de student belangrijke zaken moeten in de SALDO omgeving helder gecommuniceerd worden. Voor elk leertraject zal de docent ontwikkelaar steeds een apart beoordelingsprotocol moeten maken. Er zijn bij ons weten nog nagenoeg geen gestandaardiseerde protocollen of methoden voor het beoordelen van digitale samenwerking. (hier kunnen we nog verwijzen naar een concreet protocol uit het VB Jansen et al 2003). Omdat het van groot belang is dat de student vanaf de start kennis heeft van het beoordelingsscenario raden we aan studenten bij de start te attenderen op het beoordelingsprotocol en ook actief te checken of studenten het belang en de informatie goed hebben meegekregen. Zodat het antwoord op de volgende vragen voor de student duidelijk is:

48


Welke criteria gelden? Eventueel wanneer zijn zij door de docent of in samenspraak met ons studenten vastgesteld? Wanneer vindt welke beoordeling plaats? Door wie en wat wordt daarbij van mij verwacht? Wat zijn de criteria waarop ik als individuele student en als groepslid beoordeeld wordt?

49

Samenwerkend Leren Digitaal Ondersteund. 2.5 Beoordeling van Samenwerkend Leren Digitaal Ondersteund. Uit de praktijk gegrepen:

Recommend Documents