Evalueren van competenties. Christine Ceulemans

Evalueren van competenties Christine Ceulemans

VOCB Kardinaal Mercierplein 1 2800 Mechelen

Juni 2003

Inleiding In het modulariseringsproject van de basiseducatie zijn de einddoelen van de verschillende opleidingen geformuleerd als competenties. Dit heeft gevolgen voor de manier waarop de vorderingen van cursisten moeten worden gemeten. Men moet niet zozeer nagaan hoeveel kennis cursisten vergaren, maar wel hoe ze evolueren op het vlak van handelingsbekwaamheid. Het uitgangspunt van deze tekst is de vraag: “Hoe kan je competenties van cursisten evalueren?”. De tekst is een onderdeel van de losbladige map Bouwen aan cursistenbegeleiding en kan daar in ondergebracht worden. In een eerste luik geven we meer informatie over het begrip competentie en het proces evalueren. Vervolgens bespreken we verschillende evaluatie-instrumenten; het portfolio krijgt hierbij apart aandacht.

2

Inhoud Inleiding...................................................................................................................................2 Inhoud .....................................................................................................................................3 Aandachtspunten ...................................................................................................................4 Waarom evalueren? ...............................................................................................................5 Wat … competenties?............................................................................................................6 1 Handelingsbekwaamheid als samenspel van elementen .............................................6 2 Gesitueerde en niet-gesitueerde competenties............................................................8 3 Relatie met einddoelen.................................................................................................8 Hoe evalueren?.....................................................................................................................11 1 Evalueren is communiceren! ......................................................................................12 2 Kwaliteitseisen aan evaluaties....................................................................................12 3 Valkuilen bij het toetsen..............................................................................................14 4 Differentiëren bij het evalueren...................................................................................15 4.1 Wanneer evalueren ............................................................................................15 4.2 Keuze laten tussen verschillende evaluatievormen............................................15 4.3 Werken met ondersteuningsniveaus ..................................................................15 4.4 Adaptief toetsen..................................................................................................15 5 Criteria formuleren en rubriceren................................................................................17 5.1 Criteria formuleren ..............................................................................................17 5.2 Rubriceren ..........................................................................................................17 5.3 Evaluatielijsten en observatieschalen (checklists)..............................................18 6 Toetsoverzicht ............................................................................................................20 7 Geslaagd? ..................................................................................................................21 Evaluatiemethoden ..............................................................................................................22 1 Praktijkopdrachten......................................................................................................22 1.1 Inleiding ..............................................................................................................22 1.2 Simulatie of reële situatie?..................................................................................22 1.3 Let op bij praktijkopdrachten...............................................................................23 1.4 Hoe praktijkopdrachten evalueren? ....................................................................23 1.5 Zelfbeoordeling ...................................................................................................23 2 Criteriumgericht interview ...........................................................................................25 2.1 Wat? ...................................................................................................................25 2.2 Leidraad voor het criteriumgericht interview .......................................................25 2.3 Gespreksvaardigheden.......................................................................................25 3 Leerdersrapport ..........................................................................................................27 4 Praktijkgerichte vragen ...............................................................................................28 4.1 Waarom praktijkgerichte vragen .........................................................................28 4.2 Mogelijkheden voor het schetsen van een praktijksituatie..................................29 4.3 Waarover kan men vragen stellen? ....................................................................30 5 360 ° feedback............................................................................................................31 6 Portfolio ......................................................................................................................32 6.1 Wat is een portfolio? ...........................................................................................32 6.2 Begeleiding van cursisten bij het samenstellen van een portfolio ......................32 6.3 Meer weten over portfolio? .................................................................................33 7 Een combinatie van instrumenten ..............................................................................35 7.1 Copernicushervorming........................................................................................35 7.2 Meten van sleutelvaardigheden..........................................................................37 Nuttige websites...................................................................................................................38 Bronnen.................................................................................................................................39 Bijlage: moduleplan .............................................................................................................41

3

Aandachtspunten

Sta stil bij drie vragen vooraleer je cursisten wil evalueren.

Waarom? Wat? Hoe?

Waarom? Vertrek steeds van de vraag: “Wat is het doel van de evaluatie?”. Evalueren is nooit een doel op zich. Wat? De keuze voor een instrument hangt samen met de vraag welk aspect je wil evalueren. Je moet bijvoorbeeld geen feitenkennis toetsen als de klemtoon in je cursus op handelingsbekwaamheid ligt. Hoe? De keuze voor een bepaald instrument hangt af van het antwoord op vorige vragen. In deze tekst worden deze punten verder uitgediept. We willen een kader geven dat toegepast kan worden binnen de verschillende opleidingen in de basiseducatie. De tekst kan als richtlijn gehanteerd worden bij het maken van nieuw evaluatiemateriaal. Achtergrondinformatie is in deze tekst cursief opgenomen. Op sommige plaatsen vind je ook enkele ideeën ter reflectie die cursief werden weergegeven. Het betreft thema’s waarover wij geen uitspraak willen doen, maar waarvoor we de lezer uitnodigen tot denkwerk.

4

Waarom evalueren? Evalueren kan om verschillende redenen gebeuren. We kunnen daarbij denken aan het bepalen van het instapniveau van kennis en vaardigheden van cursisten, het meten van de voortgang inzake kennis en vaardigheden van cursisten, het motiveren van cursisten, het vergelijken van cursisten, het evalueren van de cursus. In deze tekst gaan we in op de didactische evaluatie. Dit type evaluatie is gericht op het meten van prestaties van cursisten (Lowyck, 1995). Meer bepaald zoeken we instrumenten voor - het bepalen van het beginniveau bij instroom van cursisten; - het meten/bijhouden van de voortgang van cursisten. We gebruiken de termen evalueren en toetsen door elkaar. Wij vatten toetsen dus ruimer op dan de klassieke pen- en papier testen! Er zijn verschillende methodes om de voortgang van cursisten te meten en de klassieke testvorm is daarbij zeker niet altijd de geschiktste. Om competenties te meten zijn andere methodes meer aangewezen (zie verder). Ter info: het verschil tussen formatief en summatief toetsen “De doelen van beoordelen zijn grofweg in te delen in formatieve en summatieve doelen. Summatief beoordelen van competenties is gericht op het beoordelen van bekwaamheid en wordt gebruikt op het moment dat er beslissingen worden genomen over de betrokken onderwijsdeelnemer (bv. certificeren). Het gaat hier om de vergelijking van individuele competenties met een algemene kwalificatiestandaard. Formatief beoordelen van competenties is gericht op de ontwikkeling van competenties en wordt gebruikt om vorderingen in beeld te brengen, te reflecteren op het leer- en loopbaanproces, conclusies te trekken en plannen te maken voor verdere competentieontwikkeling. Formatieve beoordeling heeft een feedbackfunctie en ondersteunt het leer- en ontwikkelproces.” (van der Kolk, 2002: 11-12) Het verschil tussen summatief en formatief evalueren ligt m.a.w. niet in de manier waarop men beoordeelt, maar wel in wat men doet met deze beoordeling. Indien men regelmatig tijdens de cursus de cursisten evalueert in functie van het leerproces (formatief evalueren), hoef je op het einde van de cursus niet noodzakelijk nog eens een eindproef af te nemen om na te gaan of iemand naar een volgende module kan (summatief evalueren). Je kan dan aan de hand van de tussentijdse evaluaties nagaan of de cursist voldoende bagage bezit om door te stromen naar de volgende module.

5

Wat … competenties? De einddoelen voor de verschillende opleidingen in het modulariseringsproject zijn geformuleerd als competenties. Maar wat zijn competenties eigenlijk? Er is in de literatuur geen eensgezindheid over de betekenis van deze term. Vaak wordt de term verengd tot beroepscompetentie: een competentie is dan de bekwaamheid om een handeling te stellen in functie van een beroep. Wij vatten dit begrip echter ruimer op en nemen de werkdefinitie over van een Vlaamse werkgroep die zich over sleutelcompetenties gebogen heeft1. Een competentie • is multidimensionaal aangezien het gaat om een samenspel van kennis, inzichten, vaardigheden en attitudes; • kan in allerlei contexten en zowel formeel als informeel, bewust en onbewust, verworven worden; • is vereist om adequaat te antwoorden op de vereisten van een bepaalde situatie of taak; • is een noodzakelijke maar onvoldoende voorwaarde om ten allen tijde efficiënt te handelen of te reageren. Het feit dat iemand over de nodige competentie beschikt om een opdracht goed te vervullen, impliceert niet dat hij/zij die competentie ook doelmatig zal gebruiken. De essentie van een competentie is dat het gaat om handelingsbekwaamheid. In deze tekst gebruiken we deze laatste term dan ook als een variatie op het begrip competentie.

1 Handelingsbekwaamheid als samenspel van elementen Handelingsbekwaamheid ontstaat uit het samenspel van verschillende elementen: ƒ kennis en inzichten; ƒ vaardigheden; ƒ attitudes. Voorbeeld: Schoonmaken (competentie) is alleen mogelijk als de schoonmaker weet waarvoor hij welk hulpmiddel nodig heeft (kennis van feiten en procedures). Hij moet een stofzuiger kunnen bedienen (vaardigheid). Bovendien moet hij orde hebben (attitude). Als je de handelingsbekwaamheid schoonmaken wilt toetsen, volstaat het dus niet om de feitenkennis (bv. kennis van schoonmaakproducten) te toetsen. Verder in deze tekst willen we je laten reflecteren over het belang van het aspect houdingen bij het evalueren van competenties.

1

Deze werkgroep bestond uit experten uit verschillende domeinen: Vlor, VEV, VDAB, Kind en Gezin, … Het rapport van deze werkgroep heet Definitie en selectie van sleutelcompetenties in Vlaanderen (DeSeCo). Een stand van zaken.

6

We passen het begrip competentie toe op twee voorbeelden uit de basiseducatie: Ter info Een einddoel voor NT1 lezen is: De cursist kan op beschrijvende wijze belangrijke formulieren, documenten, brieven en kaarten, alledaagse papieren (o.m. rijbewijs, identiteitskaart) herkennen (informatieve teksten). Dit veronderstelt zowel kennis, vaardigheden als attitudes. Bijvoorbeeld: Een laaggeletterde cursist ontvangt een geboortekaartje. Hij/zij kan aan de hand van bepaalde tekstkenmerken zien dat het een geboortekaartje is: er staat bijvoorbeeld in het groot een naam en een datum op. Dit veronderstelt kennis van sociaal-culturele tekstconventies bij cursisten. Zelfs als de cursist het kaartje niet volledig kan lezen, kan hij/zij toch proberen achterhalen van wie dit zou kunnen komen via compenserende strategieën, zoals de inzet van voorkennis. Men gaat bijvoorbeeld na wie in de kennissenkring een kindje verwacht. Het inzetten van compenserende strategieën is een vaardigheid. Tot slot veronderstelt dit proces bij de cursist dat hij/zij zich kan/wil concentreren op de tekst. Hier gaat het om een houding.

Een einddoel ICT is: De cursist kan de invoer- en uitvoerapparatuur met de computer verbinden. Kennis: (beperkt) inzicht in functies van onderdelen Vaardigheden: het uitvoeren van de handeling Houding: nauwkeurigheid

7

Soms kan het wel zinvol zijn om één element hiervan apart te evalueren, bijvoorbeeld feitenkennis. Dit kan bijvoorbeeld om diagnostische redenen zodat kan vastgesteld worden welke kennisaspecten de cursist onvoldoende beheerst. Maar dan toets je de feitenkennis en niet de handelingsbekwaamheid!

2 Gesitueerde en niet-gesitueerde competenties Het is belangrijk om een onderscheid te maken tussen twee soorten handelingsbekwaamheden, namelijk gesitueerde en niet-gesitueerde. In een gesitueerde handelingsbekwaamheid is er een duidelijke link met maatschappelijke functies en taken. Een muur kunnen bepleisteren is een voorbeeld van een gesitueerde competentie. Niet-gesitueerde competenties zijn algemene bekwaamheden die niet in één specifieke context van toepassing zijn. De einddoelen uit het modulariseringsproject zijn contextloos. Men wil een cursist Nederlands moedertaal bijvoorbeeld vlotter leren lezen. Deze handelingsbekwaamheid zou de cursist uiteindelijk in verschillende contexten moeten kunnen toepassen. Evalueren gebeurt echter altijd gesitueerd, net zoals je tijdens de cursus ook gesitueerd werkt. Je leert cursisten NT2 de Nederlandse taal aan binnen bepaalde contexten (mobiliteit, gezondheid, enz.). Het uiteindelijke doel is echter transfer bereiken: handelingsbekwaam zijn in verschillende situaties. Transfer is iets waaraan je tijdens de lessen kan werken. Als je cursisten bijvoorbeeld leert een inschrijvingsformulier in te vullen binnen de context van schoolparticipatie, kan je wijzen op de gelijkenis met inschrijvingsformulieren in andere situaties. Enkel als je tijdens de lessen deze uitstap naar andere situaties hebt gemaakt, kan je bij het evalueren ook eens een andere context aanbieden en kan je zo transfer evalueren. Het mag duidelijk zijn dat transfer bereiken het uiteindelijke streefdoel is. Dit kan je echter niet van beginnende cursisten verwachten. Transfer is dus een criterium dat mee het niveau van cursisten bepaalt. Een ander voorbeeld komt uit de opleiding ICT. Tijdens de module internet leren cursisten zoeken op het internet. Binnen de les kan je cursisten informatie laten zoeken rond onderwerpen die ze zelf interessant vinden. Bij een evaluatie kan je hen vragen rond een ander thema informatie op te zoeken. Immers, zoeken op internet zou men binnen verschillende contexten moeten kunnen toepassen. Maar hier moet je wel opletten: als je cursisten informatie laat zoeken rond een thema waar ze helemaal niet mee vertrouwd zijn, maak je het zoeken voor hen veel moeilijker. Welke zoekterm moeten ze dan formuleren? Hoe kunnen ze de verkregen informatie selecteren? Je evalueert dan in feite evenzeer het vermogen van cursisten om informatie te verwerven en verwerken.

3 Relatie met einddoelen Binnen het modulariseringsproject zijn er ontwikkelingsdoelen voor de verschillende opleidingen vastgelegd in opleidingsprofielen. Deze werden en worden nog geconcretiseerd tot leerplannen. In de basiseducatie zal men voortaan werken met goedgekeurde leerplannen. In leerplannen worden leerplandoelen geformuleerd: deze geven aan wat een cursist moet kennen/kunnen na enkele lessen. De educatieve medewerker kan op basis van dit leerplan een planning van een module opmaken: een overzicht van wat een bod zal komen tijdens de module (zie bijlage). In de basiseducatie zal zo’n planning voldoende ruim moeten zijn, zodat bijsturing in functie van behoeften en noden van cursisten mogelijk is. Zo’n moduleplan is de basis voor het cursusmateriaal en de lesplannen.

8

Wanneer cursisten geëvalueerd worden, geldt als vertrekpunt de concrete cursus. Daar zijn drie redenen voor. Ten eerste kan je geen doelen evalueren waaraan je niet expliciet hebt gewerkt tijdens de lessen. Het mag duidelijk zijn dat bepaalde leerplandoelen die je wegens tijdsgebrek niet hebt gezien, niet geëvalueerd kunnen worden. Ten tweede is het mogelijk dat je tijdens de les bij een bepaald onderwerp langer hebt stilgestaan omdat bepaalde cursisten er moeite mee hadden. Bij de evaluatie kan je hier extra aandacht aan geven, om na te gaan of de cursisten het onder de knie hebben. Ten derde kan verwezen worden naar het feit dat, als je bij een evaluatie contexten opneemt die niet tijdens de les werden gezien, je ook nagaat of cursisten de vertaling kunnen maken van de éne context naar de andere (transfer). Natuurlijk moet het duidelijk zijn dat je cursus een vertaling is van een leerplan. Vaak is het zo dat je gedurende verschillende achtereenvolgende lessen werkt aan één doel uit het leerplan. Bij de opleiding ICT leren we de cursist een e-mailsysteem te gebruiken. Om dat doel te bereiken, laat je de cursist verschillende stappen doorlopen zoals het openen van een venster met een leeg bericht, het intikken van een onderwerp, …. Het is dan niet de bedoeling al deze verschillende stappen te evalueren, maar wel het globale doel. Een hiërarchisch systeem

Opleidingsprofiel is de basis voor

Leerplan is de basis voor

Moduleplan is de basis voor

Cursus

9

Ter reflectie: Standaardtoetsen? Methodeonafhankelijk toetsen? We willen hier even stilstaan bij de vraag of standaardtoetsen altijd wenselijk zijn. Eerst geven we een begripsverduidelijking. Methodeonafhankelijke toetsen zijn toetsen die ingezet kunnen worden onafhankelijk van de leermethode die je gebruikt. Standaardtoetsen zijn toetsen die ontwikkeld worden door toetsexperten; ze kunnen door verschillende lesgevers die dezelfde module aanbieden gebruikt worden. Standaardtoetsen worden soms ontworpen binnen een bepaalde lesmethode. Zo heeft de methode Spreekrecht (lesmateriaal NT2) zijn eigen toetsen. Sommige standaardevaluaties zijn methodeonafhankelijk. Een voorbeeld hiervan is de instaptoets Op uw plaats, die voor NT1 is ontwikkeld. De basis voor het ontwikkelen van methodeonafhankelijke standaardtoetsen ligt dan in de instapvereisten van een module of in de einddoelen ervan. Ongeacht de methode die een lesgever inzet om deze doelen na te streven, blijven de einddoelen gelijk en zouden dus in principe op een gestandaardiseerde manier geëvalueerd moeten kunnen worden. Of is dit niet zo? We willen hierover geen eenduidige uitspraak doen, maar wel pro en contra op een rijtje zetten. - Indien verschillende lesgevers met hetzelfde cursusmateriaal werken, kan het zinvol zijn om hetzelfde evaluatiemateriaal te gebruiken. Dan weet men eenduidiger van cursisten uit verschillende groepen hoever ze staan. Ook voor lesgevers van een hoger niveau die vervolgens met cursisten uit verschillende groepen zullen werken, is dit handiger. - Al zijn de einddoelen in de leerplannen vastgelegd, betekent dit niet dat je geen creativiteit meer aan de dag kan brengen bij de didactische aanpak. Je kan nog steeds inspelen op vragen uit de groep of rond thema’s werken die zij aanbrengen. Waarom zou je dan ook niet de evaluatie kunnen aanpassen aan de groep? - Als je de einddoelen het statuut van ontwikkelingsdoel geeft, ga je cursisten beoordelen op basis van de vorderingen die ze maken en ga je je evaluaties aanpassen aan de evolutie die zij maken. Elementen waar cursisten extra op moesten oefenen, ga je nadien apart evalueren. Hoe kan je dit standaardiseren? - Misschien zijn bepaalde evaluatie-instrumenten gemakkelijker te standaardiseren dan andere. Denk daarbij aan instrumenten om het startniveau van cursisten te bepalen of aan diagnostische instrumenten.

10

Hoe evalueren? Om tijdens of voorafgaand aan het leerproces de competenties van de cursist te evalueren, gaan we op zoek naar geschikte instrumenten. Enkel door op geregelde tijdstippen te evalueren krijg je zicht op de vorderingen van de cursist en kan je op het einde van een module beslissen of de cursist al dan niet kan doorstromen. Evalueren is een proces dat uit vier stappen bestaat: 1. meten; 2. waarderen; 3. beslissen. 4. feedback geven aan de betrokkene. We beschrijven in een volgend deel van deze tekst de volgende instrumenten: Praktijkopdrachten Criteriumgericht interview Leerdersrapport Praktijkgerichte vragen 360° feedback Portfolio Eerst geven we echter nog achtergrondinformatie over verschillende thema’s die samenhangen met het evalueren.

11

1 Evalueren is communiceren! Tijdens het hele evaluatieproces moet je communiceren met cursisten. Het is belangrijk om cursisten op de hoogte te brengen wanneer je hen zal evalueren en hoe je dit zal doen. Bovendien moeten ze goed weten welke doelen je gaat evalueren. Zo kunnen zij zich goed voorbereiden. Je kan cursisten niet evalueren op doelen waarvan zij niet weten dat hieraan tijdens de les is gewerkt. Als je bijvoorbeeld bepaalde attitudes belangrijk vindt, moet je dit ook tijdens de les aangeven. Het is anders niet eerlijk tegenover cursisten om hen hierop te beoordelen. Dit betekent ook dat evalueren steeds intentioneel is: na de les snel enkele bevindingen over cursisten noteren is nuttig. Maar je kan dit alleen laten gelden als evaluatie als je bewust geobserveerd hebt tijdens de les en als je aan cursisten (bij de start van de cursus) hebt laten weten dat je observaties tijdens de les zal gebruiken om na te gaan hoever ze staan. Daar zijn twee redenen voor. Ten eerste bestaat het gevaar dat alleen de meest in het oog springende elementen opvallen als je niet bewust observeert. Ten tweede is het niet eerlijk ten opzichte van cursisten als je hen niet vooraf laat weten dat je hen zal beoordelen. Ook na het evalueren is communicatie met cursisten onontbeerlijk. Eender welke vorm van evaluatie je toepast, het is altijd belangrijk om de cursisten nadien voldoende feedback te geven over hun vorderingen en resultaten. In het regulier onderwijs werkt men met “rapporten”. Rapporteren over resultaten hoeft echter niet via een klassiek rapport. Het kan ook via een gesprek waarin je samen met de cursist overloopt op welke punten hij/zij al ver is gevorderd en waaraan nog gewerkt moet worden. Dit kan dan uitmonden in een plan van aanpak dat voor de cursist werkpunten voor de toekomst beschrijft.

2 Kwaliteitseisen aan evaluaties We sommen hier beknopt de belangrijkste kwaliteitseisen op die aan evaluatie-instrumenten moeten worden gesteld. Objectiviteit betekent dat alle cursisten dezelfde kansen krijgen (Van Petegem, 2002: 86) Een belangrijke voorwaarde is dat je niet vooringenomen bent naar bepaalde cursisten toe. Betrouwbaarheid betekent dat er geen, of zo weinig mogelijk, meetfouten mogen gebeuren. “Het resultaat van de meting moet een zo adequaat mogelijke weerspiegeling vormen van de vaardigheid van de cursist.” (Lowyck, 1997: 260) Hiertoe gelden de volgende voorwaarden: - de cursist moet zijn/haar vaardigheden optimaal kunnen tonen, zodat men een reëel zicht krijgt op het kunnen; - tijdens het evalueren mogen geen storende factoren optreden; - de opdrachten of vragen moeten eenduidig en duidelijk zijn. Validiteit gaat om de vraag “in hoeverre het resultaat dat met het evaluatie-instrument werd verkregen, ook daadwerkelijk een afspiegeling is van de vaardigheid die we beogen te meten.” (Lowyck, 1997: 260) In hoeverre meet het evaluatie-instrument de beoogde onderwijsdoelen? We verwijzen hier naar wat we hoger hebben geschreven, namelijk dat je geen kennisaspecten moet meten, als je eigenlijk wilt weten hoe de cursist qua handelingsbe-

12

kwaamheid geëvolueerd is. Een ander evident voorbeeld is dat je geen mondelinge vaardigheden kan evalueren met een schriftelijke toets. Evaluaties moeten ook bruikbaar zijn! Hiermee bedoelen we dat het toetsen niet méér mag vragen dan een reële inspanning. Te veel toetsen levert zeker geen beter zicht op de competenties van cursisten. Stel jezelf volgende vragen (Ter Wee, 2002: 3): ƒ Is de procedure uitvoerbaar, organiseerbaar, inpasbaar in de beschikbare tijd? ƒ Is de tijdsinvestering die de procedure kost realistisch? ƒ Zijn de evaluatielijsten in de instrumenten overzichtelijk en makkelijk in te vullen? Enkele andere criteria zijn efficiëntie, transparantie, representativiteit en authenticiteit: ƒ Efficiëntie betekent dat de nodige tijd en kosten die het instrument vergen, aanvaardbaar zijn. ƒ Transparantie betekent dat voor alle betrokkenen (vooral de cursisten) duidelijk is op grond waarvan zij beoordeeld worden en wat er van hen verwacht wordt. ƒ Representativiteit betekent dat de evaluatie betrekking moet hebben op een goede selectie van het geleerde. ƒ Authenticiteit betekent dat de toetsprocedure aansluit bij de vaardigheid die men beoogt te meten. Als je bijvoorbeeld het bij evalueren van schrijfvaardigheden belangrijk vindt dat cursisten informatie kort en bevattelijk formuleren, moet jouw opdracht ook kort en bevattelijk geformuleerd zijn. Tot slot melden we nog de aanvaardbaarheid. De toetsresultaten moeten voor alle betrokkenen acceptabel zijn. Dit hangt nauw samen met de consequenties die aan de resultaten verbonden zijn. Als men bijvoorbeeld regelmatig de voortgang nagaat, zal een eerder negatief resultaat maar tot een beperkte, aanvaardbare bijsturing tijdens de module leiden. Indien enkel op het einde van een module wordt geëvalueerd en een negatief resultaat ertoe leidt dat een cursist(e) niet mag doorstromen, is dit waarschijnlijk niet erg acceptabel.

13

3 Valkuilen bij het toetsen Let bij het evalueren op voor de volgende valkuilen! 1. Antwoorden op eigen vragen zoeken. 2. Contrasteffect: de cursist wordt vergeleken met een andere cursist, die goed of slecht presteerde. 3. Discriminatie/vooroordeel: onterechte beoordeling op grond van oneerlijke vooroordelen. 4. Halo-effect: als één element goed of slecht is, gaat men er van uit dat al de rest ook goed of slecht is. 5. Sympathie laten doorwegen. 6. Nieuwsgierigheid: doorvragen op niet-relevante elementen. 7. Overhaast oordelen. 8. Preoccupatie: we hebben iets anders aan ons hoofd en schenken dus geen aandacht aan wat er gezegd wordt. 9. Projectie: de neiging om anderen onze eigen motieven, eigenschappen of gebreken toe te dichten. 10. Rolverwarring: de evaluator vervalt in een andere rol, bijvoorbeeld van lesgever of hulpverlener. 11. Vooringenomenheid: de neiging conclusies te trekken voordat men de feiten kent. 12. Weinig alert zijn op de verwachtingen van anderen. Cursisten hebben hun eigen ideeën en verwachtingen, die niet altijd met die van jou overeenstemmen. Als je dat niet onderkent, zal je elkaar nooit begrijpen. (van den Dungen, 2000: 33-34)

Ter info: tien tips voor een ‘geslaagde’ toets 1. Pik hier en daar een onderdeel uit de leerstof (Waarom zouden we een evenwichtig en representatief staal nemen van alle onderwijsdoelstellingen?) 2. Blaas een detail op (Waarom zouden we aan de belangrijke doelstellingen in verhouding meer belang hechten dan aan details?) 3. Aan wie een bearnaisesaus moet kunnen maken, vraag je alleen welke ingrediënten er moeten inzitten (Waarom zou de vraag de beoogde vaardigheid moeten toetsen?) 4. Maak de vragen lekker ingewikkeld (Waarom geen dubbele ontkenningen of drie dingen tegelijk in een vraag stoppen?) 5. Test maar één soort vaardigheid (Waarom zouden we naast reproductie ook toepassingen en inzicht testen?) 6. Gebruik maar één soort vragen (Waarom zou een mix van meerkeuzevragen, open vragen enz. representatiever zijn?) 7. Blijf vaag over wat je precies verwacht (Waarom zou het beter zijn aanduidingen te geven over de nodige tijd of over de verwachte soort of lengte van antwoord?) 8. Verbeter de toets met het gezicht en de persoon van de leerling voor ogen (Waarom zouden we meer objectiviteit inbouwen door niet een naam maar bijvoorbeeld een code op het antwoordblad te laten zetten of niet leerling per leerling maar vraag per vraag te verbeteren?) 9. Denk pas over mogelijke antwoorden na als je de antwoorden binnen krijgt (Waarom zouden we op voorhand de toets zelf proberen op te lossen, modelantwoorden formuleren en een precieze puntenverdeling maken?) 10. Zorg ervoor dat minstens een derde van de leerlingen gebuisd is (Waarom zou een toets waarvoor iedereen geslaagd is een slechte toets zijn?) (Klasse, nr. 96, juni 1999, p. 44)

14

4 Differentiëren bij het evalueren Als educatieve medewerker wordt je geconfronteerd met niveauverschillen in de groep waaraan je les geeft. Er zijn verschillende methodes om tijdens het lesgeven te differentiëren. Eigenlijk zou je ook bij het evalueren moeten kunnen differentiëren. We geven hier beknopt enkele manieren om de evaluatie aan te passen aan individuele cursisten. 4.1

Wanneer evalueren

Zowel het moment waarop je cursisten evalueert, als de tijd die je hen geeft tijdens een evaluatie, kan je aanpassen aan de behoeften van cursisten. (Van Petegem, 2002: 98) Iemand met dyslexie kan je bijvoorbeeld meer tijd geven om schriftelijke vragen te beantwoorden. Iemand die net ziek is geweest kan je een week uitstel geven.

4.2

Keuze laten tussen verschillende evaluatievormen

Je kan cursisten een evaluatievorm laten kiezen die het best bij hun persoonlijkheid past. (Van Petegem, 2002: 99) Bij een wiskundeopgave kan je cursisten die verbaal eerder sterk zijn mondeling laten uitleggen hoe ze de opgave oplossen. Andere cursisten kan je schriftelijk laten werken. 4.3

Werken met ondersteuningsniveaus

Dit betekent dat cursisten bij een opdracht extra ondersteuning kunnen inroepen als ze dit nodig vinden. Je kan verschillende gradaties van extra ondersteuning voorzien. De meest gevorderde cursisten hebben geen extra ondersteuning nodig. Voorbeelden van ondersteuningsniveaus: 1. geen extra ondersteuning; 2. je geeft een stappenplan om tot een oplossing te komen; 3. je geeft een gelijkaardige vraag met antwoord. 4.4

Adaptief toetsen

Nu de computer meer en meer wordt ingezet om toetsen te ontwikkelen, wordt adaptief toetsen mogelijk. Bij adaptief toetsen worden nieuwe opgaven gekozen op basis van de antwoorden die de cursist heeft gegeven. Als er een correct antwoord werd gegeven, krijgt de cursist een moeilijkere opgave. Op een gegeven moment bereikt men een optimale schatting van het kunnen van de cursist. Hiermee willen we niet pleiten voor een ongeremd inschakelen van de computer bij evaluaties. Dit instrument kan nochtans zinvol ingezet worden in (onderdelen van) een evaluatieproces.

15

Figuur 1: Een voorbeeld van een computergestuurde adaptieve toets: WISCAT voor wiskunde

Welkom bij deze uitleg over WISCAT. WISCAT is een programma dat toetsen voor rekenen en wiskunde afneemt bij cursisten. U gaat strakst zo’n toets maken. Eerst krijgt u nog wat uitleg over de bediening van de computertoets.

Deze pen is ____ cm en _____mm lang

Dit is een opgave waarbij de liniaal met behulp van de muis correct moet worden aangelegd om de pen te kunnen opmeten.

WISCAT wordt in Nederland in sommige ROC’s gebruikt om het instapniveau en de voortgang voor wiskunde vast te leggen in educatie (vergelijkbaar met basiseducatie).

16

5 Criteria formuleren en rubriceren 5.1

Criteria formuleren

Het is erg moeilijk om een competentie in zijn totaliteit te evalueren, juist omdat de handelingsbekwaamheid van cursisten door verschillende factoren wordt gevormd (zowel kennis, vaardigheden en attitudes). Een grondige beoordeling van een competentie vraagt dan ook dat je de verschillende factoren1 op een rijtje zet, zodat je bij eventuele moeilijkheden goed kan nagaan waar het probleem ligt. Een cursist die een rekenfout maakt, heeft misschien de opdracht niet goed begrepen, of een telfout gemaakt, of zijn antwoord niet gecontroleerd. Dit kan je nagaan door criteria te formuleren die bij de beoordeling van tel zullen zijn. Je maakt best een lijstje met criteria. Wanneer je cursisten een opdracht geeft, kan je aan de hand van deze criteria zo volledig mogelijk evalueren. Criteria voor schrijfvaardigheid kunnen bijvoorbeeld zijn (Van Petegem, 2000B: 144) - ideeën en inhoud; - organisatie; - stijl; - woordkeuze; - vlotheid; - taalconventies. 5.2

Rubriceren

Naast het formuleren van criteria moet je ook duidelijk weten hoe je de prestaties van cursisten gaat beoordelen. Wanneer presteert een cursist zeer goed, goed, of slecht? Om hierover uitspraken te kunnen doen, moet je rubriceren. “Een rubriek is een geschreven geheel van richtlijnen dat het mogelijk maakt prestaties en producten van verschillende kwaliteiten te onderscheiden. Een rubriek omvat beschrijvingen die aangeven waar men naar moet kijken bij elk kwaliteitsniveau.” (Van Petegem, 2002B: 317) Per criterium kan je gaan rubriceren. Je gaat dus omschrijven wat je verwacht dat cursisten voor dit onderdeel presteren om een uitstekende beoordeling te krijgen, maar je gaat ook omschrijven wat volgens jou een eerder zwakke prestatie is. Een voorbeeld voor een mondelinge presentatie (Van Petegem, 2000B: 154) Criteria► Rubrieken▼ Excellent

Goed

Voldoende

1

Organisatie

Inhoud

Overdracht

Media

Vlotte overgangen Uitvoerige, volledige De luisteraar is steeds mee behandeling van het De vooruitgang is excellent onderwerp Getuigt van onderzoek Goede vooruitgang Goede dekking van De luisteraar blijft bij de het onderwerp met inhoud evidentie van onderzoek

Goed oogcontact, goede intonatie en lichaamstaal Meeslepend en genietbaar Oogcontact, intonatie, lichaamstaal en gedrag zijn goed maar niet consistent

Excellent gebruik van overhead, video’s, grafieken Duidelijk en levendig

…

…

…

Visualiseringen zijn duidelijk en geschikt. De media ondersteunen de presentatie …

In vakliteratuur spreekt men over dimensies of leeruitkomsten. (Van Petegem, 2002B: 144)

17

In de praktijk is het opstellen van zo’n rooster vaak een te zware klus. Dikwijls worden verschillende criteria samengevoegd en gaat men algemeen omschrijven wat zeer goed, goed, minder goed, … is. (Van Petegem, 2000B: 150) Een voorbeeld voor een mondelinge presentatie (Van Petegem, 2002B: 155) Excellent: De [cursist] beschrijft duidelijk de bestudeerde inhoud en geeft uitdrukkelijk het belang ervan aan. Er wordt specifieke informatie gegeven die de gemaakte conclusies ondersteunt. De inhoud wordt op een uitnodigende manier gebracht en de zinsbouw is consistent correct….. Zeer goed: De [cursist] beschrijft de bestudeerde inhoud en geeft het belang ervan aan. Er wordt voldoende informatie gegeven om de conclusies te ondersteunen. …

5.3

Evaluatielijsten en observatieschalen (checklists)

Criteria en rubrieken kan je samenvoegen tot evaluatielijsten. Hierin worden de verschillende deelaspecten op een rijtje gezet, vertaald in cursistentermen. De evaluatielijst kan worden gebruikt als hulpinstrument bij het observeren van een praktijkopdracht, maar kan ook worden ingezet om samen met de cursist de praktijkoefening te bespreken. Voorbeeld: een evaluatielijst voor het oplossen van rekenproblemen (Van Petegem, 2002B: 204) 4

3

2

1

De cursist maakt een correcte berekening De cursist formuleert zijn antwoord duidelijk De cursist controleert zijn antwoord … 1 = voorbeeldig 2 = goed 3 = voldoende 4 = onvoldoende

Een observatieschaal lijkt sterk op een evaluatielijst, maar de vraag beperkt zich bij elk item tot de vaststelling of een bepaald gedrag zich al dan niet heeft voorgedaan. Dit kan eenvoudiger te hanteren zijn. Bijvoorbeeld Ja

Neen

nvt

De cursist maakt een correcte berekening De cursist formuleert zijn antwoord duidelijk De cursist controleert zijn antwoord Ter reflectie: het aspect houdingen Kan je houdingen op dezelfde manier meten als kennis en vaardigheden? En kan je dit evenveel gewicht geven als de andere elementen? Theoretisch gezien kan je bij het formuleren van je criteria ook houdingen mee formuleren. Je geeft een cursist bijvoorbeeld een praktijkopdracht binnen een module wiskunde. Een belangrijke houding is dat cursisten zelfverzekerder zijn en een positieve houding hebben tegenover wiskunde. Je formuleert deze houdingen dus ook als criteria. Maar hoe ga je die beoordelen? Peter Van Petegem en Jan Vanhoof stellen dat je houdingen enkel door zelfevaluatie kan beoordelen. Je moet met andere woorden cursisten zichzelf laten beoordelen (Van Petegem, 2003)

18

We vinden dit een moeilijke thematiek die verder uitgeklaard moet worden, maar willen jullie al enkele opmerkingen hierover geven: - Van Petegem en Vanhoof stellen dat je houdingen niet mag laten doorwegen bij evaluaties. Zij doelen hier echter vooral op het regulier onderwijs, waar leerlinggedrag vaak te zwaar doorweegt bij deliberaties. Een student die de einddoelen heeft bereikt, heeft ze bereikt, zelfs al is dat een ‘lastige leerling’. - Misschien hangt één en ander ook samen met de aard van de attitude die je voor ogen hebt. Sommige attitudes (bv. op tijd komen) laten zich gemakkelijker objectiveren dan andere (bv. kritische zin). - Kan een houding zo belangrijk zijn dat je de cursist niet laat doorstromen naar een volgende module of naar een vervolgsituatie enkel en alleen omdat hij/zij niet de juiste houding heeft? - Wat met het gegeven dat veranderen van houdingen een erg procesmatig iets is, dat binnen een traject van kortere op elkaar volgende modules moeilijk bereikt kan worden? - Kan je houdingen meten met dezelfde evaluatie-instrumenten als kennis en vaardigheden?

19

6 Toetsoverzicht Het is moeilijk in kaart te brengen welke einddoelen van een module je al geëvalueerd hebt, hoe je dit gedaan hebt en hoe de cursisten hierop scoorden. Om goed bij te houden welke leerdoelen je op welke manier geëvalueerd hebt, kan je een toetsoverzicht maken. Daarin staat aangegeven welk doel je al hebt geëvalueerd, wanneer dit is gebeurd en hoe. Misschien kan je de hoeveelheid papierwerk tot een minimum herleiden als je verschillende instrumenten met elkaar combineert. Om deze reden stellen we hier een toetsoverzicht voor, dat meteen ook dienst kan doen als evaluatielijst en als resultaatslijst. ICT: toetsoverzicht : resultaten Toetsoverzicht + checklist + resultaatsbladen Leerplandoel Kunnen invoer- en uitvoerapparatuur fysisch aaneenschakelen

Hoe? Wanneer? Patricia Eindtoets: zie 12/12 praktijkoefening 1

Halima

Karel

Kunnen een computer aan- en afzetten

Observatie

5/12

OK

OK

OK

Kunnen een vastgelopen computer heropstarten

Observatie

5/12

OK

OK

Neen (paniek)

Kunnen programma’s starten en afsluiten

Observatie

5/12

OK – traag! OK

Kunnen mappen maken

Eindtoets: zie 12/12 praktijkoefening 1

OK

…

Dit schema heeft verschillende functies: 1. Het geeft een overzicht van afgenomen toetsen en de link met de leerplandoelen. In dit voorbeeld werd gewerkt met twee evaluatiemethodes: - een eindtest in de vorm van een praktijkoefening. In je cursusmap kan je achter dit overzicht een voorbeeld van deze praktijkoefening bewaren (deze vond op 12 december plaats); - observatie tijdens de les (deze gebeurde op 5 december). 2. Je kan er de resultaten van cursisten in noteren. Niemand zegt dat dit “punten” moet zijn. OK betekent hier dat de competentie aanwezig is. Dit is een resultaatsblad van 12 december. Je kan op een later moment weer zo’n resultaatsblad invullen: daarin geef je resultaten van andere evaluaties. Het kan dan gaan om dezelfde doelen die een tweede keer werden geëvalueerd of om andere doelen. Op het einde van een module worden de verschillende resultaatsbladen bij elkaar gelegd. Zo krijgt men en totaalbeeld van de vorderingen. 3. Het overzicht dient als checklist voor de einddoelen die je enkel via observatie toetst.

20

7 Geslaagd? Stel, je hebt al dit werk gedaan. Je hebt als educatieve medewerker via verschillende opdrachten de doelen uit een leerplan geëvalueerd bij je cursisten. Je hebt evaluatielijsten gemaakt per opdracht, met een opsomming van criteria. En om de verschillende evaluaties op een rijtje te zetten, heb je een toetsoverzicht gemaakt. En nu zit je daar, met al die resultaten op een rijtje. Je hebt bijvoorbeeld duidelijk geobserveerd dat Maria pakweg vijftig procent van de doelen van de module heeft bereikt. Daarnaast is zij goed op weg om van de andere doelen een aantal onder de knie te krijgen; met een aantal doelen van de module blijft ze het moeilijk hebben. Dan is er Kyran, die met een beetje hulp de meeste doelen min of meer onder de knie heeft. Maar als hij het alleen moet doen, dan loopt het mis. Hoe kan je nu als educatieve medewerker bepalen wie van deze cursisten geslaagd is? Wie mag er naar de volgende module? In het klassiek, kennisgericht onderwijs wordt dit meestal uitgedrukt in “vijftig procent”, met andere woorden, als je voor alle vakken vijftig procent van de doelen hebt bereikt, mag je naar een volgend jaar. Maar is dit nu geen gekke norm? Het uitgangspunt bij normeren moet de vraag zijn wat je moet kunnen en kennen om in de volgende module te kunnen starten. Wie zegt er dat als een cursist vijftig procent van de einddoelen uit de module heeft behaald, hij/zij de volgende module wel aan zal kunnen? Peter Van Petegem illustreert dit met de volgende vraag: “Zou jij bij een dokter onder het mes willen die vijftig procent van zijn leerstof onder de knie had tijdens zijn opleiding? (Van Petegem, 2003).” Of zou jij iemand een rijbewijs geven die vijftig procent scoort op zijn rijvaardigheid? We willen je een frustrerend antwoord op deze vraag geven. Er is geen pasklare oplossing. We rekenen op je deskundigheid als educatieve medewerker om op basis van alle resultaten een goede uitspraak te kunnen doen. Hierbij kan je wel een aantal hulpmiddelen inschakelen. Je kan bijvoorbeeld per doel een gewicht gaan toekennen. Doelen die zwaar doorwegen, moeten zeker bereikt zijn. Aan andere doelen kan nog gewerkt worden tijdens de volgende module. Hier is het alleszins belangrijk dat je goed weet wat er tijdens de volgende module allemaal nog aan bod zal komen, en wat een cursist zeker al onder de knie moet hebben om de module te kunnen starten.

21

Evaluatiemethoden 1 Praktijkopdrachten 1.1

Inleiding

De beste manier om handelingsbekwaamheid te evalueren is via praktijkopdrachten. In de literatuur spreekt men ook over authentieke evaluatie: dit betekent dat men aan de cursisten levensechte opdrachten geeft (Van Petegem: 2002). De cursist voert een praktijkopdracht uit die door de educatieve medewerker en door de cursist zelf wordt beoordeeld; zowel het proces als het resultaat (product) worden beoordeeld. Ofwel moeten cursisten bepaalde vaardigheden demonstreren, waarbij zij door de educatieve medewerker worden geobserveerd. Zo kan men bijvoorbeeld cursisten die NT2 volgen, de opdracht geven inkopen te doen in een winkel. De educatieve medewerker gaat dan mee en observeert de cursist. Ofwel moet de cursist een bepaalde opdracht uitvoeren die uitmondt in een product (Van Petegem, idem: 192). Zo kan men aan cursisten die een lees- en schrijfcursus volgen, de opdracht geven een brief te schrijven. Ook in dit laatste geval wordt het proces mee beoordeeld, bijvoorbeeld door samen met de cursisten te overlopen hoe ze tot dit product zijn gekomen. 1.2

Simulatie of reële situatie?

Je kan evaluaties op een continuüm rangschikken gaande van weinig levensecht tot zeer levensecht (Van Petegem, 2002B; 97). Een echte praktijkopdracht, bijvoorbeeld een cursist effectief inkopen laten doen, is het meest levensecht. Soms is dit echter niet haalbaar, omdat bij het zoeken naar evaluatievormen ook andere criteria gelden, zoals de efficiëntie en bruikbaarheid (zie hoger Kwaliteitseisen aan evaluaties). Dan kan je kiezen voor evaluaties die iets minder levensecht zijn, zoals een simulatie (bv. een rollenspel). Bij simulatie is het belangrijk te kiezen voor een karakteristieke situatie: het heeft geen zin cursisten met een situatie te confronteren die in de praktijk nooit voorkomt. Kies evenmin voor probleemsituaties die afhangen van een enkel slimmigheidje of weetje. Het beste is om praktijksituaties in samenspraak met enkele collega’s te kiezen. Het voordeel van simulatie is dat je storende factoren kan uitschakelen. Tijdens een praktijkoefening NT2 kan men iets gaan kopen in een winkel. Wanneer de winkelbediende echter zelf gebrekkig Nederlands spreekt, kan dit moeilijkheden veroorzaken. Maar een simulatie kan ook problemen opleveren. Uit een Nederlands onderzoek van 1999 bleek dat cursisten die tijdens de les geen problemen hadden, toch slecht scoorden tijdens evaluaties. Het probleem lag vooral bij simulatieoefeningen zoals winkeltje spelen. Er waren meer problemen met winkeltje spelen dan in de winkel zelf. Het is voor cursisten blijkbaar moeilijk zich in een hypothetische situatie in te leven en dan talig adequaat te handelen (Alfa-nieuws, nr. 4, 2001).

22

1.3

Let op bij praktijkopdrachten

Bij praktijkopdrachten zijn er meestal verschillende goede handelingswijzen. Cursisten kunnen handelingsbekwaam zijn op verschillende manieren. Het is vaak niet mogelijk de beste oplossing voor een probleem te geven. Het is belangrijk dat je dit als educatieve medewerker voor ogen houdt. De manier waarop jijzelf een situatie zou aanpakken, is daarom niet de enige mogelijke en juiste. Daarom is het belangrijk om op voorhand enkele criteria vast te leggen aan de hand waarvan je de handelingswijze van de cursist zal beoordelen. Veel praktijkopdrachten vergen een combinatie van competenties. Hou goed voor ogen welke competenties je wil toetsen. Naarmate de competentie van cursisten toeneemt, neemt de integratie met andere competenties en met persoonlijke kwaliteiten toe. Houd alles dus goed uit elkaar. Vertel de cursist ook vooraf welke aspecten je via de oefening gaat beoordelen. Hou er rekening mee dat de manier waarop je een praktijksituatie verwoordt en hoeveel uitleg je bij een opdracht geeft, een onderdeel is van de toetsing. Als je weinig stuurt bij de opdracht, meet je ook het zelfsturend vermogen van cursisten. 1.4

Hoe praktijkopdrachten evalueren?

Om praktijkopdrachten te evalueren, gebruik je best een evaluatielijst of een observatieschaal. Zo kan je systematisch in kaart brengen hoe de cursist presteerde voor de verschillende deelaspecten van de oefening. 1.5

Zelfbeoordeling

Hier gaat het erom de cursist zichzelf te laten beoordelen na een praktijkopdracht. Deze zelfbeoordeling wordt dan gelegd naast de beoordeling door de educatieve medewerker. Een evaluatielijst kan als richtlijn voor de zelfbeoordeling dienen. Voor een zelfbeoordeling is het wel noodzakelijk dat de criteria vertaald zijn in verstaanbare termen voor cursisten. Voorbeeld: Ik ga na of mijn antwoord juist is

Ja

Neen

Nvt

De resultaten van de zelfbeoordeling kunnen vergeleken worden met deze van de observatie. Dit zegt iets over het competentiebewustzijn van de cursist: schat die zichzelf op bepaalde punten hoger of lager in dan de educatieve medewerker? (zie ook 7.2) Je kan ook zelfbeoordeling combineren met de beoordeling door de educatieve medewerker. Zo kan je een evaluatielijst gebruiken om na een praktijkopdracht samen met de cursist de opdracht punt per punt te overlopen. Je komt samen tot een oordeel.

23

Ter reflectie: zelfbeoordelen op alle niveaus? De onderstaande bedenking bevat verschillende keren het woord ‘misschien’, omdat dit aspecten zijn waar we niet zeker van zijn. Over deze ‘misschiens’ kan je ‘misschien’ eens reflecteren. Zichzelf kunnen beoordelen is misschien een specifieke competentie die nog niet bij het begin van het leerproces aanwezig zal zijn. In het begin van het leerproces van een cursist zal je de zelfbeoordeling misschien nog sterk moeten sturen. Anderzijds mogen we cursisten hier misschien niet te laag inschatten. Peter Van Petegem en Jan Vanhoof wijzen erop dat zelfbeoordeling nu ook in het kleuteronderwijs wordt toegepast. Bovendien stellen ze dat cursisten die (vrijwillig) basiseducatie volgen, dit doen omdat ze beseffen dat er een probleem is. Er is dus een zelfbewustzijn en zelfevaluatie is met andere woorden zeker bruikbaar. (Van Petegem, 2003)

24

2 Criteriumgericht interview 2.1

Wat?

Je kan ook een interview als evaluatie laten gelden. Hiervoor wordt gebruik gemaakt van een criteriumgericht interview. Het criteriumgericht interview is een soort mondelinge toets van ervaringen (Willemse, 2002; 41). De naam verwijst naar de verschillende criteria die je tijdens de evaluatie in kaart wil brengen. Tijdens een gesprek overloop je samen met de cursist deze criteria en bespreek je hoever de cursist deze al onder de knie heeft. Hiervoor kan je een speciale interviewtechniek gebruiken die het STAR-model heet (Van Dungen, 2000). Men vraagt de cursist naar situaties, taken, acties en resultaten hiervan. Vraag naar situatie: Kan de cursist een voorbeeld geven van een concrete situatie waaruit bleek dat hij/zij de betreffende competenties bezit? In welke concrete situatie heeft de cursist laten zien dat hij kan samenwerken? Het dienen wel recente situaties te zijn. Vraag naar taken: Wat moest hij/zij precies doen in die situatie? Vraag naar actie: Doorvragen op de handelingen totdat duidelijk is wat de cursist juist deed in termen van concrete activiteiten. Wat deed je precies, om welke reden deed je dat op die manier? Vraag naar resultaat: Wat was het resultaat? Wat zou je de volgende keer anders doen en waarom? Wat vonden anderen van het resultaat? Dit interview wordt vaak in het begin van het leerproces gebruikt, om een eerste zicht te krijgen op de competenties van de cursist. Maar misschien kan het ook wel tijdens het leerproces worden toegepast. Vermijd hierbij de volgende vragen: 1. niet ingaan op denken: een vraag over denken is een vraag die wegvoert van gedrag of de situatie waar het feitelijk om gaat; 2. niet de waarom-vraag stellen: deze komt vaak beschuldigend over, waardoor de andere een verdedigende houding aanneemt; 3. niet praten over gevoelens: ook dit leidt af van het gedrag of de situatie. 2.2

Leidraad voor het criteriumgericht interview

De leidraad voor dit gesprek wordt op voorhand schriftelijk vastgelegd. De cursist kan het verslag van dit gesprek in een portfoliomap bewaren (zie verder). 2.3

Gespreksvaardigheden

De volgende gespreksvaardigheden zijn belangrijk bij een begeleidingsgesprek. 1. Samenvatten Dat wil zeggen: - Je wilt laten blijken dat je de ander hoorde en begrepen hebt. - Je wilt nagaan of je nog op hetzelfde spoor zit. - Je wil de essentie uit het verhaal van de ander onder woorden brengen. - Je wil ordening aanbrengen in de verschillende aangebrachte zaken.

25

- Je wilt de ander de kans geven de eigen mening te nuanceren. Tips: Vat in eigen woorden samen wat je de ander hoorde zeggen. Gebruik de woorden van de ander. Noteer de kernbegrippen op een plaats die voor de ander goed zichtbaar is. Je kan inhoud en gevoel aan elkaar koppelen. Je kan de ander uitnodigen zelf samen te vatten. Voorbeelden Klopt het dat …. Als ik alles op een rijtje wil zetten, dan….. Je meent dat telkens wanneer ….. er dan ….. op volgt. Wat zijn voor jou de belangrijkste dingen totnogtoe? Zet eens even alles wat je tot nu toe zei op een rijtje.

2. Doorvragen en concretiseren Dit wil zeggen: - Je nodigt de ander uit precies te vertellen wat hij/zij bedoelt. - Je laat de spreker de dingen “op een rijtje zetten”. - Je vraagt verduidelijking bij uitspraken als: ƒ ‘t ging wel ƒ het valt wel mee ƒ er zijn er meer Tips en voorbeelden Ga in op vage termen en begrippen. De cursist zegt: Ik ga regelmatig…. Vraag: Hoe vaak dan? Wat is regelmatig? Vraag door op feiten en gebeurtenissen De cursist zegt: Dat scheelde daarnet niet veel. Vraag: Vertel eens, wat is er gebeurd? Vraag door op gedragingen De cursist zegt: Ik maakte een blunder. Vraag: Wat deed je dan? Hoezo? Vraag door op gevoelens De cursist zegt: Ik heb de zenuwen. Vraag: Je vond het spannend, begrijp ik? Gebruik vaak: Wat bedoel je met… Wat doen ze dan? Wat gebeurt er dan? Hoe vind je dat?

26

3

Leerdersrapport

Het “leerdersrapport” (learner report) is niet expliciet gericht op het meten van competenties, maar kan hiertoe wel gebruikt worden. Via deze methode brengen cursisten de leerervaringen die zij hebben opgedaan onder woorden. Deze worden uitgelokt door stimuluszinnen of leereffectzinnen. Zo’n stimuluszinnen kunnen eventueel per doelstelling worden uitgeschreven en kunnen zowel mondeling als schriftelijk worden voorgelegd. Bovendien kan de beantwoording zowel individueel als in groep plaatsvinden (Clemens, 1999: 32). Via het leerdersrapport krijg je inzicht in de manier waarop cursisten de leerstof interpreteren en verwerken, maar ook in al dan niet bedoelde leereffecten (Van Berkel, 1993 en Lowyck, 1997). Er kunnen drie vraagvormen worden onderscheiden: 1. De volledig openvraagvorm Voorbeeld: “Ik heb van dit thema opgestoken dat …” Of “Ik heb van de discussie geleerd dat…” Je kan ook naar de drie belangrijkste leerervaringen vragen. Voor cursisten met beginnersniveau is dit wel erg moeilijk. 2. De gespecificeerde vraagvorm Dit betekent dat je per onderdeel van de leerstof, of per doelstelling een vraag stelt. Voorbeeld: “In de paragraaf over criminaliteit als politiek probleem heb ik geleerd dat …” Of “Over de omvang en aard van criminaliteit als sociaal probleem heb ik geleerd dat …” 3. De voorgestructureerde vraagvorm De cursist krijgt dan een lijst met mogelijke leerervaringen voorgelegd, waarbij hij/zij op een schaal kan aangeven in welke mate de bewuste leerervaringen op hem/haar van toepassing zijn. Hierbij bestaat wel het gevaar dat men meer gaat aangeven dan feitelijk is geleerd en dat men sociaal wenselijke antwoorden gaat geven. Bovendien kunnen persoonlijke leerervaringen zo niet worden aangegeven. Voorbeeld (opleiding maatschappijoriëntatie): - “Door de lessen durf ik nu gemakkelijker ‘neen’ zeggen in mijn persoonlijke omgeving.” - “Ik vind het moeilijk om hetgeen ik geleerd heb, ook thuis toe te passen.” Het werken met een leerdersrapport is niet evident, ook niet voor cursisten. Cursisten moeten de eigen ervaringen kort in antwoordvorm formuleren. Het is echter wel een goede toetssteen om na te gaan of de onderwijsdoelen die je beoogde, zijn overgekomen bij cursisten. In Centrum voor Basiseducatie Gent laten educatieve medewerkers de cursisten wekelijks opschrijven wat ze hebben geleerd.

27

4 Praktijkgerichte vragen1 We hebben reeds aangegeven dat evaluaties kunnen variëren van zeer levensecht tot minder levensecht. Soms is het aangewezen om een minder levensechte evaluatievorm te kiezen. Praktijkvragen waarbij je praktijksituaties gaat bevragen bij cursisten, zijn daar een voorbeeld van. 4.1

Waarom praktijkgerichte vragen

Praktijkgerichte vragen kunnen om twee redenen aanvullend zijn op echte praktijkoefeningen. 1. De beperkte praktijk overstijgen Bij een praktijkopdracht is sprake van één set condities. Een kandidaat krijgt bijvoorbeeld opdracht om een deur te schilderen. Maar er zijn verschillende condities denkbaar: een onbewerkte nieuwe deur, een oude deur met een of meer verflagen, een binnendeur, een buitendeur, enz. Het is niet haalbaar om deze verschillende condities allemaal in toetsen of praktijkopdrachten aan bod te laten komen. 2. Efficiëntie Een praktijkvraag is soms gemakkelijker te organiseren dan een echte praktijkoefening. De grens tussen praktijkvragen en praktijkopdrachten is trouwens niet altijd heel goed te trekken. Een simulatie bijvoorbeeld is ook geen zuivere praktijksituatie. Onderstaand voorbeeld illustreert hoe praktijkvragen soms de realiteit erg kunnen benaderen. Men geeft cursisten een rekentaak in de vorm van het doen van inkopen. Een zuivere praktijkopdracht zou hier zijn dat men cursisten zelf de inkopen laat doen. Een vraag die de praktijk erg nadert, is waarschijnlijk beter organiseerbaar. Een rekentaak (Van Petegem, 2000B: 218) Achtergrondinformatie Zaterdagavond organiseer ik een feestje. Gezellig met vrienden wat eten en drinken. Drank heb ik nog voldoende in huis. Wat eten betreft, moet ik nog alles aankopen en daarom zit ik een beetje met de handen in het haar. Zelf had ik gedacht aan een bescheiden barbecue. Ik heb een budget van vijftig euro en weet niet wat ik hiervoor kan kopen. Kan jij me helpen rekenen? De evaluatietaak Stel dat jij één van de gasten bent, wat zou je mij dan adviseren om te kopen? Hiertoe moet je een lijst opstellen met inkopen die ik met dat bedrag kan doen. Dit moet je ook nog weten: er komen vijf gasten. Met mezelf er bij moet ik dus voor zes personen eten voorzien. Voor iedereen zou er wat vlees en groenten voorzien moeten worden. Ik kan echter alleen kopen wat er in de reclamefolder staat die jullie hebben gekregen en mag maximaal vijftig euro uitgeven. Stel een winkellijst op. Let hierbij op het volgende: - geef aan hoeveel je van elk product koopt en hoeveel elke aankoop apart kost; - gebruik minstens twee kortingsbonnen uit de folder; - geef duidelijk aan wat de totale prijs en de prijs per persoon zal zijn; - noteer op een duidelijke manier alle rekenbewerkingen die je uitvoert; - kies zelf wat je lekker vindt. 1

www.cito.nl

28

Let wel: Veel praktijkgerichte vragen neigen sterk naar klassieke kennisvragen. Als men een kandidaat een bepaalde situatie uit de praktijk voorlegt en men stelt vragen die betrekking hebben op de uitvoering van een handeling in deze situatie, dan toetst men kennis die een noodzakelijke voorwaarde is voor de handelingsbekwaamheid in deze situatie. Als de kandidaat de vragen goed beantwoordt, dan is de conclusie dat de kandidaat het kennisaspect van de competentie beheerst. Aan één noodzakelijke voorwaarde voor de uitvoering wordt voldaan. Over het uitvoeringsaspect zelf kan niet veel worden gezegd, want daar speelt meer dan enkel de kennis. Denk aan het schilderen van de deur. Een cursist kan misschien volledig correct vertellen hoe dit moet gebeuren, maar misschien is hij/zij erg onhandig als het op echte uitvoering aankomt. We denken echter dat je als educatieve medewerker méér dan louter het kennisaspect kan evalueren bij praktijkvragen. Je kan bijvoorbeeld de ruimte voorzien om dieper in te gaan op het antwoord van een cursist. Bij dit soort vragen is het belangrijk om vooraf als educatieve medewerker criteria te formuleren waaraan het antwoord moet voldoen. Wat verwacht je? Wat zijn goede antwoorden, wat zijn slechte antwoorden? Ook hier geldt vaak dat er niet één goed antwoord is, maar dat er verscheidene mogelijke goede antwoorden zijn. 4.2

Mogelijkheden voor het schetsen van een praktijksituatie1

Men geeft een vrij uitvoerige schets en stelt daarna vragen naar aanleiding van de geschetste praktijksituatie Voorbeeld: cursus communicatie op de werkvloer. Je rijdt elke dag samen met een collega naar het werk. De laatste weken is je collega regelmatig te laat. Daardoor kom jij te laat op je werk. Je hebt er al lachend wel eens iets over gezegd, maar dat had weinig resultaat. Nu beginnen ook collega's er opmerkingen over te maken. Vragen: Zou je dit met je collega die je (te laat) ophaalt bespreken? Waarom wel of waarom niet? Wat zou je zeggen? Op welke manier? Wat zou je doen? Voorbeeld: cursus communicatie op de werkvloer. Leo werkt in een kopiecentrum. Gisteren waren er weer eens problemen met een klant over het bedrag dat hij moest betalen. Klanten noteren zelf de tellerstand van de kopiemachine, dan gaan ze kopiëren en rekenen ze af. De klant zei dat hij honderd kopieën gemaakt had. Leo zag op de tellerstand dat het er tweehonderd waren. De vrouw van de klant was er al vandoor met de kopieën, dus kon Leo ze niet natellen. Vragen: Wat zou jij doen in Leo’s plaats? Wat zou je zeggen tegen de klant? Op welke manier zou je dat doen? Zou je achteraf nog iets ondernemen? Wat? Op welke manier?

1

Met dank aan de medewerkers van Centrum voor Basiseducatie Turnhout.

29

Men geeft in één of twee regels relevante gegevens en stelt daarna een vraag Voorbeeld: cursus solliciteren. Het is jouw beurt om binnen te komen voor een sollicitatiegesprek. Wat doe je als je binnenkomt? Voorbeeld: cursus solliciteren. Je reageert telefonisch op een personeelsadvertentie. De persoon die je moet hebben is er niet. Wat zeg je? Voorbeeld: cursus solliciteren. Tijdens een sollicitatiegesprek stelt men je de vraag waarom je tijdens een hele periode niet gewerkt hebt. Wat is je antwoord? Men stelt een directe vraag (omdat duidelijk is wat de praktische relevantie van de vraag is) Voorbeeld: cursus solliciteren. Noem drie goede manieren om aan een job te geraken. Voorbeeld: cursus communicatie op de werkvloer. Wat gebeurt er als je iemand op een agressieve manier aanspreekt? Voorbeeld: cursus solliciteren. Waarop moet je letten als je een sollicitatieformulier invult? 4.3

Waarover kan men vragen stellen?

Het interpreteren of verklaren van geschetst gedrag of situatie. Voorbeeld: cursus communicatie op de werkvloer. Nadat je een bepaalde klus hebt afgewerkt, krijg je kritiek van je ploegbaas. Dat doet hij omdat: a. b. c. d.

hij wil laten voelen wie de baas is hij me wil leren hoe ik die job goed moet uitvoeren hij me graag belachelijk maakt bij mijn collega's hij de eindverantwoordelijke van het werk is en er dus moet voor zorgen dat alles goed gebeurt

Het kiezen van een handeling/reactie/beslissing/houding n.a.v. de geschetste situatie. Voorbeeld: cursus veiligheid op de werkvloer Je werkt in een bedrijf waar je te maken krijgt met schadelijke oplosmiddelen. Wat moet er eerst gebeuren in het kader van een goed veiligheidsbeleid? a. persoonlijke beschermingsmiddelen verschaffen : maskers, brillen, ... b. gezamenlijke beschermingsmiddelen installeren : afzuiging, ... c. werknemers goed opleiden d. onderzoeken of er ook onschadelijke oplosmiddelen bestaan e. zo weinig mogelijk oplosmiddelen gebruiken

30

5 360 ° feedback Dit instrument betekent dat de persoon over het eigen functioneren meningen verzamelt van relevante anderen in de organisatie. In de lescontext kan het dan gaan om beoordeling door de cursist zelf, de educatieve medewerker, een medestudent en iemand uit de praktijk. Beoordelingen vinden wel plaats met een format waarin de te beoordelen competenties zijn geoperationaliseerd in stellingen of vragen (van der Kolk, 2002: 42) Ook hier kan je weer gebruik maken van een evaluatielijst. Als voorbeeld kan verwezen worden naar het scholenproject in Brussel, waar men NT2 geeft aan anderstalige ouders, verbonden aan de Nederlandstalige school waar hun kind onderwijs volgt (Goris, 2000: 3). Eén van de doelstellingen van dit specifieke aanbod is de communicatie van ouders met de school te verbeteren. Dit kan eventueel geëvalueerd worden door leerkrachten van de scholen te bevragen.

31

6 Portfolio1 6.1 Wat is een portfolio? In De verdeling van taken en verantwoordelijkheden in een cursistenvolgsysteem, de eerste tekst uit deze map, hebben we het portfolio al kort belicht. We gaan er hier verder op in. Dit illustreert dat we inzake cursistenbegeleiding inderdaad aan het bouwen zijn. Het thema portfolio zal waarschijnlijk nog wel terugkomen in volgende teksten. Kort herhaald is het portfolio een dossier dat de cursist zelf bijhoudt. Het is de bedoeling dat cursisten er materiaal in verzamelen waarvan zij vinden dat dit goed illustreert dat bepaalde doelen verworven zijn. Dit is niet noodzakelijk materiaal dat tijdens de les is geproduceerd. Ook allerlei ander materiaal kan hierin zitten. Bijvoorbeeld: een kopie van een briefje dat een cursist NT2 heeft geschreven naar de leerkracht van zijn/haar kind; een berekening van een cursist die wiskunde volgt; enkele folders van een museum (voor een cursist maatschappijoriëntatie). Aan het einde van een module bespreekt de educatieve medewerker de portfoliomap met de cursist (tijdens een individueel gesprek). De term portfolio is een hippe term. Te pas en te onpas wordt er over dit instrument gesproken. Vaak echter gebruikt men de term voor instrumenten die strikt genomen niet echt een portfolio zijn (bv. voor een dossier dat de educatieve medewerker bijhoudt). 6.2 Begeleiding van cursisten bij het samenstellen van een portfolio Cursisten moeten met dit instrument leren werken. Je kan niet verwachten van beginnende cursisten dat zij zelfstandig kunnen bepalen wat er allemaal in een portfolio bewaard kan worden. Daarom begeleid je in de beginperiode best cursisten bij het samenstellen van een portfolio. De inhoud van deze portfoliomap bestaat voornamelijk uit materiaal dat tijdens de les werd gemaakt, zoals: - leerdersrapporten, evaluatielijsten, toetsresultaten - neerslagen van voortgangsgesprekken - goede oefeningen die cursisten gemaakt hebben tijdens de les Stilaan leer je cursisten dat ze er ook ander materiaal van buiten de les in kunnen onderbrengen. Cursisten die al zelfstandiger kunnen werken, kan je meer zelfstandig een portfolio laten samenstellen. Je kan hen stimuleren om er zelfstandig materiaal in te verzamelen dat hun kennen en kunnen goed weerspiegelt. Een portfolio kan dan verschillende soorten materialen bevatten: • Artefacten: zoals aantekeningen, uitgewerkte voorbeelden, … • Reproducties: voorbeelden van materiaal dat normaal gezien niet wordt bewaard zoals voorlopige ontwerpen, … • Getuigenissen: rapporten over het functioneren van betrokkene • Producties: materiaal dat speciaal gemaakt wordt om in een portfolio te dienen als bewijsstuk van de verworven kennis en vaardigheden (zoals een dagboek, een commentaar bij verzamelde documenten, …) (Janssens, 2002: 203-204).

1

M.m.v. Audrey Van den Brempt 32

Voorbeeld van de inhoud van een portfolio Deel 1: intake Algemeen: ƒ Persoonsgegevens ƒ Overzicht van ervaringen met leren en werk (betaald, vrijwillig, hobby’s) ƒ Afsprakenblad met gegevens centrum (contract) ƒ Formulier met beschrijving leerweg ƒ Overzicht reeds gevolgde modules Op basis van de leerdoelen van de opleiding: ƒ Startniveau ƒ Plan van aanpak Deel 2: tijdens het traject ƒ Leerdersrapporten, evaluatielijsten, toetsresultaten ƒ Plan van aanpak ƒ Enkele voorbeeldoefeningen ƒ Materiaal dat de cursist er zelf in wenst te bewaren

Het portfolio zoals hierboven beschreven is een instrument dat tijdens het leerproces wordt gebruikt. Soms wordt een portfolio echter ook ingezet om door te stromen naar andere opleidingen. Deze doorstroomportfolio heeft een andere vorm. Het is dan eigenlijk niet meer dan een map met certificaten en attesten die cursisten tijdens hun leerproces behaalden. Met deze verzamelmap kunnen cursisten vrijstellingen krijgen in de vervolgopleiding waar zij naar doorstromen. In sommige centra voor volwassenenonderwijs wordt dit nu reeds gebruikt.

6.3

Meer weten over portfolio?

Enkele (relevante) voorbeelden van portfolio’s zijn: - Adriaens, Luk, Bogaerts, Luc en van Woensel, Chris (2001) Taalportfolio voor volwassenen. Brussel, Dienst voor Onderwijsontwikkeling. Een taalportfolio heeft een dubbele functie. Het verschaft via zelfevaluatie de leerder inzicht in zijn talenkennis. Voor derden, onderwijs of tewerkstelling, geeft het aan wat iemand kan met taal. Je kan het portfolio ook downloaden via: http://www2.vlaanderen.be/ned/sites/onderwijs/index.html - Stevens, Ilse (1999) Portfolio. Overzicht van werkervaring, kennis en vaardigheden. Antwerpen, VOCB. - Europees taalportfolio BVE De taalportfolio BVE is in het kader van een groot Europees project ontwikkeld door de Nederlandse regionale opleidingencentra (ROC) met de BVE-Raad, het CINOP en de SLO. Je kan het portfolio vinden op de website van CINOP: http://www.cinop.nl/index_alg.htm - Portfolio sleutelvaardigheden educatie (Nederland) Het uiteindelijke doel van de aangegeven instrumenten is om deelnemers educatie te ondersteunen bij de (verdere) ontwikkeling van sleutelvaardigheden. Het gaat daarbij niet zozeer om het invullen van het portfolio, maar om stapsgewijze en goed begeleide bewustwording van ontwikkelingsmogelijkheden. Het portfolio is derhalve een middel, geen doel op zich. Ook dit is te vinden via de website van CINOP. 33

- Loopbaanoriëntatie voor nieuwkomers (Nederland) Het project loopbaanoriëntatie voor nieuwkomers liep in het werkjaar 2000-2001. Het kwam tot stand met subsidie van het Nederlandse ministerie van Onderwijs, Cultuur en Wetenschappen. Doel van het project was de ondersteuning van ROC’s bij de verdere implementatie van een maatwerkaanpak volgens de portfoliomethodiek. Eind 2001 werd het project afgesloten. Op de site vindt u informatie, materialen en methoden voor loopbaanoriëntatie voor nieuwkomers. http://www.cinop.nl/lonk/ Meer info over portfolio’s vind je ook op: http://www.cinop.nl/projecten/platformportfolio/Default.asp http://www.kenniscentrumevc.nl/

34

7 Een combinatie van instrumenten Je kan ook verschillende evaluatiemethodes met elkaar combineren om competenties van cursisten te evalueren. We halen hier enkele voorbeelden uit andere organisaties. Deze voorbeelden illustreren niet uitsluitend dat je via een combinatie van methodes cursisten kan evalueren. Daarnaast wordt via deze voorbeelden ook duidelijk dat het denken over competenties en het evalueren ervan ook buiten de context van de basiseducatie toegepast wordt. Het maakt met andere woorden deel uit van een breder maatschappelijk debat rond levenslang leren. 7.1

Copernicushervorming

Ook bij de overheid vinden we illustraties van het competentiedenken en wel binnen de Copernicushervorming. Bovendien wordt hier geïllustreerd hoe moeilijk het meten van competenties wel is. Deze informatie haalden we van de website rond de Copernicushervorming (www.copernicus.be). Deze hervorming binnen de federale overheid heeft tot doel de werking van de overheid beter te laten aansluiten bij de verwachtingen van burgers. Via een nieuw personeelsbeleid wil men zorgen voor een betere inzet van de ambtenaren. Hierbij horen nieuwe werving, selectie en oriëntatietechnieken voor de ambtenaren. Voor ambtenaren op niveau A, B en C heeft men daarom competentiemetingen georganiseerd. Dit zijn “door SELOR georganiseerde vrijwillige periodieke metingen (geldig gedurende een bepaalde periode) om na te gaan of een ambtenaar zijn competenties geactualiseerd heeft en aldus beantwoordt aan de vereisten voor de uitoefening van de functie” (Copernicus, 2002: 4). De vrijwilligheid hiervan is wel relatief, als je weet dat slagen voor deze metingen onder meer leidt tot een competentietoelage die je gedurende acht jaar ontvangt. De competentiemetingen gebeurden (let op de verleden tijd) aan de hand van verschillende proeven: - een toepassingstest informatica - een praktische proef, gelinkt aan iemands functie (simulatie) - een criteriumgericht interview. Ter info: Op de Copernicussite staat onder meer het volgende te lezen: De toepassingstest informatie Een demoversie hiervan vind je op http://www.selor.be/DemoV2/Selor.htm De simulatieoefening (praktische proef) Deze proef is bedoeld om "harde" competenties te meten die te maken hebben met omgaan met taken (bv. problemen oplossen) en omgaan met informatie (bv. analyseren van informatie). Hiertoe heeft SELOR bijvoorbeeld een digitale proef rond het sorteren van post ontwikkeld. Het criteriumgericht interview Om de "zachte" competenties te meten, die te maken hebben met hoe u persoonlijk functioneert en hoe u met anderen omgaat, wordt u geïnterviewd. Wanneer u een leidinggevende functie heeft, worden ook leidinggevende competenties bevraagd alsook de kerncompetenties.

35

Het interview duurt één uur en wordt geleid door twee ervaren interviewers. De bevraging gebeurt volgens de STAR-methode (Situatie, Taak, Actie, Resultaat). We lichten toe wat dit betekent. Voor de competenties die men wil toetsen, vraagt men u om voorbeelden te geven uit uw voorgaande werkervaring om aan te tonen dat u die competentie getoond heeft en met welk resultaat. Men vraagt u de situatie te schetsen, vervolgens toe te lichten wat uw taak was, welke actie u heeft ondernomen en wat het resultaat was van uw actie. We lichten dit toe aan de hand van een voorbeeld.

Maar … Hoe moeilijk het is om die voor de basiseducatie erg belangrijke “zachte” competenties te meten, blijkt uit volgend recent nieuwsbericht (februari 2003). "Op dit ogenblik is er een wijziging van de reglementering in voorbereiding met als doel het interview als onderdeel van de competentiemetingen voor de niveaus B en C te schrappen. Na goedkeuring van deze aanpassing op Ministerraad zullen de competentiemetingen enkel nog uit de volgende twee delen bestaan: een toepassingstest in informatica en een praktische oefening. Deze wijziging is één van de aanpassingen die werden aangebracht aan de procedure van de competentiemetingen en de opleidingen na informele besprekingen met de representatieve vakbonden.” Ter info: hoe denkt men over het meten van competenties binnen de Copernicushervorming (poll op de website) een stimulans, want de competentietoelage en de mogelijkheid door te groeien 15% naar een hogere weddenschaal moedigen mij aan om mijn competenties te verbeteren en te vernieuwen een ontmoediging, want getest worden is niet motiverend 9% geen van beide, want ik zie geen link tussen de competentiemetingen en mijn eigen ontwikkeling

36

77%

7.2

Meten van sleutelvaardigheden

In de Nederlandse publicatie Praktijkbeoordeling van sleutelvaardigheden combineert men verschillende methodes om bij cursisten hun sleutelvaardigheden te evalueren1. De verschillende competenties worden op drie manieren getoetst: 1. via een criteriumgericht interview; 2. via zelfbeoordeling; 3. via observatie tijdens vier verschillende praktijkopdrachten in verschillende situaties. De zelfbeoordeling en observatie gebeuren tijdens praktijkopdrachten. De beoordeling mondt uit in een persoonlijk profiel en een persoonlijk plan. Dit persoonlijk plan is de opstelsom van verschillende beoordelingen: - resultaat van (zelf)beoordeling uit intakegesprek; - resultaat van zelfbeoordeling van de vier praktijkopdrachten; - resultaat van beoordeling van de vier praktijkopdrachten door assessor; - resultaat van de totaalbeoordeling, voortkomende uit het assessorenoverleg; - oriëntatie op handelingen en contexten van werk (Van Den Dungen, 2000: 39). De resultaten worden als volgt weergegeven: Competentie Maatschappijoriëntatie

Interview

Leervermogen Communicatie …

+ +

Zelfbeoordeling 1 +

2 + +

Observatie

3 + +

4

1

+

+

2 + +

totaal 3 + +

4 + +

3 4

Dit staat voor: + = een positieve evaluatie 1-2-3-4 = verschillende situaties totaal = resultaat van overleg tussen verschillende observatoren. Dit geldt dus enkel als er meer dan één beoordelaar is. Men kan op deze manier verschillende elementen in kaart brengen: - Per competentie kan je nagaan hoe ver de cursist staat. Als hij/zij goed presteert voor een competentie in alle praktijkopdrachten, dan is deze competentie goed verworven. Als de competentie in geen of één praktijkopdracht goed naar voren kwam, is dit een teken dat er nog werk aan de winkel is. - Per praktijkopdracht kan je nagaan welke opdracht de cursist beter ligt dan de andere. - Men kan nagaan in hoeverre de zelfbeoordeling overeenstemt met de observatie: een grote overeenkomst duidt op competentiebewustzijn (zelfkennis) bij de cursist.

1

We moeten voorzichtig zijn bij het verwijzen naar Nederland. Het gaat hier niet over dezelfde sleutelcompetenties als deze die het VOCB formuleerde binnen de modularisering. Bovendien hebben de termen vaardigheid en competentie een andere betekenis dan in Vlaanderen. In de aangehaalde publicatie gaat het onder meer over motivatie, zelfstandigheid, communicatie, …

37

Nuttige websites - http://www.cito.nl - http://toetswijzer.kennisnet.nl/main.asp?Sector=BVE - http://www.cito.nl/bve/educatie/toetsen/eind_fr.htm De Citogroep is een Nederlands toetsinstituut. Op hun site vind je uitleg over het maken van evaluaties, toetsvoorbeelden en dergelijke. De laatste link geeft enkele voorbeelden van computergestuurde toetsen: je vindt er onder meer een demoversie van WISCAT (voor wiskunde) en NEDCAT (voor Nederlands moedertaal). - http://www.bureau-ice.nl Bureau InterCulturele Evaluatie houdt zich bezig met taalverwerving Nederlands als tweede taal (NT2) en het meten van vorderingen daarin. Naast de ontwikkeling van toetsinstrumenten voor het NT2-onderwijs ontwikkelt Bureau ICE toetsen voor de intake, de voortgang en de afsluiting van onderwijs. - http://www.clb-net.be/portaal/index.htm Via deze site kan je doorklikken naar het leerlingvolgsysteem, ontwikkeld voor het basisonderwijs, maar misschien inspirerend voor de basiseducatie. Binnen dit leerlingvolgsysteem zijn er (diagnostische) toetsen voor taal (lezen en spelling) en wiskunde ontwikkeld. De gedrukte versie vind je in de VOCB-bibliotheek: Van Dooren, Luk (2000) Leerlingvolgsysteem. Algemene handleiding. Leuven, Garant.

38

Bronnen ƒ

Bom, Wim, Derks, Thea en van Wijngaarden Cobi (1999) Werken aan loopbaancompetenties. Een integrale benadering. ’s-Hertogenbosch, CINOP.

ƒ

Bosmans, Luc (1997) Begeleidingsgesprekken houden. Training in gesprekken rond voortgang en stagnatie. Nascholing i.s.m. Stichting Lodewijk De Raet georganiseerd door VOCB op 30 mei en 6 juni 1997.

ƒ

Ceulemans, Christine (2002) De verdeling van taken en verantwoordelijkheden in een cursistenvolgsysteem. Mechelen, VOCB.

ƒ

Competentiemetingen. Informatiebrochure bestemd voor de ambtenaren van niveau C (Update oktober 2002).

ƒ

Janssens, S., Boes, W. en Wante D. (2002) “Portfolio’s. Een instrument voor toetsing en begeleiding.” Dochy, Filip, Heylen, Ludo en Van de Mosselaer, Herman, Assessment in onderwijs. Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs. Utrecht, Lemma.

ƒ

Elshout-Mohr, Marianne en Oostdam, Ron (2001) Assessment van competenties in een dynamisch curriculum. Amsterdam, SCO-Kohnstamm Instituut.

ƒ

Eykens, Marie, Matthijs, Marleen en De Bruyne, Bert (1998) Assessment t.b.v. oriëntering van laaggeschoolden. Introductiecursus Karel De Grote-Hogeschool.

ƒ

Goris, Judith (2000) Een evaluatieonderzoek van Nederlandse taallessen voor anderstalige, laaggeschoolde ouders met kinderen in het Nederlandstalig onderwijs in Brussel. Verhandeling voor het krijgen van de graad Licentiaat in de Pedagogische Wetenschappen. Leuven, KUL.

ƒ

Janssen-van Dieten, A. (2001) “Meer mogelijkheden voor de alfa-cursist? Toetsing nu en straks”. Alfa-nieuws, nr. 4, p. 1-5.

ƒ

Klasse (1999), nr. 96, p. 44

ƒ

Leerplancommissie ICT (2003) Leerplan ICT voor de basiseducatie. Mechelen, VOCB.

ƒ

Leerplancommissie wiskunde (2003) Leerplan wiskunde voor de basiseducatie. Mechelen, VOCB.

ƒ

Lowyck, J. en Verloop, N. (1995) Onderwijskunde. Een kennisbasis voor professionals. Leuven, Wolters.

ƒ

Standaert, Roger en Troch, Firmin (1980) Leren en onderwijzen. Inleiding tot een algemene didactiek. Leuven, Acco.

ƒ

Ter Wee, Erica en Meeder, Sarah (2002) “Beoordelingscriteria EVC-procedure (concept niet uitgegeven nota)”.

39

ƒ

Van Berkel, H.J.M. en Bax, A.E. (1993) Beoordelen in het onderwijs. Een handleiding voor het construeren van toetsen en het evalueren van leerdoelen en onderwijsvormen. Houten, Van Loghum.

ƒ

Van den Dungen, Martja en Pijls, Tijs (2000) Praktijkassessment van sleutelvaardigheden. Methodische verantwoording. ’s-Hertogenbosch, CINOP.

ƒ

Van der Kolk, Jan en Willemse, Paula (2002) Van eindtermen naar competentiebeoordeling. Vernieuwing van de examinering in de BVE-sector. ’s-Hertogenbosch, CINOP.

ƒ

Verhoeven, Jef e.a. (2002) Evalueren in Vlaamse secundaire scholen. Een onderzoek bij leraren en directeurs. Antwerpen, Garant.

ƒ

Van Petegem, Peter en Vanhoof, Jan (2002) Een alternatieve kijk op evaluatie. Begeleid zelfstandig leren. Mechelen, Wolters Plantyn.

ƒ

Van Petegem, Peter en Vanhoof, Jan (2002B) Evaluatie op de testbank. Een handboek voor het ontwikkelen van alternatieve evaluatievormen. Mechelen, Wolters Plantyn.

ƒ

Van Petegem, Peter en Vanhoof, Jan (2003) Mondeling interview op 13 februari 2003 door Christine Ceulemans en Marc Tassier.

ƒ

Willemse, Paula, Kamhuis, Alie en Schilder, Digna (2002) Onderwijsmodellen en toetsing, ’s-Hertogenbosch, CINOP.

ƒ

Witters, Wilfried (2003). Werkgroep EVC – VIZO. 18 februari 2003. Voorstelling competentiedenken binnen de VDAB.

40

Bijlage: moduleplan Opleiding: Leerplan: Module: Schooljaar: Weken: Lestijden/week: Lesgever: Week Doelen*

Facultatief voor de opleiding taal Contexten Ondersteunende elementen: Kenniselementen Leerstrategieën Communicatiestrategieën Attitudes

Inzet uren: Bv. contacturen OLC andere

1

Opmerkingen:

* Gebruik voor de opleiding taal volgende verwijzingen V1=luisteren V3=lezen

V2=spreken V4=schrijven

SC=sleutelcompetentie

Behandeld