Beoordelen van beroepsproducten in een competentiegestuurd curriculum

Beoordelen van Beroepsproducten in een competentiegestuurd curriculum

Beoordelen van beroepsproducten in een competentiegestuurd curriculum

MSc programme Educational Science and Technology Track: Human Resource Development Universiteit Twente

Graduation Committee: Irene Visscher-Voerman Nienke Nieveen

Peer van de Sanden 6 juli 2006

2


Voorwoord “Papa, mag ik een kleurplaat?” “Ja hoor, wat voor een wil je dan?” “Van een dino” Na wat zoeken op het Internet verschijnen een aantal kleurplaten op het beeldscherm. “Welke wil je nu?” “Die met die twee kindjes!” Het gesprekje wordt gevoerd door een vader en zijn kind. Maar is dat kind nu een jongetje of een meisje? Aan de hand van de voorkeur voor een dino ben je gauw geneigd om te zeggen dat het hier om een jongetje gaat. Maar als je dan ziet dat de kleurplaat met de twee kindjes gekozen wordt dan zou het ook best eens een meisje kunnen zijn. Is het nu een jongetje of een meisje? Tja, een oordeel geven in zo’n eenvoudige situatie is al lastig. In de context van competentiegericht opleiden wordt het echter vele malen ingewikkelder. Als beoordelaar krijg je vele signalen. Sommige ervan zijn sterk en andere zwak. Weer andere zijn helemaal niet relevant maar toch aanwezig. Hoe weet je nu zeker dat je een goed oordeel geeft? Deze twijfel is de aanleiding geweest voor het onderzoek. In het onderzoek wordt ingegaan op het beoordelen van beroepsproducten in een competentiegerichte leeromgeving. Het onderzoek had niet kunnen worden uitgevoerd zonder de medewerking van Fontys Hogescholen en in het bijzonder de Fontys SportHogeschool (FSH). De dynamische omgeving van de FSH, die volop in ontwikkeling is, is een inspirerende omgeving gebleken voor het onderzoek. Een aantal mensen heeft mij geïnspireerd om de koers van het onderzoek te volgen door vragen te stellen, antwoorden te geven, enthousiasme uit te stralen en visie te laten zien. Ton Maree heeft mij laten zien hoe je competenties kunt beoordelen bij het werken aan groepsproducten. Jos Speetjes gelooft tot in zijn botten in het competentiegestuurd onderwijs en straalt dit aan alle kanten uit en dat werkt. Mart van Dinther liet zich telkens weer verleiden tot het voeren van interessante discussies waar we beiden veel van leerden. Mieke Jaspers wist weer een ander perspectief, nl. vanuit de veranderende organisatie, op de materie te werpen Marijke Moonen leerde mij en mijn collega’s hoe je in de praktijk met een portfolioassessment en een performance assessment moet omgaan. Jeroen de Brouwer is in het ontwikkelproces een inspirator gebleken. Ton, Jos, Mart, Mieke, Marijke en Jeroen, bedankt voor jullie enthousiasme. Diverse keren ben in naar Enschede gereden voor begeleidingsgesprekken met Irene VisscherVoerman. Deze gesprekken hebben mij enorm geholpen om structuur te vinden in alle vragen, ideeën en gedachten die bij mij opkwamen. Irene, bedankt voor de zorgvuldigheid waarmee je werk, de zucht naar wetenschap die je geprobeerd hebt om over te brengen, je positieve kijk en je geduld. En nu wordt het tijd om tijd terug te gaan geven aan de mensen in mijn directe omgeving van wie ik veel tijd in beslag heb genomen. Marijke, Koen en Inde, ik kom weer uit de kelder. Wat zullen we eens gaan doen? Fietsen, wandelen, naar een speeltuin?? Of hebben jullie nog een leuk idee?

3


Inhoud: Voorwoord .................................................................................................................................... 3 Samenvatting................................................................................................................................. 7 1

Inleiding ........................................................................................................................... 9

2.

De context van het onderzoek ........................................................................................ 10

2.1 2.1.1 2.2 2.2.1 2.3 2.3.1

Fontys Hogescholen....................................................................................................... 10 De Fontys SportHogeschool .......................................................................................... 11 De Biloba onderwijstransformatie op Fontys Hogescholen........................................... 11 De Fontys SportHogeschool en Biloba .......................................................................... 11 Beoordelen en assessen op Fontys Hogescholen binnen Biloba.................................... 12 Beoordelen en assessen op de Fontys SportHogeschool binnen Biloba ........................ 12

3

De centrale vraag in het onderzoek................................................................................ 14

4

De onderzoeksaanpak .................................................................................................... 16

4.1 4.2 4.3 4.4

Deelvraag 1: input.......................................................................................................... 17 Deelvraag 2: proces........................................................................................................ 17 Deelvraag 3: output........................................................................................................ 18 Conclusies ...................................................................................................................... 18

5

Onderzoek naar Deelvraag 1: input................................................................................ 20

5.1 5.1.1 5.1.2 5.1.3 5.2 5.2.1 5.2.2 5.3 5.4 5.5 5.6

Beoordelen van assessments .......................................................................................... 20 Wat is een assessment .................................................................................................... 20 Kwaliteitscriteria voor assessments ............................................................................... 20 Kwaliteitscriteria voor beroepsproducten ...................................................................... 21 Beoordelen in een leerarrangement op de FSH.............................................................. 23 Het beroepsproduct is een tastbaar product ................................................................... 24 Het product is een gebeurtenis ....................................................................................... 25 Ervaringen op de opleiding Applied Science................................................................. 26 De visie van de expert.................................................................................................... 27 De visie van de ontwikkelgroep aan de FSH ................................................................. 27 Conclusies ...................................................................................................................... 27

6

Onderzoek naar deelvraag 2: proces .............................................................................. 29

6.1 6.1.1 6.1.2 6.2 6.2.1 6.2.2 6.3 6.3.1 6.3.2 6.4 6.4.1 6.4.2 6.4.3 6.4.4 6.4.5 6.5

Wat is beoordelaarsbetrouwbaarheid? ........................................................................... 29 Verschillende soorten betrouwbaarheid......................................................................... 29 Beoordelaarsbetrouwbaarheid op een ordinale schaal ................................................... 30 Standaardiseren en beoordelaarsbetrouwbaarheid ......................................................... 31 Standard Setting ............................................................................................................. 32 Factoren die de intrabeoordelaarsbetrouwbaarheid beïnvloeden ................................... 33 Visie van experts............................................................................................................ 34 Interview met een Fontys onderwijsconsultant.............................................................. 34 Interview met een Fontys docent ................................................................................... 34 Wat zijn de mogelijkheden op de FSH?......................................................................... 35 Wie wordt beoordeeld? .................................................................................................. 35 Waartoe wordt beoordeeld? ........................................................................................... 35 Wat wordt beoordeeld? .................................................................................................. 36 Hoe wordt beoordeeld? .................................................................................................. 36 Door wie wordt beoordeeld?.......................................................................................... 36 Conclusies ...................................................................................................................... 37

4


7

Onderzoek naar deelvraag 3: output .............................................................................. 38

7.1 7.2 7.3 7.4

Wat is feedback? ............................................................................................................ 38 Feedbackregels............................................................................................................... 39 Feedback, het competentie-examen en bewijzen in het portfolio .................................. 41 Conclusies ...................................................................................................................... 42

8

Conclusies en aanbevelingen ......................................................................................... 43

8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9

Deelvraag 1: input.......................................................................................................... 43 Deelvraag 2: proces........................................................................................................ 43 Deelvraag 3: output........................................................................................................ 44 De drie deelvragen samen .............................................................................................. 44 Naar de onderzoeksvraag ............................................................................................... 45 Fase 1: tijdens de ontwikkeling van leerarrangementen ................................................ 45 Fase 2: tijdens de uitvoering van het leerarrangement................................................... 46 Fase 3: na afloop van het leerarrangement..................................................................... 47 Conclusies ...................................................................................................................... 47

9

Discussie ........................................................................................................................ 48

9.1 9.2 9.3 9.4

Terugblik op het onderzoek ........................................................................................... 48 Verschillende manieren van beoordelen ........................................................................ 49 Competenties en kennis ................................................................................................. 51 Suggesties voor vervolgonderzoek ................................................................................ 53

Literatuur..................................................................................................................................... 55 Bijlage 1: Overzicht van leerarrangementen in de propedeuse................................................... 59 Bijlage 2: een voorbeeld van de omschrijving van een leerarrangement.................................... 60 Bijlage 3 het competentieoverzicht van de FSH ......................................................................... 61 Bijlage 4 Interview met Expert1 ................................................................................................. 62 Bijlage 5 Interview met Expert2 ................................................................................................. 64 Bijlage 7 Interview met Expert3 ................................................................................................. 67 Bijlage 8: Feedbackregels opgesteld door de PABO Eindhoven/Veghel ................................... 70 Bijlage 9 Interview met Expert4 ................................................................................................. 71 Bijlage 10: Prestatie-indicatoren in een kenmerkende beroepssituatie ....................................... 74 Bijlage 11 competentiematrix LO............................................................................................... 76

5


Lijst met figuren Figuur 1 Fontys organigram........................................................................................................ 10 Figuur 2 Raamwerk Assessments FSH (Van de Sanden, 2005) ................................................. 13 Figuur 3 Het Naturalistische ontwerpmodel van Walker (1971, p.58) ....................................... 14 Figuur 4 relaties tussen onderzoeksdeelvragen en het Biloba curriculum model ....................... 16 Figuur 5 continuüm analytisch en holistisch beoordelen ............................................................ 23 Figuur 6 een voorbeeld van een beoordelingsschaal................................................................... 32 Figuur 7 communicatiemodel (bron: Steehouder, 1999, p.22, bewerkt)..................................... 39 Figuur 8 ijsbergmodel competenties (Van Dinther, 2005).......................................................... 41 Figuur 9 verschil in focus in de methode van de FSH en Expert2.............................................. 50 Figuur 10 Verschil in de domeinbenadering en de competentiebenadering ............................... 51 Figuur 11 competenties zijn verankerd in de body of knowledge .............................................. 52 Figuur 12 de competenties overdekken de body of knowledge .................................................. 52 Lijst met tabellen Tabel 1 Overzicht gebruikte methodieken .................................................................................. 19 Tabel 2 bronnen voor beoordelingscriteria ................................................................................. 25 Tabel 3 11 Steps for Setting Performance Standards (Hambleton, 2001, p.94).......................... 31 Tabel 4: definities formatieve en summatieve toetsen (bron: OER, 2005) ................................. 35 Tabel 5 overzicht feedbackvormen ............................................................................................. 39 Tabel 6 feedbackregels................................................................................................................ 40

6


Samenvatting Fontys Hogescholen, met 37 hogescholen één van de grootste instituten voor hoger beroepsonderwijs in Nederland, is bezig met een omvangrijke ingrijpende hogeschoolbrede onderwijstransformatie die aangeduid wordt met de naam Biloba. Het onderwijs wordt competentiegericht en studentgestuurd. Op het moment dat het onderzoek plaatsvindt zijn alle Hogescholen binnen Fontys gestart in het nieuwe onderwijsmodel, alleen de Fontys SportHogeschool (FSH) is nog niet begonnen. Het is precies op deze hogeschool dat het onderzoek plaatsvindt. De nieuwe visie op het onderwijs heeft niet alleen gevolgen voor de manier waarop het onderwijs uitgevoerd wordt maar ook de manier waarop beoordeeld gaat worden. In de Onderwijs- en ExamenRegeling (OER, 2005) zijn vergaande afspraken opgenomen over de manier waarop studiepunten toegekend mogen worden. Studiepunten zijn gekoppeld aan competenties en kunnen alleen toegekend worden op competentie-examens. De sterk veranderde manier van beoordelen zorgt voor veel onzekerheid en veel vragen. Vanuit deze vragen is ook de onderzoeksvraag ontstaan: Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio? Het werken aan beroepsproducten wordt gezien als een belangrijke leeractiviteit voor de studenten. In deze onderzoeksvraag zitten twee aspecten: Allereerst is daar de vraag hoe er beoordeeld moet worden. Deze vraag is ontstaan vanuit de gedachte dat beoordelen subjectief is en dat er daardoor grote verschillen tussen beoordelaars kunnen ontstaan. Daarnaast is er het besef dat de beoordeling door de student gebruikt gaat worden in het portfolio om daarmee competenties aan te tonen en dat de beoordeling tegelijkertijd richtinggevend kan zijn in de verdere competentieontwikkeling van de student. Op het moment dat het onderzoek start zijn er nog geen ervaringen binnen het nieuwe onderwijsmodel. Wel zijn de globale lijnen van het nieuwe curriculum neergezet. Het onderzoek wordt gebaseerd op drie lijnen. 1. Literatuuronderzoek: er is veel bekend over Standard Setting, methodieken voor het vaststellen voor zak-slaaggrenzen bij voornamelijk grote toetsprojecten zoals landelijke examens. Een aantal van de uitgangspunten en methodieken van Standard Setting blijken ook bruikbaar te zijn bij het beoordelen in het nieuwe competentiegerichte onderwijsmodel. 2. Interviews met experts: er is al veel expertise binnen Fontys Hogescholen aanwezig. 4 Experts met een verschillende achtergrond worden geïnterviewd. 3. Participatie: het onderzoek vindt plaats in een tijd van grote veranderingen. Onderdompeling in de werksfeer geeft de mogelijkheid om goed te ervaren hoe er vooruit wordt gekeken en hoe er gewerkt wordt aan de nieuwe vormen van onderwijs. Het literatuuronderzoek heeft zich niet alleen toegespitst op beoordelen in competentiegerichte leeromgevingen. Beroepsproducten worden ook in andere leeromgevingen gemaakt. Het literatuuronderzoek heeft zich vooral gericht op het formuleren van beoordelingscriteria, het beoordelingsproces en het vaststellen van de zak-slaaggrens. Standard Setting is van oorsprong vooral gericht op grote landelijke examens die multiple choice tests bevatten maar is de laatste tien jaar flink in beweging door de toename van performance assessments. Daardoor zijn er veel verschillende Standard Setting technieken bekend waarvan een aantal ook bruikbaar bleken voor het beoordelingsproces binnen de context van de FSH. De interviews met de experts hebben veel helderheid verschaft over de manier waarop beoordelen binnen de Biloba gedacht vormgegeven diende te worden. De vier experts hebben verschillende achtergronden maar de uitwerking van de Biloba gedacht komt voor een groot deel overeen. Gedurende het onderzoek werd al snel duidelijk dat de manier waarop de FSH beoordeelt 7


binnen leerarrangementen (onderwijseenheid waarin de beroepsproducten gemaakt worden) afwijkt van de manier zoals door de experts beschreven werd. Dit verschil is al in de onderzoeksvraag zichtbaar. Daarin gaat het om het beoordelen van een product. De experts praten vooral over het beoordelen van competenties. Doordat de onderzoeker tevens werkzaam is op de FSH ontstond de mogelijkheid om in het ontwikkeltraject van het nieuwe curriculum te participeren. Daardoor ontstond vooral de mogelijkheid om de meningen van de experts direct te vergelijken met de ontwikkelingen op de FSH. Tijdens het onderzoek werd duidelijk dat er niet alleen behoefte is aan een zorgvuldige procedure om beroepsproducten te beoordelen maar dat in het beoordelingsproces feedback een belangrijke rol speelt. De eerste ervaringen met competentie-examens op de Pabo Eindhoven/Veghel onderstrepen deze behoefte. In het onderzoek wordt het proces beschreven van het beoordelen van beroepsproducten in leerarrangementen. Onderdelen van dit proces zijn het vaststellen van beoordelingscriteria en de beoordelingsnorm. Feedback moet het de student mogelijk maken om de verbinding te leggen tussen de beoordelingscriteria en de bij de competenties horende prestatie-indicatoren zoals die beschreven zijn in het competentieprofiel. Het onderzoek heeft een globale procedure opgeleverd waarin in drie delen (voorafgaand, tijdens en na afloop van het leerarrangement) beschreven wordt welke stappen er in het beoordelingsproces genomen worden. In deze procedure vallen drie punten op: 1. een systematische aanpak 2. de dialoog 3. training Deze drie punten dragen samen bij aan hoge beoordelaarsbetrouwbaarheid. De nadrukkelijke aandacht voor de manier waarop feedback gegeven wordt is noodzakelijk om er voor te zorgen dat de beoordeling door de student gebruikt kan worden als waardevol onderdeel van de reflectie op de competenties.

8


1

Inleiding

Het voor u liggend document bevat een onderzoek naar de wijze van beoordelen van beroepsproducten aan de Fontys Sporthogeschool, onderdeel van Fontys Hogescholen. De veranderende manier waarop het onderwijs vormgegeven wordt heeft gevolgen voor de manier waarop studenten door docenten beoordeeld worden. In het nieuwe competentiegerichte curriculum, waarin in september 2006 gestart gaat worden, is een belangrijke rol weggelegd voor het portfolio (De Brouwer, 2006a) waarin o.a. bewijzen voor het verwerven van competenties en beoordelingen worden opgenomen. Beoordelingen zullen in het nieuwe curriculum niet alleen een summatief maar tevens een formatief karakter hebben. Deze verschuiving kan getypeerd worden als gaande van ‘assessment of learning’ naar ‘assessment for learning’ (Birenbaum, 1996). De veranderende manier van beoordelen roept bij de docenten veel onzekerheid en vragen op. Een telkens terugkerende vraag is de vraag hoe verschillende beoordelaars verschillende producten op een gelijkwaardige manier kunnen beoordelen. Begrippen die hiermee te maken hebben zijn intersubjectiviteit (Van Berkel, 1999, p.39), interbeoordelaarsbetrouwbaarheid (Dierick, Van de Watering & Muijtjens, 2002, p.98) en beoordelaarsovereenstemming (Heuvelmans en Sanders, 1993, p.444) Over portfolioassessments is op Fontys Hogescholen al veel bekend zoals o.a. blijkt uit de assessorentraining (2005) die hogeschoolbreed wordt ingezet waaraan ook al een aantal docenten van de Fontys SportHogeschool deelnemen. Een onderdeel van deze training is het portfolioassessment. Het portfolioassessment doet een uitspraak over de kwaliteit van de in het portfolio opgenomen bewijzen gerelateerd aan de te beoordelen competenties. De kwaliteit van de bewijzen wordt echter niet gevormd in het portfolio maar in de voorafgaande leerarrangementen waar de bewijzen geconstrueerd worden (De Brouwer, 2006a) en is afhankelijk van de manier waarop de bewijzen worden beoordeeld. In dit onderzoek zal vooral gekeken worden naar het beoordelingsproces van beroepsproducten, die centraal staan in leerarrangementen (De Brouwer). Het doel van het onderzoek is om een bijdrage te leveren aan het optimaliseren van de kwaliteit van de bewijzen die in het portfolio worden opgenomen. In hoofdstuk twee wordt de context van het onderzoek besproken waarna in hoofdstuk drie de onderzoeksvraag geformuleerd wordt. In hoofdstuk vier is te lezen op welke manier het onderzoek uitgevoerd wordt. Het daadwerkelijke onderzoek is opgedeeld over drie deelvragen die in hoofdstuk vijf, zes en zeven te vinden zijn. De afzonderlijke conclusie van de drie deelvragen worden samengevoegd tot een geheel van waaruit ook de aanbevelingen geformuleerd worden. In het laatste hoofdstuk wordt teruggekeken op het onderzoek en het bevat tevens vragen voor verder onderzoek.

9


2.

De context van het onderzoek

2.1 Fontys Hogescholen Ongeveer 36.000 studenten volgen een opleiding aan één van de 37 instituten die deel uitmaken van de Fontys Hogescholen. Het opleidingsaanbod omvat de volgende marktsegmenten: communicatie, economie, educatie, gezondheidszorg, informatica, kunsten, logistiek, mens & maatschappij en techniek. Fontys Hogescholen is een platte organisatie. Het organigram van Fontys Hogescholen is weergegeven in Figuur 1.

Figuur 1 Fontys organigram (bron: http://www.fontys.nl/rubrieken/rubriek.asp?id=30045&lang=nl bezocht op 15 januari 2006)

De missie van Fontys Hogescholen luidt: “ Fontys is een learning community, een kennispoort, die zich laat inspireren door de economische, ecologische en sociale beginselen van duurzaamheid en maatschappelijke verantwoordelijkheid. De onderwijsopdracht wordt derhalve niet alleen opgevat in termen van kwalificatie (voorbereiding op de arbeidsmarkt) maar ook van socialisatie (voorbereiding op participatie en bijdrage aan de samenleving, kortweg burgerschapsvorming, waarbij waardeneducatie een belangrijke rol speelt).” (Hillege, 2006) In de hierbij horende strategie van Fontys Hogescholen (zie http://www.fontys.nl/rubrieken/rubriek.asp?id=37918&lang=nl, bezocht op 17 januari 2006) zijn de volgende kernpunten terug te vinden: flexibiliteit, streven naar topproducten en kwaliteit.

10


De opleidingen zijn voornamelijk gesitueerd in het zuiden van het land: Tilburg, Eindhoven, Venlo en Sittard. In de provincies Noord-Brabant en Limburg kiest 55% van alle studenten voor Fontys Hogescholen (HBO-Raad, 2005). 2.1.1

De Fontys SportHogeschool

De Fontys SportHogeschool (FSH) is voortgekomen uit de eerstegraads lerarenopleiding voor docenten lichamelijke opvoeding. Deze voltijdopleiding (LO) is in Tilburg te vinden. Naast deze opleiding valt onder de FSH nog de voltijd opleiding Sport- en BewegingsEducatie (SBE) in Sittard: met de volgende vier afstudeerrichtingen: Speciaal Bewegings Onderwijs (SBO), Fitness, Gezondheid en Welzijn (FGW), Sportieve Recreatie en Sportstimulering (SRS) en Sporttoerisme en NatuurSport (SNS). Buiten deze voltijdopleidingen is er nog een aantal deeltijdopleidingen en is er een aanbod aan cursussen en trainingen voor de zakelijke markt. (zie http://www.fontys.nl/sporthogeschool/home.90812.htm. ) De missie van de Fontys Sporthogeschool luidt: “Fontys Sporthogeschool wil zich in samenwerking met educatieve en strategische partners in binnen- en buitenland ontwikkelen tot een internationaal aansprekende, toonaangevende, multifunctionele kennisonderneming op het gebied van sport- en bewegingseducatie.” (Hillege, 2006, p.III) De FSH heeft twee opleidingen met in totaal vijf afstudeerrichtingen op twee locaties. De twee voltijdopleidingen hebben een gemeenschappelijke propedeuse. In het eerste jaar maakt de student een definitieve keuze voor één van de twee opleidingen. Deze keuze kan tot gevolg hebben dat de studieloopbaan op de andere locatie wordt voortgezet. 2.2 De Biloba onderwijstransformatie op Fontys Hogescholen Biloba is voor alle medewerkers van Fontys Hogescholen een bijna magisch begrip. Biloba staat voor een zeer omvangrijke en complexe onderwijstransformatie. Ginkgo Biloba is de naam van een Japanse notenboom met tweelobbige bladeren. De ene lob van het blad staat voor de onderwijstransformatie en de andere lob staat voor de major-minorstructuur (Van Deutekom, 2004). Alle 200 opleidingen van Fontys Hogescholen zijn nu bezig met het uitvoeren van deze onderwijstransformatie. De motor achter deze verandering is een veranderende visie op leren en de ontwikkeling van de kennissamenleving. Van Deutekom (2004, p.7) verwoordt het als volgt: “Om aan de vraag naar creatieve en flexibele professionals tegemoet te komen, hebben we gekozen voor competentiegericht en studentgestuurd opleiden vanuit een constructivistische opvatting over leren.” De gekozen definitie van het concept competentie is ontleend aan Parry (1996) en luidt: “Een competentie is een cluster van verwante kennis, vaardigheden en houdingen dat: • van invloed is op een belangrijk deel van iemands taak • kan worden gemeten met de prestatie op de taak • kan worden verbeterd door middel van training en ontwikkeling.” (Van Deutekom, 2004, p.8) 2.2.1

De Fontys SportHogeschool en Biloba

De FSH neemt een aparte plaats in binnen de Fontys Hogescholen aangezien zij de enige hogeschool is die in dit schooljaar nog niet gestart is in het competentiegerichte onderwijssysteem. De FSH zal in het schooljaar 2006-2007 starten in het competentiegerichte onderwijssysteem. Een voordeel van deze latere start is dat geleerd kan worden van de ervaringen van andere hogescholen. Dit schooljaar staat in het teken van het ontwikkelen van een geheel vernieuwd competentiegericht curriculum dat past binnen de Biloba onderwijstransformatie. Het nieuwe competentiegerichte onderwijsmodel zal in dit onderzoek ook welk met Biloba onderwijsmodel wor11


den aangeduid. In het document “Hoofdlijnen major sport, werkversie 7 december 2005” (De Brouwer, 2006a) worden de globale contouren van het nieuwe curriculum beschreven. 2.3 Beoordelen en assessen op Fontys Hogescholen binnen Biloba Hoewel er veel vrijheid wordt verleend aan de opleidingen om de onderwijstransformatie vorm te geven zijn er ook een aantal keuzes gemaakt die sterk richting bepalend zijn. Eén van deze keuzes heeft te maken met de manier waarop studiepunten mogen worden toegekend aan een student. De beoordeling van competenties wordt in de algemene Fontys Onderwijs- en ExamenRegeling (OER, 2005) aan regels gebonden. In de OER valt te lezen dat het toekennen van studiepunten alleen is toegestaan in een competentie-examen (artikel 9 van de OER). Een competentie-examen bestaat uit een portfolio-assessment en evaluatie van gedrag of evaluatie van gedrag in een zo authentiek mogelijke beroepssituatie (artikel 19 van de OER). In dit competentie-examen worden competenties op vooraf vastgestelde niveau’s beoordeeld. In artikel 16 van de OER wordt beschreven dat er minstens drie competentie-examens worden afgenomen. Uit het artikel blijkt dat er een duidelijke voorkeur bestaat voor drie competentie-examens in de opleiding. De beschrijving van de competentie-examens in de OER biedt weinig ruimte voor een eigen invulling. Van de opleiding wordt daardoor gevraagd om goed na te denken over de manier waarop er beoordeeld gaat worden. De voor veel opleidingen vertrouwde situatie waarin studenten na afloop van een behaald tentamen studiepunten krijgen of voor een als goed beoordeeld product studiepunten krijgen bestaat niet meer. Aan de student wordt gevraagd om bewijsstukken te verzamelen in het portfolio ten behoeve van het competentie-examen. Het belang van de competentie-examens is groot doordat alleen bij competentie-examens studiepunten toegekend kunnen worden. Fontys Hogescholen heeft daar op ingespeeld door trainingen te verzorgen voor assessoren. In deze training zijn twee belangrijke aspecten te herkennen (assessorentraining, 2005). Allereerst het werken volgens een gestandaardiseerde methode. Hiermee wordt getracht de validiteit van de beoordeling te verhogen. Een ander belangrijk aspect is de nadrukkelijke focus op competenties. Docenten zijn gewend om op inhoud of prestatie te beoordelen maar nu dient er een uitspraak gedaan te worden over het niveau van de competenties die de student verworven heeft. Het is nadrukkelijk niet de bedoeling dat in het portfolio opgenomen bewijzen opnieuw beoordeeld gaan worden op het competentie-examen. Er moet van uitgegaan worden dat de bewijzen al beoordeeld zijn in een eerder stadium. Dit vraagt een andere manier van beoordelen van de docent. Docenten, die als assessor willen gaan functioneren, kunnen deze training gaan volgen en uiteindelijk ook gecertificeerd worden. In de trainingen voor assessoren wordt uitgegaan van een al bestaand portfolio. In de OER (2005, artikel 19) worden vier eisen genoemd waaraan bewijzen moeten voldoen die in het portfolio zijn opgenomen. Dit zijn: echtheid, relevantie, structuur en organisatie, actualiteit. Op het competentie-examen worden competenties beoordeeld op basis van de set van bewijzen die in het portfolio is opgenomen. De kwaliteit van het portfolio is direct afhankelijk van de afzonderlijke kwaliteit van de bewijzen die in het portfolio zijn opgenomen. 2.3.1

Beoordelen en assessen op de Fontys SportHogeschool binnen Biloba

Beoordelen en assessen in het nieuwe Biloba onderwijsmodel wijkt sterk af van wat de docenten gewend zijn. Alle docenten zullen producten en prestaties van studenten gaan beoordelen. Wat daarbij nieuw is is dat studenten niet meer rechtstreeks beloond worden in de vorm van een cijfer of studiepunten. De beoordeling van een product of prestatie vormt samen met het beroepsproduct een bewijs dat in het portfolio kan worden opgenomen. Het portfolio is een belangrijk element bij de competentie-examens. De FSH heeft gekozen voor het houden van drie competentie-examens in de gehele opleiding (De Brouwer, 2006a, p.21). In Figuur 2 wordt de grote rol, die het portfolio speelt in het beoor12


delingsproces zichtbaar. Het assessment raamwerk in Figuur 2 is in 2005 ontwikkeld (Van de Sanden, 2005). Het assessment raamwerk kan gezien worden als een grafische vertaling en interpretatie van de tekst in de OER (2005) met twee aanvullingen die specifiek voor de FSH zijn: de kennistoets en de bewegingsvaardighedentoets. Deze twee toetsen meten geen competenties maar onderliggende kennis en vaardigheden. Deze toetsen kunnen als aanvullende bewijzen in het portfolio worden opgenomen.

Figuur 2 Raamwerk Assessments FSH (Van de Sanden, 2005)

Bewijzen worden vooral verzameld in leerarrangementen. In een leerarrangement werken studenten aan beroepsproducten die ontleend zijn aan kenmerkende beroepssituaties. (De Brouwer, 2006a, p. 17). Het beroepsproduct vormt een bewijs in het portfolio dat later gebruikt kan worden bij het competentie-examen. In Figuur 2 is te zien dat bij elk beroepsproduct een reflectie hoort. De student gebruikt de reflectie om een relatie te leggen tussen het gemaakte beroepsproduct en de competenties waarop de student uiteindelijk beoordeeld wordt. De student brengt het portfolio in op het competentie-examen. Het portfolio bevat dan een verzameling bewijzen die elk afzonderlijk iets zeggen over competenties die de student bezit. Op het competentie-examen dient de student aan te tonen dat een set van competenties op vooraf vastgesteld niveau verworven is. Om dit aan te tonen schrijft de student een overallreflectie (zie Figuur 2) waaruit blijkt op welke manier de verzamelde bewijzen representatief zijn voor de set competenties.

13


3

De centrale vraag in het onderzoek

De methodiek, die gebruikt wordt bij de ontwikkeling van het competentiegerichte curriculum op de FSH heeft de volgende kenmerken: communicatie, draagvlak en geleidelijkheid. De ontwikkeling van het curriculum wordt gezien als een groeiproces. In dit schooljaar zijn er vier tweedaagse werkconferenties geweest waarin alle betrokkenen samenwerken. Hoewel de aanpak niet gebaseerd is op de naturalistische ontwerpmethode van Walker (1971) zijn de drie fasen (platform-deliberation-design) uit deze methode duidelijk herkenbaar. Zie Figuur 3.

Figuur 3 Het Naturalistische ontwerpmodel van Walker (1971, p.58)

Een duidelijke grens tussen de drie fasen is niet aanwezig. De fasen lopen geleidelijk in elkaar over. De platformfase loopt van september 2005 tot december 2005 en is vooral gebruikt om ideeën uit te wisselen over hoe het toekomstige curriculum er zou moeten uitzien. In de deliberationfase van november 2005 tot februari 2006 worden de kaders van het toekomstige curriculum en het ontwikkelpad duidelijk zichtbaar. De start van de designfase is eigenlijk al in december 2005 maar in februari 2006 wordt een duidelijke overgang van abstract naar concreet zichtbaar. Er is gekozen voor acht leerarrangementen in leerjaar 1. Deze leerarrangementen zijn gekoppeld aan kenmerkende beroepssituaties. Nu wordt de overstap gemaakt om deze leerarrangementen uit te werken naar concrete onderwijseenheden. Er worden verschillende ontwikkelgroepen geformeerd, die elk een concrete opdracht krijgen om een leerarrangement te ontwikkelen. Tegelijkertijd gaan andere ontwikkelingen gewoon verder. Denk hierbij aan studieloopbaanbegeleiding, vormgeving van competentie-examens, ontwikkeling van de elektronische leeromgeving. De dominerende rol, die het competentie-examen speelt in het curriculum, is aanleiding geweest voor het formeren van een aparte assessmentwerkgroep die toeziet op de manier waarop in de leerarrangementen met assessments wordt omgegaan. Deze werkgroep wordt geformeerd door vier personen waaronder de onderzoeker. De door Fontys gekozen beoordelingssystematiek waarin de competentie-examens centraal staan legt een zware claim op het beoordelen van beroepsproducten. De beoordeling is geen eindbeoordeling. Er wordt geen afsluitend cijfer gegeven op basis waarvan studiepunten worden toegekend. De beoordeling is tevens input voor het portfolio en input voor de reflectie van de student. Van de student wordt verwacht dat deze in het portfolio aantoont dat competenties op een zeker niveau zijn verworven. Beroepsproducten worden beoordeeld op vooraf vastgestelde 14


criteria. Normaal gesproken zal het niet zo zijn dat er een rechtstreeks verband aan te wijzen is tussen deze criteria en de competenties waaraan gewerkt is. In de reflectie zal de student zelf de relatie moeten leggen tussen het beoordeelde beroepsproduct en de competenties en zo vaststellen op welk niveau competenties zijn verworven. Een belangrijk onderdeel van de beoordeling is dus feedback. In het raamwerk voor assessments (zie Figuur 2) is te zien dat binnen leerarrangementen beroepsproducten ontwikkeld worden die als bewijs opgenomen kunnen worden in het portfolio. De student is eigenaar van het portfolio en kan er voor kiezen om ook andersoortige bewijzen op te nemen in het portfolio. Denk hierbij aan EVC’s (bewijzen van elders verworven competenties), rolbeschrijvingen en persoonlijkheidstests (Van Tartwijk, Driessen, Hoeberigs, Kösters, Ritzen, Stokking & Van der Vleuten, 2003). In dit onderzoek zullen we ons beperken tot bewijzen in de vorm van beoordeelde beroepsproducten die ontstaan vanuit de leerarrangementen. Het beroepsproduct zal aan duidelijke kwaliteitseisen moeten voldoen. Een opdracht aan de ontwerpers van leerarrangementen is om deze kwaliteitseisen helder te formuleren zodat ze enerzijds richtinggevend zijn voor de studenten om het product te kunnen maken en anderzijds bepalend voor de beoordelaars van het product. Het beroepsproduct wordt beoordeeld door docenten. De beoordeling vormt samen met het beroepsproduct een bewijs dat in het portfolio kan worden opgenomen. Daarnaast vormt de beoordeling samen met het beroepsproduct input voor de reflectie van de student. Dit totaal leidt tot de volgende sturende vraag voor dit onderzoek: Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio? Deze vraag kan in drie deelvragen worden opgesplitst: 1. Input: Hoe moeten beoordelingscriteria voor het beroepsproduct geformuleerd worden rekening houdend met de competenties die in het leerarrangement centraal staan? De input wordt gevormd door de beoordelingscriteria, het gereedschap van de beoordelaar. 2. Proces: Hoe kan in het beoordelingsproces een hoge beoordelingsbetrouwbaarheid bereikt worden? In het proces gaat het vormen van een oordeel over het beroepsproduct 3. Output: Hoe dient de beoordeling vormgegeven te worden om als waardevolle feedback te fungeren voor de student bij het reflecteren op de opdracht gerelateerd aan de competenties? De beoordeling wordt niet uitgedrukt in een cijfer maar vormt een stukje gereedschap voor de student om om aan de hand daarvan zijn competentieniveau aan te tonen en om richting te geven aan het ontwikkelproces van de competenties. De trefwoorden input-proces-output zijn gekozen vanuit de systeembenadering (In ’t veld, 2002). Het onderzoek zal een advies opleveren over de uitvoering van het beoordelingsproces van beroepsproducten op de FSH.

15


4

De onderzoeksaanpak

De Biloba onderwijstransformatie is aan de FSH in de deliberationfase (zie hoofdstuk 2). Op het moment dat dit onderzoek start zijn er nog geen leerarrangementen ontwikkeld. Het is daardoor niet mogelijk om empirisch onderzoek te doen naar de wijze waarop docenten van de FSH beroepsproducten beoordelen. Echter, het is wel mogelijk om samen te werken met de ontwikkelaars van de leerarrangementen. Buiten de FSH worden op Fontys Hogescholen ervaringen opgedaan met het beoordelen van beroepsproducten. Deze ervaringen kunnen waardevolle informatie opleveren voor dit onderzoek. Een aantal kaders voor de te volgen onderzoeksaanpak is al genoemd. De aanpak moet: - aansluiten bij de ontwerpmethodiek van het Biloba Curriculum - parallel lopen met de ontwikkeling van leerarrangementen Daarnaast kunnen aanvullende eisen geformuleerd worden De aanpak moet: - eenvoudig en overzichtelijk zijn - van verschillende invalshoeken gebruik maken.

Figuur 4 relaties tussen onderzoeksdeelvragen en het Biloba curriculum model

In Figuur 4 zijn de relaties tussen de onderzoeksdeelvragen en het Biloba curriculum weergegeven. De drie deelvragen relateren aan drie elkaar opvolgende fasen: input–output-proces zoals beschreven door In ’t Veld (2002, p. 48-50). In het onderzoek wordt gebruik gemaakt worden van verschillende onderzoeksmethoden om verschillende invalshoeken zichtbaar te maken. Allereerst is er literatuuronderzoek waarin vooral naar theoretische ondersteuning wordt gezocht op het gebied van standaardiseren van beoordelingsprocessen, beoordelaarsbetrouwbaarheid en feedback. Daarnaast wordt gebruik gemaakt van de expertise die binnen Fontys Hogescholen al aanwezig is. Hierbij zijn aandachtspunten de visie van Fontys Hogescholen en de ervaringen van andere opleidingen. Voor de visie wordt contact gezocht met experts die direct betrokken zijn bij de ontwikkeling van de onderwijsvernieuwing. Voor ervaringen wordt gekeken bij opleidingen die inmiddels als ‘good practice’ gelden binnen Fontys Hogescholen. Dit zijn ervaringen die passen bij de visie van Fontys Hogescholen en zodoende een spiegel kunnen vormen voor de ontwikkeling van het Biloba model aan de FSH. Door middel van interviews worden de ervaringen en de visie onderzocht. De interviews zijn open aangezien het hier vooral verkennende interviews betreft (Saunders, Thornhill & Lewis, 2004 p.259). De ideeën van de docenten van de FSH ten slotte zorgen voor weer een andere kijk op de nieuwe ontwikkelingen. Informatie van de FSH wordt verkregen door middel van participerende waarneming (Saunders, Lewis en Thornhill, 2014, p.235). De onderzoeker is zich bewust van de risico’s die participatie met zich meebrengt. De rol van de onderzoeker wordt altijd duidelijk gecommuniceerd en op momenten dat er beïnvloeding dreigt zoals bv. in gemeenschappelijke denkprocessen kiest de onderzoeker ervoor om zich afzijdig te hou-

16


den. Hierdoor blijft het onderzoek gescheiden van het ontwikkelproces van het neiuwe curriculum Hierna zal per deelvraag dieper op de onderzoeksopzet worden ingegaan. Per deelvraag worden de gebruikte methodieken apart benoemd. Na de bespreking van de drie deelvragen worden de gebruikte methodieken overzichtelijk in een tabel bij elkaar gezet (zie Tabel 1). 4.1

Deelvraag 1: input Input: Hoe moeten beoordelingscriteria voor het beroepsproduct geformuleerd worden rekening houdend met de competenties die in het leerarrangement centraal staan?

Deze deelvraag sluit nauw aan bij de actuele ontwikkelingen van het Biloba curriculum. Het antwoord op deze vraag heeft direct consequenties voor de ontwikkeling van de leerarrangementen. Vragen bij deze deelvraag zijn: a. Welke normen en standaarden zijn volgens de literatuur van belang bij het opstellen van beoordelingscriteria? b. Wat is de visie van experts binnen Fontys Hogescholen op het vertalen van kwaliteitseisen? c. Hoe worden kwaliteitseisen vertaald op andere hogescholen binnen Fontys Hogescholen? d. Wat is de visie van het ontwikkelteam van de FSH op de manier waarop kwaliteitseisen vertaald dienden te worden? Vraag a speelt zich af binnen het gebied dat Standard Setting genoemd wordt (Hambleton, 2001) en is onderzocht door middel van literatuuronderzoek (methodiek 1). Binnen Fontys Hogescholen wordt via open interviews onderzocht wat de visie is van experts (vraag b). Hiervoor wordt een interview gehouden met een expert die actief betrokken is bij de ontwikkeling van de Biloba filosofie op Fontys Hogescholen. Voor de ervaringen op andere hogescholen (vraag c) wordt een interview gehouden met een medewerker van de opleiding Applied Science, een opleiding die binnen Fontys hogescholen als een good practice wordt beschouwd. Vraag d wordt beantwoord doordat de onderzoeker participeert in de assessmentwerkgroep op de FSH waardoor ontwikkeling van leerarrangementen op de FSH op de voet gevolgd wordt (methodiek 4). 4.2 Deelvraag 2: proces Proces: Hoe kan in het beoordelingsproces een hoge beoordelingsbetrouwbaarheid bereikt worden? Vragen bij deze deelvraag zijn: a. Wat is beoordelaarsbetrouwbaarheid? b. Welke factoren beïnvloeden de interbeoordelaarsbetrouwbaarheid c. Welke factoren beïnvloeden de intrabeoordelaarsbetrouwbaarheid d. Hoe kan een hoge beoordelaarsbetrouwbaarheid bereikt worden volgens de expert? e. Welke factoren bepalen op de FSH de grenzen voor het optimaliseren van de beoordelaarsbetrouwbaarheid? In tegenstelling tot de beide andere deelvragen is deze vraag in de ontwikkeling van het Biloba curriculum niet actueel en dringend. Beantwoorden van deze vraag is ook lastig aangezien kaders waarbinnen het beoordelingsproces dient te worden uitgevoerd nog helemaal vastgesteld dienen te worden aan het begin van het onderzoek. Literatuuronderzoek levert gegevens op die stellend kunnen zijn voor de kaders van het beoordelingsproces (methodiek 1, vraag a, b en c). In eerste instantie wordt Standard Setting (Hambleton, 2001) als informatiebron gebruikt. In dit 17


proces wordt al veel aandacht besteed aan het optimaliseren van de beoordelaarsbetrouwbaarheid. Verschillende methoden voor Standard Setting worden belicht. Daarnaast wordt ook specifiek naar literatuur over beoordelaarsbetrouwbaarheid gezocht. Er wordt een interview gehouden met de programmalijnmanager van Biloba om te onderzoeken hoe binnen de Biloba kaders gewerkt kan worden aan een hoge beoordelaarsbetrouwbaarheid. Ook wordt een interview gehouden met een onderwijskundig consultant. (vraag d) Op de FSH wordt vooral input gezocht bij de assessmentwerkgroep (methodiek 4, vraag e). Standard Setting is een proces dat tijdrovend kan zijn en getrainde beoordelaars vraagt (Hambleton, 2001, p.94). De theorie (literatuuronderzoek) en praktijk (interviews Fontys Hogescholen) zullen voorwaarden voor een wenselijke situatie voor de FSH opleveren. 4.3

Deelvraag 3: output Output: Hoe dient de beoordeling vormgegeven te worden om als waardevolle feedback te fungeren voor de student bij het reflecteren op de opdracht gerelateerd aan de competenties?

Vragen bij deze deelvraag zijn: a. Wat is feedback? b. Hoe kan gezorgd worden voor goede feedback? c. Hoe belangrijk is feedback voor de ontwikkeling van de student?. Ook bij deze deelvraag is literatuuronderzoek de basis (methodiek 1). Het literatuuronderzoek richt zich vooral op feedback (vraag a). Evenals de eerste deelvraag is deze deelvraag actueel door de directe relatie met de ontwikkeling van het Biloba curriculum. De relatie moet nu gezocht worden met het portfolio, waarbij zowel gekeken kan worden naar het gedeelte dat voor het competentie-examen gebruikt gaat worden als naar het gedeelte dat richting geeft aan de verdere ontwikkeling van de student (vraag b en c). Een verschil met de eerste deelvraag is dat het formuleren van criteria bij de eerste deelvraag direct invloed uitoefent op de ontwikkeling van de leerarrangementen terwijl de impact van de feedback uit deelvraag drie op de ontwikkeling van de leerarrangementen veel minder is. Binnen Fontys Hogescholen wordt deze deelvraag beantwoord door interviews af te nemen met experts binnen het Bilobaprogramma (methodiek 2). Deze deelvraag is geformuleerd vanuit het belang van de student. Daarmee valt deze deelvraag enigszins buiten de reikwijdte van het onderzoek. Het onderzoek richt zich vooral op de taak en de rol van de beoordelaar in het beoordelingsproces. Vanuit de context van de competentie-examens en het assessmentraamwerk van de FSH kan gekeken worden naar verwachte behoeften aan feedback die studenten kunnen hebben. Echter, doordat er nog geen studenten zijn, die in het competentiegerichte onderwijsmodel studeren, zijn er nog geen ervaringen en kan het belang van de student in dit onderzoek niet goed onderzocht worden. De werkelijke behoefte aan feedback kan hierdoor niet onderzocht worden. 4.4 Conclusies In Tabel 1 wordt een overzicht gegeven van de verschillende onderzoekstechnieken die in dit onderzoek gebruikt worden. De methoden zijn aanvullend op elkaar. De experts, die geïnterviewd worden, hebben elk een eigen expertiseterrein dat gerelateerd is aan de Biloba onderwijstransformatie en/of toetsing en assessment. Deze expertisegebieden overlappen elkaar waardoor een niet nagestreefde vorm van triangulatie (Saunders, Lewis & Thornhill, 2004, p.104) ontstaat. Bij het selecteren van de experts wordt zorgvuldig gekeken naar de functie en de visie en ervaringen die de expert heeft op het gebied van toetsing en assessment binnen Biloba. Een positieve houding ten opzichte van competentiegestuurd onderwijs is hierbij een eis en de mogelijkheid van verschillende invalshoeken een wens.

18


Tabel 1 Overzicht gebruikte methodieken

Deelvraag

Methodiek 1 literatuur X

Methodiek 2 Interviews Biloba experts X

Methodiek 3 Interviews andere Fontys Hogescholen X

Deelvraag 1 Deelvraag 2 Deelvraag 3

Methodiek 4 Participatie FSH X

X

X

X

X

X

X

X

Elk van de drie deelvragen wordt op drie manieren onderzocht. Vanuit de gevonden resultaten wordt een gezamenlijke conclusie geconstrueerd die basis zal zijn voor het advies dat het uiteindelijke antwoord zal zijn op de hoofdvraag uit het onderzoek: Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio?

19


5

Onderzoek naar Deelvraag 1: input

In dit hoofdstuk wordt de eerste deelvraag: ‘Hoe moeten beoordelingscriteria voor het beroepsproduct geformuleerd worden rekening houdend met de competenties die in het leerarrangement centraal staan?’ onderzocht. In paragraaf 5.1 wordt ingegaan op het concept assessments en kwaliteitsaspecten van assessments. In paragraaf 5.2 wordt ingezoomd op de specifieke context op de FSH geleid door de eerste subvraag bij de eerste deelvraag: ‘Welke normen en standaarden zijn volgens de literatuur van belang?’. De experts geven in paragraaf 5.3 een antwoord op de vraag: ‘Wat is de visie van experts op Fontys Hogescholen?’. Er wordt gekeken naar een andere Fontys hogeschool voor een antwoord op de vraag: ‘Hoe worden kwaliteitseisen vertaald op andere hogescholen binnen Fontys Hogescholen?’ in paragraaf 5.4. In paragraaf 5.5 komt het ontwikkelteam van de FSH aan het woord voor de vraag: ‘Wat is de visie van het ontwikkelteam op de manier waarop kwaliteitseisen vertaald dienen te worden?’. 5.1

Beoordelen van assessments

5.1.1

Wat is een assessment

De verschuiving van traditioneel onderwijs naar competentiegericht onderwijs heeft grote gevolgen voor de manieren waarop studenten beoordeeld worden. Traditionele toetsvormen, waarbij het meten van kennis, vaardigheid of attitude centraal staan, passen niet goed bij competentiegericht onderwijs (Dochy & Nickmans, 2005, p.55). Er zijn beoordelingsvormen nodig, waarin het totale handelen van de student voorop staat. Birenbaum (1996) heeft voor deze toetsvormen de term assessment ingevoerd. Een beoordelingsvorm kan een assessment genoemd worden als het aan de volgende voorwaarden voldoet (Dochy, Heylen & Van de Mosselaer, 2002): - Het uitgangspunt is kennisconstructie. - Het doel van de meting omvat zowel basiskennis als het toepassen van kennis en vaardigheden Er wordt gebruik gemaakt van authentieke of levensechte situaties. Ook in de definitie van assessment van Van Berkel, Hofman, Kinkhorst en Te Lintelo (2003, p. 15) is de nadruk op het handelen van de student zichtbaar: “Onder assessment wordt verstaan: de toetsing van gedrag en de resultaten daarvan aan de hand van een realistische praktijktaak.” In deze definitie komt duidelijk naar voren dat de beoordeling direct gericht kan zijn op het handelen van de student maar ook op door studenten vervaardigde beroepsproducten zoals bv. een adviesrapport of een lessenplan. Door Straetmans en Sanders (2001) maar ook door Tillema en Dirkse-Hulscher (2002) wordt het concept assessment niet expliciet gedefinieerd maar gezien als een beoordelingsvorm voor competenties. Daarmee wordt ruimte gegeven aan de vele verschillende invullingen die aan het concept competentie gegeven worden. De door Fontys Hogescholen gebruikte definitie sluit hier bij aan: “Assessment: Verzamelnaam voor toetsen die gericht zijn op het beoordelen van competenties in zo authentiek mogelijke beroepssituaties. “ (OER, 2005) 5.1.2

Kwaliteitscriteria voor assessments

Duidelijk is vanuit de definities en omschrijvingen van assessments dat assessments een veel breder terrein beschrijven dan traditionele toetsen. Kwaliteitscriteria voor assessments hebben daardoor een andere vorm dan de criteria voor traditionele toetsen. Dierick, Van de Watering en Muijtjens (2002) beschrijven een nieuwe kwaliteitsbenadering die inmiddels bekend staat als edumetrie. Daar waar de psychometrie gebaseerd is op de klassieke betrouwbaarheidstheorie wordt voor de edumetrie uitgegaan van de generaliseerbaarheidstheorie. Het is niet langer de 20


vraag of de uitslag van de toets betrouwbaar is maar of de beslissing op basis van een assessment of iemand al dan niet competent is betrouwbaar is. De volgende criteria spelen volgens Dierick, van de Watering en Muijtjens naast validiteit en betrouwbaarheid een grote rol in de edumetrie: 1. Cognitieve complexiteit: In een assessment worden taken gebruikt die een beroep doen op probleem oplossen, kritisch denken en redeneren. 2. Authenciteit: In een assessment wordt gebruik gemaakt van reële problemen en realistische probleemsituaties. 3. Eerlijkheid: Studenten moeten een eerlijke kans hebben om aan te kunnen tonen in welk mate zij een competentie verworven hebben. 4. Transparantie: Het moet voor studenten duidelijk zijn aan welke eisen ze moeten voldoen. Hoewel deze criteria nieuw lijken blijken ze goed aan te sluiten bij de zes criteria die Messick (1994,1995) al eerder formuleerde voor het concept constructvaliditeit. Dit zijn: 1. content aspect: het assessment bevat taken die relevant en representatief zijn voor het domein waarop het assessment zich richt 2. substantive aspect: de taken in het assessment worden uitgevoerd op dezelfde wijze als door professionals gedaan wordt. 3. structural aspect: de gebruikte beoordelingsmodellen in een assessment passen bij de kwaliteitsstandaarden in het domein 4. generalizability aspect: de beoordeling vanuit het assessment kan gegeneraliseerd worden naar andere taken binnen hetzelfde domein. 5. external aspect: de beoordeling binnen het assessment komt overeen met gelijksoortige externe beoordelingen. 6. consequential aspect: dit aspect richt zich zowel op de gevolgen van de interpretatie van de beoordeling van een assessment als op de gevolgen van het assessment als geheel op de leeromgeving. De criteria zoals genoemd door Dierick, Van de Water en Muijtjens (2002) en door Messick (1994) zijn tot een drietal hoofdcriteria samengenomen door Gielen en Dochy (2004): 1. constructvaliditeit 2. consequentiele validiteit 3. generaliseerbaarheid Consequentiele validiteit wordt door Gielen en Dochy niet gezien als een onderdeel van construct validiteit maar als een apart criterium. De reden hiervoor ligt in de door hen gedragen visie dat assessment het leren dient te ondersteunen. In de OER (2005, p.21) worden de volgende eisen gesteld aan bewijzen (waaronder resultaten van en uit assessments) die in het portfolio kunnen worden opgenomen: echtheid (bewijs is van de student), relevantie (bewijs past bij de competenties), structuur en organisatie (waardoor groei van competenties zichtbaar wordt) en actualiteit (bewijs is niet te oud). Deze vier karakteristieken vormen een onderdeel van de constructvaliditeit van het competentie-examen De driedeling van de hoofdcriteria door Gielen en Dochy (2004) is een duidelijke indeling waarbinnen de door Fontys Hogescholen gehanteerde eisen aan bewijzen volledig geintegreerd zijn in de construcvaliditeit. Daarnaast noemen Dochy en Gielen nog de consequentile validiteit en de generaliseerbaarheid. 5.1.3

Kwaliteitscriteria voor beroepsproducten

De opdracht om een beroepsproduct te ontwikkelen is te beschouwen als een assessment, passend bij de uitgangspunten van Dochy, Heylen en Van de Mosselaer (2002) en bij de door Fon21


tys Hogescholen gebruikte definitie van assessments (OER, 2005) (zie paragraaf 5.1.1). Het beroepsproduct is daarbij het tastbare resultaat. Door De Bie (red, 2003, p. 151) wordt als één van de criteria voor een goede opdracht genoemd dat de opdracht criteria voor het toetsen van het resultaat bevat. Als de opdracht duidelijke criteria bevat voor de beoordeling dan weet de student precies wat er verwacht wordt en aan welke eisen voldaan moet worden. Hiermee wordt niet alleen de transparantie van het beoordelingsproces bevorderd maar doordat de student precies weet wat er aan het einde verwacht wordt wordt ook de lastige weg naar het beroepsproduct doorzichtiger hetgeen het leertraject van de student vereenvoudigt. De Bie, (p.106) noemt dit onzekerheidsreductie. Het beroepsproduct is vaak het resultaat van een opdracht die uitgevoerd wordt voor externe opdrachtgevers (Van Berkel en Bax, 2002, p.300). Daarmee is de externe opdrachtgever een belangrijke stakeholder en zal deze een duidelijke invloed hebben op de beoordelingscriteria. Vrij vertaald betekent dit dat het beroepsproduct voor de praktijk geschikt dient te zijn. Deze criteria zullen veelal een duidelijke relatie hebben met de bruikbaarheid voor de opdrachtgever in de praktijk en/of met de kwaliteit van het product. De beoordeling van het beroepsproduct is niet alleen afhankelijk van de opdrachtgever maar tevens van de opleiding zelf. De opleiding heeft tot taak om studenten op te leiden tot volwaardige HBO-gekwalificeerde professionals. In de door het NVAO opgestelde accreditatiekaders (NVAO, 2003) spelen de zogenaamde Dublin descriptoren een belangrijke rol. De volgende descriptoren worden genoemd: 1. Kennis en inzicht, 2. toepassen kennis en inzicht, 3. oordeelsvorming, 4. communicatie en 5. leesvaardigheden. De opleiding dient studenten op te leiden tot professionals die aan de vijf genoemde descriptoren voldoen. Als voorbeeld wordt hier de eerste descriptor voor het HBO volledig geciteerd: “Kennis en inzicht: Heeft aantoonbare kennis en inzicht van een vakgebied, waarbij wordt voortgebouwd op het niveau bereikt in het voortgezet onderwijs en dit wordt overtroffen; functioneert doorgaans op een niveau waarop met ondersteuning van gespecialiseerde handboeken, enige aspecten voorkomen waarvoor kennis van de laatste ontwikkelingen in het vakgebied vereist is. “ (NVAO,2003, p.21) De vijf Dublin-descriptoren zijn door de HBO-Raad doorvertaald naar 10 generieke HBOkwalificaties die gebruikt worden als uitgangspunt voor de inrichting van HBO-opleidingen (Van ’t Riet, 2004). Deze kwalificaties vormen niet alleen het uitgangspunt voor het formuleren van de competenties maar ook de basis voor het beoordelen van assessments zoals bv. een beroepsproduct. De derde bron voor beoordelingscriteria voor het beroepsproduct is te vinden in de competenties waaraan in de opdracht aan is gewerkt. Een competentie uit zich in de vorm van gedrag of in het resultaat van gedrag zoals bv. een beroepsproduct. Bij het beoordelen van competenties is het belangrijk dat er specificaties zijn opgesteld voor gewenst gedag, de condities waarin dat gedrag vertoond moet kunnen worden en de criteria en standaarden voor acceptabel gedrag (JanssenNoordman & Van Merriënboer, 2002, p.145). Deze focus op gedrag is typisch voor de analytische benadering van competenties. Toolsema (2003) beschrijft twee manieren waarop competenties benaderd kunnen worden: de holistische en de analytische benadering. In de holistische benadering ligt het accent op het meten en erkennen van competentie als geheel. Dat een competentie verworven is blijkt dan uit het resultaat van een handeling. In de analytische benadering wordt juist gekeken naar wat dat er nodig is om de handeling te kunnen uitvoeren. In Figuur 5 is het verschil in holistische en analytische benadering op een continuüm weergeven.

22


Figuur 5 continuüm analytisch en holistisch beoordelen

Bij de beoordeling van een beroepsproduct kunnen we alleen gedrag waarnemen als het product een gebeurtenis is en opgenomen op video. In de andere gevallen kunnen we geen gedrag waarnemen. Het product is het resultaat van gedrag. En dit resultaat wordt beoordeeld vanuit de context van de te beoordelen competentie(s). Om het product te beoordelen dient een relatie gelegd te worden tussen competent gedrag en het resultaat ervan. De vraag is dus aan welke criteria in het product te herkennen is dat hier competent gedrag aan te grondslag ligt. In bijlage 10 is een voorbeeld van een beroepskenmerkende situatie voor de opleiding LO op de FSH weergegeven met de daarbij horende prestatie-indicatoren. Prestatie-indicatoren zijn indicatoren waarmee een competentie zichtbaar worden en aan de hand waarvan de competenties beoordeeld worden. Doordat de prestatie-indicatoren geformuleerd zijn als gedragsindicatoren ligt hier voor de ontwerpers van de opdrachten een uitdaging om de verbanden te zoeken tussen de prestatieindicatoren en de beoordelingscriteria in het beroepsproduct. 5.2 Beoordelen in een leerarrangement op de FSH In de assessmentwerkgroep is een generieke opzet ontwikkeld voor de manier waarop studenten in een leerarrangement beoordeeld worden (Raanhuis, 2006). De beoordeling is er op gericht om studenten te ondersteunen bij het leggen van relaties tussen het ontwikkelproces van het beroepsproduct en de kwaliteit van het beroepsproduct met de competenties die in het leerarrangement centraal staan. De beoordeling valt uiteen in drie delen: 1. Het beroepsproduct wordt beoordeeld door een onafhankelijke beoordelaar. 2. De studenten beoordelen elkaar op basis van de gedragsindicatoren horende bij de competenties die gekoppeld zijn aan het leerarrangement.(peer-assessment) 3. De procesbegeleider beoordeelt de manier waarop de studenten gewerkt hebben. Een 3600-feedback beoordeling kan ook gebruikt worden in plaats van het peer-assessment. Op deze manier wordt gegarandeerd dat de student voldoende informatie heeft om in de reflectie relaties te leggen naar het competentieprofiel. Er wordt dus niet rechtstreeks beoordeeld op competenties. Het wordt aan de student over gelaten om de vertaling naar competenties te maken. Een leerarrangement is opgebouwd rond een kenmerkende beroepssituatie. Een overzicht van de leerarrangementen, zoals die in de propedeuse gepland zijn, is opgenomen in bijlage 1. Eén van de leerarrangementen heeft als werktitel ‘Op kamp’ (een beschrijving van dit leerarrangement is opgenomen in bijlage 2). De beroepskenmerkende situatie betreft hier het organiseren van een sport- en bewegingsactiviteit buiten de les. Bij dit leerarrangement horen verschillende beroepsproducten. Dit zijn: - draaiboek van het kamp - uitvoering van het kamp - evaluatie van het kamp Het draaiboek is een document. De uitvoering van het kamp is een gebeurtenis en de evaluatie kan op papier maar ook mondeling gebeuren. Binnen één leerarrangement kunnen dus geheel verschillende beroepsproducten voorkomen. In het algemeen is de volgende tweedeling te maken in beroepsproducten: 1. het beroepsproduct is een tastbaar product 2. het beroepsproduct is een gebeurtenis waarbij de student uitvoerende is Op het moment dat het beroepsproduct een tastbaar product is wordt het moeilijk om direct te beoordelen op de mate waarin competenties aanwezig zijn. Het beroepsproduct, veelal een 23


groepsproduct, wordt nl. beoordeeld door een onafhankelijke beoordelaar. De kwaliteit van het product kan wel beoordeeld worden. Deze manier van benaderen past bij de holistische visie op competenties. In paragraaf 5.2.1 wordt verder ingegaan op het tastbare beroepsproduct. Als het beroepsproduct een gebeurtenis betreft waarin de student uitvoerende is dan zijn er wel mogelijkheden om competenties van studenten rechtstreeks te beoordelen. Er kan gekozen worden om de gebeurtenis te beoordelen als product. Maar er kan ook gekozen worden om het gedrag van de student gedurende het kamp te beoordelen uitgaande van één of meerdere competenties. In dit laatste geval kan de gebeurtenis niet meer beschouwd worden als een product en valt daarmee buiten de reikwijdte van dit onderzoek. De gebeurtenis als beroepsproduct wordt verder uitgewerkt in paragraaf 5.2.2. 5.2.1

Het beroepsproduct is een tastbaar product

Als een beroepsproduct tastbaar is dan zal het in veel gevallen een geschreven product zijn zoals bv. een draaiboek, een adviesrapport of het ontwerp voor een lessencyclus. Een beoordelingsvorm waar veel ervaring mee is opgedaan en veel onderzoek naar is verricht is de schriftelijke toets. Het gegeven, dat verschillende beoordelaars een tentamen met open vragen op verschillende manieren beoordelen, heeft geleid tot het instellen van correctievoorschriften bij het centraal schriftelijk examen voor het middelbaar onderwijs (De Jong, 1981). Een manier om de interbeoordelaarsbetrouwbaarheid te verhogen is door gebruik te maken van correctievoorschriften. Een correctievoorschrift voor een tentamen met open vragen bestaat dan uit drie delen: een algemene beoordelingsinstructie waarin algemene fouten worden opgenomen, een antwoordmodel dat zowel globaal als gedetailleerd kan zijn en een scoringsvoorschrift dat voorschrijft hoeveel punten er met elke vraag te verdienen is. Het blijkt, volgens De Jong, dat beoordelaars vooral van elkaar gaan afwijken op het moment dat vragen door leerlingen verkeerd beantwoord worden. Het antwoordmodel geeft dan geen uitsluitsel meer. De beoordelaar heeft geen onafhankelijke richtlijnen meer om de vragen te beoordelen. Bij het beoordelen van beroepsproducten zal het in het algemeen niet mogelijk zijn om antwoordmodellen te gebruiken zoals bij tentamens met open vragen gedaan kan worden. Het beroepsproduct is immers het resultaat van een open opdracht. Studenten hebben tijdens het uitvoeren van de opdracht verschillende keuzemomenten waardoor er een grote verscheidenheid aan beroepsproducten kan ontstaan. Een algemene beoordelaarsinstructie kan wel gebruikt worden.Daarin kunnen o.a. richtlijnen opgenomen worden over de omvang van het werkstuk, de manier waarop met tekstfouten omgegaan wordt, de verantwoording van gebruikte methoden enz. Een algemene beoordelaarsinstructie kan beschouwd worden als een eerste start om beoordelaarovereenstemming te bereiken. In de leerarrangementen op de FSH wordt gewerkt aan opdrachten in beroepskenmerkende situaties. De beroepskenmerkende situatie is startpunt voor de opdracht. De beoordeling zal een uitspraak moeten doen over de mate waarin het beroepsproduct past bij de kenmerkende beroepssituatie. De criteria voor de beoordeling van het beroepsproduct zullen dus duidelijk gerelateerd dienen te zijn aan de kenmerkende beroepssituatie. Perrenet (2001) propageert het gebruik van checklists om het beoordelen te ondersteunen. Deze checklists zullen dan gebaseerd moeten zijn op enerzijds de algemene beoordelaarsinstructie maar anderzijds op de criteria die hun oorsprong vinden in de beroepskenmerkende situatie. De criteria kunnen door verschillende partijen geformuleerd worden: door professionals uit de praktijk, door docenten en door studenten (Projectteam MPL-ICT,2005, p.27-28). Een voorbeeld van een situatie waarin studenten zelf de beoordelingscriteria formuleren wordt gegeven door Van Rooijen en Van de Sanden (2004). Uitgangspunt voor het formuleren van criteria is dat het beroepsproduct altijd een volwaardig beroepsproduct is dat in de praktijk gebruikt kan worden. Van eerstejaars studenten mag echter nog niet verwacht worden dat ze in staat zijn om een volwaardig beroepsproduct te kunnen ont24


wikkelen. Wel kan van hen verwacht worden dat ze een (geschikt gekozen) gedeeltelijk ontwikkeld beroepsproduct verder kunnen ontwikkelen tot een volledig beroepsproduct. Dit uitgangspunt kan worden herkend in de 4C/ID-ontwerpmethode van Van Merriënboer (JanssenNoordman & Van Merriënboer, 2002). De criteria zullen dan focussen op dat gedeelte van het beroepsproduct waar de studenten aan gewerkt hebben. Er zijn drie bronnen die criteria leveren voor de beoordeling van het beroepsproduct. De eerste bron is de opleiding. De opleiding heeft als taak om studenten op te leiden tot op het HBOniveau. Daarnaast kan de opleiding de wens hebben om specifieke kennis te benadrukken. De algemene beoordelingsinstructie is gebaseerd op de kwaliteitsnormen die hierachter schuilen. De tweede bron is het werkveld. Het werkveld vraagt om toepasbaarheid. Het beroepsproduct dient in de praktijk gebruikt te kunnen worden. De mate waarin het beroepsproduct past bij de kenmerkende beroepssituatie is hier het uitgangspunt. De hier genoemde scheiding tussen opleiding en werkveld is een grove indeling. In de praktijk zal er veel overlap zitten tussen de door de opleiding en werkveld gegenereerde beoordelingscriteria. Daarnaast spelen bij elk leerarrangement ook de competenties een belangrijke rol. Dat de competenties belangrijk zullen zijn in de beoordeling van het beroepsproduct lijkt evident. De competenties vormen derhalve de derde bron Immers, de student zal het beroepsproduct en de daarbij horende beoordeling willen opnemen in het portfolio om daarmee op het competentieexamen aan te kunnen tonen dat competenties op een vooraf vastgesteld niveau verworven zijn. Een aantal competenties zal echter minder geschikt zijn voor het beoordelen aan de hand van een beroepsproduct. Competentie 1: ‘interpersoonlijk competent ‘(zie bijlage 3) zal bv. moeilijk zichtbaar worden in een tastbaar beroepsproduct doordat deze competentie sterk verbonden is aan gedrag. Competentie 3 echter: ‘vakinhoudelijk en didactisch competent’ lijkt veel geschikter om te relateren aan een beroepsproduct. De kenniscomponent is in deze competentie duidelijk aanwezig. De bij de competentie horende prestatie-indicatoren vormen een basis voor het formuleren van de prestatie-indicatoren In Tabel 2 zijn de drie bronnen voor beoordelingscriteria bij elkaar gezet. Tabel 2 bronnen voor beoordelingscriteria

Bronnen voor beoordelingscriteria Opleiding: Algemene beoordelingscriteria en specifieke kenniscriteria Werkveld: Toepasbaarheid en bruikbaarheid Competenties: Prestatie-indicatoren De keuze welke criteria een rol spelen bij de beoordeling wordt bepaald door leerinhoud die in het leerarrangement centraal staat. Hier is geen eenduidige richtlijn voor op te stellen. Het kan zijn dat er één belangrijk aspect centraal staat in het leerarrangement, bv. het didactische model van Van Gelder (Van Gelder en van der Velden, 1969) dat op de FSH veel gebruikt wordt. Criteria zullen dan focussen op het juiste gebruik van dit model. Het kan ook zijn dat het leerarrangement erg open is zoals het leerarrangement “Voorlichtingspresentatie” (zie bijlage 1). De gebruikte criteria zullen dan een breder terrein bestrijken. De driedeling in Tabel 2 kan echter altijd gemaakt worden. 5.2.2

Het product is een gebeurtenis

Als het product een gebeurtenis is dan ontstaat er een wezenlijk andere situatie. Er is geen tastbaar product maar een proces dat beoordeeld dient te worden. Een kenmerk van een gebeurtenis is dat deze eenmalig en eindig is. Als de gebeurtenis voorbij is kan niet meer terug gekeken worden naar bepaalde delen van de gebeurtenis, tenzij de gebeurtenis is opgenomen op een mediadrager zoals bv. een video. Als de gebeurtenis is opgenomen dan is daarbij de gebeurtenis

25


getransformeerd tot een tastbaar product waarin gedrag beoordeeld kan worden. Er zijn verschillende redenen om de gebeurtenis op te nemen. Ten eerste is het zo dat de beoordeling van de gebeurtenis niet meer afhankelijk is van het moment hetgeen het eenvoudiger maakt om meerdere beoordelaars in te schakelen maar ook om fragmenten meerdere keren te bekijken. Als tweede is het voor de student prettig omdat feedback, verkregen bij de beoordeling met eigen ogen gerelateerd kan worden op de opname. Als derde kunnen de student en de beoordelaar(s) de opname gebruiken als er een verschil van mening over de beoordeling ontstaat. Als vierde en laatste punt kan genoemd worden dat een gebeurtenis alleen als bewijs opgenomen kan worden in het portfolio als de gebeurtenis vastgelegd is op een mediadrager. Deze vier redenen sluiten aan bij het door Dierick, van de Watering en Muijtjens (2002) genoemde criterium voor assessments: eerlijkheid. Een gebeurtenis kan op twee verschillende manieren benaderd worden. Allereerst kan er gekeken worden naar de gebeurtenis als geheel (de gebeurtenis is een product) en wordt de gebeurtenis vergeleken met een norm gebeurtenis, bv. de uitvoering van een les wordt vergeleken met een standaard modelles. De beoordelingsystematiek kan dan op dezelfde manier benaderd worden als beschreven in paragraaf 5.2.1. In de andere manier van benaderen wordt het gedrag van de student(en) binnen de gebeurtenis beoordeeld. Dan wordt het mogelijk om studenten rechtstreeks op competenties te beoordelen. In de Assessorentraining (2005) wordt een systematische methode WAKKER (waarnemen, aantekeningen maken, classificeren, kwantificeren, evalueren, rapporteren) gebruikt om de beoordeling van de competenties aan de hand van vertoond gedrag zo objectief en eerlijk mogelijk te laten plaatsvinden. Het gegeven dat in deze tweede benadering in de beoordeling direct uitspraken gedaan worden over competenties is prettig voor de student. Deze dient immers bewijslast te verzamelen om in een competentie-examen te aan te tonen dat aan een bepaald competentieprofiel voldaan is. De tweede benadering valt buiten het bereik van dit onderzoek aangezien in deze benadering niet de beoordeling van een beroepsproduct centraal staat maar de beoordeling binnen een in een beroepsproduct weergegeven situatie. Tegelijkertijd kan gesteld worden dat er een duidelijke afhankelijkheid bestaat tussen beide benaderingen.De student is immers actor binnen de gebeurtenis. 5.3 Ervaringen op de opleiding Applied Science Om een antwoord te vinden op de vraag ‘Hoe worden kwaliteitseisen vertaald op andere hogescholen binnen Fontys Hogescholen?’ is een open interview gehouden met de propedeusecoördinator (expert1) van de opleiding Applied Science (AS) Het interview is opgenomen in bijlage 4. Er is gekozen voor de opleiding AS omdat deze opleiding binnen Fontys Hogescholen gezien wordt als een Good Practice. Al direct aan het begin van het interview blijkt dat de manier waarop het uitgangspunt van competentiegestuurd en vraaggericht onderwijs bij de opleiding AS op een fundamenteel andere manier is uitgewerkt dan bij de FSH. Op AS staat het proces van het verwerven van competenties centraal in heel de opleiding. De student start direct na binnenkomst met het maken van een POP (Persoonlijk Ontwikkel Plan) en een PAP (Persoonlijk Activiteiten Plan). Wekelijks worden POP en PAP geëvalueerd en bijgesteld afhankelijk van de opdrachten en projecten waar de student aan werkt. Door deze frequente aandacht voor het POP en het PAP wordt het mogelijk dat de competenties leidend worden voor het leerproces van de student. Tijdens het werken aan beroepsproducten in een project wordt niet het product centraal gesteld maar de competenties waar de student aan werkt. Daar wordt de student ook op beoordeeld. Er is een aparte beoordelaar die aan het einde van het project de studenten beoordeeld. Er wordt een beoordelingsgesprek met de groep studenten gepland die gezamenlijk het beroepsproduct ontwikkeld heeft. In dit gesprek wordt de studenten gevraagd om individueel met behulp van het beroepsproduct aan te tonen dat zij door hen geko-

26


zen competenties verworven hebben. Bv. als een student de competentie ‘onderzoeken’ heeft gekozen om aan te werken dan kunnen representatieve gedeelten uit het onderzoeksrapport gebruikt worden om aan te tonen dat deze competentie verworven is. Het werken aan een beroepsproduct wordt op AS gezien als een middel om competenties te verwerven. In het interview benadrukt Expert1 dan ook het rechtstreeks beoordelen aan de competenties aan de hand van het beroepsproduct. Dat het beroepsproduct aan standaarden en eisen hoort te voldoen is belangrijk maar wordt ervaren als noodzakelijk om richting te geven aan het leerproces van de student. Er is een format uitgewerkt voor het beoordelen van het projectverslag en projectresultaat (Maree, 2005). Hierin zijn twaalf beoordelingspunten opgenomen: 1. communicatie van projectresultaat; 2. voorwoord; 3. samenvatting; 4. inhoudsopgave; 5. voortraject (de beslisdocumenten, go/no-go); 6. theoretische achtergronden (theoretische verantwoording onderbouwing); 7. projectresultaten (verwerking en beschouwing van meetresultaten); 8. literatuurverantwoording; 9. bijlagen; 10. redactie; 11. lay-out en 12. evaluatie projectverloop. De eerste 11 punten worden door een expert beoordeeld en het laatste punt wordt door de coach beoordeeld. Het format is algemeen maar bevat wel veel verschillende punten. Kennisborging is terug te vinden in punt 6,7 en 8. Naast dit format bestaat er ook een format waarin de student aangeeft wat de individuele bijdrage in het project is waarop de student beoordeeld wil worden. Beide formats zijn input voor het beoordelingsgesprek. 5.4 De visie van de expert. Er is een interview gehouden met Expert2, onderwijsconsultant op Fontys Hogescholen. Expert2 heeft ervaring als projectleider met het ontwikkelen van assessment binnen de uitgangspunten van Biloba. Het interview is open hetgeen wil zeggen dat er gestart is met een leidraad voor de vragen om het interview richting te geven maar dat er ruimte is om het interview een andere wending te geven. Het interview is uitgewerkt in bijlage 5. Expert2 laat in het interview een duidelijke visie zien op de manier waarop het competentie gestuurde onderwijs vorm gegeven zou moeten worden binnen de Biloba kaders. Het gehele onderwijs dient in het teken te staan van het verwerven van competenties. In elke onderwijsactiviteit staan de competenties centraal. Dat betekent dat er bij het beoordelen gekeken wordt naar de verwerving van de competenties. Een gevolg hiervan is dat bij een opdracht waarin aan een beroepsproduct gewerkt wordt de beoordeling van het beroepsproduct niet meer belangrijk is maar de progressie in de ontwikkeling van de competenties. Het beroepsproduct wordt daarmee een instrument waarmee de student kan laten zien dat er al dan niet succesvol gewerkt is aan een competentie. 5.5 De visie van de ontwikkelgroep aan de FSH De leerarrangementen voor de propedeuse zijn momenteel in ontwikkeling. De verschillende schrijfgroepen zijn nog aan het nadenken over de manier waarop de beoordeling wordt vormgegeven binnen de leerarrangementen. Vanuit de verschillende schrijfgroepen wordt gekeken naar de resultaten die in de assessmentwerkgroep bereikt worden. In paragraaf 5.2 is al besproken op welke manier de beoordeling in de leerarrangementen plaats vindt. De gekozen lijn wordt als duidelijk ervaren. Het uitgangspunt dat de student zelf vanuit de beoordelingen de relaties moet leggen met de competenties wordt duidelijk onderschreven maar tegelijkertijd als een mogelijk knelpunt gezien. 5.6 Conclusies De manier waarop het onderwijs vormgegeven wordt op de FSH binnen de Biloba kaders wijkt af van de manier zoals die zichtbaar wordt bij de geïnterviewde expert en op de opleiding Applied Science. De sterke focus op het beoordelen van competenties haalt de aandacht weg bij de beoordeling van de beroepsproducten. Impliciet wordt er wel degelijk belang gehecht aan de beoordeling van beroepsproducten hetgeen blijkt uit de gebruikte beoordelingsformulieren. Maar de beoordelaar doet een uitspraak over de mate waarin een student competent is. Op de 27


FSH is de beoordeling van beroepsproducten een belangrijke schakel in het gehele beoordelingsproces tot aan het competentie-examen. De beoordeling van het beroepsproduct is nl. een belangrijke bouwsteen voor de student om aan te tonen dat deze competent is. Dat betekent dat niet alleen de gebruikte criteria belangrijk zijn voor de student maar tevens de manier waarop feedback gegeven wordt. De eerste deelvraag ‘Hoe moeten beoordelingscriteria voor het beroepsproduct geformuleerd worden rekening houdend met de competenties die in het leerarrangement centraal staan?’ kan nu beantwoord worden vanuit de context van de FSH. Beoordelingscriteria voor het beroepsproduct worden ontleend aan drie verschillende bronnen. 1. Allereerst is er de beroepskenmerkende situatie waarin vooral de bruikbaarheid en de technische kwaliteit van het product naar voren komen. Dit zijn dus eisen die door de gebruiker geformuleerd worden. 2. De opleiding zelf bewaakt het HBO-niveau aan de hand van de HBO-kwalificaties. Deze tweede bron is de basis voor een algemene beoordelingslijst waarmee beroepsproducten beoordeeld kunnen worden. 3. De derde bron wordt gevormd door de competenties waar in het leerarrangement aan gewerkt wordt. De beoordelingscriteria worden dan rechtstreeks afgeleid van de in de competentiematrix opgenomen prestatie-indicatoren die bij de competenties genoemd worden (zie bijlage 10) Het is niet altijd eenvoudig om bij een competentie horende beoordelingscriteria zichtbaar te maken in een beroepsproduct. Een competentie, waarbij prestatie-indicatoren veelal in vormen van gedrag verwoord worden, zoals bv. ‘Interpersoonlijk handelen’ is gemakkelijker te beoordelen aan de hand van een video dan aan de hand van een geschreven lesvoorbereiding. Er is dus een duidelijke relatie aanwezig tussen het beroepsproduct en de competenties die daarin beoordeeld kunnen worden.

28


6

Onderzoek naar deelvraag 2: proces

In dit hoofdstuk wordt naar een antwoord gezocht op de tweede deelvraag: ‘Hoe kan in het beoordelingsproces een hoge beoordelingsbetrouwbaarheid bereikt worden?’. Om deze vraag te beantwoorden wordt in paragraaf 6.1 stilgestaan bij het concept beoordelaarsbetrouwbaarheid. In paragraaf 6.2 wordt nagegaan op welke manier de beoordelaarsbetrouwbaarheid verhoogd kan worden. Hier bij zal aangesloten worden bij het proces van Standard Setting. Vervolgens zal in paragraaf 6.3 gekeken worden naar ervaringen op andere Fontys Hogescholen en in paragraaf 6.4 wordt gekeken naar de mogelijkheden op de FSH. 6.1 Wat is beoordelaarsbetrouwbaarheid? Het beoordelen van tentamens met multiple choice vragen waarbij bij elk item slechts één antwoordalternatief juist is is een eenvoudig proces. Een antwoord is immers goed of fout. Als verschillende personen hetzelfde tentamen beoordelen zullen ze tot dezelfde beoordelingsscore komen. Het beoordelen van een tentamen met open vragen is veel lastiger. Als nu verschillende personen hetzelfde tentamen beoordelen dan is er een reële kans dat de beoordelingen onderling zullen afwijken. Door Dierick, Van de Watering en Muijtjens (2002, p.97) wordt beoordelaarsbetrouwbaarheid als volgt gedefinieerd. “Beoordelaarsbetrouwbaarheid is de mate van overeenstemming tussen beoordelaars”. Het beoordelen kan gezien worden als een classificatietaak van objecten. Aan de prestaties ven de te beoordelen persoon wordt een classificatie gekoppeld. Dat kan een cijfer zijn in de rangen 1 tot 10 maar ook een oordeel in de rangen van matig-onvoldoende-voldoende-goed. Heuvelmans en Sanders (993) definiëren beoordelaarsovereenstemming als de ‘gelijkheid van classificatie’. Beoordelaarsovereenstemming en beoordelaarsbetrouwbaarheid zijn verwante begrippen. Dit blijkt uit de definities die te vinden zijn in de CITO begrippenlijst (CITO, n.d.): “Beoordelaarsovereenstemming is een maat die aangeeft in hoeverre de beoordelingen van de beoordelaars (werkelijk) identiek zijn. De beoordelaarsbetrouwbaarheid is een maat die aangeeft in hoeverre de beoordelingen van de beoordelaars identiek zijn na correctie voor mildheid of strengheid van de beoordelaars”. In de praktijk blijken de begrippen beoordelaarsovereenstemming en beoordelaarsbetrouwbaarheid vaak als hetzelfde concept gezien te worden. In dit onderzoek wordt er ook voor gekozen om geen onderscheid te maken tussen beoordelaarsovereenstemming en beoordelingsbetrouwbaarheid. 6.1.1

Verschillende soorten betrouwbaarheid

Tot nu toe is voornamelijk gesproken over beoordelaarsbetrouwbaarheid. Er is echter niet één soort beoordelaarsbetrouwbaarheid. Er is een driedeling te maken in soorten beoordelaarsbetrouwbaarheid. Rousson, Gasser en Seifert (2002, p.3431) geven de volgende driedeling: • “intrarater reliability (when presenting repeatedly the same observations to one rater); • interrater reliability (when presenting the same observations to two or more raters); • test–retest reliability (when presenting the same task to the same subjects two or more times).” In de definities is duidelijk zichtbaar dat de beoordelaar in dit geval een observator is. De testretest reliability speelt in het onderliggende onderzoek geen rol dus zal niet verder gebruikt worden. Bij de intrarater reliability (intrabeoordelaarsbetrouwbaarheid) gaat het om het consistent beoordelen door één beoordelaar. Wordt de beoordelaar beïnvloed door voorgaande beoordelingen? Wordt de beoordelaar beïnvloed door externe factoren? Deze vorm van beoordelaarsbetrouwbaarheid speelt ook op de FSH een rol aangezien het zeer waarschijnlijk zal zijn dat beoordelaars meerdere beroepsproducten beoordelen. Interrater reliability is de mate van over-

29


eenstemming tussen beoordelingen van verschillende beoordelaars. Onzekerheid over deze vorm van beoordelaarsbetrouwbaarheid is aanleiding geweest voor dit onderzoek. 6.1.2

Beoordelaarsbetrouwbaarheid op een ordinale schaal

Voor de beoordelaarsbetrouwbaarheid bestaan verschillende maten die gehanteerd kunnen worden. Zo zijn er indexen ontwikkeld voor verschillenden meetschalen zoals nominaal (bv. groen, geel, blauw), ordinaal (matig, voldoende, goed) en interval (<0,100>). De indexen geven altijd een waarde terug die maximaal gelijk is aan 1. Bij het beoordelen van beroepsproducten op de FSH zal de ordinale schaal gehanteerd worden. Indexen voor deze schaal zullen hieronder besproken worden. De ordinale schaal bevat categorieën die elkaar volledig uitsluiten waarin een duidelijke volgorde in de categorieën aan te wijzen. Een voorbeeld van een dergelijk schaal (Dochy, Schelfhout & Janssens, 2003), die kan worden gebruikt bij peer-assessments is: 3 = beter dan de rest van de groep 2 = gemiddeld van de groep 1 = niet zo goed als de rest van de groep 0 = geen hulp voor de groep -1 = hinder voor de groep De getallen op deze schaal hebben alleen als doel om de volgorde aan te geven. Ze kunnen zo vervangen worden door woorden zoals ‘goed, gemiddeld, matig, slecht, zeer slecht’ Een nadeel van het gebruik van cijfers, zoals in het voorbeeld, is dat er een vaste afstand tussen de verschillende categorieën wordt gesuggereerd terwijl dit helemaal niet zo hoeft te zijn. De eenvoudigste index voor beoordelaarsbetrouwbaarheid is de proportie overeenstemming P0 voor twee beoordelaars (zie bijlage 6, formule 1 voor de formule van deze index) . De proportie overeenstemming is gedefinieerd als het quotiënt van het aantal overeenstemmende beoordelingen en het totale aantal overeenstemmende beoordelingen (Heuvelman & Sanders, 1993, p.445). Het voordeel van deze index is dat ze eenvoudig is om te begrijpen en gemakkelijk is om te berekenen. Helaas is er ook een nadeel aan proportie beoordelaarsovereenstemming. Er wordt geen rekening gehouden met het feit dat er classificatiefouten gemaakt kunnen worden. Door Cohen (1960) is een index ontwikkeld die wel rekening houdt met het toeval (zie bijlage 6, formule 2). Deze index wordt к genoemd en varieert tussen -1 en 1. Ook deze index is gebaseerd op twee beoordelaars. Uitgangspunt in de formule is de proportie beoordelaarsovereenstemming P0. Er wordt een correctie uitgevoerd om het toeval uit te sluiten. Dit gebeurt door niet alleen naar de overeenstemmende beoordelingen te kijken maar ook naar het patroon van de niet-overeenstemmende beoordelingen. Deze index wordt veel toegepast (Heuvelman & Sanders, 1993, p.450; Gwet, 2001, p.64, Bendermacher & Souren, 2004)). De index к van Cohen (1960) voldoet niet bij het gebruik van een nominale schaal doordat ze geen rekening houdt met de rangorde in de categorieën. Cohen (1968) heeft de index hierop aangepast waardoor de gewogen кw ontstaat (zie bijlage 6, formule 3). Deze index wordt veelvuldig toegepast in onderzoek. Van Bruggen (2002) geeft echter aan dat er vaker gebruik gemaakt wordt van de Spearman rangcorrelatiecoëfficiënt (ρ) of de Pearson correlatiecoëfficiënt (τ). Hij geeft als reden voor het gebruik van de correlatiecoëfficiënt dat deze ongevoelig is voor systematische verschillen tussen beoordelaars. Kijken naar de verschillende maten voor beoordelaarsbetrouwbaarheid kunnen een aantal kenmerkende eigenschappen voor beoordelaarsbetrouwbaarheid opgeschreven worden: 1. de betrouwbaarheid is de mate van overeenstemming tussen beoordelingen 2. correctie kan uitgevoerd worden voor het toeval 3. correctie kan uitgevoerd worden voor systematische afwijkingen 4. er bestaan meerdere indexen voor beoordelaarsbetrouwbaarheid. 5. voor een nominale schaal wordt vaak een correlatiecoëfficiënt gebruikt 30


6.2 Standaardiseren en beoordelaarsbetrouwbaarheid Rousson, Gasser en Seifert (2002) geven aan dat inter- en intrabeoordelaarsbetrouwbaarheid vooral afhangt van een goede training van de beoordelaars en van een goede standaardisatie van de taak. De Jong (1981) noemt de volgende drie onderdelen, die in een correctievoorschrift voor een tentamen te vinden moeten zijn: een algemene beoordelaarsinstructie, een antwoordmodel en een scoringsvoorschrift (zie par. 5.2.1). Op het eerste gezicht lijken de standaardisatie van de taak van Rousson, Gasser en Seifert en het correctievoorschrift van De Jong weinig met elkaar te maken hebben. Echter, het opstellen van een antwoordmodel of het formuleren van beoordelingscriteria is wel degelijk gerelateerd aan de mate waarin de taak is gestandaardiseerd. Het is nu eenmaal eenvoudiger om criteria op te stellen voor een gestandaardiseerde taak dan voor een open taak. Het bestaan van beoordelingscriteria of een antwoordmodel is niet voor de beoordelaarsbetrouwbaarheid echter niet genoeg. De verschillen tussen beoordelaars zullen vooral ontstaan bij het inschalen van prestatieonderdelen van de kandidaat . In welke mate heeft de kandidaat voldaan aan een zeker criterium? Wat de ene beoordelaar als voldoende beschouwt hoeft voor de andere beoordelaar niet voldoende te zijn. Dit is precies het gebied waarop Standard Setting actief is. Het Standard Setting proces is een proces waarin de grenzen tussen verschillende categorieën op de beoordelingsschaal gedefinieerd worden. Als de beoordelingsschaal uit twee categorieën bestaat: onvoldoende-voldoende dan richt het Standard Setting proces zich op de overgang tussen onvoldoende en voldoende, de zak-slaaggrens. Een uitkomst van het Standard Setting proces is een goed gedocumenteerde beschrijving van de verschillende standaarden die horen bij de verschillende categorieën op de beoordelingsschaal. Hambleton (2001) heeft 11 stappen voor het Standard Setting proces opgesteld. Deze stappen zijn in Tabel 3 opgenomen. Tabel 3 11 Steps for Setting Performance Standards (Hambleton, 2001, p.94)

step 1 2 3 4 5 6

7 8 9 10 11

Description Choose a panel (large and representative of the stakeholders) Choose one of the standard-setting methods, and prepare training materials and finalize the needs. Prepare the descriptions of the performance categories (e.g. basic, proficient and advanced) Train panellists to use the method (including practice in providing ratings) Compile item ratings and or other rating data from the panellists (e.g. panellists specify expected performance of examinees at the borderlines of the performance categories). Conduct a pane discussion; consider actual performance data (e.g. Item difficulty, item characteristic curves, item discrimination values; distracter analysis) and descriptive statistics of the panellists’ ratings. Provide feedback on interpanellist and intrapanellist consistency. Compile item ratings a second time that could be followed by more discussion, feedback and so on. Compile panellist ratings and obtain the performance standards. Present consequences data to the panel (e.g. passing rate) Revise, if necessary the performance standards and conduct a panellist evaluation of the process itself and their level of confidence in the resulting standards. Compile validity evidence and technical documentation,

In Tabel 3 is te zien dat er verschillende methoden zijn om het Standard Setting proces uit te voeren. Deze zullen besproken worden in paragraaf 5.2.1.

31


Het trainen van beoordelaars is belangrijk volgens Rousson, Gasser en Seifert (2002). Allereerst is het nodig dat beoordelaars op dezelfde manier met de beoordelingscriteria omgaan en prestatie op een gelijke manier waarderen. Het werken met beoordelingsvoorschriften en antwoordmodellen heeft een positieve invloed op de interbeoordelaarsbetrouwbaarheid (De Jong, 1981) Maar daarnaast wordt de beoordelaar tijdens het beoordelen door verschillende factoren beïnvloed. Een voorbeeld van een factor is het sequentie effect (Van Berkel & Bax, 2002, p. 114; De Jong (1981, p.218). Als een beoordelaar een aantal slechte prestaties heeft beoordeeld dan ontstaat de neiging om een relatief goede prestatie een hogere beoordeling te geven. Deze factoren hebben vooral invloed op de intrabeoordelaarsbetrouwbaarheid. Barrett (2002) laat in een onderzoek zien dat training zowel invloed heeft op de interbeoordelaarsbetrouwbaarheid als de intrabeoordelaarsbetrouwbaarheid In paragraaf 6.2.2. wordt verder ingegaan op de bij de intrabeoordelaarsbetrouwbaarheid horende factoren. 6.2.1

Standard Setting

Het Standard Setting proces wordt veel toegepast bij grote regionale of zelfs landelijke toetsen waarbij veel examinees dezelfde toets maken. Hansche (1998) geeft een aantal voorbeelden (o.a. Colorado Standards-Based Assessment System, Maryland School Performance Assessment Program) waarin in Amerika Standard Setting op state-level wordt toegepast. In het Standard Setting proces worden de grenzen tussen verschillenden beoordelingscategorieën vastgesteld. Voor dit proces bestaan meerdere methodieken. Al deze technieken hebben gemeen dat ze zich richten op het vaststellen van de grens tussen twee aangrenzende beoordelingscategorieën. Deze grens is niet absoluut. Volgens Zieky (2001, p.35) is het algemeen geaccepteerd dat verschillende methodieken ook verschillende grenzen opleveren. In Figuur 6 is te zien dat een beoordelingsschaal met vier categorieën drie grenzen heeft. Het Standard Setting proces zal dan ook drie keer uitgevoerd moeten worden.

Figuur 6 een voorbeeld van een beoordelingsschaal

Omdat toetsen voor grote aantallen toetsen vaak meerkeuzetoetsen zijn is er een aantal Standard Setting methodieken ontwikkeld die uitsluitend geschikt zijn voor dit soort toetsen. Voorbeelden van dit soort methodieken zijn de Nedelski methodiek en de Ebel methodiek (Stephenson, Elmore & Evans, 2000). Methodieken voor meerkeuzetoetsen en open vragentoetsen zullen hier verder niet besproken worden aangezien deze niet toepasbaar zijn voor assessments. Hiervoor zijn andere Standard Setting methodieken ontwikkeld Hansche (1998, p.99-103) noemt acht methodieken die toepasbaar zijn bij assessments. Van deze acht methodieken zijn de volgende bruikbaar voor een assessment waarin een beroepsproduct ontwikkeld wordt: 1. student paper selection 2. holistic approach 3. dominant profile Deze methodieken zullen hier kort besproken worden. Bij de ‘student paper selection’ methodiek wordt een steekproef genomen van de werkstukken en wordt aan de beoordelaars gevraagd om in de werkstukken onderdelen te aan te wijzen die representatief zijn voor de grens die vastgesteld wordt. Dit is een voorbeeld van een methode waarin het werk van de studenten als uitgangspunt genomen wordt. Een nadeel is dat de methode erg arbeidsintensief is en dat de standaard gebaseerd wordt op het werk van het aantal werkstukken in de steekproef hetgeen klein kan zijn t.o.v. het totale aantal werkstukken. Bij de ‘holistic approach’ wordt het werkstuk als geheel gekeken en vervolgens geplaatst in één van de beoordelingscategorieën. Docenten hebben vaak al ervaring met het inschatten van een 32


student op basis van eerste globale indrukken van de prestaties (Kane, 2001, p.62). Om de precieze grenzen van de categorieën te bepalen kunnen verschillenden strategieën gebruikt worden. Stephenson, Elmore en Evans (2000) beschrijven de ‘up and down method’. Er wordt een werkstuk gekozen net onder de grens zit en er wordt een volgend werkstuk gekozen dat net iets beter is. Als dit werkstuk net boven de grens wordt geclassificeerd dan wordt vervolgens een werkstuk gekozen dat niet iets minder is. Dit proces leidt naar een aanscherping van de grens. De ‘dominant profile’ methodiek gaat uit van het beoordelingsschema. Er wordt gekeken naar de verschillende onderdelen en per onderdeel wordt bepaald wat de score is op de beoordelingsschaal. Vervolgens wordt over alle onderdelen een profiel opgesteld waaraan de werkstukken moeten voldoen om ingedeeld te kunnen worden in een categorie. Deze methodiek is niet gebaseerd op het werk van studenten en kan uitgevoerd worden voordat de opdracht aan studenten wordt uitgereikt. Een voordeel is dat beoordelaars vooraf discussiëren over de standaarden waardoor een transparante beoordelingssystematiek kan ontstaan. Tegelijkertijd is er ook het risico dat de beoordelaars verschillend denken over het gewenste profiel. Als er geen overeenstemming bereikt wordt loopt deze methodiek vast en zal toevlucht gezocht moeten worden bij en andere methodiek. In de bespreking van de drie methodieken blijkt dat er een tweedeling is te maken in soorten methodieken. Enerzijds zijn er de technieken die gebaseerd zijn op de taak (dominant profile) en anderzijds zijn er de methodieken die uitgaan van het werk van studenten (student paper selection en holistic approach). Er wordt bij deze indeling gesproken van een test-centered of een student-centered methodiek (Stephenson, Elmore & Evans, 2000; Hansche, 1998 & Cizek, 2001). 6.2.2

Factoren die de intrabeoordelaarsbetrouwbaarheid beïnvloeden

Door Rousson, Gasser en Seifert (2002) zijn twee belangrijke factoren genoemd die bijdragen aan een goede intrabeoordelaarsbetrouwbaarheid. Dit zijn training van de beoordelaars en standaardisatie van het beoordelingsproces. Bij een goede intrabeoordelaarsbetrouwbaarheid beoordeelt de beoordelaar op een consistente manier. Door Heller, Sheingold en Myford (1998) worden drie validiteitbedreigers genoemd die betrekking hebben op het beoordelingsproces en daardoor beschouwd kunnen worden als factoren die de intrabeoordelaarsbetrouwbaarheid negatief beïnvloeden. Dit zijn: a. weglaten van essentiële processen b. toevoegen van extra en niet passende processen c. uitvoeren van processen in een volgorde die effect heeft op de betekenis van de beoordeling Deze drie punten hebben direct te maken met de standaardisatie van het beoordelingsproces. In de traditionele testliteratuur (De Jong, 1981; Van Berkel & Bax, 2002) worden de volgende vier factoren genoemd die invloed hebben op de intrabeoordelaarsbetrouwbaarheid. 1. normverschuiving 2. sequentie-effect 3. halo-effect 4. contaminatie-effect Van normverschuiving is sprake als de beoordeling in de tijd strenger of juist milder wordt. Bij het sequentie-effect hebben voorafgaande beoordelingen een effect op de beoordeling. Als er veel slechte prestaties zijn gepasseerd zal de beoordelaar de neiging hebben om een goede prestatie te overwaarderen. Bij het Halo-effect spelen bij de beoordeling andere factoren een rol. Als bekend is dat het werkstuk door als goed bekend staande studenten is gemaakt dan zal het werkstuk als beter beoordeeld worden dan als het werkstuk is gemaakt door als zwak bekende studenten. Bij het contaminatie-effect leggen de docenten een relatie tussen de beoordeling en het onderwijs dat zij verzorgd hebben. Deze vier factoren hebben invloed op het beoordelingsproces dat door de beoordelaar uitgevoerd wordt. De eerste drie factoren spelen bij elk beoordelingsproces een rol dus ook bij het beoordelen van beroepsproducten. Het contaminatie-effect kan bij 33


assessments eenvoudig voorkomen worden door begeleiding en beoordeling te scheiden. Dit wordt ook door Van Berkel en Bax (2002, p.309) geadviseerd bij het beoordelen van beroepsproducten. Deze lijst met factoren kan verder uitgebreid worden (assessorentraining, 2005): 5. eerste indruk-effect 6. beoordelingsfouten door sympathie, gelijkenis of associatie (bv. beoordelaar en beoordeelde zijn fan van dezelfde voetbalclub) 7. projectie (de beoordelaar ‘herkent’ een eigen persoonseigenschap in de beoordeelde) 8. stereotypering en vooroordelen 9. impliciete persoonlijkheden (sommige eigenschappen lijken vaak samen te gaan, bv. langzaam werken wordt geassocieerd met zorgvuldig werken) 6.3

Visie van experts

6.3.1

Interview met een Fontys onderwijsconsultant

Er is een interview geweest met Expert2, onderwijsconsultant aan Fontys Hogescholen (zie bijlage 5). Op de vraag ‘Hoe zorg je er voor dat beoordelingen van verschillende beoordelaars niet te ver uit elkaar lopen?’ reageert hij door te stellen dat beoordelaars altijd moeten kunnen overleggen dat wil zeggen dat bij een beoordeling altijd twee beoordelaars aanwezig moeten zijn. Juist het overleggen zorgt er voor dat verschillen in beoordelingen worden afgevlakt. Het beoordelen aan de hand van een vaste methodiek zoals de Wakker-methode helpt om de beoordelaars te focussen op datgene dat beoordeeld dient te worden. Training in de methodiek maar ook het tussentijds samen bespreken van beoordelingen en aan elkaar verantwoorden waarom op een bepaalde manier beoordeeld is draagt ook bij aan een goede beoordelaarsbetrouwbaarheid. 6.3.2

Interview met een Fontys docent

Een interview met Expert3, Bilobaprogrammalijnmanager Toetsing en Assessment en tevens docent aan de Pabo Eindhoven/Veghel geeft eenzelfde beeld als het interview met Expert2 (zie bijlage 7). De beoordelaarsbetrouwbaarheid wordt op een positieve manier beïnvloed door beoordelaars met elkaar in dialoog te laten gaan, Expert 3 heeft als een van de weinige Fontys docenten al echt ervaring competentie-examens. Op de Pabo Eindhoven/Veghel zijn in januari 2006 de eerste competentie-examens afgenomen. Het gehele beoordelingsproces wordt ondersteund met het gebruik van eenvoudige duidelijke beoordelingsformulieren voor zowel de beoordeling door assessoren op het competentie-examen (projectgroep Competentie-Examen Hoofdfasebekwaam [PCEH], 2006) als voor het beschrijven van bewijzen die opgenomen worden in het portfolio (Managementteam en docenten Fontys Pabo Eindhoven/Veghel [Pabo],2005). Op een ‘outputformulier’ (Pabo,2005) beschrijft de student kort de kritische beroepssituatie, het bewijsmateriaal, het zelf ingeschatte beheersingsniveau en de referentie(s). Zowel voor studenten als voor assessoren is dit een duidelijk en werkbaar formulier. Voor de werkplekbeoordeling is een apart ‘outputformulier’ ontwikkeld. Dit is een licht aangepaste versie van het standaardformulier. Daarnaast zijn er ook standaard formulieren voor 3600-feedback en voor peer-assessments. Ook in de assessorenhandleiding (PCEH, 2006) zijn standaard formulieren ontwikkeld die gebruikt worden bij het portfolioassessment. Het hele beoordelingsproces van het competentie-examen is helder en duidelijk beschreven waarbij standaardisering zorgt voor transparantie en duidelijkheid. Kijkend naar het assessmentproces zoals dat verwoord is door Expert3 en is beschreven in de handleiding voor studenten (Pabo,2005) en de handleiding voor assessoren (PCEH,2005) kan opgemerkt worden dat er naar gestreefd wordt om op competentie-examenniveau een overzichtelijk beoordelingsproces neer te zetten. Standaardisering op dit niveau zorgt voor een hoge beoordelaarsbetrouwbaarheid. De mix van beoordelingsinstrumenten en van beoordelaars laat

34


op leerarrangementniveau wel wat fluctuaties zien maar op competentie-examenniveau worden deze fluctuaties uitgedempt. 6.4 Wat zijn de mogelijkheden op de FSH? Het beoordelingsproces kan in beeld gebracht worden aan de hand van de volgende vijf vragen (Straetmans & Sanders, 2001): 1. Wie wordt beoordeeld? 2. Waartoe wordt beoordeeld? 3. Wat wordt beoordeeld? 4. Hoe wordt beoordeeld? 5. Door wie wordt beoordeeld? Aan de hand van deze vijf vragen zal in deze paragraaf bekeken worden welke mogelijkheden en beperkingen er op de FSH zijn. 6.4.1

Wie wordt beoordeeld?

In een leerarrangement is het beroepsproduct veelal het resultaat van groepswerk. Het beroepsproduct wordt beoordeeld. De beoordeling wordt gegeven aan de groep studenten. De beoordeling is dus niet individueel. De individuele student kan de beoordeling niet gebruiken als direct bewijs voor het verworven hebben van een zekere competentie op een bepaald niveau. Expert4 benadrukt dat groepsbeoordelingen wettelijk niet toegestaan zijn (zie bijlage 9). Uit de interviews met de experts blijkt dat op andere opleidingen (Applied Science en Pabo Eindhoven/Veghel) de student wel individueel beoordeeld worden bij groepswerk. 6.4.2

Waartoe wordt beoordeeld?

Het doel van de beoordeling is tweeledig. Allereerst zal het beroepsproduct aan een aantal standaarden moeten voldoen die opgelegd worden door de verschillende stakeholders (zie paragraaf 5.2.1). Daarnaast is de beoordeling voor de student een belangrijke bron om aan te tonen dat deze competent is. De beoordeling vormt samen met een 3600-feedback, een reflectie en het beroepsproduct een geheel. In het leerarrangement staan één of meerdere competenties centraal. Het is niet zo dat al deze competenties in het beroepsproduct zichtbaar (kunnen) worden. In de OER (2005) wordt een onderscheid gemaakt in summatieve en formatieve toetsen. In Tabel 4 zijn de gehanteerde definities opgenomen: Tabel 4: definities formatieve en summatieve toetsen (bron: OER, 2005)

toetsvorm Formatieve toets Summatieve toets

definitie Toets waarbij de student kan nagaan hoe de verwerving van competenties vordert. Toetsing die onder vastgestelde omstandigheden plaats vindt waardoor deze valide en betrouwbaar is. Summatieve toetsing kan schriftelijk of mondeling plaatsvinden of op een andere manier (bv. projectverslag, presentatie, logboek etc.). Het resultaat kan door de student als bewijs ingebracht worden in zijn portfolio.

Het beroepsproduct op zich is geen formatieve of summatieve toets. De samenstelling van beroepsproduct, de beoordeling ervan en de 3600-feedback vormt wel een summatieve toets. De Hendriks en Schoonman (2006, p.44) geven aan dat formatieve beoordeling gericht is op ontwikkeling en verbetering terwijl summatieve beoordeling gericht is op vaststelling van een bereikt niveau. De beoordeling van het beroepsproduct bevat zowel summatieve als formatieve kenmerken. De beoordeling is summatief doordat er kwaliteitseisen aan het beroepsproduct worden gesteld en er getoetst wordt of deze kwaliteitseisen zijn behaald. Daarnaast is de beoordeling formatief aangezien de beoordeling aan de student de mogelijkheid geeft om zelf te toet35


sen in welke mate de beoordeelde competenties verworven zijn. Daarmee kan de student richting geven aan net vervolg van de studieloopbaan. 6.4.3

Wat wordt beoordeeld?

Het beroepsproduct is een tastbaar product. Het kan een rapport zijn maar ook een videoopname. Het product is tastbaar aangezien het als bewijsstuk moet kunnen worden opgenomen in het portfolio. 6.4.4

Hoe wordt beoordeeld?

De beoordeling wordt uitgevoerd aan de hand van gestandaardiseerde beoordelingslijsten waarop de criteria beoordeeld worden op een nominale schaal. Voor elk leerarrangement worden per beroepsproduct beoordelingslijsten ontwikkeld. Volgens de geïnterviewde experts dienen de beoordelingscriteria direct afgeleid te zijn van de bij de competentie horende prestatieindicatoren. De door de experts gepropageerde manier van beoordelen wijkt af van de manier van beoordelen op de FSH. De criteria in de beoordelingslijsten zullen niet alleen van de competenties afhankelijk zijn maar ook van de opgelegde eisen van de stakeholders en de eigen eisen van de opleiding (zie hoofdstuk 5). Het is bij de beoordeling niet voldoende om elk criterium alleen te waarderen op de beoordelingsschaal. Omdat de student de beoordeling gebruikt als middel om competenties aan te tonen is het belangrijk dat de beoordeling ook duidelijk feedback bevat die de student kan relateren aan de competenties. In hoofdstuk 7 wordt verder ingegaan op feedback bij de beoordeling. In het eerste leerjaar zijn er ongeveer tien leerarrangementen die elkaar meestal direct opvolgen maar soms ook gedeeltelijk overlappen. Het gegeven dat de beoordeling niet alleen een eindpunt is maar tevens een vertrekpunt in de studieloopbaan legt een tijdsdruk op de beoordeling. Dat heeft ook gevolgen voor de te kiezen Standard Setting methode uit de drie besproken methoden: student paper selection, holistic approach en dominant profile. De eerste twee methoden leggen een zware claim op de beschikbare tijd tussen het opleveren van het beroepsproduct en de definitieve beoordeling. De dominant profile methode is test-centered waardoor er voorafgaand aan het eigenlijke beoordelingsproces al overeenstemming bereikt kan worden over de gedetailleerde uitwerking van de te hanteren normering. 6.4.5

Door wie wordt beoordeeld?

De beoordeling vindt plaats door een onafhankelijke beoordelaar. Deze beoordelaar is een docent van de FSH. Het kan zijn dat deze docent betrokken is bij het begeleiden van studenten in hetzelfde leerarrangement maar het is niet zo dat de beoordelaar studenten zowel begeleidt als beoordeelt. Het beroepsproduct wordt beoordeeld door één beoordelaar. Op Fontys Hogescholen worden binnen het Biloba onderwijstransformatieproces trainingen voor assessoren georganiseerd. Inmiddels zijn er 14 docenten die deze training gevolgd hebben en in een inventarisatie hebben nog eens 23 docenten aangegeven interesse te hebben om de training te volgen. Deze training richt zicht echter op de competentie-examens, niet op beoordelen binnen de leerarrangementen. Wel mag een positieve invloed verwacht worden van de effecten van deze cursus op het beoordelen van beroepsproducten. Belangrijke aspecten in de training zijn nl. systematisch werken volgens een vaste methodiek (Wakker-methode en criteriumgericht interview). Er is veel ervaring met beoordelen in de huidige bewegingsvaardigheden. De onderzoeker is uitgenodigd om een Performance-Assessment-Center (PAC) bij te wonen voor de bewegingsvaardighedenlijn Bewegen en Muziek (op 17 maart 2006) waarin studenten op verschillende stations activiteiten dienden uit te voeren waarbij gebruik werd gemaakt van meerdere beoordelaars (docenten, studenten, stagiaires) die beoordeelden aan de hand van beoordelingslijsten met zorgvuldig opgestelde beoordelingscriteria. Ook bij andere bewegingsvaardighedenlijnen wordt veelvuldig gebruik gemaakt van uitgebreide beoordelingslijsten. Uit gesprekken met docenten 36


blijkt dat de neiging bestaat om in te zoomen op kleine deelvaardigheden en deze te beoordelen op een aantal criteria. Als gevolg hiervan worden beoordelingscijfers samengesteld aan de hand van veel deelcijfers. Daar waar het PAC als een good practice beschouwd kan worden dat mooi kan passen binnen het competentiegestuurde curriculum kan de cijfercultuur met gedetailleerde beoordelingen op kleine deelvaardigheden als een zorgpunt beschouwd worden voor de Biloba onderwijstransformatie 6.5 Conclusies Er is een duidelijk verschil tussen de benadering die zichtbaar wordt in de interviews met de beide experts en de benadering van de FSH. In de benadering van de experts gaat de student met bewijsmateriaal voor een competentie naar een beoordelaar en vraagt om feedback. Daarmee ontstaat duidelijk afgebakend bewijsmateriaal dat in het portfolio opgenomen kan worden. De benadering van de FSH is meer open. De student geeft zelf aan op basis van het bewijsmateriaal (beroepsproduct + beoordeling + 3600-feedback) door middel van een reflectie in hoeverre competenties zijn verworven. In de interviews is duidelijk naar voren gekomen dat werken volgens een vaste methode wenselijk is. Daarnaast wordt ook de dialoog tussen beoordelaars en assessoren als belangrijk gezien. Dit zijn ook de twee pijlers waarop trainingen voor assessoren en beoordelaars gebaseerd moeten worden In het interview met Expert3 is duidelijk geworden dat het gehele beoordelingsproces ondersteund wordt met beoordelingsformulieren volgens een vast format. Met deze vorm van standaardisering wordt het beoordelingsproces transparant gemaakt voor zowel de student als de beoordelaar of assessor. Ook op de FSH wordt gewerkt met beoordelingsformulieren die gestandaardiseerd zijn. De basis van deze standaardisering is te vinden in het Standard Setting proces. Het optimaliseren van de beoordelaarsbetrouwbaarheid is hierbij het doel. Het Standard Setting proces is een proces dat vooral toegepast wordt bij grote beoordelingsprojecten zoals landelijke examens waarbij veel dezelfde of gelijkwaardige producten beoordeeld moeten worden door een aantal beoordelaars. Het Standard Setting proces kan niet zomaar toegepast worden op de FSH bij het beoordelen van beroepsproducten. Het beoordelingsproces op de FSH is daar te klein voor. Wel levert Standard Setting een aantal mogelijke methodieken op. De “student paper selection” en de “holistic approach” zijn genoemd als “student centered methods”. Deze twee methodieken zijn wellicht in een trainingssituatie interessant maar lijken voor toepassing in de praktijk op de FSH niet realistisch. Verwacht mag worden dat er weinig tijd beschikbaar zal zijn op beroepsproducten te beoordelen. De student zal nl. wachten op de beoordeling van het beroepsproduct om een reflectie te kunnen schrijven. De derde genoemde methodiek, de “test-centered” methodiek “dominant profile” kan vooraf uitgevoerd worden en lijkt een methodiek die ook binnen de FSH gebruikt kan worden. Een belangrijk voordeel van deze methodiek is dat er voorafgaand aan de werkelijke beoordeling door de beoordelaars gepraat wordt over de manier waarop er beoordeeld gaat worden. De dialoog (zoals ook benadrukt in de interviews) is dan al aanwezig. De tweede deelvraag ‘Hoe kan in het beoordelingsproces een hoge beoordelingsbetrouwbaarheid bereikt worden?’kan nu beantwoord worden. Het toepassen van de Standard Setting methodiek: “Dominant profile” draagt bij aan het verhogen van de beoordelaarsbetrouwbaarheid doordat het vaststellen van het beoordelingsprofiel vooraf bijdraagt aan een gezamenlijk gedragen opvatting van de manier waarop beoordeeld gaat worden. Tegelijkertijd kan het toepassen van de methodiek als een trainingsvorm beschouwd worden die binnen de tijdsbeperkingen van de FSH uitgevoerd kan worden.

37


7

Onderzoek naar deelvraag 3: output

In dit hoofdstuk wordt naar een antwoord gezocht op de derde deelvraag Hoe dient de beoordeling vormgegeven te worden om als waardevolle feedback te fungeren voor de student bij het reflecteren op de opdracht gerelateerd aan de competenties? De vraag wordt beantwoord vanuit het perspectief van de beoordelaar. In paragraaf 7.1 wordt ingegaan op de vraag wat feedback is. Verschillende regels voor het geven van feedback worden besproken in paragraaf 7.2 waarna in paragraaf 7.3 de rol van feedback in het competentiegestuurde opleidingsmodel van Fontys Hogescholen uitgewerkt wordt. In de conclusie (paragraaf 7.4) wordt teruggekoppeld naar de derde deelvraag. 7.1 Wat is feedback? Het van oorsprong engelse woord ‘feedback’ is ook terug als Nederlands woord te vinden in het Nederlandse woordenboek en wordt dan vertaald als ‘terugkoppeling’ (Van Dale, 2005). Meestal wordt feedback gegeven op basis van een handeling of prestatie die beoordeeld wordt aan de hand van objectieve criteria (Boekaerts & Simons,2003, p.212). Feedback heeft dus te maken met oordelende. Feedback heeft echter geen oordelende functie maar een registrerende functie. Feedback heeft niet alleen een registrerende functie maar ook een (bij)sturende functie Dit blijkt duidelijk door de aan feedback verwante begrippen, zoals reïnforcement, sociale ondersteuning, bekrachtiging en afkeuring die door Boekaerts en Simons worden genoemd. Met een eenvoudig voorbeeld is het regeleffect dat door de bijsturing ontstaat zichtbaar te maken. Voorbeeld 7.1: Een bekend getallenraadspelletje gaat als volgt: Een spelleider neemt een getal tussen 0 en 1000 in gedachten en een speler probeert het getal te raden. Bij elke keer dat de speler een getal noemt wordt geef de spelleider één van de responsies: ‘te hoog’,’ te laag’ of ‘goed’. Het spelletje gaat net zo lang door totdat het getal geraden wordt. In het spelletje in voorbeeld 7.1 vergelijkt de spelleider het door de speler genoemde getal met het te raden getal en oordeelt of de twee getallen overeenkomen of niet. Als de getallen overeenkomen dan meldt de spelleider dit en stopt het spel. Als de getallen niet overeenkomen dan geeft de spelleider de respons ‘te hoog’ of ‘te laag’. Deze respons is op te splitsen in twee delen: een oordeel en een bijsturing. Als de spelleider de respons ‘te hoog’ geeft dan weet de speler dat het genoemde getal niet goed is (het oordeel) èn dat het genoemde getal groter is dan het te raden getal (bijsturing). Als de spelleider alleen zou reageren met de responsies: ‘goed’ of ‘niet goed’ dan weet de speler niet hoe het volgende te raden getal gekozen moet worden om dichter bij het te raden getal te zitten. Het is dan heel aannemelijk dat een volgend getal zelfs verder van het te raden getal af ligt. Feedback bevat, zoals in voorbeeld 7.1 blijkt, twee componenten: een oordeel en een mogelijkheid tot bijsturing. In voorbeeld 7.1 wordt de bijsturing gegeven door de spelleider. Een heel andere vorm van feedback wordt zichtbaar in voorbeeld 7.2 Voorbeeld 7.2: Een wedstrijdschaatser wil de 10km (25 rondjes van 400m) rijden in een vlakke race met een eindtijd van 12min 45sec. De schaatser moet dan rondjes van 30.6sec rijden.De coach houdt elke ronde de laatste rondetijd (zonder tientallen) omhoog. Als de coach het bord 0.3 omhoog houdt dan weet de schaatser dat hij te hard gaat en iets langzamer moet gaan schaatsen. Als op het bord 1.0 staat dan weet de schaatser dat hij moet gaan versnellen.

38


In voorbeeld 7.2 wordt de informatie aangeleverd door de informatie aangeleverd door de snelheidsmeter. Het bord van de coach geeft alleen informatie, geen oordeel en ook geen bijsturing. Aan de hand van de informatie kan de schaatser zelf een oordeel vormen en zelf bepalen of harder of zachter geschaatst moet worden. Daarmee kan de informatie toch als een vorm van feedback gezien worden. Feedback kan verschillende vormen hebben zoals in voorbeeld 7.1 en 7.2 blijkt. Het onderliggende proces lijkt in deze twee voorbeelden echter wel veel op elkaar. In beide gevallen gaat het immers om een cyclus waarin toegewerkt wordt naar een vast getal waarbij meerdere cycli doorlopen wordt. In de praktijk zal echter de regelcyclus vaak niet duidelijk herkenbaar zijn doordat de tijdspanne van de cyclus lang is of doordat de cyclus slechts één keer wordt doorlopen. Feedback wordt gezien als een hulpmiddel om in leersituaties de leermogelijkheden zichtbaar te maken en om bewust te worden van het eigen gedrag (Van Oudenhoven & Giebels, 2003, p. 130). Feedback wordt dan onderdeel van de leercyclus. Dit kan de cyclus van Kolb (1984) zijn waarin het proces van ervaringsleren wordt weergegeven in de vier stappen ‘concreet ervaren - reflectief observeren – abstract conceptualiseren – actief experimenteren” maar ook een leercyclus die gebaseerd is op het kwaliteitsmodel van Deming (1986): ‘plan - do – check – act’. Ook in een assessmentraject is feedback een belangrijk hulpmiddel. Doel van de feedback is dan het accepteren van de beoordeling en tevens stimuleren van aanpassing van het gedrag (Tillema, 2001, p.333). 7.2 Feedbackregels Bij feedback is altijd een feedbackgever betrokken en een feedbackontvanger. De feedback kan als een communicatieboodschap gezien worden .

Figuur 7 communicatiemodel (bron: Steehouder, 1999, p.22, bewerkt)

In Figuur 7 is een communicatiemodel weergegeven dat bestaat uit drie delen. Een zender (de feedbackgever), een ontvanger (de feedbackontvanger) en een uiting (de communicatieboodschap in een medium). Er van uitgaande dat de feedbackontvanger telkens een persoon is zijn er verschillende vormen van feedback te onderscheiden. Deze zijn opgenomen in Tabel 5. Tabel 5 overzicht feedbackvormen

Code CCP

zender Computer

PPP

Persoon

PGP

Persoon

medium Ontvanger voorbeeld opmerking Computer Persoon Formatieve compu- -beperkte ruimte voor tertoets feedback (beeldscherm) -feedback is standaard Papier Persoon Beoordeling van -feedback op papier kan rapport harder overkomen dan bedoeld Gesprek Persoon beoordelingsgesprek -zowel verbale als nonverbale communicatie

Voor elk van de feedbackvormen in Tabel 5 zijn regels gepubliceerd waarmee de kwaliteit van feedback geoptimaliseerd kan worden. Veel regels zijn voor alle feedbackvormen hetzelfde maar een aantal regels zijn wel verschillend. In Tabel 6 zijn een aantal regels uit verschillende bronnen verzameld en samengevoegd voor een overzicht. Daarbij is voor de drie feedbackvormen de drieletterige codering gebruikt die ook te zien is in Tabel 5. In Tabel 6 wordt duidelijk 39


zichtbaar dat de registrerende en (bij)sturende functie van feedback onafhankelijk is van de drie genoemde feedbackvormen. Tabel 6 feedbackregels

Codering (zie Tabel 5) PGP, CCP, PPP PGP, CCP, PPP PGP, CCP, PPP PGP PGP, CCP PGP PGP, CCP, PPP PGP, CCP PGP, CCP CCP PGP PPP PPP PPP PGP, PPP

Regel:

Bron:

Feedback is beschrijvend Feedback is specifiek Feedback is bruikbaar Feedback is gewenst Feedback is tijdig Feedback is controleerbaar Feedback is positief geformuleerd Feedback is objectief Feedback bevat studeeraanwijzingen Feedback is beknopt Feedback is in de ikvorm Detectie: geef duidelijk aan waar problemen zitten Diagnose: geef duidelijk aan wat er aan de hand is Remedie: geef verbeteraanwijzigen Feedback is doelgericht

1,4,6,7 1,2,4,6,7 1,2,4,5,6 1,2 1,4,5,7 1 2,3,4,6 3 4,7 4 5.6 6 6 6 2,6

Bron: 1: Van Oudenhoven & Giebels, 2003; 2: Menko, 2004; 3: Tillema, 2001; 4: Van Berkel & Bax, 2002; 5: Alblas & Wijsman, 2001; 6: Steehouder: 1999; 7: Boekaerts & Simons, 2003

Naar aanleiding van de eerste ervaringen met competentie-examens op de Pabo Eindhoven/Veghel is door het team van assessoren een eigen lijst met feedbackregels ontwikkeld. Het geven van feedback werd als moeilijk ervaren en het bleek dat er grote verschillen waren tussen assessoren in de manier waarop feedback gegeven werd (zie het interview met Expert3 in bijlage 7). De feedbackregels voor de competentie-examens zijn met een duidelijke omschrijving opgenomen in bijlage 8. Hieronder worden de regels opgesomd: - “Geef zowel positieve als negatieve feedback - Beschrijf waargenomen gedrag of resultaat van gedrag - Wees zo specifiek en concreet mogelijk - Zorg dat feedback actueel is - Geef ik-boodschappen - Formuleer verbeterpunten - Geef (bij mondelinge) feedback ruimte voor reacties” (overgenomen uit bijlage 8). Feedback bij de competentie-examens omvat de twee vormen PGP (persoon-gesprek-persoon) en PPP (persoon-papier-persoon). Bij vergelijking van deze feedbackregels met de regels in Tabel 6 valt op dat de regels bijna letterlijk zijn terug te vinden. De eerste regel “Geef zowel positieve als negatieve feedback” wijkt af doordat hierin ook negatieve feedback genoemd wordt hetgeen niet lijkt te passen bij de regels in Tabel 6. De uitleg bij deze regel (zie bijlage 8) laat zien dat bedoeld wordt dat feedback zowel op sterke als op zwakke punten gegeven wordt. Daaruit kan afgeleid worden dat de formulering van deze regel wat ongelukkig is. De laatste regel “Geef (bij mondelinge) feedback ruimte voor reacties” wijkt ook af van de regels in Tabel 6. Daar waar alle regels in Tabel 6 duidelijk uitgaan van communicatie in één richting is er bij deze laatste regel sprake van communicatie in twee richtingen. De reactie maakt duidelijk of de feedback is overgekomen, of de feedback terecht is, of de feedback voldoende duidelijk is. De tweerichtingen communicatie draagt bij aan aanvaarding van de feedback (Menko, 2004).

40


In het interview (zie bijlage 7) gebruikt Expert 3 telkens de term ontwikkelingsgerichte feedback in plaats van feedback. Het bijvoegsel ‘ontwikkelingsgericht’ is eigenlijk overbodig maar daarmee benadrukt hij de sturende functie van feedback. Bij competentie-examens signaleert Expert3 een belangrijke valkuil bij het geven van feedback. Het is in zijn ogen verleidelijk om feedback te geven buiten de beoordelingskaders. Een beoordelaar ziet de hele performance, bekijkt het hele portfolio en kan daarbij veel meer zien dan waarop beoordeeld wordt. Het beperken tot feedback binnen de beoordelingskaders draagt bij aan de doelgerichtheid van feedback. 7.3 Feedback, het competentie-examen en bewijzen in het portfolio Het competentie-examen is een summatieve toets. De uitkomst van het competentie-examen is het oordeel of een student al dan niet bekwaam is op de beoordeelde competenties. Tegelijkertijd heeft het competentie-examen een formatief karakter. Een student zal willen weten waarop de beoordeling gebaseerd is. Enerzijds als rechtvaardiging van het oordeel maar tevens ook om de beoordeling als tussenpunt te gebruiken in de competentieontwikkeling. Dit is de achterliggende reden waarom er een sterke behoefte is om te werken aan de kwaliteit van de feedback bij competentie-examens zoals uit het interview met Expert3 (zie bijlage 7) blijkt. De rol van feedback is niet beperkt tot het competentie-examen. Ook in het traject naar het competentie-examen toe speelt feedback een belangrijke rol. In het portfolio worden door de student bewijzen verzameld die aan moeten tonen dat de student competent is. Het gegeven dat een kennis- of vaardigheidstoets met een voldoende is afgesloten of dat een beroepsproduct als voldoende is beoordeeld geeft de student weinig mogelijkheden om prestatie-indicatoren bij competenties zichtbaar te maken. Volgens Expert4 (zie bijlage 9) is dit een sterke aanleiding om veel aandacht te besteden aan feedback. Zij stelt dat feedback gegeven dient te worden aan de hand van de prestatie-indicatoren. Bij kennis- en vaardigheidstoetsen zal dit lastig worden. De prestatie-indicatoren zijn geformuleerd in termen van waarneembaar gedrag of resultaat van gedrag. In Figuur 8 is te zien dat de prestatie-indicatoren zich dan boven de waterlijn van de ijsberg bevinden terwijl kennis en vaardigheden zich onder de waterlijn bevinden..

Figuur 8 ijsbergmodel competenties (Van Dinther, 2005)

41


In bijlage 11 is een overzicht opgenomen van de prestatie-indicatoren horende bij één kenmerkende beroepssituatie zoals beschreven door De Brouwer (2006b). Een voorbeeld van een prestatie-indicator is: ‘Gebruikt de verschillende materialen en apparaten ten behoeve van de verschillende bewegingssituaties op een adequate wijze.’(bijlage 11). De indicator zegt iets over het adequaat gebruik van materialen hetgeen duidelijk gerelateerd is aan het gedrag (of resultaat van gedrag) dat geobserveerd kan worden. Expert4 legt een sterke relatie tussen uitspraken over competenties (beoordeling en/of ontwikkeling) en feedback. Deze relatie wordt ook benadrukt door Expert3. Daarbij gaan ze allebei zonder dit expliciet te melden telkens uit van feedback bij observeerbaar gedrag. Beroepsproducten kunnen gezien worden als resultaat van gedrag. Daarin wordt het lastig om de prestatieindicatoren rechtstreeks is te herkennen. Expert1, Expert2 en Expert3 leggen duidelijk de verantwoordelijkheid bij de student zoals door Expert2 duidelijk als volgt verwoord wordt: “De student kiest zelf aan welke competentie gewerkt wordt in een opdracht. Ook kiest de student zelf de prestatie-indicator waarop die beoordeeld wil worden. Als het beroepsproduct gereed is dan stapt de student naar de beoordelaar en vraagt deze om hem/haar te beoordelen op de zelfgekozen prestatie-indicatoren aan de hand van het beroepsproduct. De student legt de beoordelaar bewijs voor dat hij/zij wil opnemen in het portfolio. De beoordelaar geeft hier feedback.” (zie Bijlage 5) Met deze constructie legt de student de link tussen gedrag en resultaat van gedrag. De beoordelaar kan dan gericht feedback geven aan de hand van de prestatie-indicatoren. 7.4 Conclusies Feedback kent veel verschijningsvormen variërend van een voorgeprogrammeerde terugkoppeling in een meerkeuzetoets op de computer tot mondelinge feedback tussen feedbackgever en – ontvanger. De eerste associatie bij feedback betreft meestal deze laatste vorm zoals ook uit de gesprekken met de verschillenden experts is gebleken. Belangrijke regels voor feedback zijn opgenomen in Tabel 5. De door het team van Expert3 opgestelde feedbackregels (zie bijlage 8) blijken hiermee heel sterk overeen te komen. De rol van feedback bij het beoordelen op de competentie-examens wordt als belangrijk ervaren. Enerzijds als verantwoording van de beoordeling maar anderzijds als concreet hulpmiddel bij de ontwikkeling van competenties. Het is niet voor niets dat Expert3 (zie bijlage 3) heel bewust spreekt over ontwikkelingsgerichte feedback. Om de feedback effectief te laten zijn worden de prestatie-indicatoren als uitgangspunt genomen. Door feedback te geven vanuit de prestatie-indicatoren wordt het niveau van de te beoordelen competentie het beste in beeld gebracht. De derde deelvraag “Hoe dient de beoordeling vormgegeven te worden om als waardevolle feedback te fungeren voor de student bij het reflecteren op de opdracht gerelateerd aan de competenties?”kan nu beantwoord worden vanuit de context van de FSH. Feedback speelt een belangrijke rol in leerweg van de student zoals duidelijk blijkt uit het interview met Expert 3 en onderstreept wordt door Expert1, Expert2 en Expert4. Dat de feedback gerelateerd dient te zijn aan de competenties, preciezer gezegd aan de prestatie-indicatoren van de competenties is een logisch gevolg. De student wordt immers op het competentie-examen beoordeeld op de competenties. Voor feedback in de beoordeling van de beroepsproducten geldt hetzelfde. Het is daarom niet voldoende om alleen een oordeel te geven maar dit oordeel zal vergezeld moeten gaan van feedback. Deze feedback moet bruikbaar zijn voor de student. Deze bruikbaarheid kan bereikt worden door feedback zo veel als mogelijk vorm te geven vanuit de prestatie-indicatoren. Dat betekent dat de feedback een relatie moet leggen tussen de beoordelingscriteria en de prestatie-indicatoren van de competenties.

42


8

Conclusies en aanbevelingen

De centrale vraag van dit onderzoek is ‘Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio?’ Bij deze vraag zijn drie deelvragen geformuleerd die in het onderzoek elk naar hun eigen conclusies hebben geleid. In dit hoofdstuk worden deze conclusies samengevoegd tot een eindconclusie. De drie deelvragen bestrijken elk één van de drie deelgebieden input, proces en output en worden in paragraaf 8.1, 8.2 en 8.3 apart besproken. In paragraaf 8.4 worden de conclusies samengevoegd tot een geheel waarna in paragraaf 8.5 gestart wordt met het beantwoorden van de onderzoeksvraag. Deze wordt beantwoord vanuit het perspectief van drie fasen: tijdens de ontwikkeling van het leerarrangement (paragraaf 8.6); tijdens de uitvoering van het leerarrangement (paragraaf 8.7) en na afloop van het leerarrangement (paragraaf 8.8). 8.1 Deelvraag 1: input De eerste deelvraag luidt: ‘Hoe moeten beoordelingscriteria voor het beroepsproduct geformuleerd worden rekening houdend met de competenties die in het leerarrangement centraal staan?’ Beoordelingscriteria voor het beroepsproduct worden ontleend aan drie verschillende bronnen. 1. Allereerst is er de beroepskenmerkende situatie waarin vooral de bruikbaarheid en de technische kwaliteit van het product naar voren komen. Dit zijn eisen die door de gebruiker geformuleerd worden. 2. De opleiding zelf bewaakt het HBO-niveau aan de hand van de HBO-kwalificaties. Deze tweede bron is de basis voor een algemene beoordelingslijst waarmee beroepsproducten beoordeeld kunnen worden. 3. De derde bron wordt gevormd door de competenties waar in het leerarrangement aan gewerkt wordt. De beoordelingscriteria worden dan rechtstreeks afgeleid van de in de competentiematrix opgenomen prestatie-indicatoren die bij de competenties genoemd worden . Bij het formuleren van de beoordelingscriteria moet gebruik gemaakt worden van deze driedelijng. Hierdoor wordt duidelijkheid verschaft. 8.2 Deelvraag 2: proces De tweede deelvraag luidt: Hoe kan in het beoordelingsproces een hoge beoordelingsbetrouwbaarheid bereikt worden? Er is een duidelijk verschil tussen de benadering die zichtbaar wordt in de interviews met de beide experts en de benadering van de FSH. In de benadering van de experts gaat de student met bewijsmateriaal voor een competentie naar een beoordelaar en vraagt om feedback. Daarmee ontstaat duidelijk afgebakend bewijsmateriaal dat in het portfolio opgenomen kan worden. De benadering van de FSH is meer open. De student geeft zelf aan op basis van het bewijsmateriaal (beroepsproduct + beoordeling + 3600-feedback) door middel van een reflectie in hoeverre competenties zijn verworven. In de interviews is duidelijk naar voren gekomen dat werken volgens een vaste methode wenselijk is. Daarnaast wordt ook de dialoog tussen beoordelaars en assessoren als belangrijk gezien. Dit zijn ook de twee pijlers waarop trainingen voor assessoren en beoordelaars gebaseerd moeten worden In het interview met Expert3 is duidelijk geworden dat het gehele beoordelingsproces ondersteund wordt met beoordelingsformulieren volgens een vast format. Met deze vorm van standaardisering wordt het beoordelingsproces transparant gemaakt voor zowel de student als de beoordelaar of assessor. Ook op de FSH wordt gewerkt met beoordelingsformulieren die

43


gestandaardiseerd zijn. De basis van deze standaardisering is te vinden in het Standard Setting proces. Het optimaliseren van de beoordelaarsbetrouwbaarheid is hierbij het doel. Het Standard Setting proces is een proces dat vooral toegepast wordt bij grote beoordelingsprojecten zoals landelijke examens waarbij veel dezelfde of gelijkwaardige producten beoordeeld moeten worden door een aantal beoordelaars. De “test-centered” methodiek “dominant profile” is een Standard Setting Methodiek die ook binnen de FSH goed lijkt te gebruiken. Een belangrijk voordeel van deze methodiek is dat er voorafgaand aan de werkelijke beoordeling door de beoordelaars gepraat wordt over de manier waarop er beoordeeld gaat worden. De dialoog (zoals ook benadrukt in de interviews) is dan al aanwezig. 8.3 Deelvraag 3: output Deelvraag 3 luidt: Hoe dient de beoordeling vormgegeven te worden om als waardevolle feedback te fungeren voor de student bij het reflecteren op de opdracht gerelateerd aan de competenties? De rol van feedback bij het beoordelen op de competentie-examens wordt als belangrijk ervaren. Enerzijds als verantwoording van de beoordeling maar anderzijds als concreet hulpmiddel bij de ontwikkeling van competenties. Het is niet voor niets dat Expert3 (zie bijlage 3) heel bewust spreekt over ontwikkelingsgerichte feedback. Om de feedback effectief te laten zijn worden de prestatie-indicatoren als uitgangspunt genomen. Door feedback te geven vanuit de prestatie-indicatoren wordt het niveau van de te beoordelen competentie het beste in beeld gebracht. Ook bij het beoordelen van beroepsproducten zal indien mogelijk uitgegaan dienen te worden vanuit de prestatie-indicatoren. De feedback zal de verbinding moeten vormen tussen de beoordelingscriteria en de prestatie-indicatoren van de competenties. 8.4 De drie deelvragen samen De conclusies van de eerste twee deelvragen lijken naadloos op elkaar aan te sluiten. Bij deelvraag 2 komt naar voren dat het werken met gestandaardiseerde beoordelingslijsten de voorkeur heeft. De manier waarop de beoordelingslijsten kunnen worden opgesteld komt aan bod bij deelvraag 1. De normering van de criteria op de beoordelingslijsten komt weer terug bij deelvraag 2. De conclusies van de derde deelvraag sluiten niet goed aan op de conclusies van de beide andere deelvragen. Dit komt doordat het karakter van de derde deelvraag duidelijk afwijkt van het karakter van de eerste twee deelvragen. De eerste twee deelvragen zijn sterk gericht op het formuleren van een oordeel terwijl de derde deelvraag juist ontwikkelingsgericht is. Het geven van feedback kan gezien worden als een uitbreiding van het beoordelingsproces maar er zal wel gezorgd moeten worden voor een logische aansluiting tussen het beoordelingsproces en de feedback. Bij het vergelijken van de conclusies van de deelvragen valt dan het volgende op. Volgens de experts dient feedback in het competentiegestuurde curriculum direct gerelateerd te zijn aan de bij de competenties horende prestatie-indicatoren. Maar competenties zijn persoonsgebonden terwijl beroepsproducten in veel gevallen groepsproducten zijn en ook nog te beschouwen als resultaat van gedrag. In de beoordeling van het beroepsproduct dienen de beoordelaars in staat te zijn om feedback te geven waarbij relaties te gelegd worden tussen de beoordelingscriteria van het beroepsproduct en de prestatie-indicatoren van de competenties. De nadruk op het verband tussen feedback en de prestatie-indicatoren van de competenties zorgt voor nog een zorgpunt. Er zijn drie bronnen geformuleerd bij deelvraag één die kwaliteitseisen opleveren: de opdrachtgever (bruikbaarheid), de opleiding (kennis en vaardigheden en attituden) 44


en de competenties. Feedback hoort volgens de experts vooral gericht te zijn op de ontwikkeling van competenties. In het beoordelingsproces op de FSH is de behoefte aan feedback breder maar ook anders. De student gebruikt de beoordeling om in een reflectie relaties te kunnen leggen naar het competentieprofiel (zie paragraaf 5.2) zowel om de mate waarin competenties verworven zijn aan te tonen als ook om de ontwikkeling van de competenties te sturen. 8.5 Naar de onderzoeksvraag De onderzoeksvraag luidt: Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio? Het beoordelingsproces bevat zowel summatieve als formatieve aspecten. Een beoordelaar zal zich bij het beoordelen van een beroepsproduct voor een dubbele taak gesteld zien. Het beroepsproduct dient aan een aantal vooraf gestelde eisen te voldoen. Het beoordelen hiervan is een summatief proces. Maar daarnaast heeft de student feedback nodig om de beoordeling te kunnen gebruiken als onderdeel van bewijs van competenties en als ankerpunt in de verdere ontwikkeling van de competenties. Het is vooral deze formatieve kant van het beoordelingsproces die tijdens het onderzoek steeds meer in beeld kwam als cruciaal en kritiek onderdeel in het competentieontwikkelingsproces binnen het competentiegestuurde onderwijs (zie interviews met Expert3 en Expert 4, bijlage 7, 8 en 9). Een antwoord op de onderzoeksvraag wordt nu gegeven in drie delen. Het eerste deel is de fase waarin het leerarrangement ontwikkeld wordt. De tweede fase is tijdens de (eerste ) uitvoering van het leerarrangement. De derde fase is nadat het leerarrangement helemaal uitgevoerd is. In elke fase spelen andere facetten van het beoordelingsproces een hoofdrol. De fasering is anders dan de fasering van de deelvragen in het onderzoek. 8.6 Fase 1: tijdens de ontwikkeling van leerarrangementen Op dit moment zijn de leerarrangementen nog volop in ontwikkeling. Er is dus nog geen ervaring met het beoordelen van beroepsproducten. Bij de bestudering van de leerarrangementen, die momenteel in ontwikkeling zijn (status: 10 juni 2006) en te vinden op de ELO N@tschool (www.elo.fontys.nl , alleen toegankelijk via geldig account) blijkt dat er wel al duidelijk ideeën zijn over het beroepsproduct dat wordt ontwikkeld in het leerarrangement maar dat er nog weinig duidelijkheid is over de manier waarop de beroepsproducten beoordeeld dienen te worden en wat de eisen zijn die aan bewijzen gesteld worden die in het portfolio kunnen worden opgenomen. In paragraaf 5.2 is al beschreven dat bewijzen afkomstig uit leerarrangementen bestaan uit het beroepsproduct, de beoordeling van het beroepsproduct door een onafhankelijke beoordelaar, een 3600-feedback en een reflectie door de student. De beoordelingscriteria zijn derhalve nog niet geformuleerd of nog niet concreet uitgewerkt. In deze fase is het ontwikkelen van bruikbare beoordelingslijsten een kernactiviteit in het beoordelingsproces. Het onderzoek bij deelvraag één heeft hiervoor duidelijke uitgangspunten opgeleverd. Er is een driedeling te maken in de criteria. • Allereerst zijn er de eisen die opgelegd worden door de opdrachtgever. Deze eisen zullen veelal terug te voeren zijn op kwaliteit en bruikbaarheid. Deze eisen spelen vooral een rol bij de summatieve beoordeling. Feedback bij deze criteria zal gericht moeten zijn op verbetering van het beroepsproduct in het geval dat het beroepsproduct niet aan de eisen voldoet. • De eisen, die de opleiding stelt, hebben te maken met de borging van het HBO-niveau in de opleiding en vinden hun oorsprong in de Dublin-descriptoren (zie paragraaf 5.1.3). Dit leidt tot de tweede groep criteria die overigens zelf ook weer in twee groepen is op te delen. Algemene beoordelingsmodellen zoals genoemd in paragraaf 5.1.3 komen voort uit deze eisen maar ook is 45


het mogelijk dat hier extra criteria verschijnen die hun basis vinden in de body of knowledge van de opleiding. In de verklarende woordenlijst van de DIA (DU-project DIgitaal Assessment), (Poell, 2005) wordt de body of knowledge als volgt gedefinieerd: “body of knowledge is de brede theoretische kennis die de basis onder competenties vormt”. Kwakman (2003, p.14) noemt het bestaan van een body of knowledge (‘een eigen geheel van theoretische overdraagbare kennis die door onderzoek is verkregen”) een kenmerk van een geprofessionaliseerd beroep. In plaats van body of knowledge wordt ook wel de term knowledge base (Hiebert, Gallimore & Stigler, 2002) gebruikt, soms ook wel expert knowledge base (Stijnen, 2003). Feedback bij deze groep eisen zal gericht moeten zijn op verbetering van het beroepsproduct en/of het niveau van de body of knowledge. Hier gaan summatieve en formatieve beoordeling samen. Als de noodzakelijke kennis uit de body of knowledge niet voldoende zichtbaar wordt in het beroepsproduct is het goed mogelijk dat de kennis niet voldoende aanwezig is. Feedback kan dan studeeraanwijzingen bevatten. • De derde groep criteria wordt gevonden in de prestatie-indicatoren bij de relevante competenties. Hier ligt een lastige taak. Vanuit de prestatie-indicatoren dient vastgesteld te worden op welke manier deze in het beroepsproduct tot uiting komen. In paragraaf 5.1.3 is al opgemerkt dat prestatie-indicatoren als gedragsindicatoren zijn geformuleerd. Al bij het ontwerp in het leerarrangement zullen de ontwerpers het beroepsproduct goed moeten laten aansluiten bij het competentieniveau waarvoor het leerarrangement ontwikkeld wordt. Kernvraag hierbij is: Als een student het vereiste competentieniveau bezit en dus competent gedrag kan laten zien, hoe zien we dit dan terug in het beroepsproduct? Oftewel: als we uitgaan van de prestatieindicatoren, hoe vertalen we deze dan naar beoordelingscriteria in het beroepsproduct? Dat levert de bron voor de beoordelingscriteria op het gebied van de competenties. Om feedback mogelijk te maken is het belangrijk dat bij elk beoordelingscriterium de relatie gelegd wordt met de bijbehorende prestatie-indicator. In deze fase wordt er gewerkt aan een beoordelingslijst waarin de beoordelingscriteria opgenomen zijn. Om feedback mogelijk te maken zal elk beoordelingscriterium begeleid moeten worden door mogelijke feedbackpunten. 8.7 Fase 2: tijdens de uitvoering van het leerarrangement Als er gestart wordt met de uitvoering van het leerarrangement zijn de beoordelingslijsten gereed. De volgende vragen worden nu actueel. Hoe wordt omgegaan met de normering van de beoordelingscriteria? Hoe wordt gezorgd we voor een hoge beoordelaarsbetrouwbaarheid? Hoe wordt feedback voor de studenten verzorgd? Het vaststellen van de normen vindt plaats aan de hand van de Standard Setting methode “Dominant Profile”. Bij deze methode bespreken de beoordelaars de te gebruiken criteria en stellen ze een profiel op over deze criteria waar ze uitgaan van het niveau van de competenties die centraal staan. Het is belangrijk dat alle beoordelaars hierbij betrokken zijn. De discussies die ontstaan bij het vaststellen van het profiel worden door beoordelaars als erg nuttig ervaren (Hansche, 1998, p.102) en dragen bij aan een gezamenlijk beeld van de manier waarop beoordeeld moet worden. Het gezamenlijk vaststellen van het profiel is te beschouwen als een vorm van training die een positieve invloed heeft op de beoordelaarsbetrouwbaarheid. Alleen toepassen van een Standard Setting methode is niet voldoende. Daarmee is de feedback naar studenten nog niet mee gewaarborgd. In de beoordelingslijsten zijn per beoordelingscriterium mogelijke feedbackpunten opgenomen. Aan de hand van het vastgestelde profiel kan nu ook een feedbackprofiel gemaakt worden.

46


Vanuit de beide profielen wordt een format voor een feedbackrapport samengesteld. Dit format dient overzichtelijk en compact te zijn. De gehanteerde driedeling in de beoordelingslijsten kan hiervoor de basis vormen. In principe kan dit proces ook voorafgaand aan de uitvoering van het leerarrangement worden uitgevoerd. Door dit proces tijdens de uitvoering van het leerarrangement te laten plaatsvinden is het in de tijd dicht bij de daadwerkelijke beoordeling geplaatst. Deze snelle opvolging van leersituatie en toepassing werkt positief op de leermotivatie van de beoordelaars (Bolhuis & Simons, 2001, p.111). Ook het feit dat de te ontwikkelen profielen daadwerkelijk door hen zelf gebruikt gaan worden werkt motivatieverhogend. 8.8 Fase 3: na afloop van het leerarrangement. Als het leerarrangement volledig is afgerond wordt het tijd om terug te kijken op het leerarrangement om te kijken wat verbeterd kan worden en waar van geleerd kan worden. Ook op het gebied van beoordelen. Het evalueren van de uitgevoerde beoordelingen is te beschouwen als een trainingssituatie. In eerste instantie kan gereflecteerd worden op de profielen waar mee gewerkt is. Wat zijn de positieve ervaringen en welk ervaringen zijn niet positief? Ook hier geldt weer dat de dialoog belangrijk is (zie interview met Expert 2, bijlage 5). Daarnaast kan er voor gekozen worden om één van de andere twee genoemde Standard Setting methoden te gebruiken als trainingsmethode. Vooral de “student paper selection” methode leent zich goed om te gebruiken in een trainingssituatie. Bij de ‘student paper selection’ methodiek wordt een steekproef genomen van de werkstukken en wordt aan de beoordelaars gevraagd om in de werkstukken onderdelen aan te wijzen die representatief zijn voor de grens die vastgesteld wordt. Deze methode kan goed toegepast worden om de gekozen profielen te evalueren.

8.9 Conclusies In de aanbevelingen vallen drie punten op: 1. een systematische aanpak 2. de dialoog 3. training Deze drie punten dragen samen bij aan hoge beoordelaarsbetrouwbaarheid. De nadrukkelijke aandacht voor de manier waarop feedback gegeven wordt is noodzakelijk om er voor te zorgen dat de beoordeling door de student gebruikt kan worden als waardevol onderdeel van de reflectie op de competenties.

47


9

Discussie

Fontys Hogescholen heeft gekozen voor een competentiegestuurd curriculum. Eerder werd vooral gesproken over competentiegericht en studentgesturd ondewijs (Van Deutekom, 2004, p.7) maar de laatste tijd wordt steeds meer gesproken over competentiegestuurd onderwijs. Deze term lijkt meer recht te doen aan de grote rol die in het curriculum door de competenties wordt gespeeld In de OER (2005) is een aantal regels vastgelegd waaraan het beoordelingsproces dient te voldoen. De meest opvallende kenmerken zijn: - studiepunten zijn gekoppeld aan competenties - studiepunten worden alleen toegekend in competentie-examens - een competentie-examen bestaat uit een portfolio-assessment en een performance assessment - er zijn (bij voorkeur) drie competententie-examens gedurende de opleiding. Een gevolg hiervan is dat studiepunten dus niet langer zijn gekoppeld aan leereenheden. De uitwerking van de door Fontys Hogeschool gemaakte keuzen is per hogeschool verschillend. In paragraaf 9.1 wordt ingegaan op de verschillen tussen de manier waarop de FSH de keuzen vertaalt naar de manier van beoordelen in leerarrangementen en de manier zoals besproken door Expert2 (zie hoofdstuk 6). De rol van kennis in het competentiegerichte onderwijs wordt besproken vanuit het perspectief van Fontys Hogescholen in paragraaf 9.2. Afsluitend wordt in paragraaf 9.3 op het onderzoek teruggeblikt. 9.1 Terugblik op het onderzoek Het onderzoek heeft plaatsgevonden in een sterk veranderende omgeving. Bij de start van het onderzoek was er veel enthousiasme voor de Biloba onderwijstransformatie maar tegelijkertijd was er ook veel onwetendheid. Veel docenten konden zich geen goede voorstelling maken van het nieuwe onderwijsmodel. In de loop van het schooljaar werd langzaam zichtbaar dat de veranderingen directe gevolgen zou hebben voor het werk dat de docenten uitvoeren. Met name de vrees voor het verlies van uren voor de bewegingsvaardigheden speelde een belangrijke rol. Inmiddels is voor een deel van de docenten duidelijk hoe het nieuwe onderwijs er uit gaat zien. Voor een ander deel blijft dit echter nog steeds een vraag zodat de invoering van het nieuwe onderwijsmodel in september 2006 een spannende actie blijft. In het onderzoek is rekening gehouden met de onbekendheid van de docenten met het Biloba gedachtegoed. Er is bewust gekozen voor het zoeken naar input van experts binnen Fontys Hogescholen. De vier geïnterviewde experts zijn allen op een positieve manier bezig met de ontwikkeling van het competentiegestuurde onderwijs. Twee van de vier experts zijn zelf ook werkzaam op een opleiding van Fontys Hogescholen die als good practice beschouwd worden. Daarmee is wel een eenzijdigheid gecreëerd. Er zijn nl. ook genoeg opleidingen binnen Fontys Hogescholen aan te wijzen die getracht hebben om de opleiding zo min mogelijk aan te passen en eigenlijk alleen cosmetische wijzigingen hebben aangebracht. Aangezien de FSH er wel duidelijk voor heeft gekozen om het Biloba gedachtegoed te omarmen is gezocht naar voorbeelden die binnen de ontwikkeling van het eigen FSH onderwijsmodel richting kunnen geven. De keuze van de vier experts is goed geweest. Elke expert heeft duidelijk een eigen uitwerking van de overkoepelende Biloba visie laten zien maar tegelijkertijd is ook de gemeenschappelijkheid van de visie zichtbaar geworden. In het onderzoek werd al snel duidelijk dat de invulling van de Bilobagedachte door de FSH afwijkt van de manier zoals die door de experts werd gezien. In paragraaf 9.1 is dit op een compacte manier beschreven. Dit verschil in uitwerking maakte het onderzoek interessant en uitvoerbaar. Het heeft nl. de eenzijdigheid opgeheven.

48


De onderzoeksvraag zelf is lastig gebleken. De onderzoeksvraag luidt: Hoe moet een beroepsproduct beoordeeld worden door een docent zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio? Het onderzoek speelt zich af in een nog niet bestaande context. Tijdens het onderzoek is gebleken dat er vele andere vragen een rol spelen. Tijdens het onderzoek werd duidelijk dat de rol van feedback in het beoordelingsproces veel groter is dan voorafgaand aan het onderzoek is geschat. Dit wordt ondersteund door de ervaringen van Expert3 9 (zie bijlage 7). Het karakter van de onderzoeksvraag evolueerde tijdens het onderzoek. Daar waar in het begin vooral de nadruk lag op het formuleren van beoordelingscriteria verschoof de onderzoeksvraag steeds meer in de richting van de behoefte aan feedback. Voor zover de afbakening van de onderzoeksvraag dit toeliet is geprobeerd om het onderzoek mee te laten evolueren. Daarnaast is er ook een verschuiving zichtbaar bij de stakeholders. Aan het begin van het onderzoek was de beoordelaar de belangrijkste stakeholder. Aanleiding voor het onderzoek was de vraag van docenten naar een manier waarop ze er voor konden zorgen dat de interbeoordelaarsbetrouwbaarheid hoog kon zijn. Achteraf gezien kan de vraag opgevat worden als een signaal van de onzekerheid van de docenten. Gedurende het onderzoek werd de student steeds belangrijker. In het onderzoek heeft de nadruk gelegen op het eerste gedeelte van de onderzoeksvraag: “Hoe moet een beroepsproduct beoordeeld worden door een docent…” Daarbij is goed nagedacht over wat de student nodig zou kunnen hebben. Nu de eerste ervaringen van studenten onderzocht kunnen worden lijkt de tijd rijp om te gaan onderzoeken wat de studenten echt nodig hebben. Wat betekent de onderzoeksvraag gezien vanuit het perspectief van de student? Dus in de onderzoeksvraag vooral kijken naar het tweede gedeelte van de onderzoeksvraag: …..”zodat deze beoordeling een waardevol onderdeel kan vormen van een door de student te gebruiken bewijs in het portfolio” en daarbij te kijken vanuit de student. Het onderzoek heeft als belangrijk resultaat de relatie tussen de beoordeling en de feedback. Uitgangspunt is dat een beoordeling vergezeld moet gaan van feedback en dat de feedback de relatie moet leggen tussen de beoordelingscriteria en de bij de competenties horende prestatieindicatoren. In de conclusies is deze relatie dan ook duidelijk zichtbaar aanwezig. 9.2 Verschillende manieren van beoordelen De manier waarop beoordeeld wordt op de FSH is wezenlijk verschillend van de manier zoals die door de andere experts besproken worden. In deze paragraaf wordt de manier van Expert2 besproken (zie hoofdstuk 6). Op de FSH wordt een beroepsproduct beoordeeld en de student bepaalt zelf in een reflectie aan de hand van deze beoordeling, de 3600-feedback en het beroepsproduct zelf in welke mate de relevante competenties verworven zijn. Deze reflectie speelt in het portfolio een belangrijke rol. In de manier, die Expert2 beschrijft, gaat de student zelf met het beroepsproduct en een verantwoording naar de beoordelaar om rechtstreeks op de competenties beoordeeld te worden. Deze beoordeling wordt vervolgens opgenomen als bewijs in het portfolio. In beide gevallen is er voor de studenten een duidelijk aanwijsbaar probleemgebied. In de methodiek van de FSH zit de problematiek in het vertalen van de beoordeling en feedback naar de mate van competentie in het competentieprofiel. In de methodiek van Expert2 zit het probleemgebied voor de beoordeling. De student dient aan de beoordelaar te verantwoorden op welk niveau er aan de competenties is gewerkt en hoe dit zichtbaar wordt in het beroepsproduct. In de methode van Expert2 is ook de beoordeling bij het werken met beroepsproducten helemaal gericht op competenties. Het werken aan een beroepsproduct wordt gezien als een middel om competenties te ontwikkelen. De beroepsproducten worden niet beoordeeld maar de competenties waaraan gewerkt wordt. Kort gezegd: de verantwoording van het competentieniveau wordt beoordeeld. Deze manier van beoordelen heeft als voordeel dat het duidelijke afgebakende bewijzen oplevert voor het portfolio. Daarnaast vertoont deze manier van beoordelen veel

49


overeenkomsten met de manier waarop op het competentie-examen beoordeeld wordt waardoor een transparante manier van beoordelen ontstaat. Daartegenover staat toch de vraag of de student in staat is om bij de beoordeling zelf aan de hand van het beroepsproduct aan te geven dat een gewenst niveau van competenties verworven is. In de methode van de FSH is de beoordeling van het beroepsproduct direct gekoppeld aan het beroepsproduct. In dit onderzoek is gebleken dat het lastig is om competenties te beoordelen aan de hand van het beroepsproduct. Door naast de beoordeling van het beroepsproduct een 3600feedback te gebruiken waarin direct beoordeeld wordt op prestatie-indicatoren ontstaat de mogelijkheid om een verantwoording te maken in de richting van de competenties. Kort gezegd: de beoordeling is de basis voor de verantwoording van de competenties. Een voordeel van deze methode is dat de student verschillende soorten input gebruikt om aan de hand daarvan zelfstandig het verworven niveau van de competenties te verantwoorden. In dit onderzoek zijn voorstellen gedaan om te bevorderen dat de beoordeling van het beroepsproduct waardevolle input wordt voor de student. Een nadeel van deze methode is dat de verantwoording van de competenties in de reflectie van de student terug te vinden is en los staat van de beoordeling. Hierdoor ontstaat een open einde. Op dit moment (juni 2006) wordt nog onderzocht op welke manier het bewijs gevalideerd dient te worden dat in het portfolio kan worden opgenomen. De beide benaderingen zijn verschillend maar niet zo verschillend als op het eerste gezicht lijkt. De focus ligt bij de methode van de FSH op het verzamelen van bewijzen waarmee competenties aangetoond kunnen worden terwijl bij de methode van Expert2 de focus ligt op het aantonen van de competenties. In Figuur 9 is dit verschil in aandacht zichtbaar gemaakt. Daar waar de focus ligt zijn ook de sterke punten van de methoden te vinden.

Figuur 9 verschil in focus in de methode van de FSH en Expert2

Voor beide methoden geldt dat er voor de student een onzekere plek in het verantwoordingsproces zit. Voor de methode van de FSH zit deze plek bij het aantonen van de competenties. Dit gebeurt in de reflectie.Hoe weet je als student dat je het competentieniveau op een goede manier hebt ingeschat en verantwoord? De methode van Expert2 is juist op dit punt sterk. Voor de methode van Expert2 zit de onzekere plek in het verzamelen van de bewijzen. Hoe moet je als student de bewijzen vertalen naar de prestatie-indicatoren? De methode van de FSH geeft veel aandacht aan het verzamelen van bewijzen. Beide methoden kunnen zich versterken door te leren van de andere.

50


9.3 Competenties en kennis De centrale rol van het competentie-examen en het beoordelen van competenties roept ook vraagtekens op. Is er nog wel; voldoende aandacht voor kennis? Is er nog wel voldoende aandacht voor vaardigheden? In de jaren 80 werden curricula vooral opgebouwd rond het pschychomotorische, het cognitieve en affectieve domein. Op elk van deze domeinen worden leerdoelen geformuleerd. In de didactiek worden deze drie domeinen gescheiden aangeboden waarbij niet uitgesloten wordt dat andere domeinen een rol spelen. De wetenschap dat een persoonlijkheid niet in drie delen opgedeeld kan worden wordt ondergeschikt gemaakt aan de systematiek van de didactiek(Standaert & Troch, 1980, p.32-33). Deze benadering zal vanaf hier de domeinbenadering worden genoemd. In het competentiegestuurde model zoals dat door Fontys Hogescholen gehanteerd wordt lijkt de situatie geheel anders. Er wordt beoordeeld op competent gedrag aan de hand van gedragsindicatoren. Het aanwezig zijn van competent gedrag veronderstelt het aanwezig zijn van onderliggende kennis, vaardigheden en attituden (zie OER, 2005). Deze benadering zal vanaf hier de competentiebenadering worden genoemd. In Figuur 10 worden beide benaderingen naast elkaar gezet in de vorm van de ijsberg waardoor het verschil in benadering goed zichtbaar wordt.

Figuur 10 Verschil in de domeinbenadering en de competentiebenadering

In de domeinbenadering wordt getoetst op vaardigheden, attituden en kennis waarbij er van wordt uitgegaan dat geïntegreerd gedrag als vanzelf ontstaat. In Figuur 10 wordt dit met de rode pijlen naar boven aangegeven. In de competentiebenadering is dit precies andersom. De pijlen in Figuur 10 wijzen hier naar beneden. Daarbij ontstaat de volgende vraag. Hoe sterk en eenduidig is de relatie tussen het gedrag en de onderliggende kennis, vaardigheden en attituden? Dus als competent gedrag wordt waargenomen waarbij zekere kennis aan ten grondslag ligt is het dan zeker dat deze kennis ook daadwerkelijk aanwezig is of kan het zijn dat er andere factoren een rol spelen? Het ligt voor de hand om te veronderstellen dat er andere factoren invloed hebben en dat deze invloed groot kan zijn. Denk hierbij bv. aan al aanwezige ervaringen. Iemand die zelf moeite heeft gehad met een zeker kennisonderdeel zal zich in de rol van docent goed kunnen invoelen in de problemen die leerlingen kunnen hebben terwijl iemand die zich de kennis moeiteloos heeft eigengemaakt hier veel meer moeite mee zal hebben. Bij het maken van een lesvoorbereiding en het uitvoeren van de les zal deze ervaring zeker meespelen. De vraag naar de relatie tussen gedrag en de onderliggende domeinen wordt duidelijk zichtbaar in de aandacht die vooral aan de rol van kennis wordt gegeven in het competentiegerichte onderwijs. Op Fontys Hogescholen wordt deze aandacht o.a. zichtbaar door de organisatie van een 51


kennisdebat op 31 maart 2006 en een kenniscolloquium op 22 juni 2006 maar ook in het interview met Expert4 waarin zij pleit (zie bijlage 9) voor het door de student laten maken van een kennisdossier waarin deze aantoont dat deze voldoende kennis opgedaan heeft. Er kan een onderscheid gemaakt worden in drie soorten kennis: - “fundamentele kennis: is gebaseerd op de uitkomsten van theoretisch/wetenschappelijk onderzoek, - beroepsdomeinkennis: is nodig voor het uitoefenen van het beroep in volle omvang en - werkplekkennis: is praktische kennis die nodig is om een concrete activiteit uit te voeren.” (De Jong & De Werd, 2006, p.13) Volgens de Jong en De Werd (2006) is in competentiegericht onderwijs weinig plaats voor fundamentele kennis. De nadruk ligt in dit onderwijs vooral op de andere twee soorten kennis. De afnemende rol voor fundamentele kennis is bron voor veel onrust. De verankering van kennis in het competentiegerichte onderwijs is een zorgpunt. De body of knowledge is het geheel van theoretische kennis wat aan het deskundigheidsdomein van de professie ten grondslag ligt (Kwakman, 2003). Deze body of knowledge is de basis onder de competenties. In Figuur 11 is deze verankering weergegeven.

Figuur 11 competenties zijn verankerd in de body of knowledge

Andersom gezien zal de kennis onder de competenties overeen moeten komen met de body of knowledge. In het ideale geval zullen de competenties uit het competentieprofiel samen de hele body of knowledge bedekken. Deze situatie is getekend in Figuur 12. Ook is in Figuur 12 te zien dat competenties elkaar overlappen.

Figuur 12 de competenties overdekken de body of knowledge

De getekende situatie is een ideaal situatie. Het is nog een vraag of de competenties in de praktijk wel de gehele body of knowledge kunnen bedekken. Daarnaast is het de vraag of deze ideaal situatie werkelijk zo ideaal is. In deze paragraaf worden vragen gesteld die diep ingrijpen in de filosofie van het competentiegestuurde onderwijs. Fontys Hogescholen heeft een gedurfde keuze gemaakt met de instelling 52


van de competentie-examens en de koppeling van studiepunten aan competenties. Is de keuze niet te gedurfd geweest? Had niet gekozen moeten worden voor een meer gematigde variant waarin meer ruimte is voor de domeinen (kennis, vaardigheden en attituden) onder de waterlijn? Kijkend naar de toekomst lijkt het dat de gekozen lijn van competentiesturing een goede lijn is met veel mogelijkheden voor studenten om uit te groeien tot een startbekwame professional. De kracht van het model is goed zichtbaar in de interviews met de experts. Tegelijkertijd blijkt dat de borging van de kennis nog een aandachtspunt is. Er zijn verschillende oplossingen te zien op Fontys Hogescholen om kennis te borgen . Op de FSH is gekozen voor halfjaarlijkse kennis- en vaardigheidstoetsen. Expert4 reikt het kennisdossier aan. Het opbouwen van een kennisdossier is een uitgebreide taak die gemakkelijk kan uitgroeien tot een aparte lijn binnen het competentiegestuurde model. Een dergelijke aparte lijn waarin de body of knowledge centraal staat lijkt een waardevolle aanvulling op de lijn van competentiesturing. Fontys Hogescholen is volop bezig met de Biloba onderwijstransformatie. Het proces staat nog in de kinderschoenen en de ervaringen in het huidige propedeusejaar leveren een schat aan informatie op. De vragen die in deze paragraaf gesteld zijn vormen een duidelijke aanleiding voor verder onderzoek. Hoe kan het werken aan de body of knowledge een structurele aanvulling worden op het competentiegestuurde model die het concept van de competentiesturing niet aantast? 9.4 Suggesties voor vervolgonderzoek In het onderzoek is niet ingegaan op specifieke leeraarrangementen. Het beoordelen van beroepsproducten is op een generalistisch niveau onderzocht. De uitwerking van de aanbevelingen kunnen per leerarrangement nog sterk verschillen. Dit komt doordat er in de leerarrangementen aan uiteenlopende beroepspproducten gewerkt wordt. Door de leerarrangementen te clusteren kunnen er samenhangende leerarrangementen gecreëerd worden waarin het mogelijk is om aandacht te besteden aan de beoordelingscriteria zelf. Doordat er in het komende schooljaar gestart gaat worden in het nieuwe curriculum ontstaan er ook mogelijkheden om de daadwerkelijke practische uitvoering van beoordeling van beroepsproducten in de leerarrangementen te onderzoeken. Door samenhangende leerarrangementen te kiezen als context kan er toch leerarrangementoverstijgend onderzocht worden zodat ook de relatie met de body of knowledge meegenomen aan worden in het onderzoek. In paragraaf 9.2 is vastgesteld dat feedback een belangrijke rol speelt bij de ontwikkeling van competenties. Op dit moment zijn er wel ideëen over hoe die feedback er uit zou moeten zien die de student kan ondersteunen in de ontwikkeling van de competenties. Maar wat hebben de studenten in de praktijk echt nodig? Welke feedback is relevant, bruikbaar, ontwikkelingsgericht? Ook bij het beoordelen van beroepsproducten is feedback een belangrijke factor. In dit onderzoek is dat onderkend maar concrete aanbevelingen zijn er nog niet. Hiervoor zijn de ervaringen van de studenten nodig. Vervolonderzoek naar de rol van feedback is in sterke mate afhankelijk van de wijze waarop het curriculum is ingericht. Op de FSH is de relatie tussen de beoordelingscriteria voor het beroepproduct en de prestatie-indicatoren van de competenties het onderwerp van de feedback. In dit onderzoek is gebleken dat deze relatie niet eenvoudig is. De feedbackmogelijkheden binnen deze relatie vormen een goed onderwerp voor een vervolgonderzoek. De rol van kennis in het competentiegestuurde curriculum is zoals al opgemerkt in paragraaf 9.3 een punt van discussie op Fontys Hogescholen. Met name de borging van het kennissniveau is een issue. De inbedding van de body of knowledge is een proces waar al veel aandacht aan is gegeven maar waar tegelijkertijd nog veel vraagtekens bij bestaan. Expert4 geeft in het interview (zie bijlage 9) haar ideëen over de opbouw van het kennisdossier als manier om de kennis te borgen. Op de FSH is er een borging te zien in de vorm van halfjaarlijkse kennistoetsen. Dit

53


zijn twee totaal verschillende manieren. De impact van het proces lijkt te groot om dit per opleiding afzonderlijk aan te pakken. Onderzoek in deze richting zou dan ook opleidingoverstijgend moeten zijn. In paragraaf 9.3 is al de suggestie gedaan voor een aparte leerlijn te ontwikkelen voor de opbouw van de body of knowledge aan de hand van de opbouw van het kennisdossier. Er is nog veel onbekend over de manier waarop de body of knowledge geborgd kan worden in de opleiding. De oplossing lijkt te gaan in de richting van het kennisdossier maar dit is nog allerminst zeker. Er kunnen nog andere mogelijkheden onderzocht worden. Onderzoek zal in eerste instantie oriënterend moeten zijn en sturen naar een oplossingsrichting.

54


Literatuur Alblas, G. & Wijsman, E. (2001). Gedrag in organisaties. Groningen: Wolters-Noordhoff. Assessorentraining, 2005. Map voor de assessorentraining, Intern niet gepubliceerd document Berkel, H. van, (1999). Zicht op toetsen. Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum. Bendermacher N. & Souren, P. (2004). Beyond kappa. Verkregen op 10 maart 2006 van http://www.socsci.ru.nl/rtog/artikelen/Raters/BeyondKappa.pdf. Birenbaum, M. (1996). Assessment 2000: Towards a pluralistic approach to assessment. In: M. Birenbaum & F. Dochy (eds.). Alternatives in assessment of achievement, learning processes and prior knowledge. Boston: Kluwer Academic Publishers, 3-31. Brouwer, J. de (red.) (2006a). Hoofdlijnen major sport, werkversie 7 december 2005. Intern, niet gepubliceerd document. Brouwer, J. de (2006b). Opleidingsprofielen. Bachelor of Education; Bachelor of sports en movement. Intern niet gepubliceerd document. Brouwer, J. de (2006c). Opzet en inhoud propedeuse. Intern niet gepubliceerd document Brouwer, J. de (2006d). Leerarrangementen propedeuse. Intern niet gepubliceerd document Bruggen, J. van. (2002). Computer ondersteund beoordelen van essays. Heerlen: Open Universiteit Nederland. CITO (n.d.). CITO Toetstechnische begrippenlijst. http://www.citogroep.nl/exp/share/beglist1.htm#top.

Verkregen

op

20-02-2006

van

Cizek, G.J. (ed.) (2001). Setting performance standards. London: Lawrence Erlbaum Associates. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and psychological measurement, 20, 37-46. Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provisions for scales disagreement of partial credit. Psychological bulletin, 70, 213-220. Dale, van (2005). Online woordenboek: Hedendaags Nederlands woordenboek. Verkregen op 10 mei 2006 van http://www.vandale.nl/. Deming, E.W. (1986). Out of the crisis. Cambridge: Cambridge University Press. Deutekom, M. van. (2004). Biloba kadernotie, voor Fontysmedewerkers. Intern document. Dierick, S., Van de Watering, G. & Muijtjens, A. (2002). De actuele kwaliteit van assessment: ontwikkelingen in de edumetrie. In: F.Dochy, L. Heylen & H. van de Mosselaer (2002). As-

55


sessment in onderwijs: Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs. Utrecht: Lemma. Dinther, M. van (2005). Biloba: Op weg naar assessments. Eindhoven: Fontys Hogescholen Dochy, F., Schelfhout, W. & Janssens (red) (2003). Anders evalueren. Leuven: Lannoo Campus. Gwet, K. (2001). Handbook of inter-rater reliability. Gaithersburg: Stataxis Publishing Company. Hambleton, R.K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. In Cizek, G.J. (eds.). Setting performance standards (p.89-116). London: Lawrence Erlbaum Associates. Hansche, L.N. (1998). Meeting the requirements of Title 1: Handbook for the development of performance standards. Maryland: Frost Associates. Heller, J.I., Sheingold, K. & Myford, K. (1998). Reasoning about evidence in portfolio’s: Cognitive foundations for valid and reliable assessment. Educational assessment, 5 (1), 5-40. Hendriks, P. & Schoonman, W. (red.) 2006. Handboek assessment 1: Gedragsproeven. Assen: van Gorcum. Heuvelmans, A.P.J.M. & Sanders, P.M. (1993). In Sanders T.J.H.M.Psychometrie in de praktijk. Arnhem: CITO Holding b.v.

P.M.

&

Eggen,

Hiebert, J, Gallimore, R. & Stigler, J.W. (2002). A Knowledge Base for the Teaching Profession: What Would It Look Like and How Can We get One? Educational Researcher, 31 (5), 3-15. Hillege, R. (red.) (2006). Sport- en bewegingseducatie van innovatie naar acceptatie. Zelfevaluatierapport. Intern document. HBO-Raad (2005). Het HBO ontcijferd 2005. Verkregen op 17 januari 2006 van http://www.HBO-raad.nl/index.cfm?id=128&t=publication&y=2005. Jong, T. de. (1981). Correctievoorschriften voor de beoordeling van open vragen en betrouwbaarheid. Tijdschrift voor onderwijsresearch. 6 (5) 217-229. Jong, M. de & Werd, H. de (2006). Trends in onderwijs- en kennisontwikkeling. Onderwijsinnovatie 2/2006. 13-16. Kane, M. (2001). So much remains the same: Conception and status of validation in setting standards. In Cizek, G.J. (ed.). Setting performance standards. London: Lawrence Erlbaum Associates. Kolb, D.A. (1984). Experimental learning: Experience as the source of learning and development. Englewood Cliffs (NJ): Prentice Hall. Kwakman, K. (2003). Anders leren, beter werken. (lectorale rede). Verkregen op 20 juni 2006 van www.han.nl/restyle/shgzo/Publicaties_en_verslagen.xml_dir/kwakman-lectoralerede.pdf.

56


Managementteam en docenten Fontys Pabo Eindhoven/Veghel [Pabo], (2005). Competentieexamen hoofdfasebekwaam: Handleiding voor de student. Intern document. Maree, T. (2005). Toelichting portfolio en assessment- dossier, propedeuse Applied Science, studiejaar 2005-2006. Intern document. Menko, W. (2004). Een goed feedbackgesprek. Utrecht: Thiememeulenhoff. Nauta, A. (1996). Oog om oog en baas boven baas. Wageningen: Ponsen en Looijen BV. NVAO, (2003). Accreditatiekader bestaande opleidingen hoger onderwijs. De Haag: NVAO. OER, (2005). Onderwijs- en Examen Regeling Fontys Hogescholen. Verkregen op 17 januari 2006 van http://www.fontys.nl/biloba/default.asp?idsitestructurenode=84619. Oudenhoven, J.P van & Giebels, E. (2003). Groepen aan het werk. Groningen: WoltersNoordhoff. Parry, S. B. (1996). The quest for competencies. Training. 33 (7) 48-56. Poell, P. (2005). DIA: Verklarende woordenlijst. Verkregen op 20 juni 2006 van http://www.du.nl/digiuni/index.cfm/site/DIA/pageid/A424AA6F-BA10-976B5FEB4202952CC9D1/index.cfm#. Projectgroep Competentie-examen Hoofdfasebekwaam [PCEH], (2006). Competentie-examen hoofdfasebekwaam: Handleiding voor de docent. Intern document. Riet, S.P. (2004). Competenties wat doen we er mee? Powerpointpresentatie SIS-conferentie Verkregen op 11 april 2004 van www.surf.nl/download/trietSIS04.pdf. Rousson, V., Gasser, T. & Seifert, B. (2002). Assessing intrarater, interrater and test–retest reliability of continuous measurements. Statistics in. Medicine 21: 3431–3446. Sanden, P. van de (2005). Werkconferentie 24-25 oktober 2005. Powerpointpresentatie. Nietgepubliceerd document. Saunders, M., Lewis, P. & Thornhill, A. (2004). Methoden en technieken van onderzoek. Amsterdam: Pearson Education Benelux. Standaert, R. & Troch, F. (1980). Leren en onderwijzen: Inleiding tot de algemene didactiek. Leuven: Acco. Steehouder, M. (red) (1999). Leren communiceren. Groningen: Wolters-Noordhoff. Stephenson, A.S., Elmore, P.B. & Evans, J.A. (2000). Standard setting techniques: An application for counselling programs. Measurement and evaluation in counselling and development 32 (1) 229-244. Stijnen, P.J.J. (2003). Leraar worden “ Under construction”?: over leraartekorten en afstandsonderwijs voor de opleiding tot leraar. (Inaugurale rede) Maastricht: Shaker Publishing bv. Straetmans, G.J.J.M.. & Sanders, P. F. (2001). Beoordelen van competenties van docenten.Utrecht: Drukkerij Van Mechelen. 57


Tartwijk, J. van, Driessen, E., Hoeberigs, B., Kösters, J., Ritzen, M., Stokking, K. & Vleuten, C. van der (2003). Werken met een elektronisch portfolio. Groningen: Wolters-Noordhoff. Tillema, H. (2001). Assessment: Inzicht in functioneren. In Kessels J.W.M. & Poell, R.F. (red). Human resource development (pp. 323-340). Groningen: Samson. Toolsema, B. (2003) Werken met competenties. Naar een instrument voor de identificatie van competenties. Enschede: Thesis University of Twente. Veld, J. in ‘t, (2002). Analyse van organisatieproblemen. Groningen: Wolters-Noordhoff. Walker, D.F. (1971). A naturalistic model for curriculum development. School review, 80(1), 51-65.

58


Bijlage 1: Overzicht van leerarrangementen in de propedeuse

Hieronder staat het overzicht van de leerarrangementen in de propedeuse. Dit overzicht is met toestemming overgenomen uit het document Opzet en inhoud propedeuse (De Brouwer, red., 2006c)

Eerste half jaar

Voorlichtingspresentatie, vanuit de beroepskenmerkende situatie delen van expertise Een oriëntatie op de wereld en het werkveld van sport en bewegen Op kamp, vanuit de beroepskenmerkende situatie organiseren en aansturen van een sport- en bewegingsaanbod Studenten bereiden, binnen gegeven kaders, hun eigen kamp voor (met aandacht voor mogelijkheden binnen alle afstudeervarianten) en voeren dat uit Lesgeven, de eerste schuchtere stappen, vanuit de beroepskenmerkende situatie voorbereiden, realiseren en evalueren van lessen bewegingsonderwijs / bewegingsactiviteiten Een eerste oriëntatie op het lesgeven; algemene didactiek en methodiek Speciale doelgroepen, vanuit de beroepskenmerkende situatie voorbereiden, realiseren en evalueren van lessen bewegingsonderwijs / bewegingsactiviteiten Studenten maken kennis met de speciale doelgroepen binnen het werkveld

Tweede half jaar

Bachelor of Education

Bachelor of Sports and Movement

Aan het werk,! vanuit de beroepskenmerkende situatie voorbereiden, realiseren en evalueren van lessen bewegingsonderwijs Studenten verzorgen lessen bewegingsonderwijs op eens school voor primair onderwijs Observeren en beoordelen van bewegingen, vanuit de beroepskenmerkende situatie observeren, registreren, beoordelen en rapporteren van leerprocessen Studenten geven een beoordeling aan leerlingen in hun stageklassen Omgaan met accommodatie en materiaal, vanuit de beroepskenmerkende situatie verwerven en in stand houden van accommodatie en leermiddelen Verantwoord en innovatief omgaan met materiaal De sportieve school, vanuit de beroepskenmerkende situatie organiseren en aansturen van een sport- en bewegingsaanbod buiten de lessen Voor hun stageschool organiseren studenten een sportdag, kamp of een ander evenement Een lastig kind?! vanuit de beroepskenmerkende situatie begeleiden van leerlingen tijdens hun schoolloopbaan, met een duidelijke knipoog naar het ‘realiseren van lessen bewegingsonderwijs Studenten leren omgaan met gedragsproblematiek

Lesgeven stap 2, vanuit de beroepskenmerkende situatie voorbereiden, realiseren en evalueren van bewegingactiviteiten Een werkveldspecifieke verdieping van het lesgeven

59

Evenementen, vanuit de beroepskenmerkende situatie organiseren, aansturen (en acquireren) van een sport- en bewegingaanbod Voortbouwen op ervaringen op kamp, projectmanagement (=verdieping projectmatig werken), Financieel management, Omgaan met materiaal/accommodatie als onderdeel Ondernemen vanuit de beroepskenmerkende situatie het opstellen van plannen en daar naar handelen i.v.m. het opzetten of vergroten van een (mini) onderneming / organisatie Marktonderzoek, consumentengedrag, concurrentieanalyse, omgevingsanalyse. Basis management, organisatiekunde, leiderschapsstijlen


Bijlage 2: een voorbeeld van de omschrijving van een leerarrangement Eén van de leerarrangementen in de propedeuse heeft als titel ‘Op Kamp’. De omschrijving is met toestemming overgenomen uit het overzicht van leerarrangementen dat te vinden is in het document Leerarrangementen Propedeuse (De Brouwer, red., 2006d). De omschrijvingen in dit document vormen uitgangspunt voor de ontwikkeling van de leerarrangementen. Studiebelasting: 175 Docentuur: 600 Studenten 300

Werktitel: Op kamp! Beroepskenmerkende situatie ‘Organiseren van een sport- en bewegingsaanbod buiten de les’.

Korte beschrijving Studenten bereiden hun eigen kamp voor. Er zijn verschillende mogelijkheden, waarbij steeds een afstudeervariant centraal staat, maar waarbij ook georiënteerd moet worden op de andere varianten. Het beroepsproduct is en draaiboek voor een kamp, de uitvoering (het op kamp gaan) en de evaluatie van het kamp, met suggesties voor verbetering van het draaiboek. De ontwikkelgroep van dit leerarrangement moet vaststellen welke kaders aan de studenten gegeven worden en welke vrij zijn (ook in kader van organiseerbaarheid bekijken). Wij stellen voor dat de volgende kaders, vastgesteld worden: Locatie van het kamp is al vastgelegd. Daarmee ook plaats en tijd van het kamp. Specifieke opdrachten/ thema’s van een kamp −

Bijvoorbeeld het draaiboek moet geschikt zijn voor een bepaalde school

Eventuele externen zijn op de hoogte gebracht dat studenten contact op kunnen nemen Ieder kamp kent tenminste twee verantwoordelijke docenten. Mogelijke ondersteuning Trainingen op het gebied van

Inhoud Projectmatig werken (basisprincipes) − − − − −

− − −

Plan van aanpak maken Verkennen omgeving Risico-analyse maken Begroting maken / Werken binnen een budget Taken en gelden verdelen

Draaiboeken maken – programma´s maken Overleggen met collega’s (training vergaderen) Leggen van contacten met externen Juridische kaders Uitvoeren van het programma Evalueren van het programma

60

Projectmatig werken Vergaderen Gesprekstechnieken


Bijlage 3 het competentieoverzicht van de FSH Het hier volgende competentieoverzicht is met toestemming overgenomen uit het document: Opleidingscompetentieprofielen (De Brouwer, red., 2006b). In de opleidingscompetentieprofielen worden tien competenties onderscheiden. De eerste 7 zijn op alle afstudeervarianten van toepassing. De laatste drie alleen op de afstudeervarianten binnen de Bachelor of Sports en Movement. Hier volgt een korte omschrijving per competentie. Deze omschrijvingen zijn globaal, omdat de competenties pas betekenis krijgen in relatie tot de kenmerkende beroepssituaties. 1 Interpersoonlijk competent De leraar LO / SBO / bewegingsdeskundige die interpersoonlijk competent is draagt zijn ideeën, meningen en informatie aan anderen over in duidelijke taal, gebaren en non-verbale communicatie en is in staat hierbij gebruik te maken van moderne ICT-toepassingen. Hij reageert tactvol en effectief op behoeften en gevoelens van anderen, en past taal en terminologie aanpassen op verschillende niveaus. 2 (Ped)agogisch competent De (ped)agogische competente leraar LO / SBO / bewegingsdeskundige helpt de aan hem toevertrouwde mensen om zelf vorm te geven aan hun eigen ontwikkeling tot een authentieke, individueel, sociaal en moreel mondig persoon. 3 Vakinhoudelijk en didactisch competent Een vakinhoudelijk en didactische competente leraar LO / SBO / bewegingsdeskundige handelt op basis van kennis op het gebied van bewegen. Hij creëert gestructureerde bewegingssituaties waarin het leren, oefenen en toepassen van bewegingsgedrag gestimuleerd, uitgelokt, geëconomiseerd en richting gegeven wordt. 4 Organisatorisch competent De organisatorisch competente leraar LO / SBO / bewegingsdeskundige bepaalt prioriteiten, geeft de benodigde acties, tijd en middelen aan om doelstellingen te bereiken. 5 Competent in het samenwerken met collega’s De leraar LO / SBO / bewegingsdeskundige die competent is in het samenwerken met collega’s zet zich in om samen met collega’s resultaten te bereiken en daarmee bij te dragen aan een gezamenlijk doel. Hij denkt en handelt vanuit gemeenschappelijke belangen. 6 Competent in het samenwerken met de omgeving De leraar LO / SBO / bewegingsdeskundige ontwikkelt, onderhoudt en maakt gebruik van contacten met relevante personen, organisaties, bedrijven instellingen en overheden in de omgeving. 7 Competent in reflectie en ontwikkeling De leraar LO / SBO / bewegingsdeskundige die competent is in reflectie en ontwikkeling analyseert en evalueert zijn eigen kwaliteiten en leerpunten en werkt actief aan eigen ontwikkeling en die van het team. 8 Competent in innoveren De leraar LO / SBO / bewegingsdeskundige die competent is in innoveren ontwikkelt en implementeert op basis van een kritische analyse van de situatie, nieuwe originele ideeën, werkwijzen en toepassingen, die een meerwaarde betekenen. Hij is daarbij creatief en stimulerend. 9 Competent in managen De bewegingsdeskundige die competent is in managen leidt menselijke en materiële processen in goede banen, met het doel om resultaten te behouden en te verbeteren. 10 Competent in ondernemen De bewegingsdeskundige die competent is in ondernemen signaleert kansen en zet deze om in strategie en verbeterings- of vernieuwingsacties die bijdragen aan betere ondernemingsresultaten.

61


Bijlage 4 Interview met Expert1 Naamaanduiding: Functie binnen Fontys Relatie met assessments 1. Op welke manier worden criteria opgesteld om beroepsproducten te beoordelen (vanuit de beroepskenmerkende situatie, vanuit de leerarrangementen of anders) 2. Hoe wordt de schaal waarop de criteria worden beoordeeld vastgesteld (afhankelijk van de competenties) 3. Op welke manier wordt de schaal genormeerd? 4. Zijn er richtlijnen die individuele beoordeling mogelijk maken bij een groepsproduct? 5. Is er een indeling in verschillende soorten beroepsproducten (tastbaar en gebeurtenis?) 6. Kunnen competenties rechtstreeks beoordeeld worden in een gebeurtenis?

Uitwerking interview: Naam: Expert1 Functie binnen Fontys: Propedeuse coördinator opleiding Applied Science Datum interview: 21 maart 2006 De opleiding Applied Science is dit jaar begonnen in het Biloba model en wordt gezien als een ‘Best practice’. Expert1 houdt regelmatig presentaties over de opleiding en is als ontwerper/trainer betrokken bij Biloba trainingen als ‘Training leerconstructeur’ Daarnaast is Expert1 ook actief op het gebied van e-learning met daarin speciale aandacht voor de ELO N@tschool. Na een korte introductie is gestart met de eerste vraag: Op welke manier worden criteria opgesteld om beroepsproducten te beoordelen? Expert1 reageert op een andere manier dan verwacht: Beroepsproducten worden niet beoordeeld. Studenten worden beoordeeld op competenties. Het hele onderwijsproces is gericht op het verwerven van competenties. Dit gaat als volgt. Al direct aan het begin van de opleiding maakt de student een POP (persoonlijk ontwikkel plan) en een PAP (persoonlijk activiteiten plan). Samen met de studieloopbaanbegeleider worden deze POP en PAP elke week besproken en bijgesteld. De student kan kiezen uit een aantal projecten waarbinnen aan verschillenden competenties gewerkt kan worden. Het POP helpt de student in de keuze welk project geschikt is. Binnen het project werkt de student niet alleen aan het beroepsproduct maar vooral aan de gekozen competenties. In de wekelijkse bijeenkomst met de studieloopbaanbegeleider wordt telkens gereflecteerd op het verwervingsproces van de gekozen competenties. Daardoor wordt het werken aan de competenties vrijwel automatisch de kernactiviteit van de student.Het beroepsproduct wordt niet gezien als belangrijkste uitkomst van het project. Dit is de bewijslast voor de door de student centraal gestelde competenties. Op welke manier worden studenten dan beoordeeld?

62


Er is een aparte beoordelaar die aan het einde van het project de studenten beoordeeld. Er wordt een beoordelingsgesprek met de groep studenten gepland die gezamenlijk het beroepsproduct ontwikkeld heeft. In dit gesprek wordt de studenten gevraagd om individueel met behulp van het beroepsproduct aan te tonen dat zij door hen gekozen competenties verworven hebben. Bv. als een student de competentie ‘onderzoeken’ heeft gekozen om aan te werken dan kunnen representatieve gedeelten uit het onderzoeksrapport gebruikt worden om aan te tonen dat deze competentie verworven is. Dus studenten worden individueel beoordeeld? Ja, de studenten worden individueel beoordeeld op de competenties waar ze tijdens het project aan gewerkt hebben. Tijdens het groepsbeoordelingsmoment worden ze niet alleen beoordeeld op de competenties maar tevens wordt gekeken of ze voldoende over het gehele project weten. Het is een uitgangspunt dat studenten niet alleen hun eigen bijdrage in het project beheersen maar kennis hebben van het totaal. Het feit dat ze als groep bij elkaar zitten heeft een positieve invloed op de betrouwbaarheid. Immers, als een student onjuistheden vertelt (al dan niet bewust) dan kan deze gecorrigeerd worden door de anderen. Maar hoeft het product dan niet beoordeeld te worden? Nee, van de student wordt verwacht dat deze op het competentie-examen aantoont dat de vereiste competenties op de juiste niveau’s zijn verworven. Tijdens de projecten werkt de student aan de competenties en wordt direct beoordeeld op de competenties. Gedurende de opleiding is de student eigenlijk altijd bezig met de ontwikkeling van de competenties en deze ontwikkeling is de rode draad in de opleiding. De competentie ‘onderzoeken’ kan op deze manier beoordeeld worden maar hoe zit het met andere meer gedragsgerichte competenties zoals ‘communiceren’ of ‘interpersoonlijk handelen’? Niet alle competenties kunnen aangetoond worden aan de hand van een tastbaar resultaat. Daarom zijn er nog andere beoordelingsinstrumenten die gebruikt kunnen worden. Tijdens het samenwerken in een project kan bv. een 3600-feedbackinstrument gebruikt worden. Daarmee kunnen andere competenties zoals ‘communiceren’ beoordeeld worden. Kan het zo zijn dat een groep studenten een zwak product aflevert? Natuurlijk zijn er wel eisen die aan het product gesteld worden. Het product dient te voldoen aan vooraf vastgestelde standaarden en eisen. Deze standaarden en eisen zijn richtinggevend voor het ontwikkelproces van het beroepsproduct. Het is dus goed mogelijke dat er verschillen in de kwaliteit van de producten gaat ontstaan. De beoordeling vindt echter uitsluitend plaats op de competenties.

63


Bijlage 5 Interview met Expert2 Naamaanduiding: Functie binnen Fontys Relatie met assessments 1. Op welke manier kunnen criteria opgesteld worden om beroepsproducten te beoordelen (vanuit de beroepskenmerkende situatie, vanuit de leerarrangementen of anders) 2. Hoe kan de schaal waarop de criteria worden beoordeeld vastgesteld worden(afhankelijk van de competenties) 3. Op welke manier kan de schaal genormeerd worden? 4. Zijn er richtlijnen die individuele beoordeling mogelijk maken bij een groepsproduct? 5. Is er een indeling in verschillende soorten beroepsproducten (tastbaar en gebeurtenis?) 6. Kunnen competenties rechtstreeks beoordeeld worden in een gebeurtenis? Uitwerking interview Naamaanduiding: Expert2 Functie binnen Fontys: onderwijskundig consultant In het recente verleden heeft Expert2 als projectleider gefungeerd van het project assessments wat een onderdeel is van het project SPH competent waarin de transformatie van de opleiding SPH naar een competentiegericht vraaggestuurd curriculum wordt uitgewerkt. Expert2 is ook trainer bij de assessoren trainingen en bij de trainingen leerconstructeur. Helaas startte het interview te laat vanwege het uitlopen van de vorige afspraak van Expert2. Op welke manier worden criteria opgesteld om beroepsproducten te beoordelen? Expert2 antwoordt dat het beoordelen van beroepsproducten niet relevant is. Het onderwijs is gericht op het verwerven van competenties. Het werken aan een beroepsproduct kan gezien worden als een manier om competenties te verwerven. Het doel van het werken aan een beroepsproduct is daarom niet het beroepsproduct maar ontwikkeling van competenties. De criteria worden dus niet opgesteld om de beroepsproducten te beoordelen. De criteria worden afgeleid van de competenties. In de competentiematrix is dit uitgewerkt. Daarin wordt per competentie op drie niveau’s weergegeven wat de daarbij horende prestatie-indicatoren zijn. Ook zijn de competenties gespiegeld aan de Dublin-descriptoren De student kiest zelf aan welke competentie gewerkt wordt in een opdracht. Ook kiest de student zelf de prestatie-indicator waarop die beoordeeld wil worden. Als het beroepsproduct gereed is dan stapt de student naar de beoordelaar en vraagt deze om hem/haar te beoordelen op de zelfgekozen prestatie-indicatoren aan de hand van het beroepsproduct. De student legt de beoordelaar bewijs voor dat hij/zij wil opnemen in het portfolio. De beoordelaar geeft hier feedback. (opmerking onderzoeker: De manier waarop met beroepsproducten is wezenlijk anders dan in het onderzoek. De richtinggevende vragen passen nu niet meer zodat het interview een andere richting opgaat)

64


Op de FSH worden beroepsproducten wel beoordeeld met daarnaast nog een 3600feedback waarin rechtstreeks beoordeeld wordt op de prestatie-indicatoren. Hoe past dit binnen het competentiegestuurd onderwijs op Fontys Hogescholen? Deze benadering wijkt af van de benadering die ik net genoemd heb. Het is duidelijk dat de 3600-feedback centraal zal moeten staan. Daarin wordt immers rechtstreeks gewerkt met beoordelen op de competenties. De functie van het beoordelen van het beroepsproduct is mij dan niet echt duidelijk. Wat voegt dit toe aan de 3600-feedback? Het beroepsproduct zal aan natuurlijk aan een aantal standaarden moeten voldoen. Van experts mag je verwachten dat ze een beroepsproduct kunnen beoordelen zonder dat je hier gedetailleerde productcriteria voor hoeft op te stellen. Denk bv. aan het beoordelen van afstudeerscripties in het traditionele onderwijs. Experts beoordelen scripties vaak zonder gedetailleerde beoordelingslijstjes en het blijkt dat ze toch vaak ongeveer op eenzelfde cijfer uitkomen. Hoe zorg je er voor dat beoordelingen van verschillende beoordelaars niet te ver uit elkaar lopen? Het is nu eenmaal zo dat beoordelaars altijd verschillende beoordelingen zullen geven. Bij afstudeerscriptie zie je eigenlijk al de manier waarop je dit moet aanpakken. Zorg ervoor dat je altijd met zijn tweeën beoordeelt. Omdat je gezamenlijk met elkaar tot een oordeel moet komen zul je moeten overleggen. Dit werkt positief door op de beoordelaarsbetrouwbaarheid. Daarnaast is het verstandig om regelmatig met verschillende beoordelaars bij elkaar te gaan zitten en een product gezamenlijk beoordelen en naar elkaar verantwoorden waarom er op een bepaalde manier beoordeeld wordt. Door dit gezamenlijk bespreken ontstaat er een soort gemeenschappelijk gevoel dat er voor zorgt dat de beoordelingsverschillen kleiner worden. Daarnaast wordt er in de assessorentraining aandacht besteed aan het systematisch werken door het gebruiken van methodieken als de Wakkermethode of de STARR-methodiek. Zijn er verschillen in het beoordelen van tastbare producten zoals verslagen, lesvoorbereidingen en gebeurtenissen zoals bv. de uitvoering van een les? Bij het beoordelen van competenties in een gebeurtenis ben je aan het observeren. Er is dan een duidelijk verschil tussen het observeren van de gebeurtenis via een video en het lijfelijk aanwezig zijn bij de gebeurtenis. Als je als beoordelaar de gebeurtenis echt meemaakt dan krijg je veel meer indrukken dan op een video vastgelegd kan worden. Als je een bepaalde competentie erg belangrijk vind dan kun je er voor kiezen om deze competentie te beoordelen in een performance assessment. En dat is eigenlijk ook de achterliggende reden om in het competentie-examen een performance assessment op te nemen.

65


Bijlage 6: Formules voor beoordelaarsovereenstemming en beoordelaarsbetrouwbaarheid. Formule 1: De proportie overeenstemming is: n

PO =

∑ Xi i =1

waarin: n Xi = 0: als de twee beoordelaars het niet eens zijn over object i. Xi = 1: als de twee beoordelaars het eens zijn over object i. n = het aantal objecten dat door de twee beoordelaars wordt beoordeeld. (Heuvelmans & Sanders, 1993) Formule 2: De formule van Cohen (1960) к voor twee beoordelaars luidt: P −P κ = O e waarin 1 − Pe

PO = proportie overeenstemming gedefinieerd als PO =

c

∑ Pii i =1

Pe = toevalsovereenstemming gedefinieerd als Pe =

c

∑ Pi+ P+i i =1

c = het aantal beoordelingscategorieën. Pii = de proportie beoordelingen waarbij zowel beoordelaar A als B een object in categorie i plaatst. P+i = de proportie beoordelingen dat beoordelaar A een object in categorie i plaatst Pi+ = de proportie beoordelingen dat beoordelaar B een object in categorie i plaatst Opmerkingen bij de formule voor beoordelaarsovereenstemming: 1. Beoordelingscategoriën mogen niet leeg zijn 2. het aantal categorieën is minimaal 2 3. het aantal beoordeelde objecten is minimaal 2 4. (Heuvelmans & Sanders, 1993, bewerkt naar voorbeeld van Gwet, 2001) Formule 3: De formule van Cohen (1968) кw voor twee beoordelaars luidt: P −P κ w = O e waarin 1 − Pe

PO = proportie overeenstemming gedefinieerd als PO =

c

c

∑∑ wij Pij i =1 j =1

Pe = toevalsovereenstemming gedefinieerd als Pe =

c

j

∑∑ wij Pi+ Pj i =1 j =1

66


Bijlage 7 Interview met Expert3

Naamaanduiding: Functie binnen Fontys Relatie met assessments:

Deelvraag: 2 1. Met hoeveel beoordelaars wordt gewerkt? 2. Hoe worden de beoordelingscriteria genormeerd en gestandaardiseerd? 3. Wordt er een vaste beoordelingsprocedure gebruikt? 4. Worden beoordelaars getraind?

Deelvraag 3: 6.

welke eisen worden aan feedback opgelegd vanuit de competentie-examens? (product)

7.

welke eisen worden aan feedback opgelegd vanuit de leerweg van de student? (proces)

Uitwerking interview: Naamaanduiding: Expert3 Functie binnen Fontys: programmalijnmanager Biloba Toetsing en Assessment; docent PABO Relatie met assessments: zie functie Datum interview: 25 april 2006 Expert3 is programmalijnmanager Toetsing en Assessment binnen het omvangrijke Bilobaproject. Daarnaast is hij docent aan de Pabo Eindhoven. Aan de Pabo Eindhoven zijn in januari 2006 de eerste competentie-examens afgenomen aan studenten die een versneld programma doorlopen. Het interview wordt gestart met een korte uitleg over manier waarop het assessmentmodel van de FSH opgebouwd is. Dit wordt gedaan om vooraf de verschillen tussen de FSH en de PABO zichtbaar te maken zodat de referentiekaders duidelijk worden. Hierdoor worden mistverstanden bij de vragen voorkomen. Daarop wordt gestart met de eerste vraag.

Worden beroepsproducten door één of door meerdere beoordelaars beoordeeld? Beroepsproducten worden niet gezien als het resultaat van het leerproces maar als een middel om aan competenties te werken. De beoordeling wordt in eerste instantie bij de student neergelegd. De student beoordeelt zelf in hoeverre competenties verworven zijn bij het werken aan de beroepsopdracht De zelfbeoordeling van de student en het product worden aan een beoordelaar voorgelegd. Deze beoordelaar geeft feedback op het materiaal van de student aan de hand van een ‘outputformulier’. Dit formulier is opgenomen in de Handleiding CompetentieExamen (zie Managementteam en docenten Fontys Pabo Eindhoven/Veghel [Pabo],2005). De beoordelaar hoeft niet altijd een docent te zijn. Het kan ook een werkplekbegeleider zijn of een medestudent. Dit is afhankelijk van het leerarrangement. Een hoge beoordelaarsbetrouwbaarheid wordt be-

67


reikt door te zorgen dat er een mix van verschillende beoordelingsvormen met verschillende beoordelaars bereikt wordt. In de competentiematrix voor het eerste competentie-examen(zie Pabo, 2005) is te zien dat bij elke competentie minstens twee verschillende beoordelingsvormen gebruikt worden (Expert3 laat dit duidelijk zien aan de hand van de competentiematrix). De student vraagt om oordelen van verschillende personen. Daarbij kan de student zich beperken tot het oordeel van één persoon maar kan ook om meerdere oordelen vragen. Bij peerassessments wordt geëist dat er aan minstens twee studenten gevraagd wordt om te oordelen.

Hoe wordt nu gezorgd dat de beoordelingscriteria gelijkwaardig zijn tussen de verschillende beoordelaars? De beoordelingscriteria zijn te vinden als prestatie-indicatoren in de uitwerking van de competenties. Omdat er verschillende beoordelaars gebruikt worden zullen de verschillen niet zo groot zijn. Daar waar mogelijk is verdient het de voorkeur om beoordelingen in tweetallen ut te voeren. Op de pabo is eens een experiment uitgevoerd waarbij niet-getrainde assessoren betrokken waren. Als assessoren alleen gingen beoordelen dan bleken er grote verschillen te bestaan. Door in tweetallen te gaan werken waarbij de nadruk gelegd werd op de dialoog, het samen komen tot een beoordeling werden deze verschillen sterk verkleind. Zelfs bij ongetrainde assessoren werden de beoordelingen op deze manier behoorlijk gelijkwaardig. Bij individuele beoordelingen bestond de neiging om te focussen op die prestatie-indicatoren die de beoordelaar belangrijk vond en/of veel affiniteit mee had. Bij het beoordelen in tweetallen verschuift de focus meer naar de competentie zelf. Van de beoordelaars wordt gevraagd om een uitspraak te doen over de competentie en een competentie is eigenlijk een gestalt dwz. het geheel is meer dan de som van de delen. Doordat de twee beoordelaars in dialoog gaan wordt het mogelijk om als het ware boven de prestatie-indicatoren te gaan staan. Hoe worden beoordelaars getraind? In het verleden is er getracht aan de hand van video-interactie om beoordelaars te trainen. Dit gebeurde bij het beoordelen van gesprekstechnieken. Gebruik makend van vaste technieken zoals de wakkermethode is er steeds gedetailleerder gekeken naar zichtbare kenmerken die bij bepaalde gesprekstechnieken hoorde. In het begin bleek dat de verdere detaillering leidde tot een verhoging van de beoordelaarsbetrouwbaarheid. De gedachte leek daardoor gerechtvaardigd om steeds verder op details te gaan letten. Het resultaat daarvan was dat de beoordelaars op een zeker moment eigenlijk alleen maar op details aan het letten waren wat uitmondde in het tellen van het aantal keren dat een kandidaat knikte tijdens het gesprek en dit soort waarneembare gedragskenmerken. Op dat moment hadden de beoordelaars het gevoel dat ze voeling met het eigenlijke beoordelingsproces kwijtgeraakt waren. De mate van detaillering was veel te hoog. Vanuit deze ervaring is geleerd dat het werken met een vaste methode goed is maar dat er tegelijkertijd goed gezocht moeten worden naar een goede balans tussen de methodiek en de mate waarin ingezoomd wordt op de prestatie-indicatoren. De dialoog wordt niet alleen gezien als een goed middel om de beoordelaarsbetrouwbaarheid te verhogen maar is tevens een goed middel om in te zetten bij het trainen van beoordelaars. Het gezamenlijk bespreken van de manier waarop beoordeeld wordt waarbij niet getracht wordt om elkaar te overtuigen van de juiste manier maar waarbij vooral gelet wordt op de argumentatie die achter een beoordeling is een goede manier om mensen te laten nadenken over waarom ze tot een bepaald oordeel komen. De norm ligt immers niet in de beoordelingscriteria maar in de manier waarop de criteria gehanteerd worden. En het benoemen van de reden waarom je tot en bepaald oordeel komt is veel moeilijker dan het lijkt. Elke docent kent wel het gevoel dat je eigenlijk al na het doorbladeren van een werkstuk al weet welk cijfer er bij hoort maar om verwoorden waarom dit cijfer gegeven blijft dan ook vaak hangen in algemene termen.

Hiermee komen we op het gebied van de feedback. Wat zijn de ervaringen op de Pabo met het geven van feedback bij de beoordelingen en bij competentie-examens? 68


Tijdens de eerst competentie-examens afgelopen januari hebben we ontdekt dat we daar nog een ontwikkelpunt hebben. We hebben het geven van ontwikkelingsgerichte feedback als erg lastig ervaren. Daarop zijn we met alle assessoren bij elkaar gaan zitten en hebben we regels voor feedback opgesteld. We zijn hierbij niet de literatuur in gedoken maar hebben samen de regels opgesteld (zie bijlage 8). Belangrijk bij het geven van feedback is het beoordelingskader. Behalve de punten waar specifiek op beoordeeld wordt is er vaak nog van alles te zien wat ook interessant is om feedback op te geven. Het blijkt lastig te zijn om je te beperken tot de beoordelingskaders. Toch is het erg belangrijk dat je bij het geven van feedback binnen de beoordelingskaders blijft. Dat zorgt voor duidelijkheid naar de student te. Deze weet immers dat er beoordeeld wordt op bepaalde competenties en welke prestatie-indicatoren daarbij een rol spelen.

69


Bijlage 8: Feedbackregels opgesteld door de PABO Eindhoven/Veghel

Regels voor ontwikkelingsgerichte feedback in het kader van het competentieexamen Een van de prestatie-indicatoren voor assessoren is het kunnen geven van ontwikkelingsgerichte feedback (zowel mondeling als schriftelijk). Feedback geven is in feite informatie verstrekken over hoe iemands gedrag wordt waargenomen, begrepen en ervaren. Het effect van feedback kan zijn dat iemand zijn gedrag versterkt of verandert. Het geven van ontwikkelingsgerichte feedback is constructief van aard. Het heeft betrekking op het leerproces van de student en wel op het toekomstige leren. Bij ontwikkelingsgerichte feedback in het kader van een competentie-examen gaat het om: - aan te geven waar de student nu staat in zijn competentieontwikkeling - de discrepanties te formuleren t.o.v. het vereiste competentieniveau - verbeterpunten te formuleren - en deze aan de student mondeling en schriftelijk terug te geven Regels

Geef zowel positieve als negatieve feedback Formuleer eerst wat de student beheerst en vervolgens wat er nog ontbreekt. Beschrijf waargenomen gedrag of resultaat van gedrag Beperk je tot de competentie die nu centraal staat Leg vanuit het waargenomen gedrag en/of het aangeleverde bewijs de relatie met de prestatie-indicatoren van deze competentie Wees zo specifiek en concreet mogelijk Door specifiek en concreet te zijn voorkom je misverstanden en weerstand. Leg wel de relatie met de (abstracter geformuleerde) competentie Zorg dat de feedback actueel is Feedback werkt het beste als de tijd tussen het waargenomen en de feedback zo kort mogelijk is. Op deze manier kan de student zich nog het gedrag herinneren. Geef ik-boodschappen Spreek vanuit jezelf, je eigen waarneming. Omdat het om 2 assessoren gaat, in de wijvorm Formuleer verbeterpunten Formuleer per competentie Relateer de verbeterpunten aan de prestatie-indicatoren van deze competentie Geef eventueel hints over de acties die de student kan ondernemen Geef (bij mondelinge feedback) ruimte voor reacties Ga niet in discussie maar vraag of de informatie duidelijk was. Je kunt eventueel de student vragen de hem bereikte informatie samen te vatten. 70


Bijlage 9 Interview met Expert4

Naamaanduiding: Functie binnen Fontys Relatie met assessments:

Deelvraag: 2 5. Met hoeveel beoordelaars wordt gewerkt? 6. Hoe worden de beoordelingscriteria genormeerd en gestandaardiseerd? 7. Wordt er een vaste beoordelingsprocedure gebruikt? 8. Worden beoordelaars getraind?

Deelvraag 3: 8.

welke eisen worden aan feedback opgelegd vanuit de competentie-examens? (product)

9.

welke eisen worden aan feedback opgelegd vanuit de leerweg van de student? (proces)

Er wordt gekozen voor dezelfde opzet als het interview voor docenten die werkzaam zijn binnen Biloba. De verwachting is dat een senior consultant een andere invalshoek zal hebben. Uitwerking interview Naamaanduiding: Expert4 Functie binnen Fontys: Senior Onderwijsconsultant Relatie met assessments: begeleidt verandertrajecten op het gebied van toetsing op verschillende niveau’s: individueel, team en organisatie Expert4 is senior onderwijsconsultant bij het facilitair bedrijf, afdeling onderwijs en actief betrokken bij de ontwikkelingen van het Biloba onderwijsmodel. Zij is betrokken bij diverse publicaties op het gebied van toetsing binnen Fontys Hogescholen. Alvorens met het interview te beginnen is eerst gestart met een onderlinge kennismaking waarin de context waarbinnen het onderzoek zich afspeelt besproken is en de vragen die richting zouden geven aan het interview. Al direct tijdens de kennismaking bleek echter dat de expertise van Expert4 niet helemaal overeenkwam met de richting die de vragen aangaven. De vragen gaan sterk in op de uitvoering binnen het operationele proces (hoe moet je het doen?) terwijl de expertise van Expert4 zich meer op verandermanagement bevindt (hoe zorg je ervoor dat je nieuw processen op een adequate manier kan invoeren?). Als gevolg hiervan is besloten om de richtinggevende vragen los te laten en vooral te kijken met een helikopterview naar de gehele onderwijstransformatie maar daarbij wel toetsing als uitgangspunt te nemen. Momenteel zitten bijna alle opleidingen voor de eerste competentie-examens. De verwachting van Expert4 is dat zal blijken dat veel opleidingen zullen ontdekken dat ze hier niet goed op voorbereid zijn en dat assessoren nog niet voldoende getraind zijn. De situatie van de FSH is uitzonderlijk doordat dit de enige hogeschool is binnen Fontys Hogescholen die nog niet gestart

71


is met het competentiegerichte onderwijs. Belangrijk in de uitwerking van het nieuwe curriculum is de consequente doorvoering van de onderliggende ideeën van het competentiegestuurde onderwijs. Is het niet zo dat de sterke sturing door de competenties voor veel docenten erg abstract is? De sturing door competenties is heel krachtig en de koppeling van studiepunten aan competenties is de enige juiste. Het competentiegestuurde model kan beschouwd worden als een doordachte kapstok waaraan het onderwijs opgehangen kan worden. De kapstok is erg solide maar hangt wel erg hoog voor de docenten. Docenten zijn gewend om te werken vanuit hun eigen vakdiscipline en van hen wordt nu gevraagd om hun vakdiscipline los te laten om te denken vanuit het competentiemodel. Het lijkt erop alsof voor veel docenten deze stap erg groot is. De oplossing hiervoor moet gezocht worden in het consequent doorwerken van het gekozen model. Keuzen moeten vanuit het competentiegestuurd model gemaakt worden en niet meer vanuit de vakdisciplines. Dat dit lastig is blijkt uit het feit dat ik mezelf ook regelmatig erop betrap dat ik niet binnen het model denk. Dan moet ik ook weer terug naar de uitgangspunten om de lijnen van het model weer op te pakken. Wat betekent dit nu voor toetsen binnen het competentiegerichte onderwijs? Het toetsen is één van de pijlers van het competentiegerichte onderwijs. In heel de opleiding wordt toegewerkt naar drie competentie-examens waarop de student aantoont dat deze competent is. Dit kan alleen maar als er een duidelijk beschreven samenhangend toetsbeleid ontwikkeld is. In dit toetsbeleid worden de verschillende soorten toetsen beschreven en de manier waarop de kwaliteit gewaarborgd wordt. Uitgangspunt hierbij is de competentiematrix. Het aantal competenties moet niet te groot zijn (ongeveer 10) en het aantal daaronder hangende prestatie-indicatoren dient ook beperkt te blijven (ongeveer 5 per competentie). Als de aantallen groter worden dan wordt het geheel onoverzichtelijk en daardoor onwerkbaar. De verschillende toetsvormen moeten opgenomen worden in een assessmentmatrix waarin duidelijk wordt dat er verschillende toetsvormen gebruikt worden en dat alle competenties gedekt worden. Deze assessmentmatrix is ook nodig om de beoordelingscriteria bij de assessments te kunnen opstellen. Dus ook voor een beroepsproduct geldt dat de beoordelingscriteria afhangen van de prestatieindicatoren. Belangrijk hierbij is dat er een goede terugkoppeling aan de student gedaan wordt aan de hand van de prestatie-indicatoren. Dan alleen kan de student de relatie met de competenties leggen. Overigens geldt dat de beoordeling individueel moet zijn. Een groepsbeoordeling kan wettelijk niet voor een individu gebruikt worden. Wordt er bij assessments alleen beoordeeld op zichtbaar gedrag? Competenties worden zichtbaar in gedrag dus de vraag is logisch. Echter, competenties worden vaak weergegeven met een plaatje van een ijsberg waarbij boven de waterlijn het zichtbare gedrag is te vinden en onder de waterlijn kennis, vaardigheden en attituden die als het ware de motor vormen voor het gedrag. Ook deze deelgebieden van de competenties moeten geborgd zijn. In het portfolio moeten dus ook bewijzen te vinden zijn van deze deelgebieden. Dit kan bv. door bij een groepsproduct verantwoording te eisen van de student voor de keuzen van gebruikte methodieken maar ook met behulp van kennistoetsen. In de assessmentmatrix zal de borging van kennis, vaardigheden en attituden ook zichtbaar moeten zijn. Ik ben zelf een voorstander van de opbouw van een kennisdossier. De student zal op het competentie-examen moeten kunnen aantonen dat kennis verworven is. Welke theorieën en concepten zijn gebruikt en hoe is dit terug te vinden in de bewijzen die in het portfolio zijn opgenomen. Een docent zal als expert op het kennisdomein heel snel het kennisdossier op een holistische manier kunnen beoordelen. Hoe zit het met formatieve en summatieve toetsing? Een formatieve toets heeft als doel om de student inzicht te geven in de eigen ontwikkeling. Een summatieve toets is een afsluitende toets waarin een eindoordeel geformeerd wordt. Bij een formatieve toets speelt feedback een belangrijke rol. Doordat de summatieve toetsen binnen het competentiegestuurde model geen eindstation meer zijn maar een tussenstation geldt ook nu dat feedback een belangrijke rol speelt. De summatieve toets is een tussenstation omdat de beoordeling als bewijs kan worden opgenomen in het portfolio en daarmee een bouwsteen is voor het 72


competentie-examen. Feedback is nu een wezenlijk onderdeel van de beoordeling. De student heeft deze nodig om competenties te kunnen aantonen dus de feedback zal gebaseerd moeten zijn op de bij de competenties horende prestatie-indicatoren. Feedback is dus niet alleen belangrijk voor formatieve toetsen maar zeker ook voor summatieve toetsen.

73


Bijlage 10: Prestatie-indicatoren in een kenmerkende beroepssituatie

In het document Competentieprofielen (De Brouwer, 2006b) zijn de competenties voor de opleidingen Bachelor of Education en Bachelor of Sports en Movement beschreven. Er zijn negentien kenmerkende beroepssituaties beschreven. Bij elke beroepskenmerkende situaties is een overzicht gegeven van de daarbij horende prestatie-indicatoren ingedeeld naar competentie en competentieniveau. Hieronder is één voorbeeld van een kenmerkende beroepssituatie (met toestemming) integraal overgenomen:

Beschrijving kenmerkende beroepssituatie: Verwerven, beheren en onderhouden van accommodatie en materialen Een leraar lichamelijke opvoeding / leraar speciaal bewegingsonderwijs / bewegingsdeskundige moet zorgen voor het verwerven, beheren en onderhouden van accommodatie en materialen ten behoeve van het uitvoeren van lessen / bewegingsactiviteiten. Hiertoe stelt hij de beheersen onderhoudsplannen op voor zowel het dagelijkse onderhoud als de grotere onderhoudswerkzaamheden. De leraar / bewegingsdeskundige zorgt ervoor dat deze plannen uitgevoerd worden, hetgeen betekent dat hij beheert en onderhoudt en eventuele commissies begeleidt. Hij ziet er op toe dat de accommodatie en faciliteiten veilig en betrouwbaar zijn en voldoen aan alle wettelijke eisen. Overzicht prestatie-indicatoren

Competentie 3: Vakinhoudelijk en didactisch competent (LLO / SBO / SBE) Niveau A Gebruikt de verschillende materialen en apparaten ten behoeve van de verschillende bewegingssituaties op een adequate wijze.

Niveau B Heeft kennis van accommodatie en materialen en zet accommodatie en materialen op een verantwoorde wijze in.

Niveau C Leert leerlingen / deelnemers verantwoord omgaan met materiaal.

Competentie 4: Organisatorisch competent (LLO / SBO / SBE) Niveau A Ruimt de materialen na iedere les / activiteit netjes op (laat de leerlingen / deelnemers dit doen). Onderhoudt de eigen materialen zodat deze in effectieve staat blijven. Plant eigen werkzaamheden. Stelt doelen en prioriteiten voor zichzelf.

Niveau B Stelt een beheer- en onderhoudsplan/ vervangingsplan op. Stelt prioriteiten op basis van belangrijkheid en urgentie.

74

Niveau C Bewaakt de uitvoering van het beheer- en onderhoudsplan / vervangingsplan. Regelt het onderhoud van niet zelf beheerde accommodaties (binnen en buiten).


Competentie 6: Competent in samenwerken met de omgeving (LLO / SBO / SBE) Niveau A Adviseert anderen over de door de school / organisatie / bedrijf gebruikte bewegingsaccommodaties.

Niveau B Onderzoekt de markt van sportmaterialen kijkt wat de nieuwe ontwikkelingen zijn. Benut reclame- en promotiefaciliteiten van bedrijven bij het aanschaffen en vervangen van materialen en middelen.

Niveau C Onderhoudt contacten met firma’s die gespecialiseerd zijn in accommodatie en materiaal op het gebied van sport- en bewegingsactiviteiten.

SBE Houdt rekening met lokale en (inter)nationale wettelijke bepalingen.

Competentie10: Competent in managen (SBE) Niveau A Overziet de financiële consequenties van beslissingen. Gaat verantwoord om met geld en brengt eventuele kostenoverschrijdingen in beeld.

Niveau B Herkent de financiële consequenties van besluiten en activiteiten. Stelt budgetten en planningen vast voor de korte en middellange termijn. Stuurt tijdig bij wanneer er sprake is van kostenoverschrijding. Houdt rekening met de begrotingskaders van de school / organisatie / bedrijf. Vergelijkt financiële consequenties van verschillende oplossingen en zoekt naar de optimale oplossing.

75

Niveau C Realiseert verbetering van rendement op uitgaven door lasten af te wegen tegen additionele baten c.q. te realiseren besparingen. Maakt financiële consequenties inzichtelijk en stimuleert anderen middelen verantwoord te gebruiken. Stelt budgetten en planningen vast voor de lange termijn (meerjarenplanning.


Bijlage 11 competentiematrix LO

De competentiematrix is opgebouwd rond de 7 LO-competenties. Bij elke kenmerkende beroepssituatie is met geel aangegeven welke competentie daarbij hoort. Bij elke competentie is tevens aangegeven hoeveel prestatie-indicatoren op de drie competentieniveaus’s (A, B en C) zijn geformuleerd. Competentie 7: Competent in reflectie en ontwikkeling is een generieke competentie die onafhankelijk van de kenmerkende beroepssituaties is geformuleerd en daarom in alle leerarrangementen terug komt.

76

Beoordelen van beroepsproducten in een competentiegestuurd curriculum

Recommend Documents