Anton de Kom Universiteit van Suriname Faculty of Graduate Studies I.O.
Assessment van competenties Een aanzet tot het competentiegericht opleiden en beoordelen bij de Certificaatopleiding Economie van de Stichting Opleidingen en Onderzoek in Suriname (SOOS)
Thesis ter verkrijging van de graad van Master in Education ‘Innoveren en implementeren’
Querlyn L. Hidalgo Juli 2015 Opleiding: Educatieve Master Innoveren en implementeren Begeleiders: Dr. W. Miedema en Dr. U. de Jong
Anton de Kom Universiteit van Suriname Faculty of Graduate Studies I.O.
Assessment van competenties Een aanzet tot het competentiegericht opleiden en beoordelen bij de Certificaatopleiding Economie van de Stichting Opleidingen en Onderzoek in Suriname (SOOS)
Thesis ter verkrijging van de graad van Master in Education ‘Innoveren en implementeren’
Querlyn L. Hidalgo Juli 2015 Opleiding: Educatieve Master Innoveren en implementeren Begeleiders: Dr. W. Miedema en Dr. U. de Jong
Voorwoord Een hart voor onderwijs. Dat is de wijze waarop ik mezelf zie. In 1999 begon ik als deeltijddocent op het Instituut voor de Opleiding van Leraren (IOL) en gedurende 2002 tot en met 2011 heb ik daar als voltijd docent gewerkt. Voor mijn voltijdse betrekking bij het IOL, was ik staffunctionaris bij de Centrale Bank van Suriname. Mijn stap naar het onderwijs, was toen een heel bewuste keuze geweest en het nu mogen afronden van een masterstudie in education zie ik dan ook als een beloning voor mijn jarenlange bijdrage aan het onderwijs. In 2002 heb ik de Stichting Opleidingen en Onderzoek (SOOS) opgericht. Naast mijn voltijdse betrekking op het IOL, was de SOOS de plek waar ik kon experimenteren met onderwijsgerelateerde zaken. Veel trainingen die ik verzorgd heb, een aantal onderwijsondersteunende projecten die ik mede uitgevoerd heb en twee hbo-opleidingen die ik mede heb mogen ontwikkelen en implementeren zijn enkele resultaten die geboekt zijn bij de SOOS. Het afronden van de educatiemaster ‘innoveren en implementeren’ met een SOOS-onderwerp is dan ook een bewuste keuze geweest. Als voorzitter van het bestuur, zal ik mij dan ook inzetten dat de onderzoeksvoorstellen uit deze thesis geïmplementeerd worden bij de SOOS Deze thesis zou niet mogelijk zijn geweest zonder de optimale ondersteuning van de SOOS familie. Ik bedank dan ook het bestuur die mij alle ruimte heeft gegeven om deze thesis af te ronden. Ook de toenmalige algemeen directeur, J. Johns-Christopher, de opleidingsmanager van de COE, I. Ramdin, de kwaliteitsmedewerker, V. Rambharos, en alle docenten die hun bijdrage hieraan hebben geleverd, bedank ik van harte. Ook een bijzonder woord van dank aan mijn hoofdbegeleider dr. W. Miedema en mijn co-begeleider dr. U. de Jong. Ook bedank ik I. Oudkerk-Pool die mij het materiaal voor de assessorentraining ter beschikking heeft gesteld. Tenslotte bedank ik mijn echtgenoot en mijn kinderen voor hun ondersteuning en hun begrip tijdens mijn gehele studie, in het bijzonder tijdens deze laatste fase van afronding. Een grote drijfsfeer om deze thesis af te ronden in de beschikbare tijd is de inspiratie geweest die ik van de Here heb mogen ontvangen. Ik draag deze thesis dan ook volledig aan Hem op. 10 juli 2015 Querlyn L. Hidalgo
Masterthesis
2
Inhoud Samenvatting ............................................................................................................................. 5 1.
Inleiding ............................................................................................................................. 6
2
Korte weergave analyseonderzoek .................................................................................... 9 2.1
2.1.1
Analyse bestaand materiaal.................................................................................. 9
2.2.2
Interviews ........................................................................................................... 10
2.2
3
Korte weergave onderzoeksresultaten ....................................................................... 11
2.2.1
Bestaand materiaal ............................................................................................. 11
2.2.2
Interviews opleidingsmanager en algemeen directeur ....................................... 15
2.2.3
Onderzoeksresultaten interviews COE docenten ............................................... 16
2.3
Conclusies analyse onderzoek ................................................................................... 18
2.4
Verantwoording interventie voorstel ......................................................................... 19
Theoretisch kader met conceptueel model ....................................................................... 20 3.1
Het begrip competentie ............................................................................................. 20
3.2
Assessment ................................................................................................................ 21
3.2.1
Doeleinden van assessment................................................................................ 21
3.2.2
Beoordelingsmomenten ..................................................................................... 22
3.2.3
Kwaliteitscriteria voor assessments ................................................................... 23
3.3
Het portfolio .............................................................................................................. 25
3.4
Assessment beoordeling ............................................................................................ 28
3.5
De assessor ................................................................................................................ 29
3.5.1
Gedragsindicatoren van een assessor ................................................................. 29
3.5.2
Methodieken ...................................................................................................... 30
3.6
4
Onderzoeksvraag en -opzet ......................................................................................... 9
Conceptueel model en interventieonderzoeksvoorstel .............................................. 31
3.6.1
Verantwoording conceptueel model .................................................................. 31
3.6.2
Interventieonderzoeksvoorstel ........................................................................... 32
Interventie ........................................................................................................................ 33 4.1
Globaal ontwerp ........................................................................................................ 33
4.2
Blokjeschema ............................................................................................................ 33
4.3
Gedetailleerd ontwerp ............................................................................................... 34
4.3.1
Het informeren van docenten ............................................................................. 34
4.3.2
Assessorentraining ............................................................................................. 34
Masterthesis
3
4.3.3
Gerichte oefening van de docenten onderling ................................................... 36
4.3.4
Brainstormen van docenten................................................................................ 37
4.4 5
Onderzoeksopzet .............................................................................................................. 38 5.1
Centrale vraag en deelvragen .................................................................................... 38
5.2
Onderzoekstype ......................................................................................................... 39
5.2.1
Actieonderzoek .................................................................................................. 39
5.2.2
Effectonderzoek ................................................................................................. 40
5.3
Populatie .................................................................................................................... 41
5.4
Dataverzameling en onderzoeksinstrumenten ........................................................... 41
5.4.1
Toename kennisniveau docenten ....................................................................... 41
5.4.2
Toename ontwikkelingsniveau competenties assessor bij docenten ................. 41
5.4.3
Criteria ten behoeve van tussen- en eindassessments ........................................ 42
5.5
6
Validiteit ............................................................................................................ 43
5.5.2
Betrouwbaarheid ................................................................................................ 44
Resultaten van het onderzoek .......................................................................................... 45 Het effect van het product ......................................................................................... 45
6.1.1
Informeren van docenten ................................................................................... 45
6.1.2
Assessorentraining ............................................................................................. 46
6.1.3
Aangepast competentieprofiel ........................................................................... 54
6.2
8
Validiteit en betrouwbaarheid ................................................................................... 43
5.5.1
6.1
7
Programma van eisen ................................................................................................ 37
Het effect van het proces ........................................................................................... 58
Conclusies, aanbevelingen en discussie ........................................................................... 59 7.1
Conclusies ................................................................................................................. 59
7.2
Aanbevelingen ........................................................................................................... 61
7.3
Discussie.................................................................................................................... 62
Implementatie plan........................................................................................................... 64 8.1
Implementatietheorie ................................................................................................. 64
8.2
Stakeholders .............................................................................................................. 65
8.3
Sociaal kapitaal en capacity building ........................................................................ 65
8.4
Stappenplan ............................................................................................................... 66
Lijst van geraadpleegde bronnen ............................................................................................. 67 Bijlagenoverzicht ..................................................................................................................... 71 Masterthesis
4
Samenvatting De Stichting Opleidingen en Onderzoek in Suriname (SOOS), heeft twee hbo-opleidingen, namelijk de marketing en managementopleiding (MeM) en de Certificaatopleiding Economie (COE). In tegenstelling tot de COE, komen bij de MeM wel praktijkopdrachten, simulaties en stages voor. Dit is de directe aanleiding geweest om tijdens een analyseonderzoek na te gaan in welke mate de toetsvormen bij de COE aansluiten bij het competentiegerichte karakter van de opleiding. De conclusie uit dit onderzoek is geweest dat de toetsvormen geen competenties toetsen, maar geïsoleerde kennis en vaardigheden. Uitgaande hiervan is een interventieonderzoek gedaan met als centrale probleemstelling ‘kunnen gerichte training en oefening bijdragen aan de competenties als assessor bij de docenten van de SOOS?’. Uit het literatuuronderzoek is naar voren gekomen dat een assessor een portfolio dient te beoordelen uitgaande van de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen en de relatie tussen de bewijzen, beroepshandelingen en beoordelingscriteria. Ook dient een assessor een criteriumgericht interview af te nemen waarbij de STARTtechniek, LSD-techniek en turbo-vragen gehanteerd worden. Middels een actieonderzoek is nagegaan als het mogelijk is om een toename in het ontwikkelingsniveau van de competenties van de docent als assessor te weeg te brengen. Het meten van de toename, is gekwalificeerd als een effectonderzoek. Bij de docenten is er een toename geweest in het kennisniveau over het competentiegericht opleiden en beoordelen waarbij het gemiddeld toetscijfer bij het tweede meetmoment is gestegen van 4,4 naar 6,2. Zowel tijdens het eerste als het tweede meetmoment zijn er turbovragen gesteld, zijn de vraak-criteria gehanteerd en is de LSD-techniek gedemonstreerd. Verder is er tijdens het eerste moment niet gelet op de relatie tussen de bewijzen, beroepshandelingen en beoordelingscriteria, terwijl dat wel het geval is geweest bij het tweede meetmoment. Ook is geconstateerd dat bij het eerste meetmoment de taakfase van de START-techniek niet aan de orde is geweest, terwijl bij het tweede meetmoment alle fasen van deze techniek aan de orde zijn geweest. Verder is tijdens het eerste meetmoment geen feedback gegeven, terwijl dat wel gedaan is tijdens het tweede meetmoment met het in acht nemen van de feedbackregels en de focus op de inhoud van het portfolio. Uitgaande van deze resultaten kan als conclusie van het interventieonderzoek worden gesteld dat gerichte training en oefening een bijdrage kunnen leveren aan de competenties als assessor van de docenten. Als aanbevelingen worden gedaan het verder informeren van de docenten over het implementatieplan, het organiseren van vervolgworkshops, het instellen van een focusgroep en het doen van analyseonderzoek voor het verder in kaart brengen van de te ontwikkelen competenties bij de studenten en het instellen van een community of learners. De verbeterpunten die tijdens de discussie naar voren zijn gekomen hebben betrekking op de ecologische validiteit, de vergelijkbaarheid van de resultaten van de voor- en nameting, de controle van de ontwikkelde instrumenten en de afstemming met de observatoren tijdens het interventieonderzoek.
Masterthesis
5
1.
Inleiding
De Stichting Opleidingen en Onderzoek in Suriname (SOOS), is opgericht op 25 april 2002 en is in april 2003 begonnen met haar bedrijfsactiviteiten. De visie van de SOOS is om het innovatieve instituut te zijn, dat met nationaal en internationaal geaccepteerde kwalitatief goede onderwijsproducten en een betrokken team de Surinaamse markt waarin opleidingen worden aangeboden, overneemt. De SOOS heeft als missie om een Surinaams kwaliteitswaarborgend instituut te zijn dat burgers vormt om optimaal te functioneren in de maatschappij door marktgericht en klantgericht op maat ontwikkelde onderwijsproducten aan te bieden, waarbij gebruik wordt gemaakt van proactieve, innovatieve en integere medewerkers (Stichting Opleidingen en Onderzoek in Suriname [SOOS], 2013a). Uit het bedrijfsprofiel van de SOOS (2013a), is af te leiden dat de diensten van de SOOS worden onderscheiden in enerzijds projecten die met name bestaan uit het ontwikkelen en het verzorgen van trainingen in opdracht van bedrijven, organisaties en de overheid en anderzijds opleidingen. In het kader van dit onderzoek staan de opleidingen centraal, waarop hieronder kort wordt ingegaan. In 2008 is de wet voor het instellen van een Nationaal Orgaan Voor Accreditatie (NOVA) in werking getreden, waarna in 2009 het kwartierteam Interim NOVA is ingesteld. Dit kwartierteam is ertoe overgegaan om opleidingen vallende onder het hoger onderwijs een erkenning van bestaan te verlenen, mits deze voldeden aan de daartoe gestelde eisen. De SOOS heeft in juli 2010 de erkenning van bestaan verkregen voor de Marketing en Managementopleiding (MeM) en in oktober 2010 voor de Certificaatopleiding Economie (COE). In oktober 2010 is de SOOS gestart met de MeM die opleidt tot (assistent) marketingmanager en in maart 2011 met de COE die opleidt tot financieel analist. In juni 2011 is de Accreditatieraad ingesteld onder wiens toezicht de accreditatiekaders, in samenspraak met de hoger onderwijsinstituten, zijn samengesteld. De publicatie heeft plaatsgevonden in het staatsblad van de Republiek Suriname op 26 maart en 2 april 2013. Met deze publicatie, is de weg opengesteld voor de hoger onderwijsinstituten om de accreditatie aan te vragen. In de accreditatiekaders van NOVA (Nationaal Orgaan voor Accreditatie [NOVA], 2012) is aangegeven dat de opleiding dient aan te tonen dat er een systeem van beoordeling en toetsing is, waarmee wordt nagegaan of de individuele student ook inderdaad over de beoogde eindkwalificaties beschikt. In tabel 1.1 zijn de toetsvormen die bij de verschillende modules van de SOOS worden gehanteerd voor de MeM opleiding en de COE weergegeven. Tabel 1.1: Overzicht van het aantal modules per toetsvorm bij de MeM en de COE Toetsvorm Schriftelijk tentamen Schriftelijke (groeps)opdracht (Groeps)presentatie Mondelinge toets Rollenspel
Masterthesis
MeM 17 16 3 5 2
COE 16 18 3 1
6
Toetsvorm Onderlinge beoordeling Praktijkopdracht Poster Brief/notulen Discussie/debat Portfolio Project Reflectie Simulatie Stage Werkverslag Persoonlijk beroepsmatig handelen Scriptie Totaal
MeM 2 4 1 2 2 11 4 10 2 1 2 1 85
COE 1
6 5
1 1 1 53
(SOOS, 2013b, 2013c) Uit tabel 1.1 blijkt dat er bij de MeM een veel grotere variatie aan toetsvormen verspreid over de verschillende modules is dan bij de COE. Daarnaast zijn er bij de MeM, in tegenstelling tot de COE, ook toetsvormen als praktijkopdrachten, simulatie en stage opgenomen die de relatie met de beroepspraktijk betreffen. Aangezien door NOVA (2012) duidelijk wordt gesteld dat hbo-opleidingen dienen aan te tonen dat de studenten daadwerkelijk kunnen functioneren in het beroep waarvoor zij worden opgeleid, is het gemis van deze toetsvormen bij de COE dan ook de aanleiding geweest voor een analyseonderzoek waarbij is nagegaan of en hoe de toetsvormen bij de COE mogelijkerwijs dan wel aansluiten op de beoogde eindkwalificaties. De beoogde eindkwalificaties zijn bij de SOOS weergegeven in het competentieprofiel van de opleiding. De competenties van de opleidingen van de SOOS worden verdeeld in algemene competenties en de beroepsgerichte competenties. De algemene competenties gelden voor alle hbo-opleidingen van de SOOS, terwijl de beroepsgerichte competenties afgestemd zijn op het beroep waarvoor een hbo-opleiding opleidt. De algemene competenties zijn onderverdeeld in vier categorieën en de beroepsgerichte competenties in twee categorieën. In schema 1.1 zijn de zes categorieën van de competenties van de COE weergegeven. Schema 1.1: Algemene en beroepsgerichte competenties van de COE. Algemene competenties 1.
Interpersoonlijke competentie Een financieel analist die interpersoonlijk competent is, schept een coöperatieve en open sfeer, is een rolmodel en brengt een open communicatie tot stand.
2.
Organisatorische competentie Een financieel analist die organisatorisch competent is, zorgt voor een ordelijke en doelmatige werkplek en stemt de werkzaamheden op elkaar af.
4
Competentie in het reflecteren Een financieel analist die competent is in het reflecteren neemt initiatief om op de hoogte te blijven van ontwikkelingen in het beroep en werkt samen met collegae om zijn handelen
Masterthesis
7
systematisch te kunnen verbeteren. Beroepsgerichte competenties 5.
Vakspecifieke competentie Een financieel analist die vakcompetent is, verzamelt, verwerkt en analyseert financiële, administratieve en economische gegevens aan de hand waarvan het management wordt geadviseerd.
6.
Beroepsspecifieke competentie Een financieel analist die beroepscompetent is, kan volwaardig en zelfstandig functioneren.
(Overgenomen van SOOS, 2013d). Uitgaande van hetgeen hierboven is beschreven, heeft tijdens het analyseonderzoek de volgende probleemstelling centraal gestaan: in welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding? Het analyseonderzoek heeft als doel gehad om in kaart te brengen hoe de beoogde competenties van de COE getoetst worden, om op basis hiervan een interventie te doen die moet bijdrage dat bij de COE inderdaad een systeem van toetsen wordt ingevoerd waarmee de beoogde eindkwalificaties bij de studenten wordt gerealiseerd. Dit onderzoek is in twee delen uitgevoerd. Het eerste deel betreft een analyseonderzoek, waarin de bovenstaande centrale vraag is onderzocht. De resultaten van dit analyseonderzoek zijn beschreven in hoofdstuk 2. Uitgaande van de conclusies van het analyseonderzoek, heeft vervolgens een interventieonderzoek plaatsgehad. Het theoretisch kader van dit interventieonderzoek is opgenomen in hoofdstuk 3, terwijl de beschrijving van de interventie met het bijbehorende programma van eisen in hoofdstuk 4 is opgenomen. De centrale vraagstelling van het interventieonderzoek en de wijze waarop het interventieonderzoek is uitgevoerd, zijn beschreven in hoofdstuk 5, gevolgd door de onderzoeksresultaten in hoofdstuk 6. De conclusies naar de effectiviteit van de gepleegde interventie, de daaraan gekoppelde aanbevelingen en de discussie met betrekking tot het verloop van de interventie en het onderzoek zijn opgenomen in hoofdstuk 7. Deze thesis wordt tenslotte afgesloten met het implementatieplan in hoofdstuk 8.
Masterthesis
8
2
Korte weergave analyseonderzoek
In dit hoofdstuk wordt er een korte weergave gegeven van het analyseonderzoek. In 2.1 wordt ingegaan op de vraagstelling en onderzoeksopzet, in 2.2 worden de resultaten van het analyseonderzoek kort beschreven, in 2.3 worden de conclusies van het onderzoek beschreven en in 2.4 wordt de keuze voor de interventie verantwoord.
2.1
Onderzoeksvraag en -opzet
De onderzoeksvraag van het analyseonderzoek luidt als volgt: “In welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?”. In het kader van dit onderzoek is een competentie gedefinieerd als een samenhangend geheel van kennis, vaardigheden, houdingen en eigenschappen dat zich, met het oog op de toekomstige uit te voeren beroepstaken, door middel van concrete handelingen in de beroepscontext gedurende een bepaalde periode in relatie tot andere competenties ontwikkelt. In het theoretisch kader in hoofdstuk 3, wordt hier verder op ingegaan. Om de onderzoeksvraag te beantwoorden is er kwalitatief explorerend onderzoek gedaan waarbij bestaand materiaal is geanalyseerd en interviews zijn afgenomen, verwerkt en geanalyseerd. De algemeen directeur, de opleidingsmanager en dertien COE docenten zijn hierbij geïnterviewd. 2.1.1 Analyse bestaand materiaal In november - december 2013 zijn de studiegids en het lesmateriaal van de zevenendertig modules van de COE geanalyseerd. Hierbij is er een inhoudsanalyse gedaan waarbij de leerdoelen en de toetsvormen per module zijn verzameld. In bijlage 2 is het onderzoeksinstrument opgenomen dat gebruikt is om de benodigde informatie uit de studiegids en het lesmateriaal te verzamelen. Om de geldigheid van de onderzoeksresultaten te kunnen garanderen, zijn de onderzoeksresultaten via email verstuurd naar de docenten zodat zij aanvullingen op en/of correcties konden plegen aan de geïdentificeerde toetsvormen. Deze controle was noodzakelijk omdat de toetsvormen die aan de hand van de studiegids waren geïdentificeerd bij een vijftal modules verschilden van de toetsvormen die aan de hand van het bestaand materiaal waren geïdentificeerd. De resultaten die zijn geanalyseerd, zijn die na de controle van de resultaten door de docenten. Bij de data-analyse zijn de prestatie-indicatoren uit het competentieprofiel als labels gebruikt. Hierbij is aan de hand van de leerstofaanduiding in het leerdoel nagegaan welk leerdoel overeenkomt met welke prestatie-indicator. Drie van de 154 leerdoelen konden aan de hand van de leerstofaanduiding niet geplaatst worden bij een prestatie-indicator. Deze drie leerdoelen zijn buiten beschouwing gelaten bij de verdere analyse. Naast het leerdoel, is de module waarop het leerdoel betrekking heeft ook gelijk opgenomen in dit overzicht. Het resultaat van deze fase is een overzicht geweest, waaruit aan de hand van de leerdoelen is af
Masterthesis
9
te leiden, welke competenties, in casu prestatie-indicatoren, in welke modules getoetst worden. In de tweede fase van de analyse zijn in hetzelfde overzicht als hierboven genoemd, de toetsvormen naast een leerdoel ingevuld. Bij deze fase bleek, dat in drie gevallen aan de hand van de omschrijving van de toetsvorm niet af te leiden was, als de prestatie-indicator daadwerkelijk getoetst werd. Hierbij was het noodzakelijk om weer aanvullende data te verzamelen uit het lesmateriaal, waarbij met name de opdrachten en de beoordelingstabellen de benodigd aanvullende data hebben opgeleverd. Uit deze analysefase zijn uiteindelijk zes overzichten, voor elke competentiecategorie (interpersoonlijk, organisatorisch, samenwerken, reflecteren, vakspecifiek en beroepsspecifiek) één, voortgekomen waarin per prestatieindicator de leerdoelen met bijbehorende toetsvorm en de betreffende module zijn opgenomen. Deze overzichten zijn voor de verkorte weergave samengevat in paragraaf 2.2.1, schema 2.1, waarin per competentiecategorie de toetsvormen zijn weergegeven. 2.2.2 Interviews In december 2013 zijn er interviews gehouden met de relevante actoren, namelijk de opleidingsmanager COE, de algemeen directeur en dertien COE docenten. Het interview met de opleidingsmanager en de algemeen directeur heeft vooral gefocust op hun visie op het totaal overzicht aan toetsvormen, zoals verkregen uit de analyse van het bestaand materiaal. Met de interviews met de docenten is beoogd om inzicht te krijgen over hoe de docenten denken over het competentiegericht opleiden en toetsen bij de COE. De gehanteerde interviewvragenlijsten zijn opgenomen in bijlage 3 (algemeen directeur en opleidingsmanager) en bijlage 4 (docenten). Interview opleidingsmanager en algemeen directeur De interviews met de opleidingsmanager en de algemeen directeur zijn schriftelijk afgenomen, waarbij de geïnterviewden hun antwoorden in een speciaal daarvoor bestemd antwoordenblad hebben ingevuld (zie bijlage 3). Schriftelijke interviews hebben als voordeel dat de respondenten het kunnen invullen op een tijdstip dat hen het beste uitkomt en dat die daarbij kunnen nadenken over de antwoorden (Baarda, De Goede & Teunissen, 2009). Dit voordeel was in dit geval doorslaggevend voor de keuze om het interview schriftelijk af te nemen, aangezien het competentieprofiel van de COE uit zes hoofdcompetenties bestaat die verdeeld zijn in 23 sub-competenties met in totaal 81 prestatie-indicatoren. De eerste stap bij de data-analyse is het labelen geweest. Hierbij is eerst het interview van de opleidingsmanager gelabeld, waarbij er negentien labels zijn gevormd, waarvan enkele zowel in positieve als in negatieve zin voorkomen. Bij het labelen is vooral naar de inhoud van de antwoorden gekeken. Het doel van het interview was vooral om een beeld te krijgen van de visie van de opleidingsmanager en de algemeen directeur op de mate waarin de toetsvormen aansluiten op de competenties, hetgeen centraal heeft gestaan in dit analyseonderzoek. De labels zijn zodanig gekozen dat de redenen waarom de functionarissen van mening zijn dat een bepaalde prestatie-indicator al dan niet getoetst wordt in de verschillende modules van de Masterthesis
10
opleiding, tot uiting komen. De bij het interview van de opleidingsmanager geïdentificeerde labels zijn ook te gebruiken geweest bij de data van de algemeen directeur. De labels zijn opgenomen in bijlage 5. Bij het labelen is er voor gekozen om de fragmenten die betrekking hadden op de mening van de opleidingsmanager en de algemeen directeur over de huidige wijze waarop er getoetst wordt bij de COE duidelijk te onderscheiden van de verbetervoorstellen die deze functionarissen hebben aangedragen over de toetsing. Hiervoor is gekozen zodat bij het definiëren van de uiteindelijke thema’s mee kan worden genomen of een bepaalde label niet alleen iets zegt over de wijze van toetsing, maar ook over de wijze van verbetering. Uiteindelijk zijn de twee groepen van labels wel samengevoegd en vervolgens geordend waarbij de labels met een gemeenschappelijk kenmerk bij elkaar zijn geplaatst onder een bepaald thema. Uiteindelijk zijn er hieruit zeven thema’s als resultaat voortgekomen waarop verder in paragraaf 2.2.2, onderzoeksresultaten, wordt ingegaan. Interviews docenten De interviews met de docenten zijn mondeling afgenomen, waarbij gebruik is gemaakt van een taperecorder en een logboek. Aan alle COE docenten is gevraagd om een interview van af te nemen, waarbij één docent niet heeft kunnen deelnemen aan het onderzoek. In totaal zijn er dertien docenten geïnterviewd. De dataverwerking is begonnen met het uitschrijven van de interviews, vervolgens zijn deze uitgeschreven teksten verdeeld in relevante tekstfragmenten, waarbij elk fragment gelabeld is. Vervolgens zijn de dertien gelabelde overzichten van tekstfragmenten horizontaal geanalyseerd. Hiermee wordt bedoeld dat uit elke tekst naar kernbegrippen is gezocht die inzicht geven over: 1. De omschrijving die een docent geeft over het competentiebegrip; 2. De wijze waarop een docent aandacht heeft voor de competentieontwikkeling van de student; 3. De wijze waarop een docent meent een bepaalde competentie te toetsen; 4. De mogelijke ondersteuning die een docent kan geven aan een meer competentiegerichte toetsing bij de COE. Het resultaat van de hierboven beschreven analyse is verkort weergegeven in schema 2.4 en schema 2.5.
2.2
Korte weergave onderzoeksresultaten
De onderzoeksresultaten worden weergegeven voor het bestaand materiaal en de afgenomen interviews. 2.2.1 Bestaand materiaal In schema 2.1 wordt een overzicht gegeven van de wijze hoe momenteel de toetsing van de algemene competenties bij de COE plaatsvindt. De algemene competenties zijn de interpersoonlijke competenties, organisatorische competenties, competenties in het samenwerken en de competenties in het reflecteren. In onderstaand schema zijn de toetsvormen die in de Masterthesis
11
praktijksituaties plaatsvinden in het rood aangegeven en de toetsvormen die een simulatie van de praktijksituatie zijn, in het blauw. Schema 2.1: Huidige toetsing algemene competenties COE 1. Interpersoonlijke competenties 1.1 De student gaat op een rechtvaardige manier om met mensen: Reflectieverslag Portfolio
1.2 De student communiceert schriftelijk, mondeling en nonverbaal: Brieven en notulen Rapportagetechnie ken Reflectieverslag Portfolio Presentatie Gesprekken Vergaderingen Vragenronde
1.3 De student gebruikt relevante informatie: Onderzoeksrapport Afstudeerscriptie Reflectieverslag Portfolio SPSS codeboek
Masterthesis
2. Organisatorische competenties 2.1 De student gaat methodisch te werk: Afstudeerplan Onderzoeksplan Projectplan Afstudeerscriptie Onderzoeksrapport Schriftelijk tentamen Projectverslag Reflectieverslag Portfolio Word verslag Powerpointpresentatie Internettoets Computerboekhoudentoets SPSS codeboek 2.2 De student brengt structuur aan in het werk: Presentatie Individuele tijdsverantwoording Afstudeerplan Persoonlijk beroepsmatig handelen (afstuderen) Procesverslag Reflectieverslag Portfolio Schriftelijk tentamen Projectplan Projectverslag Afstudeerplan Onderzoeksrapport 2.3 De student controleert activiteiten op voortgang: Procesverslag Reflectieverslag Portfolio Schriftelijk tentamen Projectplan Projectverslag
3. Competenties in het samenwerken 3.1 De student functioneert als volwaardig groepslid: Reflectieverslag Portfolio Onderlinge beoordeling groepsleden Vergaderingen
4. Competenties in het reflecteren 4.1 De student reflecteert op het persoonlijk functioneren: Persoonlijk ontwikkelingsplan Reflectieverslag Portfolio
3.2 De student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze: Reflectieverslag Portfolio
4.2 De student reflecteert op de eigen kennisontwikkeling: Reflectieverslag Portfolio Afstudeerscriptie Presentatie
4.3 De student reflecteert op het persoonlijk handelen in de beroepscontext: Reflectieverslag Portfolio
12
1. Interpersoonlijke competenties 1.4 De student werkt voor een probleemsituatie bruikbare oplossingen uit: Afstudeerplan Onderzoeksplan Afstudeerscriptie Onderzoeksrapport Reflectieverslag Portfolio 1.5 De student demonstreert verantwoorde gedragspatronen. Reflectieverslag Portfolio
2. Organisatorische competenties
3. Competenties in het samenwerken
4. Competenties in het reflecteren
Uit schema 2.1 blijkt dat elke algemene competentie bij de COE middels een reflectieverslag en portfolio getoetst wordt. Deze toetsing is (pas) in de afstudeerfase van de opleiding, waarbij de studenten tijdens het afstudeeronderzoek (in bovenstaand schema aangeduid als afstudeerscriptie) bewijzen verzamelen die hun competentieniveau dienen aan te tonen. Deze bewijzen worden geplaatst in een portfolio terwijl de beschrijving in het reflectieverslag geschiedt. Tijdens de afstudeerscriptie vindt er dus een daadwerkelijke toetsing in de praktijksituatie plaats, aangezien er een praktijkonderzoek wordt gedaan. De afstudeerscriptie, het reflectieverslag en het portfolio zijn in bovenstaand schema in het rood opgenomen. Verder blijkt uit schema 2.1 ook dat alleen bij de competenties 1.2 en 3.1 er een simulatieopdracht is als toetsvorm. Deze simulatieopdrachten zijn in het blauw aangegeven. Bij de overige toetsvormen vindt er toetsing plaats van kennis en vaardigheden en niet van competenties. In schema 2.2 wordt een overzicht gegeven van de wijze hoe momenteel de toetsing bij de COE plaatsvindt van de beroepsgerichte competenties. De beroepsgerichte competenties omvatten de vakspecifieke en de beroepsspecifieke competenties. Naast de in schema 2.2 opgenomen toetsvormen, kan de toetsing van de vakspecifieke competenties ook plaatsvinden indien de student een afstudeeronderwerp heeft die op een bepaalde competentie betrekking heeft. De toetsvormen zijn dan afstudeerscriptie, reflectieverslag en portfolio. Ook is het mogelijk dat de toetsing van deze vakcompetenties middels een verslag van de uitgevoerde werkzaamheden plaatsvindt als blijkt dat de student werkzaamheden uitoefent waarbij een bepaalde competentie gedemonstreerd kan worden. Schema 2.2: Huidige toetsing beroepsgerichte competenties COE 5. Vakspecifieke competenties 5.1 De student levert administratieve informatie ten behoeve van de bedrijfsvoering: Cases Praktijkopdracht Reflectieverslag Computerboekhouden opdracht simulatie Schriftelijk tentamen
Masterthesis
6. Beroepsspecifieke competenties 6.1 De student kan consistent en effectief omgaan met detailinformatie: Reflectieverslag Portfolio
13
5. Vakspecifieke competenties 5.2 De student richt een organisatie in en bestuurt deze: Marketingplan Schriftelijk tentamen Beleidsnota Verslag Reflectieverslag Presentatie 5.3 De student verwerkt en analyseert economische gegevens: Schriftelijk tentamen Beleidsnota Verslag Reflectieverslag 5.4 De student brengt de financiële problematiek in kaart: Schriftelijk tentamen Projectverslag Cases Verslag Reflectieverslag
6. Beroepsspecifieke competenties 6.2 De student houdt zich aan de normen, waarden en omgangsregels die gelden voor de functie en voor de cultuur waarin men werkt: Reflectieverslag Portfolio
6.3 De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit: Reflectieverslag Portfolio 6.4 De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te verwezenlijken: Reflectieverslag Portfolio
6.5 De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaam- en verantwoordelijkheden: Reflectieverslag Portfolio 6.6 De student doet onderzoek: Schriftelijk tentamen Onderzoeksplan Onderzoeksrapport Afstudeerplan Afstudeerscriptie SPSS codeboek Reflectieverslag Portfolio
Uit schema 2.2 blijkt dat elke vakcompetentie middels een reflectieverslag getoetst wordt. Dit reflectieverslag is in de hoofdfase van de opleiding en wordt geschreven aan de hand van de praktijksituatie. Op alle beroepsspecifieke competenties wordt twee keer gereflecteerd, de eerste keer bij het verslag dat geschreven wordt op de uitgevoerde werkzaamheden in de praktijk en de tweede keer bij de afstudeerscriptie. Deze reflecties vinden (pas) plaats in de afstudeerfase van de opleiding. De portfolio, die ook bij elke beroepsspecifieke competentie is genoemd, heeft, net als bij de algemene competenties, ook betrekking op de afstudeerfase. Bij de overige toetsvormen vindt er toetsing plaats van kennis en vaardigheden en niet van competenties. Samenvattend kan worden aangegeven dat met uitzondering van de afstudeerscriptie (en het daarbij behorend reflectieverslag en portfolio) en het werkverslag, er geen toetsing van de competenties in de beroepspraktijk plaatsvindt bij de COE. De meeste toetsvormen zijn gericht op de toetsing van afzonderlijke vaardigheden en niet van competenties.
Masterthesis
14
2.2.2 Interviews opleidingsmanager en algemeen directeur Zoals aangegeven in paragraaf 2.2.1, hebben de opleidingsmanager en de algemeen directeur hun zienswijze gegeven op de wijze waarop de toetsing van de competenties momenteel plaatsvinden bij de COE. Na analyse van deze interviews is gebleken dat deze twee functionarissen opmerkingen hebben gemaakt over de moduleopzet en het competentieprofiel. Hierop wordt hieronder nader ingegaan. Moduleopzet De opleidingsmanager en de algemeen directeur vinden ten aanzien van de moduleopzet het belangrijk dat: een competentie op verschillende niveaus getoetst wordt. Dit is met name het geval bij de vakspecifieke competenties, waarbij het als positief wordt ervaren dat de toetsing verspreid is over de verschillende niveaus van weten, weten hoe, tonen en doen.
een competentie in verschillende modules getoetst wordt. Indien een competentie in meerdere modules wordt getoetst, is dat als positief aangeduid en indien het in weinig modules voorkomt, is dat als een verbeterpunt aangegeven.
de toetswijze geschikt moet zijn om een competentie(niveau) te toetsen. Met name reflectie als toetsvorm is hierbij als zeer positief ervaren.
de soort module ook de toetsing van de competentieontwikkeling mogelijk maakt. In het verlengde van het bovenstaande zijn ook hier de reflectiemodules als positief ervaren.
de toetsing niet alleen aan het eind van een module of van de opleiding, maar ook eerder plaatsvindt. Dit geldt met name voor de beroepsspecifieke competenties die met name in de modules in de afstudeerfase getoetst worden.
concrete onderwijsactiviteiten dienen te worden vastgesteld. Hoewel dit aspect maar bij twee fragmenten is voorgekomen, is het wel belangrijk om het mee te nemen. De onderwijsactiviteiten vormen namelijk de brug tussen de toetsvormen en de leerdoelen.
Het competentieprofiel De opleidingsmanager en de algemeen directeur zijn van mening dat de wijze waarop het niveau van de competentieontwikkeling wordt getoetst, ook beïnvloedt wordt door het competentieprofiel en met name door de formulering van de competentie en/of de prestatieindicatoren. De competentie die hierbij is genoemd is 3.2 ‘de student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze’, die in het competentieprofiel is opgenomen onder de categorie samenwerken. Gemeend wordt dat deze competentie niet zo zeer hoort bij samenwerken, maar meer bij netwerken. Op basis van het bovenstaande zijn er ten aanzien van de moduleopzet en het competentieprofiel zeven thema’s afgeleid die zijn weergegeven in schema 2.3. Hierbij geven de cijfers tussenhaakjes aan hoe vaak een bepaald fragment is voorgekomen en een + of – geeft aan als dit fragment de toetsing ondersteunt of niet.
Masterthesis
15
Schema 2.3: Kernthema’s interview opleidingsmanager en algemeen directeur. Moduleopzet Competentieprofiel Competentieniveau (26 + / 1 –) Competentie (1 + / 2 –) Aantal modules (17 + /11 –) Prestatie-indicatoren (5 –) Toetswijze (20 + / 11 –) Modulesoort (8 + / 2 –) Toetsmoment (3 + / 8 –) Samenvattend kan worden aangegeven dat de opleidingsmanager en de algemeen directeur het goed zouden vinden als de competenties op verschillende niveaus (weten, weten hoe, tonen, doen) getoetst worden. Ook blijkt dat de toetsing bij de COE module gebonden gericht is, hetgeen blijkt uit het aantal modules dat genoemd is waarin de competenties al dan niet getoetst worden. Verder blijkt dat de interviews, de conclusie uit de analyse van het bestaand materiaal (zie paragraaf 2.2.1), namelijk dat de toetsing van de competenties niet verspreid over de gehele opleiding plaatsvindt, maar vooral aan het eind van de opleiding onderbouwen. Ook is in de interviews aangegeven dat de formulering van de competenties en de prestatie-indicatoren de toetsing van de competentie ook kan bemoeilijken. 2.2.3 Onderzoeksresultaten interviews COE docenten De docenten legden in de interviews de nadruk op de wijze waarop zij bijdragen tot het competentiegericht opleiden en toetsen. In deze verkorte weergave van de resultaten uit het analyseonderzoek wordt ingegaan op de manier hoe de docenten: 1. het competentiebegrip omschrijven; 2. de studenten ondersteunen in het ontwikkelen van hun competenties; 3. bijdragen aan het competentiegericht toetsen bij de COE. In schema 2.4 is opgenomen hoe de COE docenten het competentiebegrip omschrijven. Het getal tussen haakjes geeft aan hoeveel docenten een bepaalde omschrijving hebben gegeven van het begrip competentie. Schema 2.4: Omschrijving competentiebegrip door COE docenten. Een competentie is een combinatie van vier aspecten. Een persoon is competent als die kennis heeft, vaardigheden daarin ontwikkeld, gemotiveerd is om die vaardigheden te demonstreren en ook over een aantal kenmerken beschikt die ondersteunend zijn naar die vaardigheden. En als de persoon deze vier aspecten gecombineerd kan toepassen, is hij competent. (1) een vaardigheid om het geleerde zelfstandig in de praktijk uit te kunnen voeren (1) kennis en vaardigheden (1) kennis, kunde en mogelijkheden (1) een vaardigheid (6) kennis kunnen gebruiken in de praktijk (1) een vaardigheid waarvan je kennis hebt en die je kan gebruiken op het moment dat je het nodig hebt. Deze aangeleerde vaardigheid in combinatie met persoonlijkheid vormt dan een competentie. (1) een vaardigheid, kennis en het gedrag van de persoon (1)
Masterthesis
16
Uit schema 2.4 blijkt dat de COE docenten allemaal het begrip vaardigheid relateren aan een competentie. Hierbij wordt een vaardigheid als synoniem gezien voor een competentie, of gecombineerd met begrippen als kennis, mogelijkheden en/of persoonskenmerken waarbij de rol van de praktijk door twee docenten expliciet is genoemd. Tijdens de interviews hebben de docenten eerst aangegeven op welke wijze ze eraan bijdragen dat de studenten hun competenties ontwikkelen. Hierbij is het competentieprofiel dat is opgenomen in bijlage 1, het uitgangspunt geweest waarbij elke competentie apart is besproken. Vervolgens is het competentieprofiel weer per competentie besproken, waarbij de docenten nu konden aangeven of zij inderdaad deze competentie toetsen en zo ja, hoe zij dat doen. Het resultaat hiervan is samengevat weergegeven in schema 2.5. De cijfers tussenhaakjes geven aan hoe vaak een bepaald aspect is genoemd. Schema 2.5: bijdrage COE docenten aan de ontwikkeling en de toetsing van de competenties. Ondersteuning competentieontwikkeling Schriftelijke opdrachten (133) Schriftelijk tentamen (1) Tijdens colleges (19) Mondelinge opdrachten (5) Voorgeschreven instructies (8) Houding student (16) Module-inhoud (2)
Toetsing van competenties Schriftelijke opdrachten (111) Zelfevaluatie (8) Peerevaluatie (6) Schriftelijk tentamen (20) Mondelinge opdrachten (19) Feedback (9) Portfolio (2) Geen toetsing (43)
Uit schema 2.5 blijkt dat de docenten met name door middel van opdrachten een bijdrage leveren aan de ontwikkeling van alle zes categorieën van competenties (interpersoonlijk, organisatorisch, samenwerken, reflecteren, vakspecifiek en beroepsspecifiek). Hierbij wordt er een onderscheid gemaakt in schriftelijke (verslagen, brieven, scripties, opdrachten, en dergelijke) en mondelinge (presentaties, vragenrondes en gesprekken) opdrachten. Het groepswerk is vooral genoemd bij de competenties in het samenwerken. De interactie tijdens de colleges zoals het geven van praktijkvoorbeelden en het bespreken van praktijksituaties zien de docenten ook als een manier om met name de competenties in het reflecteren en de beroepsspecifieke competenties van de studenten te ontwikkelen. Met de houding van de student worden aspecten bedoeld als prioriteiten stellen en het houden aan afspraken. De module-inhoud is genoemd bij de modules competent leidinggeven (in relatie tot de interpersoonlijke competenties) en bestuurlijke informatievoorziening (in relatie tot de organisatorische competenties aangezien de bestuurlijke processen op voortgang gecontroleerd dienen te worden). De docenten toetsen voornamelijk middels schriftelijke opdrachten de competenties. Het schriftelijk tentamen wordt met name gezien als toetsvorm voor de vakspecifieke competenties. Zelfevaluatie is met name bij de interpersoonlijke en de reflectiecompetenties genoemd, terwijl peerevaluatie vooral bij de competenties in het samenwerken is genoemd. Het geven van feedback tijdens de colleges worden bij alle zes competentiecategorieën genoemd als toetsmoment van de competenties. Tenslotte kan ook worden gesteld dat bij alle Masterthesis
17
zes competentiecategorieën docenten hebben opgemerkt dat ze wel een bijdrage leveren aan de ontwikkeling van de competenties van de studenten, maar die niet toetsen. Samenvattend kan worden gesteld dat de docenten met name geïsoleerde kennis en vaardigheden toetsen. Dit blijkt vooral uit de toetsvormen die zij hanteren, waarbij met name de schriftelijke vaardigheden getoetst worden. Ook blijkt dat de docenten zich tijdens de interviews wel bewust van zijn geworden dat er geen competenties getoetst worden.
2.3
Conclusies analyse onderzoek
Uit het analyseonderzoek, met als onderzoeksvraag “In welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?”, kan geconcludeerd worden dat de toetsvormen van de COE opleiding niet aansluiten op het competentiegerichte karakter van de opleiding. Ter onderbouwing van deze conclusie kan gesteld worden dat: 1. De term assessment centraal staat bij een competentiegerichte opleiding, waarmee de toetsomgeving waarin de aankomende beroepsbeoefenaar laat zien dat hij competent is en waarin zijn competenties beoordeeld worden, bedoeld wordt (Wouda & Snoek, 2003). Tijdens het analyseonderzoek is de term assessment noch bij de analyse van het bestaand materiaal, noch bij de interviews met de algemeen directeur, de opleidingsmanager en de docenten genoemd. Daarnaast is een met assessment bedoelde praktijk ook niet in andere bewoordingen genoemd. 2. In het verlengde van het bovenstaande kan gesteld worden dat bij de toetsing van competenties de beroepspraktijk centraal staat. Bij de COE wordt alleen bij het verslag over de werkzaamheden op de werkplek, de afstudeerscriptie en de reflectiemodules een relatie gelegd met de beroepsomgeving. 3. Met uitzondering van het portfolio, alle toetsvormen die bij de COE gebruikt worden (zie ook schema 2.1) gericht zijn op het toetsen van de mate waarin de student geleerd heeft. Bij een competentiegerichte opleiding gaat het echter om assessment tijdens het leren (“assessment for learning”) en niet om assessment van het leren (“assessement of learning”) (Lorna, 2003). Het portfolio wordt alleen bij de reflectiemodules gebruikt in de opleiding. 4. Uit de analyse van het lesmateriaal is gebleken dat de toetsvormen zijn afgestemd op de leerdoelen van een specifieke module en niet op de competenties die zijn opgenomen in het competentieprofiel. Roelofs en Visser (2011) geven aan de toetsing binnen afzonderlijke vakgebieden een indicatie is voor het toetsen van losse elementen (zoals opgedeelde kennis, vaardigheden, attitudes) en dat het toetsen van competenties plaats vindt in specifieke praktijksituaties (bij specifieke competenties) of gevarieerde taaksituaties (bij algemene competenties). Masterthesis
18
5. Uit de interviews met de algemeen directeur en de opleidingsmanager is naar voren gekomen dat de modules van de opleiding zodanig zijn opgezet dat daarmee kennis en vaardigheden worden aangeleerd en geen competenties worden ontwikkeld. Met uitzondering van de afstudeerscriptie en de reflectiemodules richten alle modules zich op weten en kunnen. Een competentie is echter een integratie van kennis, vaardigheden, houdingen en eigenschappen (Smeijsters & Sporken, 2004; Spencer &Spencer, zoals geciteerd in Zwaal & Eringa, 2006; Taylor, 2003; Wouda & Snoek, 2003). 6. Het competentiebegrip, als integratief geheel van kennis, vaardigheden, houdingen en eigenschappen, is niet bekend onder de COE docenten. Ook de rol van de beroepspraktijk die een voorwaarde is voor het ontwikkelen van competenties (Van Merriënboer, Van Der Klink & Hendriks, 2002; Roelofs & Visser, 2011) is niet als indicator gebruikt bij de COE docenten bij het aangeven van de mate waarin ze een bijdrage leveren aan het ontwikkelen van de competenties van de studenten.
2.4
Verantwoording interventie voorstel
Uitgaande van de conclusies uit het analyseonderzoek is besloten om de interventie te doen onder de COE docenten (inclusief de algemeen directeur en de opleidingsmanager) waarbij gerealiseerd moet worden dat de docenten bekend raken met: 1. assessment binnen een competentiegerichte opleiding; 2. het portfolio als instrument bij assessment; 3. de wijze waarop competenties als integratief geheel van kennis, vaardigheden, houding en eigenschappen binnen de beroepspraktijk ontwikkeld dienen te worden. Op basis hiervan is besloten om als interventieonderzoek na te gaan of oefening en training kunnen bijdragen aan de competenties als assessor van de COE docenten. Tijdens dit interventietraject zullen de docenten dan zelf een portfolio bijhouden waarin zij bewijzen competent te zijn als assessor op basis van de acht gedragsindicatoren van een getrainde assessor (Oudkerk-Pool, 2013a). Ook zullen de docenten als assessor optreden waarbij ze elkaars portfolio’s beoordelen en op basis daarvan een assessmentgesprek voeren. Voor de SOOS betekent dit interventietraject niet alleen dat de docenten bewust zijn geworden van competentiegericht opleiden en beoordelen, maar dat ook zelf ervaren hebben. Daarnaast kan de SOOS deze docenten ook inzetten als assessor bij zowel de COE als de MeM opleiding.
Masterthesis
19
3
Theoretisch kader met conceptueel model
In deze thesis staat het competentiegericht opleiden en beoordelen centraal. Het theoretisch kader vangt dan ook aan met een beschouwing van het competentiebegrip in 3.1. Bij het competentiegericht opleiden en beoordelen staat assessment van de studenten centraal, hetgeen besproken wordt in 3.2. Vervolgens wordt in 3.3 ingegaan op de rol van het portfolio bij het competentiegericht opleiden en beoordelen. In paragraaf 3.4 wordt ingegaan op de rol van de assessor. Het theoretisch kader wordt afgesloten met het conceptueel model en het globaal interventieonderzoeksvoorstel in 3.5.
3.1
Het begrip competentie
Er zijn verschillende omschrijvingen van het begrip competentie. Een competentie wordt beschreven als bekwaam handelen dat zichtbaar wordt in gedrag of resultaten van dat gedrag in beroepsituaties op een bepaald niveau (Geerding & Jongepier in Smeijsters & Sporken, 2004). Wouda en Snoek (2003) zien een competentie als het vermogen om op basis van aanwezige kennis, vaardigheden en houdingen adequaat te handelen in complexe beroepssituaties en het vermogen om keuzes en beslissingen die tijdens dat handelen gemaakt worden te kunnen verantwoorden en er op te kunnen reflecteren. Spencer en Spencer (in Zwaal & Eringa, 2006) zien een competentie als een onderliggend kenmerk van een individu dat oorzakelijk gekoppeld is aan welomlijnde werkprestaties. Uitgaande van deze verschillende omschrijvingen, kan worden afgeleid dat het definiëren van het begrip competenties niet eenvoudig is, hetgeen ook gesteld wordt door Korthagen (2004), Luken (2006), Straetmans en Sanders (2001) en Zwaal en Eringa (2006). Van Merriënboer, Van Der Klink en Hendriks (2002) hebben elf definities van het begrip competentie met elkaar vergeleken en hebben vervolgens op basis van die vergelijking de volgende zes gemeenschappelijke kenmerken geïdentificeerd: 1. Competenties zijn contextgebonden; 2. Competenties zijn een integratie van vaardigheden, kennis, attituden, eigenschappen en inzichten; 3. Competenties zijn veranderlijk in de tijd; 4. Competenties zijn verbonden met taken en activiteiten; 5. Leer- en ontwikkelingsprocessen zijn voorwaardelijk voor competentieverwerving; 6. Competenties staan in een bepaalde relatie tot elkaar. Uitgaande van bovenstaande kenmerken hebben Van Merriënboer et al. (2002) drie dimensies afgeleid die gezamenlijk in de definitie van een competentie dienen te zijn opgenomen en drie dimensies die niet noodzakelijk geacht worden, maar wel relevant zijn voor de onderwijsdoelen. Deze dimensies zijn in schema 3.1 weergegeven.
Masterthesis
20
Schema 3.1: Noodzakelijke en relevante dimensies van het competentiebegrip. # Noodzakelijke dimensies 1 Specificiteit Het verwerven, toepassen en verder ontwikkelen van competenties vindt plaats in contexten.
# 4
2 Integrativiteit Een competentie is een samenhangend geheel van kennis, vaardigheden, houdingen en eigenschappen. 3 Duurzaamheid Er is sprake van een zekere duurzaamheid, waarbij de onderwijsdoelen tamelijk constant blijven (de invulling daarvan in leerdoelen verandert wel steeds).
5
6
Relevante dimensies Handelingsgerichtheid Voor de ontwikkeling en toetsing van een competentie is probleemoplossend handelen voorwaardelijk, waarbij er sprake dient te zijn van situaties die het mogelijk maken de competentie te ontwikkelen en deze competentieontwikkeling te demonstreren. Leerbaarheid Een competentie is niet in één keer overdraagbaar, maar vergt inspanning en tijd om het te ontwikkelen. Onderlinge afhankelijkheid Competenties staan in een bepaalde relatie tot elkaar. Deze relatie kan voorwaardelijk zijn, zoals leercompetenties voorwaardelijk zijn voor andere competenties, of relevant zijn voor onderwijsdoeleinden.
Op basis van de dimensies Van Merriënboer et al. (2002) kan in het kader van dit onderzoek de volgende omschrijving gegeven worden van het begrip competentie. Een competentie is een samenhangend geheel van kennis, vaardigheden, houdingen en eigenschappen dat zich, met het oog op de toekomstige uit te voeren beroepstaken, door middel van concrete handelingen in de beroepscontext gedurende een bepaalde periode in relatie tot andere competenties ontwikkelt. Uit deze paragraaf is gebleken dat de beroepscontext bij het ontwikkelen van de competentie een belangrijke rol heeft. Ook is gebleken dat bij het ontwikkelen van competenties sprake dient te zijn van integratie van kennis, vaardigheden, houdingen en eigenschappen die gedurende een bepaalde periode en in relatie tot elkaar aangeleerd dienen te worden. Om dit te kunnen realiseren is er een bepaalde manier van toetsen nodig. Zowel Shepard et al. (2005), Wouda en Snoek (2003) als Alexander (2006) noemen in dit kader assessment als een manier om competenties bij studenten te beoordelen. Hierop wordt in de volgende paragraaf ingegaan.
3.2
Assessment
Bij het competentiegericht opleiden en beoordelen staat assessment centraal. In deze paragraaf wordt eerst ingegaan op de doeleinden van assessment (3.2.1), vervolgens wordt ingegaan op de momenten waarop een assessment wordt afgenomen (3.2.2), gevolgd door de kwaliteitscriteria waaraan een assessment dient te voldoen (3.2.3). 3.2.1 Doeleinden van assessment Lorna (2003) maakt een onderscheid in assessment van (“of”) het leren, voor (“for”) het leren en tijdens (“as”) het leren. Bij assessment van het leren, wordt getoetst in welke mate de student heeft geleerd. Tentamens, examens, repetities en dergelijke zijn voorbeelden van deze Masterthesis
21
wijze van assessment. Bij assessment voor het leren, wordt tussentijds nagegaan in welke mate de student de leerdoelen heeft bereikt met als doel alsnog bij te stellen indien nodig. Bij assessment tijdens het leren, staat de student centraal. De rol van de student is niet alleen vanwege de bijdrage die geleverd wordt aan het assessment en het leerproces, maar meer nog als de link tussen het assessment en het leerproces. De student kan namelijk, uitgaande van zijn eigen beginsituatie, zijn eigen leerproces monitoren. Op basis van de mate waarin de drie vormen van assessment plaatsvinden, kan dan een onderscheid gemaakt worden in een meer traditionele toetssituatie en de competentiegerichte. Bij de meer traditionele toetssituatie, staat assessment van het leren centraal (zie linker piramide in figuur 3.1), terwijl de focus bij competentiegericht opleiden zou moeten schuiven naar assessment tijdens het leren (zie rechter piramide in figuur 3.1).
Figuur 3.1: Traditionele assessment piramide vs. competentiegerichte assessmentpiramide (aangepast van Lorna, 2003). Shepard et al. (2005), maken een onderscheid in formatieve en summatieve assessment, waarbij formatieve assessment plaatsvindt tijdens het leerproces met als doel om het onderwijzen of het leren te verbeteren en summatieve assessment plaatsvindt aan het eind van het leerproces met als doel om de mate waarin de student geleerd heeft, te beoordelen. Soortgelijke indeling in formatief en summatief wordt ook gemaakt door Alexander (2006), waarbij formatief als doel heeft om het leerproces te monitoren zodat er eventueel bijstelling kan plaatsvinden en summatief als doel heeft het beoordelen van het geleerde. Deze indeling in formatieve en summatieve assessment is vergelijkbaar met de eerder beschreven vormen van assessment van Lorna (2003), waarbij formatieve assessment overeenkomt met assessment voor en tijdens het leren en summatieve assessment met assessment van het leren. 3.2.2 Beoordelingsmomenten De toetsomgeving waarin de aankomende beroepsbeoefenaar laat zien dat hij competent is en waarin zijn competenties beoordeeld worden, wordt assessment genoemd (Wouda & Snoek, 2003). Assessments kunnen op verschillende momenten in de opleiding plaatsvinden. Een intake-assessment bepaalt of de student voldoet aan de bekwaamheid die nodig is om toegelaten te worden tot een bepaalde opleiding. In een eindassessment wordt bepaald of de student voldoet aan de startbekwaamheidseisen. Naast de intake- en eindassessment, zijn er ook tussenassessments mogelijk om te bepalen of een student door kan gaan naar een volgende fase van de opleiding. Voor de hand liggende momenten voor tussenassessments zijn de overgang van jaar 1 naar jaar 2, de afsluiting van de propedeusefase, en de overgang van jaar 3 naar jaar 4, naar de afstudeerfase. (Wouda & Snoek, 2003) Masterthesis
22
3.2.3 Kwaliteitscriteria voor assessments Van Petegem en Vanhoof (2002) onderscheiden de kwaliteitscriteria bij assessments in doelmatigheids- en billijkheidseisen. Een assessment is doelmatig als het geschikt is voor het doel waarvoor het is gemaakt en het is billijk als elke deelnemer aan het assessment dezelfde behandeling krijgt. 1. Doelmatigheid Een doelmatig assessment voldoet volgens Van Petegem en Vanhoof (2002) aan de volgende eisen: a. Validiteit Een assessment is valide als het inderdaad datgene meet dat het zou moeten meten. Dit kan bereikt worden door het assessment in een zo authentiek mogelijke context te laten plaatsvinden, waarbij de verschillende doelen in het assessment verwerkt dienen te zijn. b. Betrouwbaarheid Een assessment is betrouwbaar als bij herhaling onder dezelfde condities dezelfde resultaten weer worden gevonden. Dit kan bereikt worden door de opdracht eenduidig te formuleren en voldoende aspecten in de opdracht te verwerken dat het een goede afspiegeling is van de leerinhoud. Ook is het belangrijk dat verschillende beoordelaars op een objectieve manier het assessment beoordelen. c. Efficiëntie Bij efficiëntie gaat het om een aantal praktische zaken zoals tijds- en kosteninvestering. 2. Billijkheid Een billijk assessment voldoet volgens Van Petegem en Vanhoof (2002) aan de volgende eisen: a. Objectiviteit Een assessment is objectief als elke student een gelijke kans heeft om hun prestaties te demonstreren zonder dat niet relevante individuele kenmerken van zullen zijn op de beoordeling. Elke student krijgt dus dezelfde kans. b. Doorzichtigheid Een assessment is doorzichtig als elke student alle informatie krijgt die nodig is om te zorgen voor een optimale voorbereiding en adequate uitvoering van de opdracht. c. Normering De eis van normering benadrukt dat men de beslissingen die genomen worden op basis van het assessment inhoudelijk moet kunnen rechtvaardigen. Hiertoe dragen vooral beoordelingscriteria bij. Ook Wouda en Snoek (2003) geven aan dat een assessment valide en betrouwbaar moet zijn, dat de opzet en uitslag door de betrokkenen geaccepteerd moeten worden en dat het assessment uitvoerbaar zijn. Op deze vier kwaliteitscriteria wordt hieronder ingegaan: 1. Validiteit Een valide assessment meet daadwerkelijk datgene dat gemeten moet worden. Bij competentiegerichte beoordeling gaat het dus om het ‘meten’ van competentie: effectief Masterthesis
23
gedrag kunnen tonen in (complexe) beroepssituaties. Omdat het om verschillende competenties gaat, zal een valide assessment ook bestaan uit een mix van assessmentonderdelen, waarbij alle te beoordelen competenties bij voorkeur bij twee instrumenten aan de orde komen. 2. Betrouwbaarheid Een betrouwbaar assessment geeft de zekerheid dat iemand die door het assessment heen komt inderdaad competent is. De uitslag van het assessment is niet afhankelijk van toevallige factoren, zoals de persoon van de assessor. Betrouwbaarheid is het beste te realiseren aan de hand van heldere en eenduidige beoordelingscriteria. Bij een assessment gaat het echter om de vraag of de student in onverwachte complexe situaties effectief kan handelen, waardoor het werken met eenduidige criteria wordt bemoeilijkt. Het gaat immers om een interpretatie van de context en van de betekenis die in die context gegeven wordt aan ‘effectief handelen’. De betrouwbaarheid kan bij een assessment worden gerealiseerd door met meerdere (getrainde) assessoren te werken. Hierdoor ontstaat een zekere mate van intersubjectiviteit, waardoor het oordeel niet alleen is gebaseerd op een individuele mening. Ook kunnen hierdoor verschillende perspectieven in het beoordelingsproces worden meegenomen, aangezien de verschillende assessoren elk hun eigen expertisegebied kunnen hebben. 3. Acceptatie Een acceptabel assessment houdt in dat alle betrokkenen het assessment waardevol en rechtvaardig vinden. Voor de student is het van belang dat die het juiste beeld van zichzelf kan laten zien door zelf te kunnen bepalen welke producten en bewijsmaterialen tijdens het assessment worden ingebracht. 4. Uitvoerbaarheid Een assessment moet uitvoerbaar zijn, waarbij de vraag hoe de relatie van het assessment is met andere beoordelingsmomenten en –instrumenten belangrijk is. Bij het introduceren van assessments dient nagegaan te worden op welke wijze en in welke mate assessments de traditionele vormen van toetsing kunnen vervangen of daarmee kunnen worden geïntegreerd. Het traditionele curriculum is opgebouwd uit een groot aantal modulen die afzonderlijk afgerond worden met tentamens, opdrachten en dergelijke. Uit de kwaliteitseisen zoals beschreven door Van Petegem en Vanhoof (2002) enerzijds en Wouda en Snoek (2003) anderzijds, kan afgeleid worden dat het assessment: 1. doelgericht dient te zijn en plaats dient te vinden in authentieke situaties, hetgeen voor de validiteit belangrijk is. 2. beoordeelt dient te worden door meerdere beoordelaars, hetgeen vooral bijdraagt aan de betrouwbaarheid. 3. beoordeelt dient te worden aan de hand van beoordelingscriteria, hetgeen vooral bijdraagt aan de betrouwbaarheid, doorzichtigheid en normering. 4. de student de gelegenheid dient te geven om het juiste beeld van zichzelf te laten zien, hetgeen bijdraagt aan de acceptatie/objectiviteit. Masterthesis
24
Een portfolio is bij uitstek geschikt om het assessment doelgericht te laten plaatsvinden en in authentieke situaties te beoordelen. Ook krijgt de student middels een portfolio de gelegenheid om het juiste beeld van zichzelf te laten zien. Hetgeen hier gesteld is, wordt onderbouwd in de volgende paragraaf (3.3). Ook zal in de volgende paragraaf worden ingegaan op de beoordeling van het portfolio aan de hand van beoordelingscriteria. Ten aanzien van de kwaliteitseis met betrekking tot de efficiëntie, geeft Alexander (2005) aan dat het gebruik van portfolio’s tijdconsumerend is. Dit kan worden opvangen door zo georganiseerd mogelijk te werken. Dit geldt zowel voor de leraar als de student. Daarnaast kunnen het vooraf aan de studenten geven van de beoordelingscriteria en voorbeelden van goede portfolio’s er ook toe bijdragen dat er tijd bespaard kan worden.
3.3
Het portfolio
Het begrip portfolio is afkomstig uit de wereld van kunst en architectuur waar men afbeeldingen, recensies, krantenknipsels en dergelijke over het eigen werk in mappen (portfolio’s) verzamelt (Driessen & Van Tartwijk, 2006). Een portfolio wordt in het onderwijs gezien als een doelgerichte verzameling van geleverd werk door een student op basis waarvan bepaalde kennis, vaardigheden en ‘abilities’ aangetoond worden (Arter & Spandel; Baker & O’Neil, zoals geciteerd in Alexander, 2005). Het expliciet noemen van de combinatie kennis, vaardigheden en mogelijkheden geeft aan dat het portfolio bij uitstek geschikt is voor een competentiegerichte opleiding. Alexander (2005) noemt in dit kader ook een groeiportfolio waaruit de ontwikkeling van de studenten gedurende een bepaalde periode blijkt. Ook Van Petegem en Vanhoof (2002) geven aan dat het gebruik van een portfolio inhoudt dat de student in een verzamelmap informatie over zijn persoonlijke prestaties en ervaringen aanlegt die een beeld schept over zijn mogelijkheden en groei. Verder stellen zij dat het belangrijk is dat de student zelf een selectie maakt uit de producten die hij in een bepaalde periode gecreëerd heeft en die selectie verantwoord. Uit het portfolio dient de student ook een systematische reflectie te laten zien op het eigen leerproces. Waar Van Petegem en Vanhoof (2003) stellen dat de student zelf een selectie dient te maken uit de producten, geeft Alexander (2005) ook de rol van hun leraar hierbij aan. Volgens Alexander zijn de studenten wel vrij om hun producten die ze in hun portfolio doen, zelf uit te kiezen, maar zij zullen samen met hun leraar nagaan als die producten overeenkomen met de doelstellingen van het assessment. Naast de producten en zelfreflecties die Van Petegem en Vanhoof (2003) noemen, geven Wouda en Snoek (2003) ook video-opnames van concrete situaties waarmee de student zijn gedrag in kenmerkende beroepssituaties toont, voorbeelden van vakinhoudelijke deskundigheid, oordelen van anderen (bijvoorbeeld in de vorm van 360º feedback van begeleiders op de werkplek of de opleiding, opdrachtgevers, collega’s en medestudenten) als mogelijke Masterthesis
25
bewijsstukken. Uit deze omschrijving van Wouda en Snoek, blijkt ook weer de geschiktheid van het gebruik van een portfolio voor een competentiegerichte opleiding, aangezien de beroepssituatie centraal staat. De bewijzen die in het portfolio opgenomen worden dienen te voldoen aan de volgende eisen (Joosten-ten Brinke et al., 2009): authentiek: het moet duidelijk zijn dat het bewijs door de kandidaat is gemaakt of betrekking heeft op de kandidaat. relevant: het bewijs moet gerelateerd zijn aan de competentie die beoordeeld wordt. voldoende niveau: het bewijs dient aan te tonen dat het verwacht competentieniveau inderdaad is bereikt. actueel: het bewijs dient nog steeds actualiteitswaarde te hebben kwantitatief: het bewijs moet van voldoende volume zijn, onderbouwd met voldoende ervaring(stijd) gevarieerd: de bewijzen dienen veelzijdig te zijn. Wouda en Snoek (2003) geven aan dat studenten in het portfolio een verbinding dienen te maken tussen de in het portfolio opgenomen bewijzen en de competentie die ze daarmee willen aantonen. Hierbij kunnen de studenten uitgaan van een (specifiek) bewijs naar de (abstracte) competentie of van de meer (abstracte) competentie naar een (specifiek) bewijs. Beide mogelijkheden worden in onderstaande figuur geïllustreerd.
bewijs
Figuur 3.2: Portfolio-begeleidingsmodel (aangepast van Wouda & Snoek, 2003, p. 33) Een student die uitgaat van een specifiek bewijs (de linkercirkel), gebruikt het portfolio als instrument om te abstraheren naar het niveau van competentie (de rechtercirkel) en te veralgemeniseren naar situaties waarin die competentie kan worden ingezet (de middencirkel). Deze studenten komen meestal niet verder dan het beschrijven van concrete situaties die zij hebben meegemaakt, waardoor het portfolio hen moet helpen om te kunnen achterhalen welke competentie aan die situatie gerelateerd is, zodat zij die kunnen benoemen. Een student die uitgaat van de abstracte competentie (de rechtercirkel), gebruikt het portfolio als Masterthesis
26
instrument om te concretiseren door het beschrijven van concrete situaties (de middencirkel) en daar geschikt bewijsmateriaal (de linkercirkel) bij te zoeken. Deze studenten kunnen juist goed algemene zaken over zich zelf te herkennen en te benoemen, vandaar dat zij uitgaan van de algemene competentie. Het portfolio helpt hen dan om de leeractiviteiten die zij uitvoeren in een concrete situatie te beschrijven en daar geschikt bewijsmateriaal voor te zoeken. Driesen en Tartwijk (2006) verklaren de hierboven beschreven ondersteuning die het portfolio geeft doordat de student in een portfolio systematisch beschrijft en zichtbaar maakt op welke wijze taken werden gepland, uitgevoerd en geëvalueerd. Dit doet de student vooral door te reflecteren op het eigen leren en dat van anderen. Ook Lorna (2003) geeft aan dat een effectieve assessment van studenten eist dat zij zichzelf reflectieve vragen stellen en zelf leerstrategieën gebruiken om zich verder te ontwikkelen, waarbij zij hun leervorderingen zelf bijhouden in een portfolio. Bij het reflecteren kan de student het spiraalmodel gebruiken dat is weergegeven in figuur 3.3.
Figuur 3.3: Spiraalmodel van reflectie (Korthagen 2002, p.2) Wanneer een student een portfolio samenstelt, zal die systematisch terugblikken op het eigen handelen (fase 2). Hierbij wordt dat handelen geëvalueerd en geanalyseerd, waardoor de student zich bewust wordt van essentiële aspecten die zich tijdens dat handelen hebben voorgedaan (fase 3). Dit geeft vervolgens inzicht in de mate waarin de student al over de gevraagde competenties beschikt. Ook biedt dit handvatten voor het ontwikkelen van alternatieven (fase 4). Doordat het portfolio inzichtelijk maakt hoe bepaalde taken werden uitgevoerd, zal de student worden gestimuleerd om de uitvoering van deze taken ook daadwerkelijk ter hand te nemen (fase 5 en 1), waarop wederom teruggeblikt zal worden en de reflectiecyclus verder vervolgd kan worden. (Driesen & Tartwijk, 2006) Studenten dienen feedback te krijgen, waarbij gebruik kan worden gemaakt van selfassessment (de student beoordeelt zichzelf) en peer-assessment (medestudenten beoordelen elkaar) (Wouda & Snoek, 2003). Bij het geven van feedback is het belangrijk dat gepraat wordt vanuit de ik-vorm, concrete gedragsvoorbeelden worden gegeven, de positieve en de verbeterpunten worden weergegeven en dat gevraagd wordt als de geleverde kritiek herkenbaar is.
Masterthesis
27
3.4
Assessment beoordeling
Sheperd et al. (2005) stellen dat bij een assessment het belangrijk is om vast te stellen wat de student aan het eind moet kunnen en op welke wijze dat gerealiseerd kan worden. Verder stellen zij ook dat dit vereist dat er heldere beoordelingscriteria vastgesteld dienen te worden, waardoor het mogelijk wordt dat zowel de beoordelaar als de student kunnen vaststellen als een bepaald concept is begrepen. Ook Wouda en Snoek (2003) geven aan dat het bij de beoordeling van competenties gaat om het beoordelen van de mate waarin de student in staat is om zijn gedrag en handelen te verantwoorden en er op te reflecteren. Om dit te kunnen realiseren dienen assessments aan de hand van heldere criteria te geschieden die geformuleerd zijn in de vorm van (waarneembare) gedragsindicatoren voor het handelen in praktijksituaties. Alexander (2005) geeft aan dat een ‘rubric’, hierna te noemen rubriek, gebruikt kan worden om de beoordelingscriteria te specificeren, waarbij een onderscheid wordt gemaakt in een analytische en een holistische rubriek. In een analytische rubriek worden eerst de beoordelingscriteria gespecificeerd, waarna vervolgens per criterium een afzonderlijke score wordt toegekend voor de mate waarin aan dat criterium is voldaan. Op basis van deze afzonderlijke scores, kan er tenslotte een overall score worden vastgesteld. Een holistische rubriek bekijkt de verschillende criteria gezamenlijk, waardoor elke gegeven score meerdere factoren omvat. Van Petegem en Vanhoof (2002) maken een onderscheid in criteria, standaarden en rubrieken. Criteria zijn de voorwaarden waaraan de studentenprestaties dienen te voldoen om als succesvol bestempeld te kunnen worden (Wiggings in Van Petegem en Vanhoof, 2002). Een standaard wordt geconcretiseerd aan de hand van criteria, waarbij wordt aangegeven welke criteria van belang zijn bij het beoordelen van studentenprestaties. Deze criteria moeten dan zodanig uitgewerkt worden dat het mogelijk wordt om een geobserveerd gedrag in een prestatieniveau onder te brengen. Een standaard geeft dus in principe aan hoe goed een prestatie moet zijn om een bepaalde beoordeling te verdienen. Wiggens (in Van Petegem en Vanhoof, 2002) omschrijft een rubriek als een geschreven geheel van richtlijnen dat het mogelijk maakt om studentenprestaties van verschillende kwaliteiten te onderscheiden. In een rubriek wordt dus hetgeen waarnaar men moet kijken bij elk kwaliteitsniveau beschreven. Zowel uit Alexander (2005) als uit Van Petegem en Vanhoof (2002), blijkt dus dat voor het beoordelen van portfolio’s een rubriek ontwikkeld dient te worden met daarin beschreven criteria en standaarden. Van Petegem en Vanhoof geven net als Alexander ook aan dat deze rubriek analytisch of holistisch kan zijn. Uit hetgeen in de voorgaande paragrafen is beschreven, kan worden afgeleid dat van docenten in een competentiegerichte opleiding, en met name van docenten die belast zijn met het afnemen van assessments van de studenten, bepaalde kwaliteiten worden verwacht. hierop wordt in de volgende paragraaf ingegaan. Masterthesis
28
3.5
De assessor
Degene die een assessment afneemt, wordt een assessor genoemd. In deze paragraaf wordt ingegaan op de gedragsindicatoren die een assessor dient te demonstreren (3.5.1) en de methodieken die daarbij gebruikt kunnen worden (3.5.2). 3.5.1 Gedragsindicatoren van een assessor Van Dinther (2009) geeft aan dat binnen het competentiegericht hoger beroepsonderwijs een assessor, op basis van zijn oordeel, onderbouwde uitspraken doet over het niveau van competentieontwikkeling van een student. Uitgaande hiervan dient een assessor behalve over inhoudelijke kennis ook over de competenties analyseren, beoordelen en communiceren te beschikken. Deze zijn uitgewerkt in schema 3.2. Schema 3.2: Competenties en gedragsindicatoren van een assessor Competenties Analyseren
Gedragsindicatoren 1. Informatie structureren en hoofd- en bijzaken scheiden. 2. Verbanden leggen tussen verschillende soorten informatie. 3. Gebruiken van meerdere informatiebronnen en deze op waarde inschatten. Beoordelen 4. Zich een mening vormen door het afwegen van gegevens 5. Relateren van informatie en bewijzen aan de competentie(criteria). 6. Betrekken van verschillende alternatieven bij de oordeelsvorming. 7. Rekening houden met onzekere of tegenstrijdige informatie. 8. Het oordeel onderbouwen. Communiceren 9. Op het juiste moment toepassen van vraag- en gesprekstechnieken in het gesprek met de student. 10. Betrekken van de medeassessor in de beeld- en oordeelsvorming 11. Het eindoordeel op een overtuigende en constructieve manier overbrengen. 12. Ontwikkelingsgerichte feedback geven. 13. Het schrijven van een heldere, gestructureerde rapportage.
(Van Dinther, 2009) Geheel overeenkomstig Van Dinther (2009), geven Van Berkel, Van Dinther, Oudkerk Pool en Speetjes (2008) ook aan dat een assessor over de competenties analyseren, communiceren en beoordelen dient te beschikken waarbij de gedragsindicatoren betrekking hebben op de gehanteerde structuur in het gesprek, de gehanteerde vraag- en gesprekstechnieken, de beoordeling van de relevantie van de aangeleverde bewijzen, de wijze waarop feedback wordt gegeven en de wijze waarop het oordeel wordt onderbouwd en doorgegeven aan de student. Van Berkel, et al. (2008) stellen verder dat een assessor als kerntaak heeft het vaststellen van het competentieniveau van de student, met als deeltaken: 1. Beoordelen van een portfolio en/of performance; 2. Voeren van een criterium gericht interview; 3. Komen tot een onderbouwd eindoordeel; 4. Vastleggen van het onderbouwd eindoordeel in een rapportage; Masterthesis
29
5. Geven van ontwikkelingsgerichte feedback. Deze deeltaken worden ook genoemd door Oudkerk Pool (2013) die aangeeft dat een assessor eerst beoordeelt of een portfolio van een kandidaat voldoet om het assessmentgesprek in te kunnen gaan. Naar aanleiding van de portfoliobeoordeling voert de assessor een criteriumgericht interview om het competentieniveau van de student te bepalen en daarbij, indien nodig, ontwikkelingsgerichte feedback geeft. Tenslotte legt de assessor de bevindingen en het eindoordeel vast op daarvoor bestemde formulieren ten behoeve van de eindrapportage. Op de methodieken die de assessor kan gebruiken bij de uitvoering van deze taken wordt in de volgende subparagraaf ingegaan. 3.5.2 Methodieken In paragraaf 3.3.1 is ten aanzien van de portfoliobeoordeling al aangegeven dat rekening gehouden dient te worden met specifieke criteria (variatie, relevant, actueel, authentiek en kwantiteit) en dat er een relatie dient te zijn tussen de geleverde bewijzen en de competenties die daarmee aangetoond worden in specifieke beroepssituaties. Het geven van ontwikkelingsgerichte feedback kan vergeleken worden met de in paragraaf 3.2.1 beschreven formatieve assessment. Uitgaande hiervan zal in deze subparagraaf alleen nog ingegaan worden op de gesprekstechnieken die de assessor kan gebruiken bij het criteriumgerichte interview. Een assessor neemt tijdens het assessment een criteriumgericht interview af, waarbij onduidelijkheden met betrekking tot de in het portfolio opgenomen bewijsvoering verder worden onderzocht en vragen die voortkomen uit de bestudering van het portfolio worden gesteld. Hierbij kan de assessor gebruik maken van de START-methodiek, de LSD en TURBO-vragen. (Oudkerk Pool, 2013). De START-methodiek Start staat voor situatie, taak, actie, resultaat en transfer. Hierbij wordt begonnen met een startvraag, waarbij de student een situatie dient te beschrijven (situatie). Vervolgens dient de student aan te geven wat de opdracht was, of hetgeen verwacht werd (taak), vervolgens dient de student te verwoorden wat hij precies gedaan heeft of hetgeen gebeurd is (actie), daarna dient de student aan te geven wat het effect was of hoe het is afgelopen (resultaat) en tenslotte dient de student dan aan te geven hoe het een ander keer aanpakt zou kunnen worden (transfer). (Oudkerk Pool, 2013). Hierop aanvullend geven Joosten-ten Brinke, et al. (2009) aan dat tijdens het criteriumgerichte interview de STARRT methodiek gebruikt kan worden, waarbij wordt nagegaan in welke situatie de student aan een competentie gewerkt heeft, welke taken daarbij zijn uitgevoerd, welke acties daaruit gevolgd zijn en met welk resultaat. Deze fasen komen dus overeen met hetgeen beschreven is door Oudkerk Pool (2013). De transferfase zoals Oudkerk Pool die beschrijft, is bij de STARRT gesplitst in reflectie en transfer, waarbij de student eerst dient terug te blikken op de beschreven situatie alvorens die te vertalen naar een nieuwe situatie. Masterthesis
30
De LSD-methodiek LSD staat voor luisteren, samenvatten en doorvragen toe. Als de assessor naast het luisteren ook het gesprek samenvat, geeft het een bepaalde structuur aan het gesprek en geeft het de student een beeld of de assessor hetgeen hij gezegd heeft, juist gehoord heeft. (Oudkerk Pool, 2013). TURBO-vragen TURBO-vragen kunnen worden toegepast als er nog weinig tijd over is en er toch nog wat informatie verkregen moet worden van de student. De vragen kunnen dan betrekking hebben op een vergelijking, een rangorde, een mening van anderen of een verdieping van de situatie. (Oudkerk Pool, 2013).
3.6
Conceptueel model en interventieonderzoeksvoorstel
In de vorige paragrafen is ingegaan op het begrip competentie, de rol van het assessment in een competentiegerichte opleiding, het portfolio, de assessmentbeoordeling en de assessor. Uit dit beschreven theoretisch kader is een conceptueel model afgeleid (3.6.1) waarna vervolgens uitgaande hiervan een interventieonderzoeksvoorstel is geformuleerd (3.6.2). 3.6.1 Verantwoording conceptueel model Uitgaande van de centrale probleemstelling “in welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?” is in de voorgaande paragrafen gebleken dat bij het competentiegericht opleiden en beoordelen het begrip assessment centraal staat. Dit assessment dient op verschillende momenten te gebeuren en aan bepaalde kwaliteitseisen te voldoen. Vandaar dat de in paragraaf 3.2.2 besproken beoordelingsmomenten (tussen- en eindassessment) en de in paragraaf 3.2.3 besproken kwaliteitseisen in het conceptueel model bij het centrale begrip assessment geplaatst worden. Uit paragraaf 3.3 is gebleken dat het portfolio bij het assessment gebruikt wordt om vast te stellen als de student daadwerkelijk over de vereiste competenties beschikt, waardoor het portfolio ook bij het centrale begrip assessment geplaatst wordt. Het tweede centrale begrip is de assessor, aangezien die het assessment afneemt. De assessor dient te voldoen aan bepaalde gedragsindicatoren en heeft verschillende methodieken die gebruikt kunnen worden tijdens het assessment. Deze gedragsindicatoren en methodieken worden als bijbehorende begrippen geplaatst bij het centrale begrip assessor. Een assessment dient afgenomen te worden op basis van heldere criteria waaruit duidelijk blijkt aan welke voorwaarden de student dient te voldoen. Geheel conform de omschrijving van het begrip assessment dient het gedrag dat bij de student geobserveerd wordt gerelateerd te zijn aan de toekomstige beroepssituatie van de student. Uitgaande hiervan wordt het begrip criteria als derde centrale begrip opgenomen in het conceptueel model.
Masterthesis
31
Samenvattend kan aan de hand van de bovenstaande gesteld worden dat voor het competentiegericht opleiden en beoordelen er assessoren dienen te zijn die aan de hand van criteria assessments van de studenten afnemen. Dit is weergegeven in het conceptueel model in figuur 3.4.
Assessment • Beoordelingsmomenten • Kwaliteitseisen • Portfolio
Assessor • Gedragsindicatoren • methodieken
Criteria • Helder • Relatie met de beroepspraktijk
Competentiegericht opleiden en beoordelen Figuur 3.4: Conceptueel model 3.6.2 Interventieonderzoeksvoorstel Uitgaande van het in figuur 3.4 weergegeven conceptueel model, zijn als interventieonderzoek docenten van de SOOS getraind tot assessor, waarbij van bestaande studentenportfolio’s gebruik is gemaakt. Naast deze training is er ook een workshop gehouden met als doel om het bestaand competentieprofiel van de COE te splitsen naar het vereist bekwaamheidsniveau aan het eind van de propedeusefase, de hoofdfase en de afstudeerfase (startbekwaam). Indien de docenten getraind zijn tot assessor, kunnen deze assessoren ingezet worden bij het competentiegericht opleiden en beoordelen door aan het eind van de propedeusefase, de hoofdfase en de opleiding op basis van het portfolio van de studenten een assessment af te nemen.
Masterthesis
32
4
Interventie
In dit hoofdstuk wordt de uitgevoerde interventie beschreven. Deze interventie dient ter oplossing van het probleem dat in het analyseonderzoek is gebleken, namelijk dat bij de COE opleiding er geen sprake is van competentiegericht opleiden en beoordelen, maar van het toetsen van kennis en vaardigheden (zie ook hoofdstuk 2). In 4.1 wordt de interventie globaal beschreven, vervolgens wordt in 4.2 middels een blokjesschema de relatie tussen het ontwerp en het beoogde effect weergegeven, waarna in 4.3 het ontwerp gedetailleerd wordt beschreven. Tenslotte wordt het programma van eisen van het ontwerp in 4.4 beschreven.
4.1
Globaal ontwerp
Het globaal ontwerp bestaat uit drie onderdelen: 1. Het eerste onderdeel betreft het informeren van de docenten over het competentiegericht opleiden en beoordelen. Hiervoor is er een reader samengesteld waarin theorie over het competentiegericht opleiden en beoordelen is verwerkt en is er een informatiebijeenkomst gehouden met de docenten. 2. Het tweede onderdeel is de assessorentraining, bestaande uit drie bijeenkomsten. Tijdens de eerste bijeenkomst hebben de docenten aan de hand van studentenmateriaal geoefend in het voeren van het assessmentgesprekken. Tijdens de tweede bijeenkomst, hebben de docenten, wederom aan de hand van studentenmateriaal, geoefend in het beoordelen van studentenportfolio’s. Tussen de tweede en de derde bijeenkomst hebben de docenten onderling geoefend waarbij de gedragsindicatoren van een getrainde assessor als uitgangspunt zijn gebruikt. Gedurende deze periode hebben zij op hun beurt tevens een portfolio bijgehouden, waarin zij bewijzen hebben aangeleverd waarmee zij hebben aangetoond in welke mate zij aan de acht gedragsindicatoren van een getrainde assessor voldoen. Tijdens de derde bijeenkomst hebben de docenten van elkaar een assessment afgenomen op basis van het ingeleverde portfolio. Op basis van deze assessments is dan een uitspraak gedaan als gerichte training en oefening een bijdrage hebben kunnen leveren aan de assessorencompetenties van de docenten. De docenten die deze training hebben doorlopen, hebben een certificaat ontvangen dat is uitgegeven door de SOOS. 3. Het derde onderdeel is een workshop met als doel om de gedragsindicatoren in het huidig competentieprofiel van de COE te splitsen naar tussen- en eindniveaus, waarbij tevens rekening mee wordt gehouden dat deze gedragsindicatoren helder zijn geformuleerd en gerelateerd zijn aan de beroepsomgeving van de afgestudeerde student.
4.2
Blokjeschema
De onderzoeksvraag waarmee aangetoond wordt dat het ontwerp inderdaad leidt tot verbetering luidt als volgt: kan gerichte training en oefening, bijdragen aan de competenties als assessor van de docenten van de SOOS? Masterthesis
33
Het ontwerp, namelijk een reader over competentiegericht opleiden en beoordelen; een assessorentraining voor de docenten; gerichte training en oefening van de docenten in het aanleren van de competenties van een assessor; een workshop voor docenten om het huidig competentieprofiel van de COE aan te passen.
Leidt tot
Het beoogde effect, namelijk toename van kennis in brede zin over het competentiegericht opleiden en beoordelen; verbetering van de competenties van een assessor bij de docenten; aanpassing van het competentieprofiel van de COE op basis waarvan er tussenen eindassessments van de studenten kunnen worden afgenomen.
Schema 4.1: Blokjesschema Uitgaande van het in figuur 4.1 weergegeven blokjesschema, wordt het ontwerp in de volgende paragraaf gedetailleerd beschreven.
4.3
Gedetailleerd ontwerp
Het ontwerp omvat de volgende aspecten: 1. Docenten worden geïnformeerd over het competentiegericht opleiden en beoordelen (4.3.1); 2. Een assessorentraining voor de docenten (4.3.2); 3. Gerichte oefening van de docenten onderling (4.3.3); 4. Docenten brainstormen over het competentieprofiel van de COE met als doel het aan te passen ten behoeve van tussen- en eindassessments (4.3.4). 4.3.1 Het informeren van docenten Om de docenten te informeren over het competentiegericht opleiden en beoordelen is er een gelijknamige reader opgesteld voor alle COE docenten. De inhoudsopgave van deze reader is opgenomen in bijlage 6. Ook is er een informatiebijeenkomst geweest, waarvan de doelen zijn opgenomen in schema 4.1. Schema 4.1: Doelen informatiebijeenkomst. Doelen presentatie 1. Nagaan wat docenten weten over competentiegericht opleiden en beoordelen. 2. Docenten informeren over het competentiegericht opleiden en beoordelen. 3. Docenten informeren over de resultaten van een analyse van de huidige toetsing binnen de COE. 4. Docenten enthousiast maken om een bijdrage te leveren aan een voorstel over de wijze waarop wij competentiegericht kunnen opleiden en beoordelen bij de SOOS.
4.3.2 Assessorentraining Voor de assessorentraining is het trainingmateriaal assessoren “Verkrijg alle beschikbare informatie en maak de juiste beoordeling” van Oudkerk-Pool gebruikt. De handleiding is in extenso gebruikt, terwijl de powerpointslides deels zijn aangepast met als doel om de inhoud Masterthesis
34
van de slides te laten aansluiten bij de praktijksituatie van de SOOS. Tijdens deze training zijn de gedragsindicatoren van een getrainde assessor als uitgangspunt gebruikt. Deze gedragsindicatoren zijn weergegeven in schema 4.2. Schema 4.2: gedragsindicatoren getrainde assessor. Gedragsindicatoren getrainde assessor 1. Brengt structuur aan in het assessmentgesprek. 2. Creëert een sfeer waarin de kandidaat volledig tot zijn recht kan komen. 3. Past verschillende vraag- en gesprekstechnieken op het juiste moment toe 4. Relateert ervaringen, werkwijze en bewijzen die de kandidaat inbrengt, aan relevante competentiecriteria; 5. Herkent producten als bruikbaar bewijs; 6. Komt tot een onderbouwd eindoordeel en brengt dit op overtuigende en constructieve wijze over; 7. Geeft ontwikkelingsgerichte feedback; 8. Legt het oordeel op toegankelijke wijze vast in een rapportage; 9. Gaat adequaat en klantgericht om met eventuele bezwaren tegen het eindoordeel.
Uitgaande van de gedragsindicatoren die zijn weergegeven in schema 4.2 is de assessorentraining erop gericht om docenten te trainen in: a. het afnemen van een criteriumgericht interview; b. het beoordelen van portfolio’s. Bijeenkomst 1 Tijdens de eerste bijeenkomst, die erop gericht is om docenten te trainen in het afnemen van een criteriumgericht interview, hebben de docenten met studentenmateriaal geoefend. Voor het oefenen zijn er groepen van vier gevormd bestaande uit: Twee docenten die de rol van assessorenkoppel hebben; Een docent die de rol van student heeft; Een docent die de rol van begeleider heeft; Een docent die de rol van observator heeft. Tijdens deze bijeenkomst is er geoefend in het criteriumgericht interview waarbij de instructies voor de voorbereiding van het gesprek zijn opgenomen in schema 4.3. Schema 4.3: instructies ter voorbereiding van de oefening gesprekstechnieken. Assessorenkoppel Welke onderdelen van het portfolio willen we aan de orde stellen tijdens het gesprek? Welke vragen stellen we hierbij (START/Turbo)? Hoe stellen we de kandidaat op zijn / haar gemak? Hoe verdelen we de taken (vragen stellen / aantekeningen maken)?
Masterthesis
Kandidaat en begeleider Welke onderdelen van het portfolio roepen vragen op? Kan ik situaties beschrijven om startcompetenties te bewijzen (START)?
Observator Krijgt kandidaat voldoende gelegenheid om competenties te etaleren? Gaan de assessoren minstens één keer uit het START-principe (concreet uitvragen), LSD, Turboprincipe? Hebben de assessoren een beter beeld gekregen van de competenties als gevolg van het gesprek?
35
Bijeenkomst 2 Tijdens de tweede bijeenkomst, die erop gericht is om de docenten te trainen in het beoordelen van portfolio’s, zijn concrete studentenportfolio’s beoordeeld. De opdracht is opgenomen in schema 4.4. Schema 4.4: Instructies opdracht portfoliobeoordeling Oefening portfoliobeoordeling 1. Elke groep beoordeelt twee competenties uit het portfolio (interpersoonlijk, organisatorisch of samenwerken) en vult het oordeel in op het beoordelingsformulier (40 minuten) 2. Zelf- en peerevaluatie (zie observatieformulier): Doe een zelfevaluatie van de wakkermethodiek (ad 1) Geef feedback aan “student” peergroep observeert (ad 5) Peerevaluatie van de beoordeling (ad 2 t/m 4)
4.3.3 Gerichte oefening van de docenten onderling Tussen de tweede en de derde bijeenkomst hebben de docenten onderling geoefend in het aanleren van de gedragsindicatoren van een getrainde assessor, waarbij bewijzen zijn verzameld die de mate waarin zij de gedragsindicatoren van een getrainde assessor hebben kunnen aanleren, aantonen. Het resultaat van de opdracht is opgenomen in een portfolio, op basis waarvan er een peerassessment is afgenomen de derde bijeenkomst. De instructie voor dit peerassessment zijn opgenomen in schema 4.5. Schema 4.5: Instructies peerassessment. Instructies peerassessment Het assessment wordt in drie rondes gedaan: 1. In de eerste ronde beoordeelt u het portfolio volgens de VRAAK-criteria en de beoordelingsdriehoek. Hiervoor gebruikt u het formulier “rapportage eindassessment” en vult u de onderdelen 1 en 2 in. Tijdens deze eerste ronde bereidt u tevens het assessmentgesprek (criterium gericht interview) voor. (60 minuten) 2. In de tweede ronde voert u het assessmentgesprek. (30 minuten) 3. In de derde ronde formuleert u, wederom op het formulier “rapportage eindassessment (laatste bladzijde), het eindoordeel. (15 minuten) Het peerassessment geschiedt in drie subgroepen van elk drie docenten. De eerste 60 minuten voert elke docent individueel de eerste ronde zoals hierboven beschreven uit. Vervolgens wordt het eerste assessmentgesprek afgenomen, waarbij de docent die niet deelneemt aan het assessmentgesprek observeert volgens het formulier “observatie assessmentgesprek”. Na het assessmentgesprek rondt de assessor het assessment af middels het invullen van het eindoordeel, conform de derde ronde zoals hierboven omschreven. Terwijl de assessor dit invult, gaat de observator na als het observatieformulier volledig en juist is ingevuld. De docent die het assessment ondergaan heeft, vult op dit moment een ervaringsformulier in. Na de eerste assessmentronde, worden de rollen omgekeerd totdat elke docent een assessment heeft afgenomen van een collega-docent.
Masterthesis
36
4.3.4 Brainstormen van docenten Tijdens een workshop hebben de docenten brainstormsessies gevoerd met als doel om het competentieprofiel, aan de hand van de kenmerken van de criteria, te splitsen naar twee tussenniveaus (eind propedeuse- en hoofdfase) en één eindniveaus (eind afstudeerfase). Tijdens deze workshop is er in groepen gewerkt, waarbij de groepen een keuze hebben mogen maken om te werken aan algemene (gelden voor beide hbo opleidingen) of beroepsgerichte competenties (gelden voor een specifieke opleiding). Het resultaat is geschreven op flappen, waarna de docenten tijdens een stille wand discussie onderling feedback hebben gegeven op het resultaat door hun feedbackpunten te noteren op een apart blaadje. Na de stille wand discussie is de gegeven feedback door de verschillende groepen verwerkt in het uiteindelijk resultaat.
4.4
Programma van eisen
Het doel van de interventie is om een bijdrage te kunnen leveren aan het ontwikkelen en implementeren van het competentiegericht opleiden en beoordelen bij de COE. Om dit doel te realiseren, is het programma van eisen geformuleerd voor het product en het proces. Uit het theoretisch kader is gebleken dat het assessment en de assessor een centrale plaats innemen bij het competentiegericht opleiden en beoordelen, waarbij de assessor op basis van criteria het assessment afneemt. Uitgaande hiervan worden de volgende eisen gesteld aan het product: 1. de docenten dienen de portfolio’s te beoordelen aan de hand van specifieke criteria (variatie, relevant, actueel, authentiek en kwantiteit) waarbij tevens de relatie tussen de geleverde bewijzen en de competenties die daarmee aangetoond worden in specifieke beroepssituaties wordt beoordeeld. 2. de docenten dienen gesprekstechnieken te demonstreren tijdens een criteriumgericht interview. 3. De criteria in het competentieprofiel dienen helder geformuleerd te zijn, gespecificeerd te zijn in tussen- en eindniveaus en gerelateerd te zijn aan de beroepsomgeving van de afgestudeerde. Aan het proces worden de volgende eisen gesteld: Het informeren van de beoogde onderzoeksdoelgroep. Het voeren van reguliere gesprekken met de leidinggevenden. Het creëren van zoveel als mogelijk draagvlag. Het mogelijk maken dat het resultaat van het onderzoek buiten het afgebakend onderzoeksgebied gebruikt kan worden. Het informeren van alle overige betrokken. De wijze waarop de in dit hoofdstuk beschreven interventie is uitgevoerd, wordt in het volgende hoofdstuk beschreven.
Masterthesis
37
5
Onderzoeksopzet
De wijze waarop de interventie is uitgevoerd wordt in dit hoofdstuk beschreven. In 5.1 wordt ingegaan op de centrale vraag en bijbehorende deelvragen. Ook het variabelenschema wordt in 5.1 weergegeven. Vervolgens wordt in 5.2 ingegaan op het onderzoekstype, in 5.3 op de dataverzameling en bijbehorende onderzoeksinstrumenten en in 5.4 op de validiteit en de betrouwbaarheid.
5.1
Centrale vraag en deelvragen
De centrale vraag van dit onderzoek luidt als volgt: kunnen gerichte training en oefening bijdragen aan de competenties als assessor bij de docenten van de SOOS? De deelvragen zijn: 1. Is er een toename in het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen waar te nemen? 2. Is er een toename in het ontwikkelingsniveau van de competenties van de docenten als assessor waar te nemen? 3. Op basis van welke gedragsindicatoren kunnen de tussen- en eindassessments van de COE studenten afgenomen te worden? Uitgaande van bovenstaande deelvragen worden de centrale begrippen als volgt geoperationaliseerd. Schema 5.1: Variabelenschema interventieonderzoek Begrip Kennisniveau
Dimensie Kennis
Competenties assessor
Portfolio beoordelen
Criteriumgericht interview
Masterthesis
Indicatoren De docent: kent het begrippen competentie kent de kenmerken van een assessment kent de rol van een portfolio bij het competentiegericht opleiden en beoordelen. De docent: let op de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen. let op de relatie tussen de bewijzen, de gepleegde handelingen in beroepssituaties en de competenties. De docent: luistert actief, vraagt door, vat samen (LSD) vraagt de kandidaat naar de situatie waaruit een bewijs is voortgekomen, wat de taak precies was in die situatie, welke actie concreet is ondernomen, wat het resultaat van die actie was en wat een volgend keer anders gedaan zou worden (START) hanteert turbo vragen past feedbackregels toe baseert de feedback op concrete voorbeelden uit het portfolio of het criteriumgericht interview
38
Begrip Criteria
5.2
Dimensie Voorwaarden aan studentenprestaties
Indicatoren De docent: formuleert meetbare gedragsindicatoren op het niveau van de propedeuse, hoofd- en afstudeerfase waaruit de groei van het competentieniveau van de student blijkt. relateert de gedragsindicatoren aan de beroepspraktijk.
Onderzoekstype
Tijdens de interventie zijn er twee onderzoekstypen gebruikt, namelijk actieonderzoek (5.2.1) en effectonderzoek (5.2.2) 5.2.1 Actieonderzoek Ponte (2010) definieert actieonderzoek als “een geheel van activiteiten van docenten die: met behulp van technieken en strategieën van sociaalwetenschappelijk onderzoek reflecteren op hun handelen en de situatie waarin dit handelen plaatsvindt en op basis van de zo verkregen inzichten hun handelen of de situatie waarin dat handelen plaatsvindt systematisch proberen te verbeteren.” (p. 20-21) In de hierboven weergegeven beschrijving van actieonderzoek worden de docenten expliciet genoemd. Ponte (2010) onderscheidt vijf fasen bij actieonderzoek die in figuur 5.1 zijn weergegeven.
Figuur 5.1: fasen van actieonderzoek (Overgenomen van Ponte, 2010, p. 48) De eerste fase is het formuleren van het algemeen idee, waarin centraal staat het identificeren van problemen waaraan docenten willen gaan werken. In het begin kan het algemeen idee een vage notie zijn over wat er aan de hand is en daarom is een verdere verkenning van concrete gegevens met betrekking tot het probleem vaak noodzakelijk. Bij deze tweede fase gaat het om de beschrijving en de analyse van de te veranderen situatie. De verkenning kan aanleiding Masterthesis
39
zijn om het algemeen idee over het probleem bij te stellen. Als docenten zich nader hebben geïnformeerd over het probleem kan in de derde fase een algemeen plan worden opgesteld, dat kan bestaan uit een voorgenomen reeks kleine verbeteracties of uit één verbeteractie welke uitgewerkt wordt in een reeks uit te voeren stappen. Dan volgt als vierde fase het daadwerkelijk plannen, uitvoeren en evalueren van de verbeteracties. Docenten analyseren de oorzaak van het al of niet succesvol verlopen van de eerste verbeteractie en op basis hiervan plannen zij de volgende actie. Zo nodig kan de evaluatie leiden tot het bijstellen van het algemeen plan of zelfs het algemeen idee. De aangegeven fasen worden herhaald tot docenten tevreden zijn over de verkregen resultaten. Het onderzoek wordt tenslotte afgesloten met een casestudy waarin de docenten reflecteren op hun actieonderzoek. (Ponte, 2010) De centrale probleemstelling die bij dit actieonderzoek centraal staat, is dat er een toename wenselijk is in het ontwikkelingsniveau van de competenties de docent als een assessor. Dit is dus het algemeen idee. Tijdens de eerste twee bijeenkomsten van de training heeft de verkenning van dit probleem plaatsgehad, waarbij met name de gedragsindicatoren die horen bij de competenties van een getrainde assessor zijn besproken. Hierna zijn de docenten gestart met de uitvoering van het plan, waarbij er in groepen van twee of drie is geoefend met als doel om de competenties van een getrainde assessor aan te leren. Van deze oefeningen zijn de data verzameld. Vanwege de beperkte tijd (één maand), is er twee keer een analyse geweest van de oefeningen en het resultaat daarvan. De data van deze analysefase zijn verzameld in leerrapporten (zie ook paragraaf 5.4.2). Elke docent heeft als casestudy, een portfolio bijgehouden met daarin de bewijzen en reflecties waaruit het ontwikkelingsniveau van zijn of haar competenties als assessor blijkt. De resultaten van dit actieonderzoek zijn beschreven in paragraaf 6.1. 5.2.2 Effectonderzoek Naast actieonderzoek, is er ook sprake van een effectonderzoek en wel bij de eerste en de tweede deelvraag. In een effectonderzoek is er sprake van een onafhankelijke variabele die gemanipuleerd wordt en een afhankelijke variabele waarop de onafhankelijke variabele invloed uitoefent (Baarda, 2014). Bij de eerste deelvraag, waarbij is nagegaan of er een toename is waar te nemen in het kennisniveau van de COE docenten over het competentiegericht opleiden en beoordelen, is de afhankelijke variabele het kennisniveau van de docenten, terwijl de onafhankelijke variabelen de informatiebijeenkomst en de reader zijn geweest. De wijze van dataverzameling hierbij is beschreven in paragraaf 5.4.1, terwijl het resultaat hiervan is beschreven in paragraaf 6.1.1. Bij de tweede deelvraag, waarbij is nagegaan of er een verbetering in het ontwikkelingsniveau van de competenties als assessor bij de COE docenten is waar te nemen, is de afhankelijke variabele het ontwikkelingsniveau van de competenties van de docent als assessor en de onafhankelijke variabele de oefeningen die de docenten hebben gedaan. De wijze van dataverzameling hierbij is beschreven in paragraaf 5.4.2, terwijl het resultaat hiervan is beschreven in paragraaf 6.1.2.
Masterthesis
40
5.3
Populatie
De populatie wordt gevormd door alle docenten van de SOOS. De gehele populatie is benaderd om de eerste docentenbijeenkomst bij te wonen. Tijdens deze eerste docentenbijeenkomst is vervolgens nagegaan welke docenten bereid zijn om te participeren aan het interventieonderzoek. In totaal hebben van de drieëntwintig docenten, negen meegedaan aan de training en acht aan de workshop. In de ontstane steekproef zaten naast de twee opleidingsmanagers, drie docenten die vanaf het begin van de opleidingen aan de SOOS zijn verbonden, twee docenten die halverwege het bestaan van de opleidingen zijn aangetrokken door de SOOS en twee docenten die dat studiejaar voor het eerst waren aangetrokken. Ook kan over de ontstane steekproef worden opgemerkt dat zes docenten uit het onderwijsveld afkomstig zijn en drie uit het beroepenveld. Ten aanzien van de duur waarop de docenten in dienst zijn bij de SOOS, is de ontstane steekproef wel representatief. Ten aanzien van achtergrond van de docenten is de ontstane steekproef niet representatief, aangezien 57% van de SOOS-docenten uit het toekomstig beroepenveld van de studenten afkomstig is.
5.4
Dataverzameling en onderzoeksinstrumenten
De gegevens zijn in juli - augustus 2014 verzameld. De wijze waarop de data zijn verzameld en de hierbij gebruikte onderzoeksinstrumenten worden hieronder per deelvraag beschreven. 5.4.1 Toename kennisniveau docenten De eerste deelvraag luidt als volgt: is er een toename in het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen waar te nemen? Om deze vraag te kunnen beantwoorden, is er een toets ontwikkeld, die is opgenomen in bijlage 7. Deze toets is op twee verschillende momenten afgenomen. Aan de hand van de toetsresultaten op deze twee verschillende momenten is vastgesteld als het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen is toegenomen. In de toets zijn er vijf meerkeuzevragen opgenomen die betrekking hadden op het competentiebegrip, het begrip assessment, het assessment in een competentiegerichte opleiding, het portfolio en de kwaliteitscriteria van een assessment. 5.4.2 Toename ontwikkelingsniveau competenties assessor bij docenten De tweede deelvraag luidt: is er een toename in het ontwikkelingsniveau van de competenties als assessor bij de docenten waar te nemen? Om deze vraag te kunnen beantwoorden, is gebruik gemaakt van een rubriek die door Oudkerk Pool (2013) is ontwikkeld. Deze rubriek, die is opgenomen in bijlage 8, is de basis geweest voor de oefeningen die tijdens de assessorentraining zijn gedaan, de oefeningen die de docenten onderling hebben uitgevoerd na eerste twee trainingsbijeenkomsten en de eindopdracht waarmee de training is afgerond. Op de training is al uitvoerig ingegaan in paragraaf 4.3 bij de gedetailleerde beschrijving van het ontwerp. Ook zijn alle gebruikte instrumenten om de benodigde data voor het beantwoorden van deze tweede deelvraag te verzamelen, afgeleid van dezelfde rubriek uit bijlage 8.
Masterthesis
41
Zoals aangegeven in schema 5.1, zijn voor het beantwoorden van deze tweede deelvraag indicatoren met betrekking tot het beoordelen van het portfolio en het afnemen van een criteriumgericht interview. Bovengenoemde indicatoren zijn twee keer gemeten. Het eerste meetmoment is geweest tijdens de eerste twee bijeenkomsten van de training, namelijk 4 en 11 juli 2014. Tijdens de eerste trainingsbijeenkomst hebben de docenten geoefend in het afnemen van een criteriumgericht interview. Van deze oefeningen zijn er video-opnames gemaakt, die aan de hand van het formulier observatie assessmentgesprek (zie bijlage 9) zijn beoordeeld. Tijdens de tweede trainingsbijeenkomst hebben de docenten geoefend in het beoordelen van het portfolio. De data van deze oefeningen zijn verzameld met behulp van het formulier rapportage eindassessment dat is opgenomen in bijlage 10. Na de tweede trainingsbijeenkomst hebben de docenten een eindopdracht gehad conform welke zij hebben geoefend in groepen van twee of drie in het ontwikkelen van de competenties van assessor. De oefenperiode was één maand. Aan het eind hiervan heeft elke docent een portfolio ingeleverd met daarin bewijzen die het ontwikkelingsniveau van hun competenties onderbouwen. De volledige beschrijving van deze eindopdracht is opgenomen in bijlage 11. De data van deze oefeningen zijn verzameld middels het leerrapport dat is opgenomen in bijlage 12. Geheel volgens de opzet van actieonderzoek (zie ook paragraaf 5.1), hebben de docenten aan de hand van deze leerrapporten twee keer teruggeblikt op de wijze waarop zij deze competenties ontwikkelen. Het tweede meetmoment is tijdens de derde en tevens laatste trainingsbijeenkomst op vrijdag 8 augustus 2014 geweest. Zoals eerder aangegeven heeft elke docent aan het eind van de oefenperiode een portfolio ingeleverd met daarin bewijzen die het ontwikkelingsniveau van een getrainde assessor aantonen. Elke docent heeft tijdens deze laatste trainingsbijeenkomst de rol van assessor vervuld en daarbij van een collega-docent het portfolio beoordeeld en een criteriumgericht interview afgenomen. De docenten hebben hun bevindingen over de portfoliobeoordeling genoteerd op het formulier rapportage eindassessment (zie bijlage 10). Aan de hand van deze resultaten is inzicht verkregen in het ontwikkelingsniveau van de docent met betrekking tot de portfoliobeoordeling, terwijl inzicht in het ontwikkelingsniveau met betrekking tot het criteriumgericht interview en het geven van ontwikkelingsgerichte feedback verkregen is aan de hand van het formulier observatie assessmentgesprek (zie bijlage 9). De gebruikte instrumenten tijdens het tweede meetmoment zijn dus dezelfde instrumenten als die tijdens het eerste meetmoment zijn gebruikt. 5.4.3 Criteria ten behoeve van tussen- en eindassessments De derde deelvraag luidt als volgt: op basis van welke criteria kunnen de tussen- en eindassessments van de COE studenten afgenomen te worden? Uit schema 5.1 blijkt dat de criteria die nodig zijn voor de tussen- en eindassessments, helder dienen zijn geformuleerd en gerelateerd dienen te zijn aan de beroepspraktijk van de student. Ook blijkt dat de momenten van de tussen en eindassessments aan het eind van de propedeuse, hoofd- en afstudeerfase zijn. De gegevens hieromtrent zijn verzameld tijdens een workshop, waarbij het huidig Masterthesis
42
competentieprofiel dat is opgenomen in bijlage 1, als instrument is gebruikt. In het huidig competentieprofiel is alleen het eindniveau opgenomen dat verwacht wordt van de afgestudeerde student. Uitgaande hiervan hebben docenten tijdens groepsgesprekken een voorstel geformuleerd over een mogelijke indeling van de competenties in tussen- en eindniveaus, waarbij rekening gehouden wordt met de beroepspraktijk van de student. Baarda et al. (2009) geven aan dat een groepsgesprek de voorkeur geniet indien het doel is het genereren van ideeën. In dit geval hebben de docenten ideeën gegenereerd voor een mogelijke indeling van het vereist competentieniveau van de studenten aan het eind van de propedeuse-, hoofd- en afstudeerfase. Baarda et al. geven verder aan dat het voordeel van groepsgesprekken is dat de reacties van de deelnemers meestal inspirerend werken, waarbij andere deelnemers vaak op nieuwe gedachten worden gebracht. Hierdoor kan het groepsgesprek het karakter van een brainstormsessie krijgen, hetgeen in dit kader het geval is geweest. De brainstormsessies zijn geweest tijdens een workshop op 16 augustus 2014. Het resultaat van deze brainstormsessies hebben de docenten op flappen geschreven, aan de hand waarvan de onderzoeksresultaten zijn verwerkt in paragraaf 6.1.3.
5.5
Validiteit en betrouwbaarheid
In deze paragraaf worden de validiteit (5.5.1) en de betrouwbaarheid (5.5.2) van het onderzoek verantwoord. 5.5.1 Validiteit Van validiteit is er sprake indien de onderzoeksbevindingen een goede weergave vormen van datgene wat zich feitelijk in de praktijk afspeelt (Baarda, De Goede & Teunissen, 2009). Baarda (2014) maakt hierbij het onderscheid in instrumentele en ecologische validiteit. Instrumentele validiteit De instrumentele validiteit is de mate waarin datgene dat gemeten moet worden daadwerkelijk ook gemeten wordt. Hierbij spelen de onderzoeksinstrumenten dus een belangrijke rol. Hetgeen gemeten dient te worden, is weergegeven in de deelvragen in paragraaf 5.1, terwijl de centrale begrippen uit deze deelvragen zijn geoperationaliseerd in schema 5.1 in concrete indicatoren. Zoals aangegeven in schema 5.1 zijn er drie centrale begrippen, namelijk kennisniveau, competenties assessor en criteria. Hieronder wordt voor elk van deze centrale begrippen aangegeven hoe de indicatoren verwerkt zijn in het gehanteerde onderzoeksinstrument. De indicatoren met betrekking tot het centrale begrip kennisniveau zijn gemeten aan de hand van een toets met daarin vijf meerkeuzevragen (zie bijlage 7), waarbij a. Vraag 1 en 2 betrekking hebben op respectievelijk het begrip competentie en het begrip assessment en meten dus de kennis van de docent hierover (eerste indicator). b. Vraag 3 betrekking heeft op de competentiegerichte assessmentpiramide, vraag 4 op het portfolio en vraag 5 op de kwaliteitseisen van assessment. Deze vragen meten dus
Masterthesis
43
de kennis van de docent over de wijze waarop een assessment in een competentiegerichte opleiding plaatsvindt (tweede indicator). De indicatoren met betrekking tot de competenties van de assessor komen zijn opgenomen in de rubriek die als basis is gebruikt bij het verzamelen van de gegevens (zie bijlage 8). Zoals reeds beschreven in paragraaf 5.4.2 is deze rubriek als uitgangspunt gebruikt bij de ontwikkelde instrumenten. De indicatoren met betrekking tot de criteria op basis waarvan tussen- en eindassessments van de studenten afgenomen dienen te worden, zijn verwerkt in de volgende centrale vraag die de docenten moesten beantwoorden tijdens een groepsgesprek: wat moet de student kunnen aan het eind van de propedeuse-, hoofd- en afstudeerfase? Ecologische validiteit De ecologische validiteit geeft de geldigheid van de onderzoeksresultaten in de dagelijkse praktijk aan (Baarda, 2014). Bij de eerste deelvraag zijn de onderzoeksdata rechtstreeks van de docenten verzameld door de toets. Bij de tweede deelvraag, zijn de onderzoeksgegevens bij het eerste meetmoment rechtstreeks bij de docenten, die op dat moment de rol van assessor vervulden, verzameld middels de observatie. Bij het tweede meetmoment zijn de gegevens via de bevindingen van een observator verzameld. Bij het tweede meetmoment heeft de ecologische validiteit dus moeten inboeten, aangezien de observator een andere interpretatie gegeven kan hebben aan hetgeen heeft plaatsgehad dan wanneer de data rechtstreeks van de docent was verkregen. Bij de derde deelvraag zijn de gegevens rechtstreeks van de docenten verkregen, nadat die op flappen waren geschreven. Ook bij de derde deelvraag heeft de ecologische validiteit moeten inboeten, aangezien hetgeen geschreven is op de flappen niet noodzakelijkerwijs hetgeen hoeft te zijn dat is besproken tijdens het groepsgesprek. 5.5.2 Betrouwbaarheid Baarda et al. (2009), die betrouwbaarheid beschrijven als de mate waarin metingen onafhankelijk zijn van toeval, geven de volgende richtlijnen om de betrouwbaarheid te verhogen: 1. Het vooraf uitschrijven van mogelijke vooroordelen, waardoor subjectieve ervaringen en overwegingen voorkomen kunnen worden. 2. De onderzoeksverslagen en interpretaties te laten nalezen door collega’s (peerdebriefing). 3. De dataverzameling na enige tijd nog eens bekijken en analyseren. 4. Het zo snel mogelijk aantekeningen maken van de observaties of gesprekken die ter plekke niet vastgelegd kunnen worden. Tijdens het interventieonderzoek is gebruik gemaakt van de tweede richtlijn, waarbij de kwaliteitsmedewerker van de SOOS de onderzoeksresultaten heeft nagelezen. Uit deze peerdebriefing is er één inhoudelijke opmerking voortgekomen, waarbij gesteld is dat niet is aangeven als het effect dat op het kennisniveau heeft plaatsgehad, positief of negatief is geweest. Deze opmerking is verwerkt in het resultaat in hoofdstuk 6. Masterthesis
44
6
Resultaten van het onderzoek
In dit hoofdstuk worden de resultaten van het interventieonderzoek gepresenteerd. In paragraaf 6.1 worden ingegaan op het effect van het product, terwijl in paragraaf 6.2 wordt ingegaan op het effect van het proces.
6.1
Het effect van het product
Zoals aangegeven in hoofdstuk 4 omvat het product de volgende activiteiten: 1. Docenten worden geïnformeerd over het competentiegericht opleiden en beoordelen; 2. Een assessorentraining waarbij de docenten: a. worden getraind in de technieken die nodig zijn om portfolio’s te beoordelen en een criteriumgericht interview af te nemen; b. met elkaar oefenen in het aanleren van de gedragsindicatoren van een getrainde assessor; 3. Docenten brainstormen over het competentieprofiel van de COE met als doel het aan te passen ten behoeve van tussen- en eindassessments. Deze drie activiteiten worden in de volgende subparagrafen beschreven. 6.1.1 Informeren van docenten Zoals beschreven in paragraaf 4.3.1 is er een reader samengesteld over het competentiegericht opleiden en beoordelen (zie ook de inhoudsopgave in bijlage 6). Deze reader is ongeveer twee weken voorafgaand aan de informatiebijeenkomst gestuurd naar de docenten. De informatiebijeenkomst is geweest op zondag 15 juni 2014. Aan het begin van deze informatiebijeenkomst is de toets (zie ook paragraaf 5.4.1) afgenomen om een indicatie te hebben over het kennisniveau van de docenten voorafgaand aan het interventietraject. Deze zelfde toets is vervolgens weer afgenomen onder de docenten aan het begin van de eerste trainingsbijeenkomst op vrijdag 4 juli 2014, 27 dagen na het eerste meetmoment. De resultaten van deze toets zijn opgenomen in tabel 6.1. De toets bestond uit vijf meerkeuzevragen. Voor elke vraag die goed was beantwoord, kon een docent twee punten scoren. Tabel 6.1: Gemiddeld toetscijfer docenten kennisniveau. Gemiddeld cijfer meetmoment 1 4,4
Gemiddeld cijfer meetmoment 2 6,2
Uit tabel 6.1 blijkt dat het gemiddeld toetsresultaat tijdens het eerste meetmoment 4,4 is geweest. Twee toetsvragen (zie bijlage 7) zijn door alle respondenten fout beantwoord, namelijk de vraag over de competentiegerichte assessmentpiramide en de vraag over hetgeen noodzakelijk is als een student een ontwikkelingsportfolio maakt. Bij de vraag over de assessmentpiramide hebben de docenten dus niet kunnen herkennen dat bij assessment van competenties assessment tijdens het leren (“assessment as learning”) de basis vormt, gevolgd door assessment voor het leren (“assessment for learning”) en tenslotte assessment van het Masterthesis
45
leren (“assessment of learning”). Bij de vraag over het ontwikkelingsportfolio hebben de docenten niet kunnen herkennen dat een student niet maar één informatiebron als bewijs kan gebruiken. Het gemiddeld toetsresultaat is tijdens het tweede meetmoment 6,2 geweest. Uit de analyse van deze toetsresultaten is, in tegenstelling tot het eerste meetmoment, niet gebleken dat er specifieke onderdelen zijn waarbij de docenten een informatiegap hebben. De fouten variëren namelijk per docent. Uitgaande van het gemiddeld cijfer van de twee verschillende meetmomenten, respectievelijk 4,4 en 6,2, kan gesteld worden dat de reader over het competentiegericht opleiden en beoordelen en de informatiebijeenkomst een positief effect hebben gehad op het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen. 6.1.2 Assessorentraining De doelen van de assessorentraining zijn geweest om de docenten: a. te trainen in de competenties van een assessor; b. met elkaar te laten oefenen bij het aanleren van de gedragsindicatoren van een getrainde assessor; In schema 5.1 zijn de indicatoren die bij de competenties van een assessor van belang zijn, weergegeven. Voor de overzichtelijkheid worden die weer hier opgenomen: 1. Portfolio beoordelen, waarbij de docent: let op de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen (tijdens het onderzoek afgekort vraak-criteria). let op de relatie tussen de bewijzen, de gepleegde handelingen in beroepssituaties en de competenties (tijdens het onderzoek genoemd beoordelingsdriehoek). 2. Criteriumgericht interview afnemen, waarbij de docent: actief luistert, doorvraagt, samenvat (LSD). de kandidaat vraagt naar de situatie waaruit een bewijs is voortgekomen, wat de taak precies was in die situatie, welke actie concreet is ondernomen, wat het resultaat van die actie was en wat een volgend keer anders gedaan zou kunnen worden (START). turbo vragen hanteert. feedbackregels toepast. de feedback op concrete voorbeelden uit het portfolio of het criteriumgericht interview baseert. Zoals eerder beschreven (zie ook paragraaf 4.3.2 en 5.4.2), zijn er bij de assessorentraining twee meetmomenten geweest, waarbij het eerste meetmoment is geweest tijdens de eerste twee trainingsbijeenkomsten en het tweede meetmoment tijdens de derde trainingsbijeenkomst, ongeveer één maand na het eerste meetmoment. Gedurende deze twee meetmomenten hebben de docenten onderling geoefend.
Masterthesis
46
Om het geheel overzichtelijk te houden, worden de resultaten bij dit onderdeel weergegeven voor de twee hierboven genoemde aspecten (beoordelen portfolio en criteriumgericht interview afnemen). Beoordelen van het portfolio Bij het beoordelen van het portfolio hebben de docenten tijdens het eerste meetmoment, vrijdag 11 juli 2014, in vier groepen gewerkt, waarbij studentenportfolio’s beoordeeld moesten worden. Bij het beoordelen van de studentenportfolio’s hebben de docenten gelet op de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen (vraak-criteria) en de relatie tussen de bewijzen, de gepleegde handelingen in beroepssituaties en de competenties (beoordelingsdriehoek). Het resultaat van dit groepswerk is onderling door de groepen zelf beoordeeld. Het tweede meetmoment heeft plaatsgehad op vrijdag 8 augustus 2014. Hierbij waren er acht van de negen docenten aanwezig, waarbij twee docenten een gezamenlijk portfolio hebben ingeleverd. Ook hier hebben de docenten onderling de beoordeling gedaan. Vraak-criteria In schema 6.1 zijn de resultaten van de twee meetmomenten weergegeven met betrekking tot de vraak-criteria. Tijdens het eerste meetmoment zijn er van vier groepen resultaten en tijdens het tweede meetmoment zijn er van zes individuele docenten en één duo-groep resultaten. Tussen het eerste en het tweede meetmoment zijn er 29 dagen. Schema 6.1: Portfoliobeoordeling vraak-criteria Meetmoment 1 Meetmoment 2 1. Poging om de variatie te brengen, terwijl de andere criteria niet zijn meegenomen. 2. Alleen de variatie en de relevantie zijn toegelicht. 3. De actualiteitswaarde is niet genoemd, de overige criteria in onvoldoende mate. 4. De variatie is onvoldoende uitgewerkt, de kwantiteit is niet aan de orde gekomen. De overige criteria zijn wel genoemd.
1. De bewijsstukken zijn echt en actueel (27 juli, 28 juli en 2 augustus). Er zijn maar van twee indicatoren bewijzen, waarvan maar van één er meerdere bewijzen zijn. 2. Er zijn geen bewijzen als zodanig in het portfolio opgenomen. 3. Alle indicatoren zijn aan de hand van één feedbackrapport bewezen. 4. De beoordeling is gedaan aan de hand van een casus en niet van de indicatoren van een assessor. 5. De vraak-criteria zijn voldoende toegepast. 6. De vraak-criteria zijn onvoldoende toegepast. 7. Uit de beschrijving van de werkwijze en de opsomming van de bevindingen blijkt de variatie, relevantie en de actualiteit. De authenticiteit en de kwantiteit zijn niet gebleken.
Zoals in het begin van deze paragraaf aangegeven, dient een assessor bij het beoordelen van een portfolio uit te gaan van de vraak-criteria. Uit schema 6.1 blijkt dat de docenten bij het beoordelen van het portfolio zowel bij het eerste meetmoment als bij het tweede meetmoment uit zijn gegaan van de vraak-criteria. Tussen de twee meetmomenten hebben de docenten onderling geoefend in het hanteren van de vraak-criteria bij het beoordelen van een portfolio. Tijdens het oefenen hebben de Masterthesis
47
docenten middels een leerrapport twee keer gereflecteerd op de mate waarop zij conform de vraak-criteria een portfolio beoordelen, waarbij de sterke punten en de verbeterpunten hiervan genoteerd zijn. De resultaten van alle docenten zijn weergegeven in schema 6.2. Schema 6.2: Oefenresultaten vraak-criteria Leerrapport 1 Sterke punten Alle onderdelen toegepast (3) Variatie, Authenticiteit, Actualiteitswaarde Ervaring kunnen opdoen met de vraak-techniek Verbeterpunten Actualiteit kon beter Kwantiteit Relevantie (2) Juiste afbakening maken
Leerrapport 2 Alle onderdelen toegepast Variatie, Authenticiteit, Actualiteitswaarde Het beoordelen van de bewijsstukken met de vraaktechniek (2) Actualiteit kon beter Kwantiteit Relevantie Juiste afbakening maken
Uit schema 6.2 blijkt dat, net als bij het eerste en het tweede meetmoment, de docenten bij het oefenen bij de portfoliobeoordeling ook rekening gehouden hebben met de vraak-criteria. Uit schema 6.2 blijkt ook dat het maken van een juiste afbakening tussen de criteria als een verbeterpunt is aangemerkt. Uitgaande van hetgeen hierboven gesteld is, kan worden aangegeven dat de docenten vanaf het eerste meetmoment de vraak-criteria hebben gehanteerd bij het beoordelen van portfolio’s. Beoordelingsdriehoek In schema 6.3 zijn de resultaten van de twee meetmomenten weergegeven van de beoordelingsdriehoek. Voor het beoordelen van een portfolio op basis van de beoordelingsdriehoek, dient de docent na te gaan als de bewijzen, beroepshandelingen en beoordelingscriteria aan elkaar zijn gerelateerd. Schema 6.3: Portfoliobeoordeling beoordelingsdriehoek Meetmoment 1 1. Er zijn zowel bewijzen als beroepshandelingen. 2. De bewijzen zijn wel beoordeeld, maar de beroepshandelingen en de beoordelingscriteria zijn niet meegenomen. 3. Er is per competentie beoordeeld, maar de beoordelingsdriehoek is niet gebleken. 4. De prestatie-indicatoren en het bewijsmateriaal zijn wel gebruikt, maar de beroepshandelingen (de context) niet.
Meetmoment 2
Bij geen enkele indicator is er een relatie gelegd met het bewijs en de beroepscontext. (7)
Uit schema 6.1 blijkt dat de docenten bij het eerste meetmoment zich met name gefocust hebben op de onderdelen (bewijzen, beroepshandelingen en beoordelingscriteria) van de beoordelingsdriehoek en niet zozeer op de relatie daartussen. Bij het tweede meetmoment is
Masterthesis
48
deze relatie wel meegenomen. In welke mate het onderling oefenen tussen de twee meetmomenten hiertoe heeft bijgedragen, is weergegeven in schema 6.4. Schema 6.4: Oefenresultaten beoordelingsdriehoek Leerrapport 1 Sterke punten Bewijzen Gebruik van de competenties Ervaring kunnen opdoen met beoordelingsdriehoek Verbeterpunten Bewust toepassen Toepassen
Leerrapport 2 Bewijzen Gebruik van de competenties
Bewust toepassen Toepassen (2)
Uit schema 6.4 blijkt dat het uitgaan van de bewijzen en de competenties en het opdoen van ervaring met de beoordelingsdriehoek een bijdrage hebben geleverd dat tijdens het tweede meetmoment wel op de relatie tussen de bewijzen, beroepshandelingen en beoordelingscriteria is gelet. Ook heeft het (bewust) toepassen van de beoordelingsdriehoek hieraan bijgedragen. Criteriumgericht interview Bij het criteriumgericht interview is de focus geweest op de START (situatie, taak, actie, resultaat en transfer), LSD (luisteren, samenvatten en doorvragen) en turbo-vragen en het geven van feedback. Tijdens het eerste meetmoment zijn drie duo-groepen gevormd en één groep van drie docenten. In totaal dus vier groepen. Van deze vier groepen hebben twee het criteriumgericht interview voorbereid vanuit de rol van de student en twee vanuit de rol als assessor, waardoor uit het eerste meetmoment van twee criteriumgerichte interviews resultaten zijn verzameld. Tijdens het tweede meetmoment zijn, net als bij de portfoliobeoordeling, van zeven interviews resultaten verzameld. De vragen die bij de START- en de TURBO technieken gesteld konden worden en de feedbackregels zijn opgenomen in bijlage 13. START In schema 6.5 zijn de resultaten van de START-techniek (situatie, taak, actie, resultaat en transfer) opgenomen voor de twee meetmomenten. Schema 6.5: Criteriumgericht interview: START Meetmoment 1 De docent gaat in op de S-fase (situatie): - De spanningen zijn er nog. - Wat gebeurde er precies? - Wie waren er allemaal bij betrokken? - Wat was het daadwerkelijk probleem? (2) - Wat heb je precies gesignaleerd?
Masterthesis
Meetmoment 2 De docent gaat in op de S-fase (situatie): - Goed (2). - Praat/stelt vragen over de samenstelling van het portfolio. - Behandelt de cases die de kandidaten hebben opgenomen in hun portfolio. - Ja, gevraagd over de situaties als assessor. - Gevraagd over de situatie van het portfolio. - Voldoende. - Wel.
49
Meetmoment 1 De docent gaat in op de T-fase (taak):
Meetmoment 2 De docent gaat in op de T-fase (taak): - Niet (2). - Goed. - Praat over de taak die is uitgevoerd tijdens het afnemen van het assessment. - Ja, heeft vragen gesteld over taak als assessor. - Heeft weinig vragen daarover gesteld, de kandidaat is zelf erop ingegaan. - Voldoende. De docent gaat in op de A-fase (actie): De docent gaat in op de A-fase (actie): - Wat heb je precies gedaan? - Niet (2). - Ik begrijp dat een van de acties is geweest…. - Vraagt wat precies is gedaan, hoe het - Heb je naar eigen inzicht de actie ondernomen? assessment is gevoerd. - Gevraagd naar het gevoel in de rollen. - Voldoende. De docent gaat in op de R-fase (resultaat): De docent gaat in op de R-fase (resultaat): - Welk deel is nog niet opgelost en welk deel - Goed (2). wel? - Het resultaat is het portfolio en stelt daar - Er is niet vermeld dat de oplossing is gekomen. vragen over. Vraagt ook hoe ze het hebben - Waren de medewerkers er mee eens dat de ervaren. oplossing is gekomen? - Onvoldoende (2). - Ik heb niet het idee dat er een oplossing is - Matig. gekomen. - Niet. - Hoe heb je het verder opgelost? - Is het resultaat wel aanwezig? - Hoe ben je eigenlijk aan die oplossing gekomen? - Ben je tevreden over het resultaat? De docent gaat in op de T-fase (transfer): De docent gaat in op de T-fase (transfer): - Stel dat het probleem zich weer voordoet. - Goed (2). - Ga je een ander keer dezelfde oplossingen - Vraagt als de opdracht op dezelfde manier of gebruiken? anders zou worden gedaan als het opnieuw zou - Is die situatie al een keer voorgekomen en hoe moeten worden uitgevoerd. ben je toen ermee omgegaan? - Onvoldoende (2). - Voldoende. - Wel.
Bij het hanteren van de gesprekstechniek START dient aan de kandidaat gevraagd te worden naar de situatie waaruit een bewijs is voortgekomen, wat de taak precies was in die situatie, welke actie concreet is ondernomen, wat het resultaat van die actie was en wat een volgend keer anders gedaan zou kunnen worden. Uitgaande van hetgeen is weergegeven in schema 6.5, kan ten aanzien van de START worden afgeleid dat er ten opzichte van het eerste meetmoment, waarbij de taak-fase niet was voorgekomen, er een toename in het ontwikkelingsniveau van de START techniek is waar te nemen. Bij het tweede meetmoment zijn namelijk alle vijf fasen van de START-techniek voorgekomen. De mate waarin het onderling oefenen van de docenten tussen de tweemeetmomenten een bijdrage aan deze toename in het ontwikkelingsniveau heeft geleverd is opgenomen in schema 6.6. Ook hier worden de resultaten voor de twee leerrapporten opgenomen waarbij een onderscheid wordt gemaakt in de sterke punten en de verbeterpunten. Masterthesis
50
Schema 6.6: Oefenresultaten START Leerrapport 1 Sterke punten Alle onderdelen redelijk toegepast (4) Situatie, Taak, Actie en resultaat kwamen aan bod Situatie, Taak en Actie kwamen aan bod Ervaring kunnen opdoen met Start Verbeterpunten Alle elementen van de Start procedure aan de orde laten komen Oefenen met R-T Slechts één situatie besproken Meer focussen op transfer Beter onderscheid tussen Transfer en Turbo
Leerrapport 2 Alle onderdelen redelijk toegepast (2) Situatie, Taak, Actie en resultaat kwamen aan bod Situatie, Taak en Actie kwamen aan bod
Alle elementen van de Start procedure aan de orde laten komen Oefenen met R-T Slechts één situatie besproken
Uit schema 6.6 blijkt dat tijdens het oefenen alle fasen van de START aan de orde zijn geweest, waardoor het oefenen tussen de twee meetmomenten een positief effect heeft gehad op de ontwikkeling van de START-techniek bij de docenten. LSD In schema 6.7 zijn de resultaten van de LSD-techniek (luisteren, samenvatten en doorvragen) opgenomen voor het eerste en het tweede meetmoment. Schema 6.7: Criteriumgericht interview LSD Meetmoment 1 De docent luistert actief: - Bevestigend knikken (2). - Bevestigende antwoorden (2). - Oogcontact (2).
Meetmoment 2 De docent luistert actief: - Ja, en kan daardoor ook doorvragen. - Zeer actief en brengt het gesprek terug naar het begin. - Ja, stelt tussendoor vragen. - Speelt in op hetgeen de kandidaat zegt en kan verdere vragen stellen. - Redelijk (2). - Luistert aandachtig en kan daardoor ook ingaan op hetgeen de kandidaat zegt. - Weinig geluisterd. Meer gepraat en gevraagd. De docent vraagt door: De docent vraagt door: - Er is ergens toch nog iets dat moet gebeuren. - Goed. - Wat was het daadwerkelijk probleem? - Goed, waardoor onduidelijkheden konden - Wat kan er dan voor die persoon nog worden weggenomen. gebeuren? - Af en toe. - Waarin uitte deze spanning zich? - Door middel van doorvragen probeert ze - Wat vindt u zelf? meerdere antwoorden, de juiste informatie, te krijgen - Onvoldoende (2). - Doorvragen, bijvoorbeeld bij het gedeelte over de vaststelling van de actualiteiten. - Vraagt redelijk goed door.
Masterthesis
51
Meetmoment 1 De docent vat samen: - Je hebt dus gesignaleerd dat….. - Dus eigenlijk heb je…
Meetmoment 2 De docent vat samen: - Goed. - Goed, aan het eind een heldere samenvatting. - Ja, vat het traject van de totstandkoming van het portfolio en de belemmeringen (tekort aan tijd) samen. - Kort samengevat wat ze hebben gedaan bij het eerste gesprek en gaat van daaruit verder met het gesprek. Vat ook samen op verschillende manieren en vraagt dan verder. - Niet tijdens de vragenronde, wel aan het eind. - Redelijk goed. - Ja. Bijvoorbeeld na het antwoord van de kandidaat over kwantiteit. - Heeft wel samengevat.
Bij het toepassen van de LSD-techniek gaat het erom dat de docent actief luistert, doorvraagt en samenvat. Uit schema 6.7 blijkt dat zowel bij het eerste als bij het tweede meetmoment alle drie aspecten zijn voortgekomen. Hoewel niet zichtbaar in het schema, is het wel zo dat de resultaten van het eerste meetmoment bij het onderdeel samenvatten van één van de twee interviews afkomstig zijn. Bij één groep is er tijdens het eerste meetmoment niet samengevat. Uitgaande hiervan kan dan gesteld worden dat bij het tweede meetmoment er een positief effect heeft plaatsgehad, aangezien alle docenten daar samengevat hebben. De mate waarin het oefenen van de docenten hieraan heeft bijgedragen is weergegeven in schema 6.8. Schema 6.8: Oefenresultaten LSD Leerrapport 1 Sterke punten Luisteren en doorvragen (3) Luisteren, doorvragen en samenvatten (2) Luisteren Verbeterpunten Samenvatten (3) Student heeft met de antwoorden de richting van het gesprek bepaald Met LSD naar andere situaties/acties overstappen Student meer ruimte geven uit te praten
Leerrapport 2 Luisteren en doorvragen (3) Luisteren, doorvragen en samenvatten
Samenvatten (2) Student heeft met de antwoorden de richting van het gesprek bepaald Met LSD naar andere situaties/acties overstappen
Zoals blijkt uit schema 6.8, zijn ook tijdens het oefenen met name het luisteren en doorvragen van de LSD-techniek gedemonstreerd. Uit beide leerrapporten blijkt dat het samenvatten als een verbeterpunt was aangegeven. De resultaten van het tweede meetmoment in schema 6.7, geven wel aan dat alle docenten hebben samengevat tijdens het interview. Turbovragen Bij het gebruik van de turbovragen gaat het erom dat de docenten die vragen (zie bijlage 13) dienen te stellen tijdens het interview. Ten aanzien van de turbovragen, kan gesteld worden dat er tijdens het eerste meetmoment één turbovraag is gesteld, namelijk ‘Stel dat het proMasterthesis
52
bleem zich weer voordoet’ (in schema 6.5 is deze vraag in het rood aangegeven). Tijdens het tweede meetmoment is dit onderdeel niet in het observatieformulier opgenomen, waardoor er geen onderzoeksresultaten ten aanzien hiervan zijn voor dit tweede meetmoment. Tijdens het oefenen hebben de docenten wel hierop gefocust. De resultaten hiervan zijn in schema 6.9 weergegeven. Schema 6.9: Oefenresultaten turbovragen Leerrapport 1 Sterke punten ‘Stel dat’ situatie (3)
Leerrapport 2
Inderdaad de student gebracht naar een ‘stel dat’ situatie. Het formuleren van de vragen tijdens het Alle vier vormen van Turbo gebruikt gesprek. Kwam in combinatie met de transfer aan de orde Verbeterpunten Naast “stel dat situatie’ ook andere vormen van Naast “stel dat situatie’ ook andere vormen van turbo toepassen (2) turbo toepassen. Tenminste één turbovraag stellen om het gesprek Tenminste één turbovraag stellen om het gesprek een andere wending te geven een andere wending te geven Turbo beter kunnen onderscheiden van transfer Het formuleren van de vragen tijdens het gesprek.
Ten aanzien van de turbovragen blijkt uit schema 6.9 dat van de verschillende soorten turbovragen die er zijn, de ‘stel dat’ het meest gebruikt wordt door de docenten bij deze gesprekstechniek. Ook tijdens het eerste meetmoment was dit het geval. Zoals blijkt uit het resultaat van het tweede leerrapport hierboven is er wel één observatie van alle vier vormen van de turbo genoteerd hetgeen ten opzichte van het eerste meetmoment een verbetering is. Feedback geven Naast de START-techniek, LSD en turbovragen, is het geven van feedback ook onderdeel van het criteriumgericht interview. Bij het geven van feedback dienen de docenten feedbackregels (zie bijlage 13) te hanteren en de feedback te richten op concrete voorbeelden uit het portfolio of het criteriumgericht interview. Tijdens het eerste meetmoment hebben de docenten geen feedback gegeven, maar met name vragen gesteld, (actief) geluisterd en, hoewel in ietwat mindere mate zoals eerder beschreven, samengevat. De resultaten van het feedback geven zijn voor het oefenen weergegeven in schema 6.10. Schema 6.10: Oefenresultaten voor het geven van feedback Leerrapport 1 Sterke punten Eerst de positieve punten aangegeven Zoveel mogelijk in de ik-vorm feedback gegeven Suggesties meegegeven Verbeterpunten Feedbackregels toepassen (2) Bij gesprek met student ook feedback geven (2)
Masterthesis
Leerrapport 2 Eerst de positieve punten aangegeven Zoveel mogelijk in de ik-vorm feedback gegeven. Suggesties meegegeven Feedbackregels toepassen Bij gesprek met student ook feedback geven. (2)
53
Uit schema 6.10 blijkt dat tijdens het oefenen niet altijd feedback is gegeven en dat de feedbackregels ook niet altijd zijn toegepast. De feedbackregels ‘eerst de positieve punten aangeven’, ‘zoveel mogelijk in de ik-vorm feedback geven’ en ‘suggesties meegeven’ zijn geïdentificeerd als sterkte. Tijdens het tweede meetmoment is er wel feedback gegeven, welke is weergegeven in schema 6.11. Schema 6.11: Criteriumgericht interview: Feedback geven tweede meetmoment Tweede meetmoment Geeft aan dat ze afgeweken zijn van de opdracht, maar dat ze het hebben uitgelegd waarom ze het hebben gedaan. Geeft wel aan wat ze hebben gedaan. Voldoende tot uiting gekomen. De feedback was helder. Zegt “wat ik heel goed vind”. Geeft aan waar informatie gehaald kan worden. Geeft ten aanzien van de bewijsstukken aan dat er harde bewijzen ingeleverd moeten worden. Geeft aan hoe toe te passen in de praktijk.
Ten opzichte van het eerste meetmoment, waarbij de docenten toen geen feedback hebben gegeven, is er bij het tweede meetmoment een toename in ontwikkelingsniveau gemeten. De feedback was positief, vanuit ‘ik’ en ook met suggesties, hetgeen aangeeft dat de feedbackregels zijn gehanteerd. Ook is ingegaan op de inhoud van het portfolio en het criteriumgericht interview, hetgeen blijkt uit de feedback op de bewijsstukken en de wijze waarop in de praktijk gewerkt kan worden. 6.1.3 Aangepast competentieprofiel Het derde onderdeel van het ontwerp is geweest dat de docenten zich tijdens een workshop hebben gebogen over het huidig competentieprofiel van de COE met als doel het aan te passen ten behoeve van tussen- en eindassessments. Zoals aangegeven in schema 5.1 zijn de indicatoren om het competentieprofiel aan te passen ten behoeve van de tussen- en eindassessment gedragsindicatoren op het niveau van de propedeuse, hoofd- en afstudeerfase. Daarnaast dient er een duidelijke relatie te zijn met de beroepspraktijk. Het huidig competentieprofiel (zie ook bijlage 1), bestaat uit de volgende zes hoofdcategorieën: interpersoonlijke competenties, organisatorische competenties, competenties in het samenwerken, competenties in het reflecteren, vakspecifieke competenties en beroepsspecifieke competenties. Het resultaat van deze workshop is een volledig nieuw competentieprofiel geweest, die is opgenomen in bijlage 14. Hieronder wordt het resultaat per hoofdcategorie beschreven. Interpersoonlijke competenties Uit de gedragsindicatoren van de interpersoonlijke competenties, blijkt dat er bij de propedeuse-, hoofd- en afstudeerfase een opbouwend niveau van complexiteit is, waarbij die van de afstudeerfase zich demonstreren op de werkplek. Bij ‘de student gaat op een rechtvaardige manier om met mensen’ blijk de opbouw van complexiteit tussen de propedeuse- en de hoofdfase uit het handelen ten opzichte van medestudenten en docenten (propedeusefase) en het handelen in een gesimuleerde beroepscontext (hoofdfase). Bij ‘De Masterthesis
54
student communiceert schriftelijk, mondeling en non-verbaal’ blijkt de opbouw in complexiteit uit het onder begeleiding (propedeusefase) en zonder begeleiding (hoofdfase) communiceren. Bij de overige gedragsindicatoren blijkt de opbouw in complexiteit uit het werkwoord en wel benoemen, identificeren en bekend zijn (propedeusefase) om respectievelijk gebruiken, demonstreren en handelen (hoofdfase). Organisatorische competentie Ook bij de organisatorische competenties is er een mate van complexiteit in de drie niveaus van gedragsindicatoren. Bij de gedragsindicator ‘de student gaat methodisch te werk’, is het niveau van de afstudeerfase binnen de organisatie, terwijl het onderscheid tussen de propedeuse en de hoofdfase bij 2.1.1 gemaakt wordt in de handeling en bij 2.1.2 in het werkwoord. Bij 2.1.1 gaat het in de propedeuse fase om het algemeen effectief gebruiken van hulpmiddelen, terwijl het in de hoofdfase gaat om het gebruiken van hulpmiddelen voor een bepaald resultaat. Bij de indicator ‘de student brengt structuur aan in het werk’ wordt het onderscheid gemaakt in de handeling, beginnende bij prioriteiten stellen, gevolgd door werkplan opstellen en tenslotte werk planmatig inrichten. Bij de indicator ‘de student controleert activiteiten op voortgang’ wordt het onderscheid gemaakt in het werkwoord, beginnende bij monitoren, gevolgd door evalueren en tenslotte door bijstellen. Competenties in het samenwerken Bij de verdeling van de gedragsindicatoren van de competenties in het samenwerken over de propedeuse-, hoofd- en afstudeerfase, komt de relatie met de beroepspraktijk niet expliciet tot uiting. Bij de gedragsindicator “de student functioneert als een volwaardig groepslid”, wordt er bij 3.1.1 een inhoudelijk onderscheid gemaakt, waarbij het kennen van het teambelang en de sociale vaardigheden centraal staat in de propedeusefase, het leveren van een effectieve bijdrage aan een groepstaak centraal staat in de hoofdfase en in de afstudeerfase het toepassen van de sociale vaardigheden in teamverband centraal staat. Bij 3.1.2 wordt het onderscheid gemaakt in het leveren van een bijdrage aan de groepstaak, het verantwoordelijk zijn van de eigen geleverde bijdrage en het verantwoordelijk zijn voor groepsbeslissingen. Bij 3.1.3 wordt het onderscheid gemaakt door de werkwoorden kennen, demonstreren en komen tot (doen). Bij de gedragsindicator “de student onderhoudt contacten met anderen ten behoeve van de uit te voeren werkzaamheden”, wordt er bij 3.2.1 geen onderscheid gemaakt tussen de propedeuse en de hoofdfase. Naar de afstudeerfase wordt er een inhoudelijk onderscheid gemaakt waarbij het accent wordt verschoven van het leveren van een bijdrage naar het nemen van initiatieven in overleg met de groep. Bij 3.2.2, wordt het onderscheid gemaakt tussen de propedeuse en de hoofdfase door de toevoeging ‘en staat open voor feedback’ bij de hoofdfase, terwijl het onderscheid met de afstudeerfase inhoudelijk is, waarbij het accent verschuift van het demonstreren naar het onderhouden van de contacten. Competenties in het reflecteren De eerste twee gedragsindicatoren van de competenties in het reflecteren zijn in de afstudeerfase gericht op de beroepscontext. Bij de gedragsindicator ‘de student reflecteert op het persoonlijk functioneren’, ligt het onderscheid in het werkwoord, waarbij in de propedeusefase het om het benoemen gaat en in de hoofdfase om het terugblikken. Bij de Masterthesis
55
gedragsindicator ‘de student reflecteert op de eigen kennisontwikkeling’ wordt het onderscheid tussen de propedeuse en de hoofdfase bij 4.2.1 gemaakt in het werkwoord en bij 4.2.2 in de handelingen. Bij 4.2.1 gaat het om respectievelijk verslaan en vergelijken, terwijl het bij 4.2.2 gaat om het halen van informatie bij anderen respectievelijk in het beroep. De derde gedragsindicator ‘de student reflecteert op het persoonlijk handelen in de beroepscontext’, staat de beroepscontext zowel in de propedeuse-, als in de hoofd-, als in de afstudeerfase centraal. Het onderscheid in complexiteit wordt hier gemaakt in het werkwoord. Bij 4.3.1 is het werkwoord in de propedeuse-, hoofd- en afstudeerfase respectievelijk vertellen, terugblikken en ontwikkelen en bij 4.3.2 benoemen, terugblikken en verbeteren. Vakspecifieke competenties Bij alle vakspecifieke competenties wordt bij de afstudeerfase het onderscheid gemaakt door de beroepscontext. Het onderscheid tussen de propedeuse en de hoofdfase wordt gemaakt door zowel de inhoud, als het werkwoord, als de plaats waar de indicator gemeten wordt. Zo wordt bij de gedragsindicator ‘de student levert administratieve informatie ten behoeve van de bedrijfsvoering’ bij 5.1.1 het onderscheid gemaakt door de werkwoorden toetsen en bijdragen en bij 5.1.2 door de werkwoorden uitwerken en analyseren. Bij de gedragsindicator ‘de student richt een organisatie in en bestuurt deze’ wordt bij 5.2.1 het onderscheid gemaakt door het onder begeleiding en zelfstandig werken van de student. Bij 5.2.2 ligt het onderscheid in het werkwoord (formuleren en implementeren). Daarnaast wordt in de hoofdfase gewerkt met projecten of simulaties. Bij 5.2.3 is er zowel een inhoudelijk onderscheid als een onderscheid in werkwoord, waarbij in de propedeusefase het onderscheiden van de organisatiestelsels en –typen centraal staan en in de hoofdfase het inrichten van de personele en de organieke structuur. Bij 5.2.4 en 5.2.5 wordt het onderscheid ook gemaakt door het werkwoord. Bij 5.2.4 gaat het om kennen en meten in de propedeusefase en om analyseren en concluderen in de hoofdfase. Bij 5.2.5 gaat het om het weten hoe leiding te geven in de propedeusefase en het daadwerkelijk leiding geven in projecten of simulaties in de hoofdfase. Bij de gedragsindicator ‘de student verwerkt en analyseert economische gegevens’ wordt er bij 5.3.3 een inhoudelijk onderscheid gemaakt, waarbij er in de propedeusefase economische vraagstukken worden opgelost en in de hoofdfase geïntegreerde economische vraagstukken in concrete situaties. Bij de overige indicatoren wordt het onderscheid door het werkwoord gemaakt en wel beheersen en gebruiken in projecten of simulaties (5.3.1), kennen en op de hoogte blijven (5.3.2) en beheersen van kennis en schrijven van beleidsnota’s (5.3.4). Bij de gedragsindicator ‘de student brengt de financiële problematiek in kaart’ wordt het onderscheid tussen de propedeuse- en de hoofdfase bij 5.4.1 en 5.4.2 gemaakt door de werkwoorden samenstellen en analyseren. Bij 5.4.3, 5.4.4, 5.4.5 en 5.4.6 is er een inhoudelijk onderscheid, namelijk integrale kostprijsberekening en verschillende kostprijsberekeningen, financiële calculaties maken en beleidsbeslissingen maken op basis van financiële calculaties, investerings- en financieringsproblemen identificeren en antwoorden voor deze problemen Masterthesis
56
formuleren en onderscheiden van de rechtsvormen en relateren van de vraagstukken aan de rechtsvorm. Beroepsspecifieke competenties Ook bij de beroepsspecifieke competenties staat de werkplek centraal in de afstudeerfase. Daarnaast worden bij de gedragsindicatoren ‘de student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit’, ‘de student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te bereiken’ en ‘de student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden’ ook de collega’s betrokken bij de afstudeerfase. Bij de gedragsindicator ‘de student gaat consistent en effectief om met (detail)informatie’ wordt het onderscheid tussen de propedeuse- en de hoofdfase gemaakt door de inhoud. Bij 6.1.1 gaat het in de propedeusefase om het selecteren van informatie om taken uit te voeren en in de hoofdfase om het controleren als geselecteerde informatie consistent is gebruikt bij het uitvoeren van taken. Bij 6.1.2 om het in kaart brengen van informatie en het effectief gebruiken van informatie. Bij 6.1.3 om het uitvoeren van instructies en het foutloos uitwerken van instructies. Bij de gedragsindicator ‘de student houdt zich aan normen, waarden en omgangsregels die gelden voor de functie en de cultuur waarin men werkt’ wordt het onderscheid gemaakt door het werkwoord, namelijk het kennen van gedragsnormen en het toepassen van de gedragsnormen bij het eigen handelen. Bij de gedragsindicator ‘de student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit’ wordt bij 6.3.1 en 6.3.2 een onderscheid gemaakt in werkwoord, namelijk kennen en rekening houden met (6.3.1) en verbeteren en waarborgen (6.3.2). Bij 6.3.3 is er een inhoudelijk onderscheid waarbij in de propedeusefase naar eigen inzichten wordt geëvalueerd en in de hoofdfase samen met collega’s wordt geëvalueerd. Bij de gedragsindicator ‘de student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te bereiken’ wordt er tussen de propedeuse- en de hoofdfase een inhoudelijk onderscheid gemaakt door het samenwerken in de hoofdfase. Bij de gedragsindicator ‘de student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden’ gaat het om de eigen werkzaamheden in de propedeuse fase, de eigen werkzaamheden bij groepstaken in de hoofdfase en de eigen werkzaamheden en die van de medewerkers in de afstudeerfase. Bij de gedragsindicator ‘de student doet onderzoek’ wordt het onderscheid gemaakt door een eenvoudig onderzoek, een kwalitatief en kwantitatief onderzoek en een complex praktijkonderzoek. Bij deze twee gedragsindicatoren wordt er een inhoudelijk onderscheid gemaakt. Masterthesis
57
Samengevat kan gesteld worden dat wel bij alle gedragsindicatoren een onderscheid is gemaakt naar propedeuse-, hoofd- en afstudeerfase, maar dat de relatie met de beroepspraktijk niet bij alle indicatoren blijkt. Bij de interpersoonlijke competenties, de competenties in het reflecteren, de vakspecifieke competenties en de beroepsspecifieke competenties blijkt de relatie wel, maar bij de organisatorische competenties en de competenties in het samenwerken blijkt deze relatie niet.
6.2
Het effect van het proces
Zoals aangegeven in paragraaf 4.4 zijn aan het proces de volgende eisen gesteld: Het informeren van de beoogde onderzoeksdoelgroep. Er is een introductiebijeenkomst geweest om draagvlak te creëren onder de docenten. Deze informatie bijeenkomst heeft niet het gewenste resultaat opgeleverd. Er waren maar zes docenten aanwezig op de informatiebijeenkomst, waarvan vier bereid waren om deel te nemen aan de interventie. Hierdoor is er wederom een uitnodiging gestuurd naar alle docenten om hen te interesseren om deel te nemen aan de interventie. Op die uitnodiging zijn er in totaal negen docenten ingegaan waarvan twee ook al tijdens de informatiebijeenkomst hun medewerking toegezegd hadden.
Het voeren van reguliere gesprekken met leidinggevenden. Beide opleidingsmanagers hebben deelgenomen aan de interventie en waren als zodanig betrokken bij het geheel.
Het creëren van zoveel als mogelijk draagvlak en het mogelijk maken dat het resultaat van het onderzoek buiten het afgebakend onderzoeksgebied gebruikt kan worden. Alle docenten hebben een uitnodiging gehad om te participeren bij de interventie. Hoewel het onderzoek zich richt op de COE, zijn de docenten van de Marketing en Managementopleiding (MeM) ook betrokken bij dit interventieonderzoek, waardoor met dit onderzoek tevens een aanzet wordt gegeven om de assessments te kunnen introduceren bij de MeM opleiding. Zowel docenten van de COE als van de MeM hebben de training gevolgd. Ook is er een volledig competentieprofiel van de MeM dat is ingedeeld naar de propedeuse-, hoofd- en afstudeerfase.
Het informeren van alle overigen betrokken. Tijdens de diploma- en certificaatuitreiking van 26 oktober 2014 zijn de certificaten overhandigd aan de deelnemers van de assessorentraining. Hiervan is er verslag gedaan in de SOOS-nieuwsbrief van november 2014. Het artikel is opgenomen in bijlage 15.
Masterthesis
58
7
Conclusies, aanbevelingen en discussie
In dit onderzoek stond de volgende vraag centraal: kunnen gerichte training en oefening bijdragen aan de competenties als assessor bij de docenten van de SOOS? De deelvragen zijn: 1. Is er een toename in het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen waar te nemen? 2. Is er een toename in het ontwikkelingsniveau van de competenties als assessor bij de docenten waar te nemen? 3. Op basis van welke criteria kunnen de tussen- en eindassessments van de COE studenten afgenomen te worden?
7.1
Conclusies
1. Ten aanzien van de toename van het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen is de conclusie dat de aan de docenten verstrekte reader met daarin theoretische aspecten over het competentiegericht opleiden en beoordelen en een informatiebijeenkomst ertoe heeft geleid dat het kennisniveau is toegenomen. Voorafgaand aan de informatiebijeenkomst is het kennisniveau van de docenten gemeten aan de hand van een toets, waarbij het gemiddeld cijfer 4,4 is geweest. Na de informatiebijeenkomst is er een tweede meetmoment geweest, waarbij het gemiddeld cijfer 6,2 is geweest. 2. Ten aanzien van de toename van het ontwikkelingsniveau van de competenties als assessor bij de docenten kan geconcludeerd worden dat: Uit het onderzoek is gebleken dat de competenties van een assessor zich vooral demonstreren bij het beoordelen van een portfolio en het afnemen van een criteriumgericht interview.
In dit onderzoek daadwerkelijk is gefocust op de competenties van een assessor. Bij een competentie staat centraal dat de kennis, vaardigheden, houdingen en eigenschappen op een geïntegreerde wijze gedemonstreerd dienen te worden in de beroepspraktijk. De beroepspraktijk is in dit onderzoek de SOOS geweest, waar de docenten aan de hand van bestaande studentenportfolio’s getraind zijn en geoefend hebben om een toename in het ontwikkelingsniveau van de competenties als assessor te weeg te brengen. De integratie van de kennis, vaardigheden, houding en eigenschappen is blijkt uit de kennis die de docenten hebben opgedaan over het beoordelen van een portfolio en het afnemen van een criteriumgericht interview, op basis waarvan zij vaardigheden zijn gaan ontwikkelen door onderling met elkaar te oefenen aan de hand van studentenportfolio’s.
Bij het beoordelen van het portfolio is er een toename in het ontwikkelingsniveau van de competentie te zien bij de docenten hetgeen vooral is gebleken bij het hanteren van
Masterthesis
59
de beoordelingsdriehoek, waarbij tijdens het eerste meetmoment de docenten de beoordeling afzonderlijk voor de bewijzen, beroepshandelingen en beoordelingscriteria hebben gedaan en tijdens het tweede meetmoment de beoordeling vooral vanuit de relatie tussen deze drie componenten hebben gedaan. De vraakcriteria zijn bij beide meetmomenten gehanteerd.
Hoewel alle docenten, in de rol van assessor, rekening hebben gehouden met de beoordelingsdriehoek, heeft geen enkele docent bij het samenstellen van de eigen portfolio deze relatie tot uiting gebracht.
Bij het afnemen van het criteriumgericht interview, hebben de docenten tijdens het eerste meetmoment geen aandacht besteed aan de taakfase tijdens de STARTmethodiek (situatie-, taak-, actie-, resultaat-, transferfase) en deels aan het samenvatten tijdens de LSD-methodiek (luisteren, samenvatten en doorvragen). Tijdens het tweede meetmoment zijn alle onderdelen aan de orde geweest, hetgeen een toename van het ontwikkelingsniveau weergeeft in deze twee methodieken.
Bij het afnemen van het criteriumgericht interview hebben de docenten tijdens het eerste meetmoment geen feedback gegeven. Bij het tweede meetmoment hebben de docenten dat wel gedaan. Hoewel dit op zich al een toename van het ontwikkelingsniveau weergeeft, kan ook ten aanzien van de kwaliteit van de gegeven feedback gesteld worden dat de feedbackregels in acht zijn genomen en dat de docenten uit zijn gegaan van de bewijzen die in het portfolio zijn opgenomen.
3. Criteria ten behoeve van tussen- en eindassessments Assessments dienen aan de hand van criteria te geschieden die geformuleerd zijn in de vorm van heldere gedragsindicatoren. In alle voorgestelde gedragsindicatoren zijn er concrete meetbare werkwoorden en een inhoudelijk aspect opgenomen, die het verwacht gedrag van de studenten aangegeven.
Bij het formuleren van de criteria dient de relatie met de beroepspraktijk tot uiting te worden gebracht. Deze relatie is bij vier van de zes competentiecategorieën weergegeven.
Naar aanleiding van het bovenstaande kan gesteld worden dat gerichte training en oefeningen daadwerkelijk hebben bijdragen aan de competenties van assessor bij de SOOS docenten. Verder kan geconcludeerd worden dat, uitgaande van de conclusies van het analyseonderzoek, met dit interventieonderzoek een belangrijke aanzet is gegeven tot de implementatie van het competentiegericht opleiden en beoordelen. Ter onderbouwing van deze conclusie, worden de volgende opmerkingen gemaakt: Tijdens het analyseonderzoek is gebleken dat de term assessment, dat centraal staat bij het competentiegericht opleiden en beoordelen, niet in de studiegids en het lesmateriaal voorkwam en ook niet genoemd is tijdens de afgenomen interviews. Momenteel beschikken alle docenten over een reader waarin de theoretische aspecten
Masterthesis
60
rond het competentiegericht opleiden en beoordelen zijn opgenomen. Daarnaast zijn negen docenten getraind om assessments af te nemen van studenten.
Tijdens het analyseonderzoek is gebleken dat de docenten het competentiebegrip niet konden definiëren. Ook is gebleken dat de docenten de rol van de beroepspraktijk niet als een doorslaggevende factor hebben geïdentificeerd bij het aangeven van de mate waarin zij een bijdrage leverden aan het ontwikkelen van de competenties bij de studenten. Uit het interventieonderzoek is gebleken dat het kennisniveau over het competentiegericht opleiden en beoordelen verhoogd is bij meer dan de helft van de docenten.
Uit het analyseonderzoek is gebleken dat in het huidig competentieprofiel alleen criteria zijn ontwikkeld die aangeven wat de studenten moeten kunnen aan het eind van de opleiding. Als resultaat van het interventieonderzoek is er een competentieprofiel waarmee het mogelijk is om aan het eind van de propedeuse-, hoofd- en afstudeerfase het competentieniveau van de studenten te beoordelen.
7.2
Aanbevelingen
Naar aanleiding van bovenstaande conclusies, kunnen de volgende aanbevelingen gedaan worden:
Het implementeren van het aangepaste competentieprofiel en het inzetten van de getrainde assessoren op de drie assessmentmomenten.
Het houden van een informatiebijeenkomst voor de docenten die hebben deelgenomen aan de interventie. Tijdens deze informatiebijeenkomst worden de docenten geïnformeerd over de resultaten van het interventieonderzoek en wordt het implementatieplan gepresenteerd. Het is ook aan te bevelen om aan het begin van de informatiebijeenkomst een derde meetmoment te doen van het kennisniveau over het competentiegericht opleiden en beoordelen. Op basis hiervan kan namelijk worden ingeschat als er behoefte is aan een herhaling van de theoretische aspecten van het competentiegericht opleiden en beoordelen, alvorens de assessoren zullen starten met de afname van de assessments.
Het organiseren van een workshop onder de getrainde docenten waarin het beoordelen van portfolio’s uitgaande van de relatie tussen de criteria, de bewijsstukken en de beroepshandelingen centraal staat. Hiermee wordt beoogd om de gap die ten aanzien hiervan geconstateerd is bij het samenstellen van de portfolio’s weg te werken.
Het organiseren van een workshop onder de docenten van de SOOS, waarbij er verder gewerkt wordt aan het competentieprofiel, met als doel om bij alle competenties de relatie met de beroepspraktijk tot uiting te brengen.
Het instellen van een focusgroep waarin personen uit de bedrijven waar de COE studenten werkzaam zijn participeren, met als doel om na te gaan als het voorgesteld competentieprofiel aansluit bij de beroepsomgeving van de studenten.
Masterthesis
61
Het doen van een analyseonderzoek naar de leeractiviteiten die de studenten tijdens de verschillende modules uitvoeren met als doel na te gaan als er aanpassingen nodig zijn in de didactische aanpakken die momenteel worden gehanteerd. De didactische aanpakken die gehanteerd worden, moeten namelijk studentenactiviteiten stimuleren die het mogelijk maken dat de studenten hun competenties kunnen ontwikkelen.
Het instellen van een community of learners waarbij de getrainde docenten elkaar kunnen ondersteunen bij de implementatie van de assessment bij de hbo-opleidingen. Aangezien de community of learners buiten beschouwing is gelaten bij dit onderzoek, is het aan te bevelen dat er een interventieonderzoek hieraan gekoppeld wordt, waarbij ongeveer dezelfde opzet als bij dit onderzoek gebruikt wordt. Hiermee wordt bedoeld dat docenten ook eerst geïnformeerd worden over de achtergronden van een community of learners, waarna zij getraind kunnen worden om te functioneren binnen een community of learners Vervolgens worden workshops georganiseerd met brainstormsessies over de randvoorwaarden die aanwezig dienen te zijn om met de community of learners te kunnen starten.
Tijdens het interventieonderzoek is er een aanvang gemaakt met het ontwikkelen van een website die gebruikt zou worden om alle producten die tijdens de onderzoeksperiode ontwikkeld zouden worden ter beschikking te stellen voor de deelnemende docenten. Echter is het in de onderzoeksperiode niet gelukt om deze website af te ronden en te publiceren onder de deelnemende docenten. Aanbevolen wordt om deze website alsnog te maken zodat de getrainde docenten de website als een medium kunnen gebruiken in hun rol als assessor. De (niet afgemaakte) website is beschikbaar via https://sites.google.com/a/kromosoeto.net/assessoren-training/home.
7.3
Discussie
Tijdens de interventie en het onderzoek zijn er zowel sterke punten als verbeterpunten geconstateerd. Alvorens hierop in te gaan wordt eerst ingegaan op het generatief vermogen van het onderzoek. Generatief vermogen van het onderzoek Er hebben negen docenten geparticipeerd aan de training, waarbij geconstateerd is dat gerichte training en oefening een bijdrage hebben kunnen leveren aan de competenties als assessor. De negen docenten zijn geselecteerd op basis van bereidheid, waarbij elke docent die wilde participeren aan de training, mocht participeren. Van deze negen docenten, hadden twee ervaring in het beoordelen van portfolio’s. Daarnaast waren deze negen docenten afkomstig uit verschillende disciplines, waarvan één rechten heeft gestudeerd, vier economie, één Nederlands, twee management en één pedagogiek. Ook het aantal jaren ervaring in het geven van onderwijs bij een hbo-instelling varieert tussen één jaar en meer dan tien jaren. Uitgaande hiervan, kan gesteld worden dat het mogelijk is om van alle docenten die verbonden zijn aan beroepsgerichte instellingen middels gerichte training en oefening een bijdrage te leveren aan hun competenties als assessor.
Masterthesis
62
Sterke punten en verbeterpunten Als sterke punten kunnen genoemd worden: 1. Het onderzoek heeft inzicht gegeven in de wijze waarop de docenten zich zelf zien bij de modules die zij geven en hun bereidheid om een bijdrage te leveren aan het implementeren van assessments. 2. Het resultaat van de interventie, namelijk negen getrainde assessoren, is voor de SOOS van grote toegevoegde waarde voor het accreditatieproces. Hiermee toont de SOOS namelijk aan dat het kader aanwezig is om na te gaan of de individuele student ook inderdaad over de beoogde eindkwalificaties beschikt. 3. Het bewust worden van de docenten die betrokken zijn geweest bij het onderzoek en de interventie. Bij het analyseonderzoek is, op één na, van alle COE docenten een interview afgenomen waarbij de docenten bewust zijn geworden dat de huidige toetsvormen niet aansluiten bij het competentiegericht opleiden en beoordelen. 4. Het leerrendement van de onderzoeker over het competentiegericht opleiden en beoordelen en de mogelijkheid om deze kennis te delen binnen de SOOS. Als verbeterpunten kunnen genoemd worden: 1. De ecologische validiteit heeft moeten inboeten bij het tweede meetmoment bij de assessorentraining, aangezien de data niet rechtstreeks van de respondenten is verzameld, maar via de observanten. Dit had opgevangen kunnen worden door video-opnames te maken. De data van deze video-opnames had dan vergeleken kunnen worden met die van de observanten. Een soortgelijke constatering is te maken bij het resultaat van de indeling van het huidig competentieprofiel naar tussen- en eindniveaus. Hierbij is namelijk uitgegaan van hetgeen geschreven is op de flappen, en niet van de gevoerde gesprekken. In dit geval hadden geluidsopnames gemaakt kunnen worden, waarbij die data vergeleken kon worden met data op de flappen. 2. De wijze waarop de voor- en nameting bij de assessorentraining zijn gedaan. Bij de voormeting zijn namelijk de resultaten van twee groepen verwerkt en bij de nameting van zeven individuele docenten. Aangezien het om kwalitatieve data gaat, is het niet mogelijk om met een gemiddelde te werken, waardoor de waarde van de conclusie met betrekking tot de vergelijking tussen de voor- en nameting afneemt. 3. Tijdens het interventieonderzoek heeft er geen controle van de ontwikkelde instrumenten plaatsgevonden, waarbij nagegaan is als alle indicatoren daadwerkelijk zijn opgenomen. Hierdoor is het onderdeel turbovragen niet meegenomen bij het meten van het effect van de oefeningen. 4. Tijdens het interventieonderzoek is er geen afstemming geweest met de observatoren, om na te gaan als hun rapportages wel in de nodige informatie resulteerden om de benodigde resultaten te kunnen analyseren. Hierdoor is zowel bij de eerste als bij de tweede meeting tijdens de assessorentraining geen inzicht verkregen in de mate waarin de gedragsindicatoren daadwerkelijk zijn gedemonstreerd bij de docenten die op dat moment de rol van assessor hadden. Hierdoor heeft de waarde van de conclusie moeten inboeten, omdat het oordeel gebaseerd is op de interpretatie van de observator en niet van de onderzoeker. Masterthesis
63
8
Implementatie plan
In dit implementatieplan wordt uitgaande van een gekozen implementatietheorie strategieën uitgewerkt die het mogelijk maken om de resultaten van het interventieonderzoek te implementeren.
8.1
Implementatietheorie
Gekozen is voor de ontwikkelaanpak. Deze aanpak wordt gebruikt als de problematiek nog niet helder is, er meerdere perspectieven zijn om de problemen op te lossen en de koers van de verandering nog niet duidelijk is. De ontwikkelaanpak start met een analyse van problemen en oplossingsrichtingen door alle betrokkenen. Hierbij worden de veranderingen geleidelijk gerealiseerd en de medewerkers zijn betrokken bij alle fasen van verandering. (Boonstra, 2005) Er moet een specifieke vernieuwing worden geïmplementeerd, waarbij de assessoren assessments van de studenten zullen afnemen. Het interventieonderzoek heeft geresulteerd in negen getrainde assessoren en een competentieprofiel waarin de gedragsindicatoren van de studenten gespecificeerd zijn naar tussen- en eindniveaus. Zo op het eerste gezicht ziet het ernaar uit dat de randvoorwaarden om assessments te implementeren, aanwezig zijn. Echter is de problematiek niet helder en is de koers van de verandering ook nog niet duidelijk. Vragen die onder meer gesteld kunnen worden zijn: 1. Kunnen de assessments naast de bestaande toetsvormen ingevoerd worden vanaf de aanvang van de opleiding of dienen bestaande toetsvormen te worden vervangen door de assessments? Uitgaande van de resultaten van het analyseonderzoek waaruit is gebleken dat de meeste toetsvormen zich richten op het toetsen van kennis en vaardigheden en niet op competenties, is het verwachtbaar dat assessments bestaande toetsvormen zullen vervangen. 2. Zijn de didactische aanpakken die momenteel binnen de verschillende modules gehanteerd worden erop gericht dat er activiteiten bij de studenten gestimuleerd worden die hen de gelegenheid geven om competenties te ontwikkelen? Dit vereist een nieuw analyseonderzoek zoals in het voorgaande hoofdstuk ook al is aanbevolen. aangezien zal er een volledige analyse van de bestaande toetsvormen moeten plaatsvinden alvorens de assessments ingevoerd kunnen worden. 3. Hoe zullen de niet getrainde docenten bewust gemaakt worden dat elke docent een bijdrage dient te leveren aan de ontwikkeling van de competenties van de studenten? Uit het analyse onderzoek is gebleken dat de meeste docenten vooral vakinhoudelijke docenten zijn die meer gefocust zijn op het overbrengen van de kennis en/of het aanleren van de vaardigheden met betrekking tot hun vak op de ontwikkeling van de competenties van de studenten.
Masterthesis
64
Uitgaande van de hierboven gegeven voorbeelden, blijkt dus dat er wel een degelijke probleemanalyse nodig is op basis waarvan oplossingen voorgedragen kunnen worden die vervolgens gefaseerd geïmplementeerd kunnen worden. Hierbij dienen alle stakeholders betrokken te zijn, hetgeen in de volgende paragraaf wordt beschreven.
8.2
Stakeholders
Het is belangrijk dat alle stakeholders actief worden betrokken bij de implementatie. Als stakeholders worden geïdentificeerd de (getrainde) docenten en de directie. De directie zal een belangrijke rol spelen bij het implementatietraject en met name om de docenten te leiden tot bereidheid om deel te nemen aan de veranderingen die zullen plaatsvinden en die bereidheid te behouden. Hierbij wordt gedacht aan: 1. Het vooraf tijdig informeren van de veranderingen die zullen plaatsvinden. Hierbij worden de docenten vooraf aangegeven waarom het belangrijk is dat de verschillende veranderingen dienen plaats te vinden en welke acties hierbij ondernomen zullen worden. 2. Tijdens het implementatietraject regelmatig informatie verstrekken over de acties die zijn ondernomen en de resultaten die hieruit zijn voortgekomen. 3. Het faciliteren van de docenten door middelen vrij te maken om hen te trainen en hen te laten participeren in de community of learners. Vooral het laatste dient niet onderschat te worden. De docenten zijn namelijk allemaal deeltijdse docenten waarvan hun vergoeding afhankelijk is van het aantal gegeven college-uren. Inden de docenten nu in een community of learners dienen te participeren, zullen zij daar tijd voor vrij dienen te maken. Hierbij is het wenselijk dat zij vergoed worden hiervoor.
8.3
Sociaal kapitaal en capacity building
Hargreaves (2013) geeft aan dat met sociaal kapitaal bedoeld wordt de mate waarin de kwantiteit en de kwaliteit van interacties en sociale relaties onder mensen effect hebben op hun toegang tot kennis en informatie, hun verwachtingen, hun verplichtingen en hun vertrouwen en in welke mate zij blijven vasthouden aan dezelfde normen en gedragspatronen. Hierbij noemt Hargreaves (2014) professionele leergemeenschappen als mogelijk om het sociaal kapitaal binnen een onderwijsinstelling optimaal te kunnen gebruiken. Dit idee sluit aan bij de eerder gedane aanbeveling voor het instellen van een community of learners, waarbij de docenten elkaar niet alleen kunnen ondersteunen bij het implementeren van de assessments, maar ook van elkaar kunnen leren.
Masterthesis
65
8.4
Stappenplan
Uitgaande van de in het vorig hoofdstuk gedane aanbevelingen en hetgeen in de voorgaande paragrafen is opgenomen, wordt het volgend stappenplan voorgesteld: 1. Het organiseren van een workshop onder de getrainde docenten waarin het beoordelen van portfolio’s uitgaande van de relatie tussen de criteria, de bewijsstukken en de beroepshandelingen centraal staat. 2. Het houden van een tweede workshop om het competentieprofiel verder te reviewen waarbij vooral de rol van de beroepspraktijk bij de competentieontwikkeling meegenomen wordt. 3. Onderdeel A De getrainde docenten worden enthousiast gemaakt om te participeren in een community of learners. Hierbij worden zij eerst geïnformeerd over de achtergronden van een community of learners, vervolgens worden zij getraind om te kunnen functioneren binnen een community of learners en tenslotte zullen zij brainstormen over de randvoorwaarden die aanwezig dienen te zijn om met de community of learners te kunnen starten. De rol van de directie is hierbij van belang en met name in het kader van het verstrekken van het faciliteren van deze community of learners. 3. Onderdeel B Het benaderen van personen uit de beroepsomgeving van de huidige studenten om te participeren in een focusgroep waarbij nagegaan wordt als het competentieprofiel aanluit bij de beroepsomgeving waarin de COE studenten werken. Uit dit onderzoek hiervan dient er een competentieprofiel voort te komen dat een goed beeld geeft van het geen verwacht wordt van de pas afgestudeerde. 4. Het doen van een analyseonderzoek waarbij het huidig curriculum van de COE getoetst wordt aan het competentieprofiel. Deze brainstormsessies dienen te resulteren in een aangepast curriculum dat het mogelijk maakt dat studenten daadwerkelijk die leeractiviteiten zullen uitvoeren die het mogelijk maken dat zij de gedragsindicatoren zoals beschreven in het competentieprofiel kunnen ontwikkelen. 5. Het aanvangen met de assessments in de competentiegerichte opleiding door de getrainde assessoren. De stappen 3 onderdeel A en onderdeel B zullen simultaan aanvangen.
Masterthesis
66
Lijst van geraadpleegde bronnen Alexander, P. (2006). Psychology in Learning and instruction. New Jersey: Pearson. Baarda, D. (2014). Dit is onderzoek! Handleiding voor kwantitatief en kwalitatief onderzoek. Groningen, Nederland: Noordhoff. Baarda, D., De Goede, M., & Teunissen, J. (2009). Basisboek kwalitatief onderzoek: Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. Groningen, Nederland: Noordhoff. Boonstra, J. (2005). Besturen van organisaties vanuit een paradoxaal perspectief. Accounting, 1, 4-11. Geraadpleegd op: http://www.jaapboonstra.nl/wpcontent/uploads/2013/01/Besturen-vanuit-paradoxaal-perspectief1.pdf De Ronde, M. (z.j.). Emotiedobbelstenen: instrument voor ontmoeting en reflectie. Geraadpleegd op http://che.nl/~/media/Academie%20Mens%20en%20Organisatie/Lectoraat/Michiel%20de %20Ronde%20-%20publicaties/De%20Luistercoach%20%20Spelvormen%20bij%20de%20emotiedobbelsteentjes.pdf Driesen, E., & Van Tartwijk, J. (2006). Toetsen met portfolio’s. In Van Berkel, H., & Bax, A. (Ed.), Toetsen in het hoger onderwijs (pp. 175-188). Houten, Nederland: Bohn Stafleu van Loghum. Hargreaves, A. (2013). Professional capital and the future of teaching. In Seddon T., & Levon J. (2013). Educators, professionalism and politics: global transmission, national spaces and professional projects (pp. 290-307). Geraadpleegd op http://books.google.nl/books?hl=nl&lr=&id=rZJbBAAAQBAJ&oi=fnd&pg=PA290&dq= related:HfMPWxsoybQJ:scholar.google.com/&ots=_3p5Xe34pi&sig=PVgZuZ3xTH0h9f 4G8uBW9et43j4#v=onepage&q&f=false Hargreaves, A. (2014). Professional capital: transforming teaching in every school. Geraadpleegd op http://imtec.katana.no/files/2413/6938/7009/Professional_Capital._Transforming_Teachi ng_in_Every_School.pdf Joosten-ten Brinke, D., De Craene, B., Lemmen K., Van Den Boomen, J. Slangen, M., & Voncken, J. (2009). Erkenning Verworven Competenties. Geraadpleegd op http://dspace.ou.nl/bitstream/1820/2000/1/EVCisbn9789079447237.pdf
Masterthesis
67
Korthagen, F. (2002). Niveaus in reflectie: naar maatwerk in begeleiding. VELON Tijdschrift voor Lerarenopleiders, 23(1), 29-38. Geraadpleegd op http://www.arteveldehogeschool.be/studielicht/sites/default/files/files/Reflectieopdracht% 20Artikel%20Niveaus%20in%20reflectie(1).pdf Korthagen, F. (2004). Zin en onzin van competentiegericht opleiden. VELON Tijdschrift voor Lerarenopleiders, 25(1), 13-23. Geraadpleegd op http://www.velon.nl/kennisbank /rubriek/rubriek_item/t/zin_en_onzin_van_competentiegericht_opleiden Lorna, E. (2003). Assessment of Learning, for Learning, and as Learning. Geraadpleegd op http://www.aacu.org/meetings/ild/documents/Symonette.MakeAssessmentWork.EarlAsse ssmentForOfAsLearning2003.pdf Luken, T. (2006). Hoe meetbaar zijn competenties? Dilemma en uitweg bij het werkbaar maken van het competentiebegrip. Handboek Effectief Opleiden (pp. 89-108). Geraadpleegd op http://home.planet.nl/~tluken/ZijnCompetentiesMeetbaarHEO.pdf Nationaal Orgaan voor Accreditatie. (2012). Accreditatiekaders hoger beroepsonderwijs met toelichting. Z.p. Oudkerk Pool, I. (2013). Expertiseontwikkeling en professionalisering van de Assessor: Ontwikkeling van een rubriek voor assessorenkwaliteit Criteriumgericht Beoordelen.. Amsterdam, Nederland: Kenniscentrum Onderwijs en Opvoeding, Hogeschool van Amsterdam. Ponte, P. (2010). Onderwijs van eigen makelij: Procesboek actieonderzoek in scholen en opleidingen. Den Haag, Nederland: Boom Lemma Uitgevers. Roelofs, E., & Visser, J. (2011). De inhoud van toetsen. In Stichting Cito Instituut voor Toetsontwikkeling (Ed.), Toetsen op School (pp. 10-20). Geraadpleegd op: http://www.utwente.nl/elan/huidige_studenten/OLC/notulen/2012/052012/Toetsen%20op%20school.pdf Sanders, P. (2011). Het doel van toetsen. In Stichting Cito Instituut voor Toetsontwikkeling (Ed.), Toetsen op School (pp. 10-20). Geraadpleegd op: http://www.utwente.nl/elan /huidige_studenten/OLC/notulen/2012/05-2012/Toetsen%20op%20school.pdf Shepard, L., Hammerness, K., Darling-Hammond, L., Rust, F. with Baratz Snowden, J., Gordon, E., Gutierrez, C., & Pacheco, A. (2005). Assessment. In Darling-Hammond L., & Bransford J. (Ed.). Preparing teachers for a changing world: What teachers should learn and be able to do. (pp. 275-326). San Fransisco, CA: Jossey-Bass.
Masterthesis
68
Smeijsters, H., & Sporken, S. (2004). Van Taak Tot Competentie: ‘Leren leren’ voor het hoger beroepsonderwijs. Geraadpleegd op http://books.google.com/books?hl=en&lr=lang_nl |lang_en&id=3_wb4uHyNlcC&oi=fnd&pg=PA9&dq=Van+taak+tot+competentie&ots=3vzHCqWI&sig=YGo1jtM7qtz2xM0wagfM1QusQl8#v=onepage&q=Van%20taak%20tot %20competentie&f=false Stichting Opleidingen en Onderzoek in Suriname. (2013). Bedrijfsprofiel. Paramaribo, Suriname: Auteur. Stichting Opleidingen en Onderzoek in Suriname. (2013). Studiegids 2013-2016. Certificaatopleiding Economie. Paramaribo, Suriname: Auteur. Stichting Opleidingen en Onderzoek in Suriname. (2013). Studiegids 2013-2014. Vierjarige Certificaatopleiding Economie. Paramaribo, Suriname: Auteur. Stichting Opleidingen en Onderzoek in Suriname. (2013). Studiegids 2012-2013. Marketing en Managementopleiding. Paramaribo, Suriname: Auteur. Straetmans, G. & Sanders, P. (2001). Beoordelen van competenties van docenten. Geraadpleegd op http://www.rcec.nl/publicaties/overige%20publicaties/EPSbrochure5_ Beoordelen.pdf Taylor, E. (2003). Competenties in het voortgezet onderwijs. Geraadpleegd op http://books.google.com/books?id=SkGXAzEx4hAC&pg=PA13&dq=Competentie+defin itie&hl=nl&sa=X&ei=UlevUc_aB9jk4APJv4DABg&ved=0CDMQ6AEwAQ#v=onepage &q=Competentie%20definitie&f=false Van Berkel, A., Van Dinther, M. Oudkerk Pool, I., & Speetjes, J. (2008). Certificeren van assessoren in het hbo. Waarom en hoe?. OnderwijsInnovatie, 2, 17-15. Geraadpleegd op http://www.ou.nl/Docs/TijdschriftOI/OI_Juni_2008.pdf Van Dinther, M. (2009). Assessor in het hbo: een vak apart. Geraadpleegd op http://fontys.surfsharekit.nl:8080/get/smpid:25849/DS1/ Van Merriënboer, J., Van Der Klink, M., & Hendriks, M. (2002). Competenties: van complicaties tot compromis. Over schuifjes en begrenzers. Geraadpleegd op http://www.onderwijsraad.nl/publicaties/zoeken/item259?page=2&sort=&formkey=ffc29 40fed1b34bcb53b6200e25b6727f#zoekform
Masterthesis
69
Van Petegem P., & Vanhoof, J. (2002). Evaluatie op de testbank: Een handboek voor het ontwikkelen van alternatieve evaluatievormen. Mechelen, België: Wolters Plantyn. Wouda, S., & Snoek, M. (2003). Competentiegericht leren en begeleiden: Competentiegericht bewijzen en beoordelen. Geraadpleegd op http://www.leroweb.nl/docs/lero/epslot docuassessment.pdf Zwaal, W., & Eringa, K. (2006). Toetsen van competenties. In Van Berkel, H., & Bax, A. (Ed.), Toetsen in het hoger onderwijs (pp. 277-291). Houten, Nederland: Bohn Stafleu van Loghum.
Masterthesis
70
Bijlagenoverzicht Bijlage 1: Competentieprofiel van de COE ............................................................................. 72 Bijlage 2: Onderzoeksinstrument dataverzameling bestaand materiaal .................................. 75 Bijlage 3: Interviewvragenlijst opleidingsmanager en algemeen directeur ............................. 79 Bijlage 4: Interviewvragenlijst COE docenten ........................................................................ 85 Bijlage 5: Labels interviews opleidingsmanager en algemeen directeur ................................. 87 Bijlage 6: Inhoudsopgave reader ............................................................................................. 88 Bijlage 7: Toets ter bepaling kennisniveau docenten .............................................................. 89 Bijlage 8: Rubriek ten behoeve van observatie........................................................................ 90 Bijlage 9: Formulier Observatie assessmentgesprek ............................................................... 92 Bijlage 10: Formulier rapportage eindassessment ................................................................... 94 Bijlage 11: Eindopdracht assessorentraining ........................................................................... 96 Bijlage 12: Leerrapport ............................................................................................................ 99 Bijlage 13: START-vragen, TURBO-vragen en feedbackregels .......................................... 101 Bijlage 14: Aangepast competentieprofiel ............................................................................. 102 Bijlage 15: Artikel SOOS nieuwsbrief .................................................................................. 106
Masterthesis
71
Bijlage 1: Competentieprofiel van de COE (Overgenomen van SOOS 2013d, p.15-21) Het eerste cijfer in het competentieprofiel duidt op de subcategorie, het tweede cijfer duidt op een competentie van die betreffende subcategorie en het derde cijfer duidt op een prestatie-indicator van die betreffende competentie. Er zijn in totaal 23 competenties verdeeld over de zes subcategorieën. 1. Interpersoonlijke competenties 1.1 De student gaat op een rechtvaardige manier om met mensen. 1.1.1 De student handelt eerlijk en oprecht. 1.1.2 De student handelt objectief ten opzichte van anderen. 1.2 De student communiceert schriftelijk, mondeling en non-verbaal. 1.2.1 De student schrijft taalkundig juist, samenhangend en begrijpelijk. 1.2.2 De student uit zich verstaanbaar op een taalkundige correcte wijze. 1.2.3 De student uit zich begrijpelijk zonder woorden. 1.3 De student gebruikt relevante informatie. 1.3.1 De student onderscheidt bijzaken van hoofdzaken. 1.3.2 De student gebruikt betekenisvolle informatie bij het nemen van beslissingen. 1.4 De student werkt voor een probleemsituatie bruikbare oplossingen uit. 1.4.1 De student biedt een oplossing voor een geïdentificeerd probleem. 1.4.2 De student demonstreert zorgvuldigheid en voortvarendheid bij het oplossen van problemen. 1.5 De student demonstreert verantwoorde gedragspatronen. 1.5.1 De student handelt conform de normen en waarden. 1.5.2 De student corrigeert ongewenst gedrag en waardeert gewenst gedrag. 2. Organisatorische competenties 2.1 De student gaat methodisch te werk. 2.1.1 De student hanteert een vaste weldoordachte werkwijze om een bepaald doel te bereiken. 2.1.2 De student gebruikt hulpmiddelen effectief. 2.2 De student brengt structuur aan in het werk. 2.2.1 De student stelt prioriteiten en verdeelt de beschikbare tijd efficiënt. 2.2.2 De student richt het werk planmatig in. 2.3 De student controleert activiteiten op voortgang. 2.3.1 De student bewaakt de uitvoering van een plan. 2.3.2 De student ziet erop toe dat vastgestelde regels en procedures worden nageleefd. 2.3.3 De student treedt regulerend en ordenend op. 3. Competenties in het samenwerken 3.1 De student functioneert als volwaardig groepslid. 3.1.1 De student demonstreert sociale vaardigheden in teamverband. 3.1.2 De student levert een effectieve bijdrage aan een groepstaak. 3.1.3 De student stelt teambelang boven eigen belang. 3.1.4 De student levert een constructieve bijdrage aan vergaderingen en andere vormen van werkoverleg. 3.2 De student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze. 3.2.1 De student verwisselt informatie met stakeholders. 3.2.2 De student identificeert relevante organisaties op nationaal en internationaal niveau. 3.2.3 De student ontwikkelt en bestendigt contacten met de omgeving. 3.2.4 De student demonstreert sociale vaardigheden in het samenwerken met de omgeving.
Masterthesis
72
4. Competenties in het reflecteren 4.1 De student reflecteert op het persoonlijk functioneren. 4.1.1 De student brengt de eigen sterkten en zwakten in kaart. 4.1.2 De student ontwikkelt de persoonlijke kwaliteiten doelgericht. 4.1.3 De student blikt systematisch terug op het ontwikkelproces van de persoonlijke kwaliteiten. 4.2 De student reflecteert op de eigen kennisontwikkeling. 4.2.1 De student communiceert met anderen over actuele ontwikkelingen in het beroep. 4.2.2 De student formuleert leervragen en onderneemt op basis daarvan leeractiviteiten. 4.3 De student reflecteert op het persoonlijk handelen in de beroepscontext. 4.3.1 De student blikt systematisch terug op het eigen handelen in de beroepscontext. 4.3.2 De student kent de eigen sterkten en zwakten bij het uitvoeren van beroepsactiviteiten en speelt daarop in. 4.3.3 De student ontwikkelt doelgericht het eigen handelen in de beroepscontext. 4.3.4 De student houdt rekening met maatschappelijke waarden en normen bij het handelen in de beroepscontext. 5. Vakspecifieke competentie 5.1 De student levert administratieve informatie ten behoeve van de bedrijfsvoering. 5.1.1 De student zorgt voor een zo goed mogelijke inrichting van de administratie en de administratieve processen. 5.1.2 De student draagt zorg voor een betrouwbare, volledige en tijdige vastlegging van de bedrijfsadministratie. 5.1.3 De student stemt de verschillende deeladministraties op elkaar af. 5.1.4 De student adviseert bij financieel-administratieve problemen. 5.2 De student richt een organisatie in en bestuurt deze. 5.2.1 De student analyseert de interne en externe omgeving van een organisatie. 5.2.2 De student formuleert strategieën ter realisatie van de organisatiedoelen. 5.2.3 De student plant ondernemingsactiviteiten. 5.2.4 De student richt de personele en organieke structuur van een organisatie in. 5.2.5 De student meet zowel de financiële als niet financiële prestaties van de organisatie. 5.2.6 De student geeft op een competente wijze leiding. 5.3 De student verwerkt en analyseert economische gegevens. 5.3.1 De student gebruikt economische theorieën in de praktijk. 5.3.2 De student blijft op de hoogte van economische ontwikkelingen. 5.3.3 De student lost economische vraagstukken op. 5.3.4 De student schrijft beleidsnota’s over micro- en macro-economische vraagstukken. 5.4 De student brengt de financiële problematiek in kaart. 5.4.1 De student stelt plannen, begrotingen en budgetten samen met bijbehorende analyses. 5.4.2 De student maakt jaarrekeningen met bijbehorende analyses. 5.4.3 De student maakt kostprijsberekeningen volgens verschillende methoden. 5.4.4 De student maakt financiële calculaties om beleidsbeslissingen te nemen. 5.4.5 De student formuleert passende antwoorden op investerings- en financieringsproblemen. 5.4.6 De student relateert financiële vraagstukken aan de rechtsvorm. 6. Beroepsspecifieke competenties 6.1 De student kan consistent en effectief omgaan met detailinformatie. 6.1.1 De student blijft in routinetaken kritisch en alert en let op de eigen uitvoering hiervan. 6.1.2 De student controleert het eigen werk zorgvuldig en blijft alert op details. 6.1.3 De student voert nauwkeurig voorgeschreven instructies foutloos uit.
Masterthesis
73
6.2 De student houdt zich aan de normen, waarden en omgangsregels die gelden voor de functie en voor de cultuur waarin men werkt. 6.2.1 De student informeert interne en externe klanten eerlijk over mogelijke risico`s en nadelen. 6.2.2 De student is transparant in het eigen handelen. 6.2.3 De student neemt verantwoordelijkheid voor het eigen handelen. 6.2.4 De student verstrekt alleen informatie aan anderen indien deze daar werkelijk recht op hebben. 6.3 De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit. 6.3.1 De student controleert regelmatig of het eigen werk aan de voorgeschreven kwaliteitsnormen voldoet. 6.3.2 De student herstelt fouten als deze aan het licht komen. 6.3.3 De student houdt zich aan de voorgeschreven kwaliteitseisen. 6.3.4 De student onderneemt zelfstandig actie om de kwaliteit van het eigen werk te waarborgen. 6.3.5 De student vraagt regelmatig feedback over de kwaliteit. 6.4 De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te verwezenlijken. 6.4.1 De student stelt een realistisch tijdschema op voor bepaalde activiteiten. 6.4.2 De student plaatst activiteiten in de juiste volgorde en tijd. 6.4.3 De student stelt actieplannen en stappenplannen op. 6.4.4 De student stelt planningen bij wanneer hier aanleiding toe is. 6.4.5 De student werkt ordelijk en netjes en gebruikt adequate structuren. 6.5 De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden. 6.5.1 De student maakt afspraken met anderen over de terugkoppeling van de werkzaamheden. 6.5.2 De student maakt effectief gebruik van de eigen agenda en stelt eigen deadlines. 6.5.3 De student signaleert vertragingen van het werk en beperkt deze tot een minimum. 6.5.4 De student stelt duidelijke deadlines voor anderen. 6.5.5 De student toetst regelmatig hoe de voortgang van de werkzaamheden verloopt. 6.6 De student doet onderzoek. 6.6.1 De student gebruikt relevante onderzoekstechnieken. 6.6.2 De student verzamelt, verwerkt en interpreteert gegevens. 6.6.3 De student doet statistisch verantwoord onderzoek. 6.6.4 De student vertaalt de verzamelde data naar een concreet antwoord op een onderzoeksvraag.
Masterthesis
74
Bijlage 2: Onderzoeksinstrument dataverzameling bestaand materiaal Leerdoelen 1. Interpersoonlijke competenties 1.1 De student gaat op een rechtvaardige manier om met mensen. 1.1.1 De student handelt eerlijk en oprecht. 1.1.2 De student handelt objectief ten opzichte van anderen. 1.2 De student communiceert schriftelijk, mondeling en non-verbaal. 1.2.1 De student schrijft taalkundig juist, samenhangend en begrijpelijk.
Toetsvorm
Modules
1.2.2 De student uit zich verstaanbaar op een taalkundige correcte wijze. 1.2.3 De student uit zich begrijpelijk zonder woorden. 1.3 De student gebruikt relevante informatie. 1.3.1 De student onderscheidt bijzaken van hoofdzaken.
1.3.2 De student gebruikt betekenisvolle informatie bij het nemen van beslissingen. 1.4 De student werkt voor een probleemsituatie bruikbare oplossingen uit. 1.4.1 De student biedt een oplossing voor een geïdentificeerd probleem. 1.4.2 De student demonstreert zorgvuldigheid en voortvarendheid bij het oplossen van problemen. 1.5 De student demonstreert verantwoorde gedragspatronen. 1.5.1 De student handelt conform de normen en waarden. 1.5.2 De student corrigeert ongewenst gedrag en waardeert gewenst gedrag.
2. Organisatorische competenties 2.1 De student gaat methodisch te werk. 2.1.1 De student hanteert een vaste weldoordachte werkwijze om een bepaald doel te bereiken. 2.1.2 De student gebruikt hulpmiddelen effectief. 2.2 De student brengt structuur aan in het werk. 2.2.1 De student stelt prioriteiten en verdeelt de beschikbare tijd efficiënt. 2.2.2 De student richt het werk planmatig in. 2.3 De student controleert activiteiten op voortgang 2.3.1 De student bewaakt de uitvoering van een plan.
2.3.2 De student ziet erop toe dat vastgestelde regels en procedures worden nageleefd. 2.3.3 De student treedt regulerend en ordenend op.
Masterthesis
75
Leerdoelen Toetsvorm Modules 3. Competenties in het samenwerken 3.1 De student functioneert als volwaardig groepslid. 3.1.1 De student demonstreert sociale vaardigheden in teamverband. 3.1.2 De student levert een effectieve bijdrage aan een groepstaak. 3.1.3 De student stelt teambelang boven eigen belang. 3.1.4 De student levert een constructieve bijdrage aan vergaderingen en andere vormen van werkoverleg. 3.2 De student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze. 3.2.1 De student verwisselt informatie met stakeholders. 3.2.2 De student identificeert relevante organisaties op nationaal en internationaal niveau. 3.2.3 De student ontwikkelt en bestendigt contacten met de omgeving. 3.2.4 De student demonstreert sociale vaardigheden in het samenwerken met de omgeving. 4. Competenties in het reflecteren 4.1 De student reflecteert op het persoonlijk functioneren. 4.1.1 De student brengt de eigen sterkten en zwakten in kaart. 4.1.2 De student ontwikkelt de persoonlijke kwaliteiten doelgericht. 4.1.3 De student blikt systematisch terug op het ontwikkelproces van de persoonlijke kwaliteiten. 4.2 De student reflecteert op de eigen kennisontwikkeling. 4.2.1 De student communiceert met anderen over actuele ontwikkelingen in het beroep. 4.2.2 De student formuleert leervragen en onderneemt op basis daarvan leeractiviteiten. 4.3 De student reflecteert op het persoonlijk handelen in de beroepscontext. 4.3.1 De student blikt systematisch terug op het eigen handelen in de beroepscontext. 4.3.2 De student kent de eigen sterkten en zwakten bij het uitvoeren van beroepsactiviteiten en speelt daarop in.
4.3.3 De student ontwikkelt doelgericht het eigen handelen in de beroepscontext. 4.3.4 De student houdt rekening met maatschappelijke waarden en normen bij het handelen in de beroepscontext. 5. Vakspecifieke competentie 5.1 De student levert administratieve informatie ten behoeve van de bedrijfsvoering. 5.1.1 De student zorgt voor een zo goed mogelijke inrichting van de administratie en de administratieve processen. 5.1.2 De student draagt zorg voor een betrouwbare, volledige en tijdige vastlegging van de bedrijfsadministratie.
Masterthesis
76
Leerdoelen 5.1.3 De student stemt de verschillende deeladministraties op elkaar af. 5.1.4 De student adviseert bij financieel-administratieve problemen. 5.2 De student richt een organisatie in en bestuurt deze. 5.2.1 De student analyseert de interne en externe omgeving van een organisatie.
Toetsvorm
Modules
5.2.2 De student formuleert strategieën ter realisatie van de organisatiedoelen. 5.2.3 De student plant ondernemingsactiviteiten. 5.2.4 De student richt de personele en organieke structuur van een organisatie in. 5.2.5 De student meet zowel de financiële als niet financiële prestaties van de organisatie. 5.2.6 De student geeft op een competente wijze leiding. 5.3 De student verwerkt en analyseert economische gegevens. 5.3.1 De student gebruikt economische theorieën in de praktijk. 5.3.2 De student blijft op de hoogte van economische ontwikkelingen. 5.3.3 De student lost economische vraagstukken op. 5.3.4 De student schrijft beleidsnota’s over micro- en macro-economische vraagstukken. 5.4 De student brengt de financiële problematiek in kaart. 5.4.1 De student stelt plannen, begrotingen en budgetten samen met bijbehorende analyses. 5.4.2 De student maakt jaarrekeningen met bijbehorende analyses. 5.4.3 De student maakt kostprijsberekeningen volgens verschillende methoden. 5.4.4 De student maakt financiële calculaties om beleidsbeslissingen te nemen. 5.4.5 De student formuleert passende antwoorden op investerings- en financieringsproblemen. 5.4.6 De student relateert financiële vraagstukken aan de rechtsvorm. 6. Beroepsspecifieke competenties 6.1 De student kan consistent en effectief omgaan met detailinformatie. 6.1.1 De student blijft in routinetaken kritisch en alert en let op de eigen uitvoering hiervan. 6.1.2 De student controleert het eigen werk zorgvuldig en blijft alert op details. 6.1.3 De student voert nauwkeurig voorgeschreven instructies foutloos uit. 6.2 De student houdt zich aan de normen, waarden en omgangsregels die gelden voor de functie en voor de cultuur waarin men werkt. 6.2.1 De student informeert interne en externe klanten eerlijk over mogelijke risico`s en nadelen.
Masterthesis
77
Leerdoelen Toetsvorm Modules 6.2.2 De student is transparant in het eigen handelen. 6.2.3 De student neemt verantwoordelijkheid voor het eigen handelen. 6.2.4 De student verstrekt alleen informatie aan anderen indien deze daar werkelijk recht op hebben. 6.3 De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit. 6.3.1 De student controleert regelmatig of het eigen werk aan de voorgeschreven kwaliteitsnormen voldoet. 6.3.2 De student herstelt fouten als deze aan het licht komen. 6.3.3 De student houdt zich aan de voorgeschreven kwaliteitseisen. 6.3.4 De student onderneemt zelfstandig actie om de kwaliteit van het eigen werk te waarborgen. 6.3.5 De student vraagt regelmatig feedback over de kwaliteit. 6.4 De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te verwezenlijken. 6.4.1 De student stelt een realistisch tijdschema op voor bepaalde activiteiten. 6.4.2 De student plaatst activiteiten in de juiste volgorde en tijd. 6.4.3 De student stelt actieplannen en stappenplannen op. 6.4.4 De student stelt planningen bij wanneer hier aanleiding toe is. 6.4.5 De student werkt ordelijk en netjes en gebruikt adequate structuren.
6.5 De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden. 6.5.1 De student maakt afspraken met anderen over de terugkoppeling van de werkzaamheden. 6.5.2 De student maakt effectief gebruik van de eigen agenda en stelt eigen deadlines. 6.5.3 De student signaleert vertragingen van het werk en beperkt deze tot een minimum. 6.5.4 De student stelt duidelijke deadlines voor anderen. 6.5.5 De student toetst regelmatig hoe de voortgang van de werkzaamheden verloopt. 6.6 De student doet onderzoek. 6.6.1 De student gebruikt relevante onderzoekstechnieken. 6.6.2 De student verzamelt, verwerkt en interpreteert gegevens.
6.6.3 De student doet statistisch verantwoord onderzoek. 6.6.4 De student vertaalt de verzamelde data naar een concreet antwoord op een onderzoeksvraag.
Masterthesis
78
Bijlage 3: Interviewvragenlijst opleidingsmanager en algemeen directeur Achtergrond In het kader mijn masteropleiding, moet ik een probleem dat zich voordoet in de opleiding analyseren. Ik heb hierbij gekozen voor een analyse van de wijze waarop de toetsing van de competenties bij de driejarige COE plaatsvindt. Het resultaat is bekend en te zien in het totaaloverzicht van de toetsing van de competenties van de COE (zie bijlage). Als vervolg op dit onderzoek, wordt er een interventieonderzoek gedaan. Uit deze interventie dienen er concrete voorstellen te worden gedaan om het geanalyseerd probleem op te lossen. Om enige richting te krijgen van de wijze waarop deze interventie kan worden gedaan, is het noodzakelijk om de relevante actoren te benaderen om hun zienswijze op het totaaloverzicht van de toetsing van de competenties te geven. Als relevante actoren zijn de opleidingsmanager van de COE en de algemeen directeur geïdentificeerd. U ontvangt deze vragenlijst, omdat u één van deze functionarissen bent. Instructies In het overzicht in de bijlage is af te lezen op welk niveau een bepaalde competentie, in casus een prestatie-indicator, in een bepaalde module getoetst wordt. Voor de overzichtelijkheid, zijn de verschillende modules met een afkorting in het overzicht weergegeven. Onder het overzicht is de volledige modulenaam per fase opgenomen. Bij het beantwoorden van de vragen is het goed om ook te weten dat de eerste fase van de opleiding de fase financieel analist als persoon is en de laatste fase de fase startbekwaam financieel analist. De marketing, algemene economie, bedrijfseconomie en bedrijfsadministratiefase worden in afwisselende volgorde aangeboden. Het verzoek is om het aangehecht totaaloverzicht uit te printen, te bestuderen en vervolgens per competentie uw onderbouwde mening te geven en ook een voorstel te doen over hoe de toetsing van de competentiecategorie verbeterd kan worden. Hiervoor kan het antwoordenblad op de volgende bladzijde gebruikt worden. In totaal zijn er 23 competenties verdeeld over zes categorieën. Elke categorie is op een nieuwe bladzijde opgenomen. Tot slot doe ik een beroep op u, om het totaaloverzicht van de toetsen kritisch te bekijken en uw denkwijze begrijpelijk en onderbouw te verwoorden. Ik dank u bij voorbaat voor het invullen van de twee onderstaande vragen. Vragen 1. Wat vindt u van de wijze waarop de competenties getoetst worden bij de COE en waarom stel je dat? Graag de onderbouwde bevindingen per competentie noteren in de daarvoor bestemde ruimte in het antwoordenblad op de volgende bladzijde.
Masterthesis
79
2. Bij welke competenties zou de toetswijze verbeterd moeten worden en hoe zou deze verbetering kunnen plaatsvinden? Graag de competenties die volgens u verbeterd moeten worden duidelijk noemen en de voorstellen voor verbetering onder de competentiecategorie noteren in de daarvoor bestemde ruimte in het antwoordenblad op de volgende bladzijde.
Antwoordenblad 1. Interpersoonlijke competenties 1.1 De student gaat op een rechtvaardige manier om met mensen. 1.1.1 De student handelt eerlijk en oprecht. 1.1.2 De student handelt objectief ten opzichte van anderen. Onderbouwde mening:
1.2 De student communiceert schriftelijk, mondeling en non-verbaal. 1.2.1 De student schrijft taalkundig juist, samenhangend en begrijpelijk. 1.2.2 De student uit zich verstaanbaar op een taalkundige correcte wijze. 1.2.3 De student uit zich begrijpelijk zonder woorden. Onderbouwde mening:
1.3 De student gebruikt relevante informatie. 1.3.1 De student onderscheidt bijzaken van hoofdzaken. 1.3.2 De student gebruikt betekenisvolle informatie bij het nemen van beslissingen. Onderbouwde mening:
1.4 De student werkt voor een probleemsituatie bruikbare oplossingen uit. 1.4.1 De student biedt een oplossing voor een geïdentificeerd probleem. 1.4.2 De student demonstreert zorgvuldigheid en voortvarendheid bij het oplossen van problemen. Onderbouwde mening:
1.5 De student demonstreert verantwoorde gedragspatronen. 1.5.1 De student handelt conform de normen en waarden. 1.5.2 De student corrigeert ongewenst gedrag en waardeert gewenst gedrag. Onderbouwde mening:
De competenties waar de toetsing volgens u verbeterd moet worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 1 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
Masterthesis
80
2. Organisatorische competenties 2.4 De student gaat methodisch te werk. 2.4.1 De student hanteert een vaste weldoordachte werkwijze om een bepaald doel te bereiken. 2.4.2 De student gebruikt hulpmiddelen effectief. Onderbouwde mening: 2.5 De student brengt structuur aan in het werk. 2.5.1 De student stelt prioriteiten en verdeelt de beschikbare tijd efficiënt. 2.5.2 De student richt het werk planmatig in. Onderbouwde mening: 2.6 De student controleert activiteiten op voortgang. 2.6.1 De student bewaakt de uitvoering van een plan. 2.6.2 De student ziet erop toe dat vastgestelde regels en procedures worden nageleefd. 2.6.3 De student treedt regulerend en ordenend op. Onderbouwde mening: De competenties waar de toetsing volgens u verbeterd moet worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 2 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
3. Competenties in het samenwerken 3.3 De student functioneert als volwaardig groepslid. 3.3.1 De student demonstreert sociale vaardigheden in teamverband. 3.3.2 De student levert een effectieve bijdrage aan een groepstaak. 3.3.3 De student stelt teambelang boven eigen belang. 3.3.4 De student levert een constructieve bijdrage aan vergaderingen en andere vormen van werkoverleg. Onderbouwde mening:
3.4 De student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze. 3.4.1 De student verwisselt informatie met stakeholders. 3.4.2 De student identificeert relevante organisaties op nationaal en internationaal niveau. 3.4.3 De student ontwikkelt en bestendigt contacten met de omgeving. 3.4.4 De student demonstreert sociale vaardigheden in het samenwerken met de omgeving. Onderbouwde mening:
De competenties waar de toetsing volgens u verbeterd moet worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 1 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
Masterthesis
81
4. Competenties in het reflecteren 4.1 De student reflecteert op het persoonlijk functioneren. 4.1.1 De student brengt de eigen sterkten en zwakten in kaart. 4.1.2 De student ontwikkelt de persoonlijke kwaliteiten doelgericht. 4.1.3 De student blikt systematisch terug op het ontwikkelproces van de persoonlijke kwaliteiten. Onderbouwde mening:
4.2 De student reflecteert op de eigen kennisontwikkeling. 4.2.1 De student communiceert met anderen over actuele ontwikkelingen in het beroep. 4.2.2 De student formuleert leervragen en onderneemt op basis daarvan leeractiviteiten. Onderbouwde mening: 4.3 De student reflecteert op het persoonlijk handelen in de beroepscontext. 4.3.1 De student blikt systematisch terug op het eigen handelen in de beroepscontext. 4.3.2 De student kent de eigen sterkten en zwakten bij het uitvoeren van beroepsactiviteiten en speelt daarop in. 4.3.3 De student ontwikkelt doelgericht het eigen handelen in de beroepscontext. 4.3.4 De student houdt rekening met maatschappelijke waarden en normen bij het handelen in de beroepscontext. Onderbouwde mening: De competenties waar de toetsing volgens u verbeterd moet worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 1 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
5. Vakspecifieke competentie 5.1 De student levert administratieve informatie ten behoeve van de bedrijfsvoering. 5.1.1 De student zorgt voor een zo goed mogelijke inrichting van de administratie en de administratieve processen. 5.1.2 De student draagt zorg voor een betrouwbare, volledige en tijdige vastlegging van de bedrijfsadministratie. 5.1.3 De student stemt de verschillende deeladministraties op elkaar af. 5.1.4 De student adviseert bij financieel-administratieve problemen. Onderbouwde mening: 5.2 De student richt een organisatie in en bestuurt deze. 5.2.1 De student analyseert de interne en externe omgeving van een organisatie. 5.2.2 De student formuleert strategieën ter realisatie van de organisatiedoelen. 5.2.3 De student plant ondernemingsactiviteiten. 5.2.4 De student richt de personele en organieke structuur van een organisatie in. 5.2.5 De student meet zowel de financiële als niet financiële prestaties van de organisatie. 5.2.6 De student geeft op een competente wijze leiding. Onderbouwde mening:
Masterthesis
82
5.3 De student verwerkt en analyseert economische gegevens. 5.3.1 De student gebruikt economische theorieën in de praktijk. 5.3.2 De student blijft op de hoogte van economische ontwikkelingen. 5.3.3 De student lost economische vraagstukken op. 5.3.4 De student schrijft beleidsnota’s over micro- en macro-economische vraagstukken. Onderbouwde mening: 5.4 De student brengt de financiële problematiek in kaart. 5.4.1 De student stelt plannen, begrotingen en budgetten samen met bijbehorende analyses. 5.4.2 De student maakt jaarrekeningen met bijbehorende analyses. 5.4.3 De student maakt kostprijsberekeningen volgens verschillende methoden. 5.4.4 De student maakt financiële calculaties om beleidsbeslissingen te nemen. 5.4.5 De student formuleert passende antwoorden op investerings- en financieringsproblemen. 5.4.6 De student relateert financiële vraagstukken aan de rechtsvorm. Onderbouwde mening: De competenties waar de toetsing volgens u verbeterd moet worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 5 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
6. Beroepsspecifieke competenties 6.1 De student kan consistent en effectief omgaan met detailinformatie. 6.1.1 De student blijft in routinetaken kritisch en alert en let op de eigen uitvoering hiervan. 6.1.2 De student controleert het eigen werk zorgvuldig en blijft alert op details. 6.1.3 De student voert nauwkeurig voorgeschreven instructies foutloos uit. Onderbouwde mening: 6.2 De student houdt zich aan de normen, waarden en omgangsregels die gelden voor de functie en voor de cultuur waarin men werkt. 6.2.1 De student informeert interne en externe klanten eerlijk over mogelijke risico`s en nadelen. 6.2.2 De student is transparant in het eigen handelen. 6.2.3 De student neemt verantwoordelijkheid voor het eigen handelen. 6.2.4 De student verstrekt alleen informatie aan anderen indien deze daar werkelijk recht op hebben. Onderbouwde mening: 6.3 De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit. 6.3.1 De student controleert regelmatig of het eigen werk aan de voorgeschreven kwaliteitsnormen voldoet. 6.3.2 De student herstelt fouten als deze aan het licht komen. 6.3.3 De student houdt zich aan de voorgeschreven kwaliteitseisen. 6.3.4 De student onderneemt zelfstandig actie om de kwaliteit van het eigen werk te waarborgen. 6.3.5 De student vraagt regelmatig feedback over de kwaliteit. Onderbouwde mening:
Masterthesis
83
6.4 De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te verwezenlijken. 6.4.1 De student stelt een realistisch tijdschema op voor bepaalde activiteiten. 6.4.2 De student plaatst activiteiten in de juiste volgorde en tijd. 6.4.3 De student stelt actieplannen en stappenplannen op. 6.4.4 De student stelt planningen bij wanneer hier aanleiding toe is. 6.4.5 De student werkt ordelijk en netjes en gebruikt adequate structuren. Onderbouwde mening:
6.5 De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden. 6.5.1 De student maakt afspraken met anderen over de terugkoppeling van de werkzaamheden. 6.5.2 De student maakt effectief gebruik van de eigen agenda en stelt eigen deadlines. 6.5.3 De student signaleert vertragingen van het werk en beperkt deze tot een minimum. 6.5.4 De student stelt duidelijke deadlines voor anderen. 6.5.5 De student toetst regelmatig hoe de voortgang van de werkzaamheden verloopt. Onderbouwde mening:
6.6 De student doet onderzoek. 6.6.1 De student gebruikt relevante onderzoekstechnieken. 6.6.2 De student verzamelt, verwerkt en interpreteert gegevens. 6.6.3 De student doet statistisch verantwoord onderzoek. 6.6.4 De student vertaalt de verzamelde data naar een concreet antwoord op een onderzoeksvraag. Onderbouwde mening:
De competenties die volgens u verbeterd moeten worden zijn: Voorstel ter verbetering van de toetsing van de competenties behorende bij categorie 6 Graag het voorstel zodanig formuleren dat alle competenties van deze categorie die verbetering behoeven worden meegenomen.
Masterthesis
84
Bijlage 4: Interviewvragenlijst COE docenten Achtergrond Uit het analyseonderzoek is gebleken dat bij de verschillende modules de toetsing met name gericht is op kennis en vaardigheden en niet zo zeer op de competenties. Het doel van dit interview is tweeledig. In eerste instantie wordt nagegaan wat de docenten van de COE weten over het toetsen van competenties en ten tweede wordt hiermee ingeschat in hoeverre de docenten bereid zijn om een bijdrage te leveren aan de competentieontwikkeling van de student in plaats van te focussen op het toetsen van de specifieke kennis en vaardigheden die horen bij de verschillende modules. Alle docenten van de COE worden dus geïnterviewd. Informatie over de geïnterviewde (vooraf in te vullen aan de hand van het resultaat van het analyseonderzoek): Naam docent Module(s) en bijbehorende toetsvorm(en):
Inleiding bij het interview: De docent welkom heten en kort vertellen over het onderzoek dat ik aan het uitvoeren ben. Het overzicht van module(s) en de bijbehorende toetsvormen van de betreffende docent kort bespreken. Uitleggen hoe dit onderzoek past in het beleid van COE: welke steun er is en dat het doel van dit interview ook is om meer steun van docenten te verwerven. vragen: 1. Hoe zou je het begrip competentie omschrijven? 2. Ben je bekend met het competentieprofiel van de COE? Waar heb je het competentieprofiel gezien? Ken je het beroep waarvoor onze studenten worden opgeleid?1 3. Aan welke competentie(s) uit het competentieprofiel levert (leveren) de module(s) die jij geeft een bijdrage?
1
Na deze vraag wordt het competentieprofiel van de COE overhandigd.
Masterthesis
85
4. Hoe denk je over de mate waarin deze competentie(s) wordt(worden) getoetst met de toetsvorm(en) die we nu gebruiken? 5. Ben je bekend met het begrip formatieve toetsing? Indien nodig info geven en dan vragen of en waar gebruikt. 6. Ben je bekend met de volgende toetsvormen? Portfolio’s. Zo ja, heb je die al eerder gebruikt en waar? Stages. Zo ja, heb je die al eerder gebruikt en waar? Praktijkopdrachten. Zo ja, heb je die al eerder gebruikt en waar? Simulaties. Zo ja, heb je die al eerder gebruikt en waar? Logboeken. Zo ja, heb je die al eerder gebruikt en waar? Projecten. Zo ja, heb je die al eerder gebruikt en waar? 7. Ben je bereid om bovengenoemde toetsvormen bij jouw module(s) te gebruiken?
8. Heb je behoefte aan training/coaching/samenwerken met collega’s in: Formatieve toetsing Portfolio’s Stages Simulaties Logboeken Projecten 9. Nog een aanvullende opmerking of vraag?
Masterthesis
86
Bijlage 5: Labels interviews opleidingsmanager en algemeen directeur Labels met betrekking tot de mening van de functionarissen 1. Via reflectiemodulen 2. Toetsvormen 3. Meerdere modulen 4. Doen 5. Formulering prestatie-indicatoren 6. Verschillende niveaus 7. Tijdstip toetsing 8. Tonen en doen 9. Weten en weten hoe 10. Soorten modules Labels met betrekking tot de verbetervoorstellen gedaan door de functionarissen 11. Formulering prestatie-indicatoren 12. Verschillende niveaus 13. Toetsvormen 14. Aanvulling Prestatie-indicatoren 15. Soort module 16. Tijdstip toetsing 17. Aantal prestatie-indicatoren 18. Onderwijsactiviteiten 19. Doen
Masterthesis
87
Bijlage 6: Inhoudsopgave reader Algemeen
3
1 Het begrip competentie
4
2 Doeleinden van assessment
4
3 Portfolio 3.1 De rol van het portfolio 3.2 Inhoud van het portfolio 3.3 De rol van feedback tijdens het portfolioproces
8 8 8 10
4 Assessment 4.1 Beoordelingsmomenten 4.2 Kwaliteitscriteria voor assessments 4.2.1 Validiteit 4.2.2 Betrouwbaarheid 4.2.3 Acceptatie 4.2.4 Uitvoerbaarheid
12 12 13 13 14 15 15
Literatuurlijst
17
Masterthesis
88
Bijlage 7: Toets ter bepaling kennisniveau docenten Omcirkel het juiste antwoord! (de juiste antwoorden zijn onderstreept) 1. Welke van onderstaande alternatieven is GEEN kenmerk van een competentie? A. Competenties zijn contextgebonden. B. Competenties zijn veranderlijk in de tijd. C. Competenties zijn in één keer te ontwikkelen. D. Competenties staan in relatie tot elkaar. 2. Wat wordt bedoeld met assessment? A. Beoordelen van kennis en vaardigheden. B. Beoordelen van competenties. C. Beoordelen als de student startbekwaam is. D. Beoordelen als de student geschikt is om een bepaalde opleiding te volgen. 3. Welke figuur geeft de competentiegerichte assessmentpiramide weer? A. B.
Assessment C.
Assessment
As FOR OF
FOR OF AS
Learning
FOR Assessment AS OF
D.
Learning
Assessment
OF FOR AS
Learning
Learning
4. Wat hoort er NIET bij? Voor het maken van een ontwikkelingsportfolio is het noodzakelijk dat de student: A. reflecteert op zijn sterke en zwakke punten. B. tenminste één informatiebron als bewijs gebruikt. C. zich kwetsbaar openstelt. D. verschillende aspecten van het persoonlijk functioneren demonstreert. 5. Voor welk kwaliteitscriterium is het werken met meerdere assessoren belangrijk? A. Validiteit. B. Betrouwbaarheid. C. Acceptatie. D. Uitvoerbaarheid. ======================0000000======================
Masterthesis
89
Bijlage 8: Rubriek ten behoeve van observatie Gedragsindicator 1. Relatie opbouwen, kennismaken
Uit het bewijs (de bewijzen) blijkt dat de assessor: de student op zijn gemak stelt een uitnodigende houding heeft alert is op de aanwezigheid van eventuele weerstanden, angst of onzekerheid en in staat is die op empatische wijze te benoemen.
2. Gespreksstructuur a. Opening het doel van het gesprek uitlegt. de procedure van het assessment bespreekt. de student de ruimte geeft om vragen te stellen. de inhoudelijke bevindingen over het portfolio met de student deelt. de bewijzen die de student nog moet aandragen om aan de criteria te voldoen worden nog niet doorgegeven. b. Midden zich aan de structuur van het gesprek houdt en aangeeft wanneer het vraaggedeelte start (middengedeelte) van het CGI. bekend is met de gesprekstechnieken zoals START en LSD en deze technieken geheel of gedeeltelijk toepast om een indruk te krijgen van het competentie- en hbo niveau van de student. c. Eind vaak pas aan het eind ontdekt welke informatie nog ontbreekt om tot een onderbouwd oordeel te komen. Het oordeel kan daardoor nog steeds gevoelsmatig en subjectief op de student overkomen. de termijn waarbinnen de student de rapportage ontvangt en - indien van toepassing - hoe de student bezwaar kan aantekenen, aangeeft. de vervolgprocedure aangeeft. 3. Gesprekstechniek actief luistert, doorvraagt en samenvat (START, turbo, (LSD). LSD) d.m.v. vragen, samenvattingen of onderbrekingen de regie in het gesprek probeert te houden. bekend is met methodieken als START en Turbo en die regelmatig toepast om door te vragen op het handelingsrepertoire van de student in een concrete beroepssituatie.
Masterthesis
De gedragsindicator resulteert dat: de student zich op zijn gemak voelt. de student in staat is een open gesprek te voeren met de assessoren. de student de procedure van het CGI kent, maar inhoudelijk onvoldoende informatie heeft om te begrijpen waar de assessor naar op zoek is. het gewenste niveau en de criteria globaal en algemeen worden getoetst. de student niet precies weet waar de assessor naar op zoek is. de assessor START en LSD technisch gezien wel gebruikt, maar nog niet of niet voldoende focust op verdieping en reflectie (gedeeltelijke toepassing gesprekstechnieken). de student onvoldoende informatie over zijn kunnen krijgt en de assessor onvoldoende informatie heeft om te beoordelen. zowel student als assessoren de procedure van het CGI kennen. de student het oordeel van de assessor als subjectief kan ervaren.
de student krijgt veel ruimte voor uitweidingen. de assessor onderbreekt de student zelden of niet en de tijd wordt voor een groot deel gevuld met het bespreken van zaken die al in het portfolio stonden of die irrelevant zijn voor de beoordeling. de student weet onvoldoende
90
Gedragsindicator
4. Relatie bewijsstukken, beroepshandelingen en beoordelingscriteria
5. Beoordelingstech niek
6. Feedback geven
Uit het bewijs (de bewijzen) blijkt dat de assessor: bekend is met de rol van examinator/beoordelaar oefent, maar nog vaak terugvalt in de meer volgzame rol van begeleider. nog niet alle elementen van START systematisch en consequent aan bod laat komen. Met name naar de R van Reflectie en/of Resultaat en naar de T van Transfer worden overgeslagen. bekend is met de VRAAK-criteria (authenticiteit, relevantie, actualiteit, variatie en kwantiteit) om bewijzen mee te beoordelen. bekend is met de beoordelingsdriehoek waarin bewijzen, beroepshandelingen en beoordelingscriteria structureel met elkaar verbonden worden. het handelen van de student in termen van de competentie-indicatoren van de matrix benoemt. in drie stappen beoordeelt: observeren, registreren en beoordelen. de beoordeling met voorbeelden uit het portfolio, praktijkopdracht en CGI onderbouwt. tot een eindbeoordeling komt. de student op toegankelijke wijze over het oordeel en onderbouwing informeert. de feedbackregels kent en die goed kan toepassen. feedback op maat geeft, gekoppeld aan concrete voorbeelden uit het portfolio of CGI.
7. Vastleggen oordeel
bevindingen toegankelijk vastlegt op het daarvoor bestemde rapportageformat. de wijze waarop het oordeel tot stand is gekomen, beschrijft.
8. Omgaan met bezwaren (indien van toepassing)
Bezwaren aanhoort en de verkregen informatie verzamelt. aangeeft waar de student de procedure van bezwaar kan vinden.
De gedragsindicator resulteert dat: over zijn beheersingsniveau en over de kennis of vaardigheden, attitudes die bij het competentieniveau horen en die nog ontbreken.
de assessor hanteert VRAAK en de beoordelingsdriehoek als instrumenten om de bewijzen van de student op bruikbaarheid te toetsen.
de assessor toont een eenduidige en transparante werkwijze.
de student feedback heeft ontvangen. het duidelijk is welke competenties en bijbehorend hboniveau zijn aangetoond, welke niet of gedeeltelijk. in de rapportage op toegankelijke wijze is vastgelegd op welke manier het oordeel tot stand is gekomen. het oordeel onderbouwd is met bevindingen uit portfolio, praktijkopdracht en gesprek en een totaaloverzicht van de beoordeelde competenties en hboniveau geeft. er naar de student is geluisterd en hij heeft de informatie verkregen waar hij de procedure van bezwaar kan vinden en welke stappen te nemen.
(Oudkerk-Pool, 2013) Masterthesis
91
Bijlage 9: Formulier Observatie assessmentgesprek De assessor: 1. Relatie opbouwen, kennismaken 1.1 stelt de student op zijn gemak 1.2 heeft een uitnodigende houding 1.3 Is alert op de aanwezigheid van eventuele weerstanden, angst of onzekerheid en in staat is die op empatische wijze te benoemen. 2. Gespreksstructuur a. Opening 2.1 legt het doel van het gesprek uit 2.2 bespreekt de procedure van het assessment 2.3 geeft de kandidaat de ruimte om vragen te stellen 2.4 deelt de inhoudelijke bevindingen over het portfolio met de kandidaat b. Midden 2.5 houd zich aan de structuur van het gesprek 2.6 geeft aan wanneer het vraaggedeelte (middengedeelte) van het CGI start. 2.7 heeft zicht op het competentieniveau van de kandidaat c. Eind 2.8 geeft een onderbouwd oordeel 2.9 geeft de termijn waarbinnen de kandidaat de rapportage ontvangt en - indien van toepassing hoe die bezwaar kan aantekenen, aan. 2.10 geeft de vervolgprocedure aan. d. Overall 2.11 Ontdekt in het midden/aan het eind/ helemaal niet* welke informatie nog ontbreekt om tot een onderbouwd oordeel te komen. 2.12 Het competentieniveau van de assessor is grondig/globaal getoetst* 3. Houding 3.1 Demonstreert vooral de rol van een beoordelaar/begeleider 3.2 Benoemt het handelen van de kandidaat in termen van de gedragsindicatoren van de assessor 4. Gesprekstechnieken a. LSD 4.1 Luistert actief 4.2 Vraagt door
Masterthesis
92
De assessor: 4.3 Vat samen b. Regie van het gesprek 4.4 Probeert d.m.v. vragen/samenvattingen/onderbrekingen* de regie in het gesprek te houden 4.5 Geeft de kandidaat weinig/veel** ruimte voor uitweidingen 4.6 Onderbreekt de kandidaat zelden/meestal** indien die teveel uitweidt 4.7 Vult de tijd voornamelijk met het bespreken van zaken die wel/niet* in het porfolio staat 4.8 Bespreekt voornamelijk zaken die relevant/irrelevant* voor de beoordeling zijn c. START 4.9 Gaat in op de S-fase (situatie) 4.10 Gaat in op de T-fase (taak) 4.11 Gaat in op de A-fase (actie) 4.12 Gaat in op de R-fase (resultaat) 4.13 Gaat in op de T-fase (transfer) 5. Feedbackregels 5.1 Noemt eerst iets positiefs dat verband houdt met het onderwerp. 5.2 Zegt objectief wat er gebeurde/waar je kritiek op hebt 5.3 Spreekt vanuit zichzelf (ik-zinnen) 5.4 Vermijdt het woord ‘maar’ 5.5 Geeft een suggestie hoe iets beter zou kunnen. 6. Omgaan met bezwaren 6.1 Hoort bezwaren aan 6.2 Vertelt waar de procedure van bezwaar opgevraagd kan worden**
*: Doorhalen wat niet is geobserveerd. **: Bij de opleidingsdirecteur.
Masterthesis
93
Bijlage 10: Formulier rapportage eindassessment Naam docent Datum assessment Naam assessor Assessmentniveau
8 augustus 2014 Getraind
Onderdeel 1: VRAAK-criteria Item 1. De geleverde bewijzen zijn gevarieerd
Oordeel* Toelichting
2. De geleverde bewijzen zijn relevant
3. De geleverde bewijzen zijn authentiek
4. De geleverde bewijzen zijn actueel
5. Er zijn voldoende bewijzen per gedragsindicator
*: oordeel O (onvoldoende) of V (voldoende).
Masterthesis
94
Onderdeel 2: Beoordelingsdriehoek Relatie met bewijs blijkt uit: Relatie met beroepspraktijk blijkt uit: 1. Relatie opbouwen, kennismaken: onvoldoende/voldoende
2. Gespreksstructuur a. Opening: onvoldoende/voldoende
b. Midden: onvoldoende/voldoende
c. Eind: onvoldoende/voldoende
3. Gesprekstechniek a. START: onvoldoende/voldoende
b. TURBO: onvoldoende/voldoende
c. LSD: onvoldoende/voldoende
4. Relatie bewijsstukken, beroepshandelingen en beoordelingscriteria: onvoldoende/voldoende
5. Beoordelingstechniek: onvoldoende/voldoende
6. Feedback geven: onvoldoende/voldoende
7. Vastleggen oordeel: onvoldoende/voldoende
8. Omgaan met bezwaren (indien van toepassing): onvoldoende/voldoende
Eindoordeel (onvoldoende, voldoende): ________________________________________
Handtekening Assessor Masterthesis
95
Bijlage 11: Eindopdracht assessorentraining De eindopdracht is om te bewijzen dat u over de acht gedragsindicatoren van een getrainde assessor bezit. Deze gedragsindicatoren zijn in onderstaand schema opgenomen. Voor een beter begrip van de onderstaande gedragsindicatoren, wordt verwezen naar het deelnemers materiaal van de assessorentraining waarin, naast de gedragsindicatoren van een getrainde assessor ook die van een ongetrainde assessor en een expert zijn opgenomen. Gedragsindicator 1. Relatie opbouwen, kennismaken
2. Gespreksstructuur a. Opening
b.
Midden
c.
Eind
3. Gesprekstechniek (START, turbo, LSD)
Masterthesis
Uit het bewijs (de bewijzen) blijkt dat de assessor: de student op zijn gemak stelt een uitnodigende houding heeft alert is op de aanwezigheid van eventuele weerstanden, angst of onzekerheid en in staat is die op empatische wijze te benoemen.
De gedragsindicator resulteert dat:
het doel van het gesprek uitlegt. de procedure van het assessment bespreekt. de student de ruimte geeft om vragen te stellen. de inhoudelijke bevindingen over het portfolio met de student deelt. de bewijzen die de student nog moet aandragen om aan de criteria te voldoen worden nog niet doorgegeven. zich aan de structuur van het gesprek houdt en aangeeft wanneer het vraaggedeelte start (middengedeelte) van het CGI. bekend is met de gesprekstechnieken zoals START en LSD en deze technieken geheel of gedeeltelijk toepast om een indruk te krijgen van het competentie- en hbo niveau van de student. vaak pas aan het eind ontdekt welke informatie nog ontbreekt om tot een onderbouwd oordeel te komen. Het oordeel kan daardoor nog steeds gevoelsmatig en subjectief op de student overkomen. de termijn waarbinnen de student de rapportage ontvangt en - indien van toepassing - hoe de student bezwaar kan aantekenen, aangeeft. de vervolgprocedure aangeeft. actief luistert, doorvraagt en samenvat (LSD). d.m.v. vragen, samenvattingen of onderbrekingen de regie in het gesprek probeert te houden. bekend is met methodieken als START en Turbo en die regelmatig toepast om door te vragen op het
de student de procedure van het CGI kent, maar inhoudelijk onvoldoende informatie heeft om te begrijpen waar de assessor naar op zoek is. het gewenste niveau en de criteria globaal en algemeen worden getoetst. de student niet precies weet waar de assessor naar op zoek is. de assessor START en LSD technisch gezien wel gebruikt, maar nog niet of niet voldoende focust op verdieping en reflectie (gedeeltelijke toepassing gesprekstechnieken). de student onvoldoende informatie over zijn kunnen krijgt en de assessor onvoldoende informatie heeft om te beoordelen. zowel student als assessoren de procedure van het CGI kennen. de student het oordeel van de assessor als subjectief kan ervaren.
de student zich op zijn gemak voelt. de student in staat is een open gesprek te voeren met de assessoren.
de student krijgt veel ruimte voor uitweidingen. de assessor onderbreekt de student zelden of niet en de tijd wordt voor een groot deel gevuld met het bespreken van zaken die al in het portfolio stonden of die irrelevant zijn voor de beoordeling.
96
Gedragsindicator
4. Relatie bewijsstukken, beroepshandelingen en beoordelingscriteria
5. Beoordelingstechniek
6. Feedback geven
Uit het bewijs (de bewijzen) blijkt dat de assessor: handelingsrepertoire van de student in een concrete beroepssituatie. bekend is met de rol van examinator/beoordelaar oefent, maar nog vaak terugvalt in de meer volgzame rol van begeleider. nog niet alle elementen van START systematisch en consequent aan bod laat komen. Met name naar de R van Reflectie en/of Resultaat en naar de T van Transfer worden overgeslagen. bekend is met de VRAAK-criteria (authenticiteit, relevantie, actualiteit, variatie en kwantiteit) om bewijzen mee te beoordelen. bekend is met de beoordelingsdriehoek waarin bewijzen, beroepshandelingen en beoordelingscriteria structureel met elkaar verbonden worden. het handelen van de student in termen van de competentie-indicatoren van de matrix benoemt. in drie stappen beoordeelt: observeren, registreren en beoordelen. de beoordeling met voorbeelden uit het portfolio, praktijkopdracht en CGI onderbouwt. tot een eindbeoordeling komt. de student op toegankelijke wijze over het oordeel en onderbouwing informeert. de feedbackregels kent en die goed kan toepassen. feedback op maat geeft, gekoppeld aan concrete voorbeelden uit het portfolio of CGI.
7. Vastleggen oordeel2
bevindingen toegankelijk vastlegt op het daarvoor bestemde rapportageformat. de wijze waarop het oordeel tot stand is gekomen, beschrijft.
8. Omgaan met bezwaren (indien van toepassing)
Bezwaren aanhoort en de verkregen informatie verzamelt. aangeeft waar de student de procedure van bezwaar kan vinden3.
De gedragsindicator resulteert dat: de student weet onvoldoende over zijn beheersingsniveau en over de kennis of vaardigheden, attitudes die bij het competentieniveau horen en die nog ontbreken.
de assessor hanteert VRAAK en de beoordelingsdriehoek als instrumenten om de bewijzen van de student op bruikbaarheid te toetsen.
de assessor toont een eenduidige en transparante werkwijze.
de student feedback heeft ontvangen. het duidelijk is welke competenties en bijbehorend hbo-niveau zijn aangetoond, welke niet of gedeeltelijk. in de rapportage op toegankelijke wijze is vastgelegd op welke manier het oordeel tot stand is gekomen. het oordeel onderbouwd is met bevindingen uit portfolio, praktijkopdracht en gesprek en een totaaloverzicht van de beoordeelde competenties en hbo-niveau geeft. er naar de student is geluisterd en hij heeft de informatie verkregen waar hij de procedure van bezwaar kan vinden en welke stappen te nemen.
Om de eindopdracht te maken, mag gebruik gemaakt worden van de portfolio’s van de afgestudeerde studenten van de SOOS. Deze portfolio’s kunnen, na afstemming met de 2 3
Het format om het oordeel vast te leggen, is opgenomen in bijlage 1. De procedure is te vinden in het examenreglement.
Masterthesis
97
opleidingsdirecteur, in bruikleen worden, gegeven om te oefenen. Aangezien er niet zo veel portfolio’s zijn, is het verzoek om zoveel als mogelijk bij de SOOS te oefenen, zodat de portfolio’s niet meegenomen hoeven te worden. Het oefenen geschiedt samen met een mededeelnemer in de drie duogroepen en de ene triogroep die tijdens de training zijn gevormd. Het is de bedoeling dat elk groepslid eerst individueel het portfolio beoordeelt, waarna de assessmentgesprekken geoefend worden. Tijdens de assessmentgesprekken, neemt elke deelnemer de rol van assessor en van student aan. Aangezien tijdens het oefenen bewijzen voor het portfolio verzameld dienen te worden en die bewijzen ook dienen te voldoen aan de VRAAK-criteria, is het aan te bevelen niet met maar één studentportfolio te oefenen. Hierdoor zal dan ook meer dan één keer de rol van assessor (en student) worden aangenomen. Aangezien deze training een onderzoek betreft, dient er ook data verzameld te worden over de wijze waarop de beoordeling van het portfolio is geschied. Hiervoor is het noodzakelijk dat elke deelnemer bij elke oefening ook een leerrapport schrijft, conform het format dat is opgenomen in bijlage 2. Het leerrapport dient gelijk na de oefening ingevuld te worden. Het is hierbij aan te bevelen dat de deelnemers die samen hebben geoefend, elkaar helpen om het leerrapport in te vullen. De leerrapporten worden per email (
[email protected]) ingeleverd en wel uiterlijk vrijdag 8 augustus. Het eindportfolio, met daarin de bewijzen, wordt ingeleverd op maandag 4 augustus 2014. Het assessment zal plaatsvinden op vrijdag 8 augustus 2014. Het assessment is een peerassessment, waarbij elke deelnemer een portfolio van een mededeelnemer krijgt om te beoordelen. Op vrijdag 8 augustus, zal elke deelnemer dus de competenties van een assessor demonstreren. De beoordeling hiervan geschiedt conform dezelfde gedragsindicatoren die zijn opgenomen in het schema op bladzijde 1-3 van dit document. De training is met goed gevolg afgerond indien: 1. op maandag 4 augustus een portfolio wordt ingeleverd; 2. uiterlijk vrijdag 8 augustus tenminste twee leerrapporten per email worden ingeleverd; 3. er op vrijdag 8 augustus een assessment wordt ondergaan van een mededeelnemer op basis van het eigen ingeleverde portfolio; 4. er op vrijdag 8 augustus een assessment wordt afgenomen van een mededeelnemer op basis van het ingeleverde portfolio van die mededeelnemer (de deelnemer heeft dus de rol van assessor).
Masterthesis
98
Bijlage 12: Leerrapport Criterium
Vraag
Relatie opbouwen
Wat ging goed tijdens het opbouwen van de relatie?
Antwoord
Welke verbeterpunten zijn er ten aanzien van het opbouwen van de relatie? Structuur assessmentgesprek (opening, midden en eind)
Wat ging goed ten aanzien van de opening van het assessmentgesprek? Welke verbeterpunten zijn er ten aanzien van de opening het assessmentgesprek? Wat ging goed ten aanzien van het midden van het assessmentgesprek? Welke verbeterpunten zijn er ten aanzien van het midden van het assessmentgesprek? Wat ging goed ten aanzien van het eind van het assessmentgesprek? Welke verbeterpunten zijn er ten aanzien van het eind van het assessmentgesprek?
Vraag- en gesprekstechnieken (START, turbo en LSD)
Wat ging goed ten aanzien van het gebruik van START? Welke verbeterpunten zijn er ten aanzien van het gebruik van START? Wat ging goed ten aanzien van het gebruik van turbo? Welke verbeterpunten zijn er ten aanzien van het gebruik van turbo? Wat ging goed ten aanzien van het gebruik van LSD? Welke verbeterpunten zijn er ten aanzien van het gebruik van LSD?
Beoordelen (WAKKER, Vraak en beoordelingsdriehoek)
Wat ging goed tijdens het beoordelen volgens de WAKKER-methodiek? Welke verbeterpunten zijn er ten aanzien van de WAKKER-methodiek? Wat ging goed tijdens het beoordelen volgens de vraaktechniek? Welke verbeterpunten zijn er ten aanzien van de vraaktechniek? Wat ging goed tijdens het beoordelen volgens de beoordelingsdriehoek? Welke verbeterpunten zijn er ten aanzien van de beoordelingsdriehoek?
Masterthesis
99
Criterium
Vraag
Eindoordeel
Wat ging goed tijdens het formuleren van het eindoordeel?
Antwoord
Welke verbeterpunten zijn er ten aanzien van het formuleren van het eindoordeel? Feedbackregels
Wat ging goed tijdens het hanteren van de feedbackregels? Welke verbeterpunten zijn er ten aanzien van het hanteren van de feedbackregels?
Masterthesis
100
Bijlage 13: START-vragen, TURBO-vragen en feedbackregels START-vragen: Wat was de situatie; wat vond er plaats; wat was het probleem; wie waren er betrokken? Wat was je rol/functie/taak; wat was je opdracht/doel? Wat deed je; wat zei je; welke techniek heb je gehanteerd? Wat gebeurde er; wat was het resultaat; hoe werd er gereageerd? Wat hebt je ervan geleerd; zou je het weer zo doen? Kan je een vergelijkbare situatie noemen; hoe zou je het een volgende keer aanpakken? (eventueel) Hoe zou je dit binnen de opleiding aanpakken? TURBO-vragen 1. Vergelijking: Als je jezelf vergelijkt met je collega’s wie vind je dan het beste in het analyseren van incidenten? 2. Rangorde: Op welke plaats zou jezelf staan als je een rangorde moet aanbrengen m.b.t….. 3. Mening van anderen: Wat vinden je collega’s van jouw manier van samenwerken? En op welke manier ga je met collegiale feedback om? Waaruit wordt dat zichtbaar? 4. “Stel dat vraag”: hier beschrijft de assessor de situatie en geeft de student aan wat hij/zij in dat geval zou doen. Feedbackregels: 1. Noemt eerst iets positiefs dat verband houdt met het onderwerp. 2. Zegt objectief wat er gebeurde/waar je kritiek op hebt, spreek daaruit vanuit jezelf (in ‘ik zinnen’). 3. Spreekt vanuit zichzelf (ik-zinnen) 4. Vermijdt het woord ‘maar’ 5. Geeft een suggestie hoe iets beter zou kunnen.
Masterthesis
101
Bijlage 14: Aangepast competentieprofiel 1 1.1 1.1.1
1.2 1.1.2
1.3 1.1.3
1.4 1.1.4
1.5 1.1.5 2 2.1 2.1.1
2.1.2
2.2 2.2.1 2.3 2.3.1 3 3.1 3.1.1
3.1.2
3.1.3
3.2
Propedeusefase Hoofdfase Afstudeerfase Interpersoonlijke competentie De student gaat op een rechtvaardige manier om met mensen Handelt eerlijk en oprecht ten Handelt in een gesimuleerde Handelt objectief op de opzichte van medestudenten beroepscontext objectief werkplek en de docenten De student communiceert schriftelijk, mondeling en non-verbaal Schrijft en uit zich taalkundig Schrijft en uit zich taalkunSchrijft en uit zich taalkundig juist en verstaanbaar onder dig juist en verstaanbaar juist en verstaanbaar op de begeleiding zonder begeleiding werkplek De student gebruikt relevante informatie Benoemt kernzaken Gebruikt de relevante Gebruikt de relevante informainformatie bij het nemen van tie bij het nemen van beslissinbeslissingen gen middels een praktijkopdracht binnen de organisatie De student werkt voor een probleemsituatie bruikbare oplossingen uit Identificeert problemen Demonstreert capabel te zijn Demonstreert capabel te zijn bij bij het oplossen van het oplossen van problemen problemen middels een praktijkopdracht binnen de organisatie De student demonstreert verantwoorde gedragspatronen Is bekend met de gangbare Handelt conform de normen Stimuleert gewenst gedrag op normen en waarden en waarden de werkplek Organisatorische competentie De student gaat methodisch te werk Gebruikt hulpmiddelen Gebruikt hulpmiddelen om Gebruikt hulpmiddelen om een effectief een bepaald resultaat te bepaald resultaat te bereiken bereiken binnen de organisatie Is bekend met verschillende Hanteert een adequate Hanteert een adequate werkwijwerkwijzen werkwijze om een bepaald ze om een bepaald resultaat te resultaat te bereiken bereiken binnen de organisatie De student brengt structuur aan in het werk Stelt prioriteiten en past Stelt een werkplan op Richt het werk planmatig in timemanagement toe De student controleert activiteiten op voortgang Monitoort het werkplan Evalueert het werkplan Stelt het werkplan bij Competenties in het samenwerken De student functioneert als volwaardig groepslid Stelt teambelang boven eigen Levert een effectieve Past de sociale vaardigheden belang, kent en past sociale bijdrage aan een groepstaak toe in teamverband vaardigheden toe, demonstreert sociale vaardigheden Levert een effectieve bijdrage Is verantwoordelijkheid voor Is verantwoordelijk voor aan een groepstaak ter de te leveren bijdragen aan groepsbeslissingen beoordeling van de groep. een groepstaak Kent verschillende Demonstreert samenwerKomt middels samenwerkingssamenwerkingsvormen kingsvormen en/of methoden vormen en/of –methoden tot groepsbeslissingen De student onderhoudt contacten met anderen ten behoeve van de uit te voeren werkzaamheden
Masterthesis
102
3.2.1
3.2.2
4 4.1 4.1.1
4.1.2
4.2 4.2.1
4.2.2
4.3 4.3.1
4.3.2
5 5.1 5.1.1
5.1.2
5.2 5.2.1
5.2.2
5.2.3
Propedeusefase Levert een bijdrage aan vergaderingen en ander werkoverleg Demonstreert vaardigheden met betrekking tot het ontwikkelen en bestendigen van contacten met anderen
Hoofdfase Afstudeerfase Levert een bijdrage aan Neemt initiatieven in overleg vergaderingen en ander met de groep werkoverleg Demonstreert vaardigheden Onderhoudt contacten op een met betrekking tot het verantwoordelijke wijze ontwikkelen en bestendigen van contacten met anderen en staat open voor feedback Competenties in het reflecteren De student reflecteert op het persoonlijk functioneren Benoemt eigen sterkten en Blikt terug op zwakten om Verbetert zwakten en ontwikzwakten die te verbeteren en sterkten kelt sterkten in de praktijk om die te ontwikkelen Benoemt persoonlijke Blikt terug op persoonlijke Ontwikkelt doelgericht kwaliteiten kwaliteiten om die te persoonlijke kwaliteiten in de ontwikkelen praktijk De student reflecteert op de eigen kennisontwikkeling Verslaat actuele Vergelijkt actuele Benoemt tenminste één nieuwe ontwikkelingen uit de ontwikkelingen uit de eigen ontwikkeling in de beroepscontext aan anderen beroepscontext met die van beroepscontext anderen Formuleert leervragen om aan Formuleert leervragen om Beschrijft het proces van de informatie te komen over aan informatie te komen actuele ontwikkeling in de actuele ontwikkelingen bij over actuele ontwikkelingen beroepscontext. anderen in het beroep De student reflecteert op het persoonlijk handelen in de beroepscontext Vertelt over het eigen Blikt terug op het eigen han- Ontwikkelt het eigen handelen handelen in de beroepscontext delen in de beroepscontext in de beroepscontext verder en verbetert die Benoemt de eigen zwakten en Blikt terug op de eigen Verbetert de eigen zwakten en sterkten in de beroepscontext zwakten en sterkten in de be- ontwikkelt de eigen sterkten in roepscontext en verbetert die de beroepscontext Vakspecifieke competentie De student levert administratieve informatie ten behoeve van de bedrijfsvoering Toetst een administratie op Draagt bij aan een adequate Draagt bij aan een betrouwbaarheid, inrichting van de betrouwbare, volledige en volledigheid en tijdige administratie en tijdige vastlegging van de vastlegging administratieve processen bedrijfsadministratie in de beroepscontext Werkt financiële Analyseert cases over Adviseert bij financiële administratieve problemen uit financiële administratieve administratieve problemen in problemen de beroepscontext De student richt een organisatie in en bestuurt deze Analyseert de interne en Analyseert de interne en de Analyseert de interne en externe omgeving van een externe omgeving van een externe omgeving in de organisatie onder begeleiding organisatie zelfstandig beroepscontext Formuleert organisatiedoelen Implementeert organisaAnalyseert organisatiedoelen en strategieën tiedoelen en strategieën in en strategieën in de projecten en simulaties beroepscontext Onderscheidt de verschillende Richt de personele en Brengt adviezen uit met betrekorganisatiestelsels en –typen organieke structuur van een king tot de personele en organisatie in organieke structuur in de beroepscontext
Masterthesis
103
5.2.4
5.2.5
5.3 5.3.1
5.3.2
5.3.3
5.3.4
5.4 5.4.1
5.4.2
Propedeusefase Hoofdfase Kent en meet zowel de finan- Analyseert en trekt concluciële als de niet financiële sies op basis van financiële prestaties van een organisatie en niet financiële prestaties Onderscheidt de verschillende Geeft op een competente leiderschapsstijlen en weet op wijze leiding in simulaties of welke manier competent projecten leiding gegeven kan worden De student verwerkt en analyseert economische gegevens Beheerst economische Gebruikt economische theorieën theorieën in simulaties of projecten Kent de economische ontwik- Blijft op de hoogte van kelingen die van invloed kun- economische ontwikkelingen nen zijn op een organisatie Lost economische Lost geïntegreerde vraagstukken op economische vraagstukken in een concrete situatie op Beheerst de basiskennis over Schrijft beleidsnota’s over micro- en macro-economische micro- en macrovraagstukken economische vraagstukken De student brengt de financiële problematiek in kaart Stelt plannen, begrotingen en Analyseert plannen, budgetten samen begrotingen en budgetten in projecten of simulaties Stelt onderdelen van een Analyseert jaarrekeningen jaarrekening samen
5.4.3
Maakt een integrale kostprijsberekening
5.4.4
Maakt financiële calculaties
5.4.5
Identificeert investerings- en financieringsproblemen
5.4.6
Onderscheidt de verschillende rechtsvormen
6 6.1 6.1.1
6.1.2
6.1.3
Maakt kostprijsberekeningen volgens verschillende methoden Formuleert aan de hand van financiële calculaties beleidsbeslissingen Formuleert passende antwoorden op investeringsen financieringsproblemen
Afstudeerfase Brengt adviezen uit op basis van onderbouwde analyses in de beroepscontext Geeft op een competente wijze leiding in de beroepscontext
Gebruikt economische theorieën in de beroepscontext Speelt in op de economische ontwikkelingen in de beroepscontext Lost economische vraagstukken in de beroepscontext op en adviseert daarbij Draagt oplossingsmodellen aan over micro- en macro-economische vraagstukken uit de beroepscontext Analyseert plannen, begrotingen en budgetten uit de beroepscontext Stelt een jaarrekening in de beroepscontext samen en analyseert deze Maakt kostprijsberekeningen in de beroepscontext. Adviseert over te nemen beleidsbeslissingen op basis van financiële calculaties Formuleert passende antwoorden op investerings- en financieringsproblemen uit de beroepscontext Relateert (financiële) vraagstukken uit de beroepscontext aan de rechtsvorm
Relateert (financiële) vraagstukken aan de rechtsvorm Beroepsspecifieke competenties De student gaat consistent en effectief om met (detail)informatie Selecteert informatie om Controleert als de Is kritisch en alert bij het getaken correct uit te voeren geselecteerde informatie bruiken van (detail)informatie consistent is gebruikt bij de in de beroepsuitoefening uitvoering van taken Brengt (detail)informatie in Gebruikt (detail)informatie Gebruikt (detail)informatie kaart effectief effectief bij analyses in de beroepsuitoefening Voert instructies uit Werkt instructies foutloos uit Voert instructies foutloos en consistent uit bij de beroepsuitoefening
Masterthesis
104
6.2 6.2.1
6.3 6.3.1
6.3.2
6.3.3
6.4 6.4.1
6.4.2
6.4.3
6.5 6.5.1
6.6 6.6.1
Propedeusefase Hoofdfase Afstudeerfase De student houdt zich aan normen, waarden en omgangsregels die gelden voor de functie en de cultuur waarin men werkt Kent voldoende normen, Past de normen, waarden en Past de normen, waarden en waarden en omgangsregels omgangsregels toe tijdens omgangsregels toe binnen de die gelden voor de functie en het eigen handelen beroepsuitoefening de cultuur waarin men werkt De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit Kent kwaliteitsnormen van Houdt rekening met de Houdt voortdurend rekening organisaties kwaliteitsnormen bij de met de kwaliteitsnormen bij de uitoefening van opdrachten beroepsuitoefening Verbetert de kwaliteit van het Waarborgt de kwaliteit van Waarborgt continu de kwaliteit eigen werk het eigen werk van het eigen werk zoals de organisatie dat voorschrijft Evalueert en verbetert Evalueert samen met Beoordeelt ontvangen feedback voorgeschreven instructies collega’s voorgeschreven van collega’s over de kwaliteit naar eigen inzichten instructies van het werk op bruikbaarheid De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te bereiken Formuleert doelen met Formuleert doelen met beFormuleert doelen met bebetrekking tot de eigen trekking tot de eigen werktrekking tot de uit te voeren werkzaamheden en stelt zaamheden bij groepstaken werkzaamheden op de daarbij prioriteiten en stelt daarbij prioriteiten werkplek en stelt daarbij prioriteiten Maakt actieplannen om een Maakt samen met anderen Maakt samen met collega’s bepaald doel te bereiken en actieplannen om een bepaald actieplannen om een bepaald geeft aan met welke middelen doel te bereiken en geeft doel te bereiken en geeft die gerealiseerd zullen daarbij aan met welke daarbij aan met welke middelen worden middelen die gerealiseerd die gerealiseerd zullen worden zullen worden Formuleert doelen en een Formuleert doelen voor Formuleert samen met collestappenplan hoe deze te groepstaken en een ga’s doelen voor groepstaken realiseren stappenplan hoe deze te en een stappenplan hoe deze te realiseren realiseren De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaamheden en verantwoordelijkheden Bewaakt de uitvoering van de Bewaakt de uitvoering van Bewaakt de uitvoering van de eigen werkzaamheden en de eigen werkzaamheden en eigen werkzaamheden en verantwoordelijkheden verantwoordelijkheden bij verantwoordelijkheden en die groepstaken van de medewerkers De student doet onderzoek Past basisonderzoeksVoert een kwalitatief en Voert een complex technieken toe in een kwantitatief onderzoek praktijkonderzoek volledig uit eenvoudig onderzoek volledig uit en rapporteert en rapporteert daarover daarover
Masterthesis
105
Bijlage 15: Artikel SOOS nieuwsbrief
Training assessoren Een goede planning is het halve werk. Deze slagzin heeft ook vanaf de oprichting van de SOOS centraal gestaan bij de bedrijfsvoering. Succesvolle innovatieve bedrijven hebben een open bedrijfscultuur met nieuwsgierige en leergierige medewerkers. Ze zijn niet naar binnen gericht, maar kijken om zich heen. In het kader van professionalisering bij de SOOS heeft mw. drs. Q. Hidalgo in de maanden juni, juli en augustus 2014 een training assessoren ontwikkeld en verzorgd met als doel middels gerichte training, oefening en feedback bij te dragen aan de competenties van de assessor/docent van de COE. De volgende docenten van de SOOS hebben de training succesvol gevolgd: Mw. Adams, Mw. Bhaggoe, Mw. Dankerlui, Mw. Lunes, Mw. Pocorni, Mw. Ramdin, Mw. Rosario, Mw. Rotsburg en Dhr. Telgt. Op de foto overhandigt de voorzitter van het bestuur van de SOOS, mw. Irene Van Dijk-Hankers het certificaat aan mw. Rotsburg. De trainer Querlyn Hidalgo kijkt toe.
Masterthesis
106
