KWALITEIT VAN BEOORDELING IN DE PRAKTIJK

KWALITEIT VAN BEOORDELING IN DE PRAKTIJK

John Dekker Kenniscentrum Handel Piet Sanders Research Center voor Examinering en Certificering

Januari 2008 Kenniscentrum Handel, Ede

condities creëren voor werken en leren


1

Voorwoord

4

Samenvatting

6

Inleiding

1.1 Uitgangspunten en doel van deze publicatie

1.2 Stappen bij het opzetten, ontwerpen, uitvoeren en verbeteren

2

van kwalificerende competentiegerichte examens

4

2.2 Hoe belangrijk is authentiek toetsen?

24

2.1 Wat is authentiek toetsen?

25

2.5 Conclusies

29

Beoordelingssituaties in de praktijk

30

Beoordelaars en beoordelen in de praktijk

34

4.2 Wat moet een beoordelaar doen?

39

4.4 Wat moet een beoordelaar zijn?

40

4.1 Objectieve beoordeling van praktijkopdrachten

4.6 Hoe kunnen beoordelaars het beoordelen trainen

27

35

39 42

43

4.7 Conclusies

44

Instrumenten voor beoordelen in de praktijk

46

de kwalificatiedossiers

47

vaststelling daarvan

49

observeerbare beoordelingscriteria:

62

5.1 Startpunt voor de ontwikkeling van beoordelingsinstrumenten: 5.2 Constructie van een examenplan/toetskader/examenprofiel en 5.3 Van prestatie-indicatoren uit de kwalificatiedossiers naar 5.4 Vormgeving van het praktijk observatieschema - criteria voor keuzes

63

5.5 Vormgeving van evaluatievragen

64

65

5.6 Noodzakelijke documenten bij beoordelingschema’s voor

praktijkobservatie van competenties en kerntaken

Literatuur

2

19

2.3 Wat zijn kenmerken van authentiek toetsen?

4.5 Wat moet een beoordelaar niet doen?

Inhoudsopgave

12

18

4.3 Wat moet een beoordelaar kunnen?

5

11

Authentiek toetsen in het middelbaar beroepsonderwijs

2.4 Hoe ontwikkel je authentieke toetsen?

3

10

66

3


In de “en-en” situatie gaat het niet alleen om de voorbereiding op de inhou-

delijke/technische aspecten van de beroepsuitoefening, maar tevens om persoonlijke/interactieve aspecten. En het evenwicht vinden tussen die twee. Voorwaar geen sinecure, hetgeen blijkt uit ervaringen van de afgelopen jaren.

Maar het blijft een wenkend economisch en vooral ook maatschappelijk perspectief om de ontwikkeling van deelnemers tijdens de beroepsopleiding niet

te beperken tot vakinhoudelijke/vaktechnische aspecten.

Het handelen in de beroepspraktijk als uitgangspunt nemen, nodigt uit om de

beroepspraktijk meer te benutten in opleidingsprogramma’s. En dat gebeurt op grote schaal. Ook hier is evenwicht belangrijk. De beroepspraktijk biedt uit-

stekende mogelijkheden voor leren, maar is geen school. Leren in de praktijk en

beoordelen in de praktijk gaan hand in hand. Voor bedrijven is het van belang

dat hetgeen de deelnemer geacht wordt te leren, aansluit bij zaken die zij zelf als relevant beschouwen. De nieuwe kwalificatiedossiers in het middelbaar

beroepsonderwijs zijn op dat punt “bedrijfszeker”: de taken en werkprocessen van de beroepsuitoefening vormen de ruggengraat van de kwalificatiedossiers en zijn in samenwerking met het bedrijfsleven geformuleerd. Het is

logisch en vanzelfsprekend om ook de examinering van de kwalificaties – “the proof of the pudding” van de kwalificaties – in structurele samenwerking met

het bedrijfsleven vorm te geven.

Het beoordelen of iemand de taken in de werkprocessen naar behoren kan uitvoeren, vindt voor een belangrijk deel in de beroepspraktijk plaats. Daar-

voor moet er in de praktijk ook de beschikking zijn over praktisch bruikbare

beoordelingsinstrumenten van goede kwaliteit. Het ontwikkelen van praktisch

bruikbare beoordelingsinstrumenten en het trainen van mensen om anderen

Voorwoord

om hun deskundigheid en jarenlange ervaring op het gebied van toetsen en

beoordelen in te zetten voor het bieden van een kader voor het beoordelen in

Kunnen handelen in de beroepspraktijk, dat is het uitgangspunt van competen-

de praktijk.

docenten en praktijkopleiders legio mogelijkheden om deelnemers goed voor te

Deze publicatie is de resultante van het verzoek. In de samenvatting worden

tiegericht beroepsonderwijs. Een prima uitgangspunt wat mij betreft. Het biedt

bereiden op alle facetten van de beroepsuitoefening en het biedt deelnemers

kansen om hun talenten te ontdekken en te ontwikkelen. Voorwaarde is wel dat

er evenwicht gevonden wordt tussen de verschillende aspecten van beroepsui-

de hoofdzaken duidelijk beschreven voor eenieder die de voorwaarden van het

beoordelen in de praktijk wil weten en begrijpen. Voor degenen die er echt

verder mee aan de slag gaan, zijn de hoofdstukken een goede kapstok voor

toefening. Het is natuurlijk een illusie dat een goede beroepsuitoefening zonder

eigen kleding.

de voorwaarde is voor een goede beroepsuitoefening. De persoon zelf wordt

Kenniscentrum Handel

technische vaardigheden. Het is dus geen kwestie van of-of, maar van en-en.

algemeen directeur

gedegen kennis mogelijk is, net zo goed als het een illusie is dat kennis voldoenimmers ook aangesproken in de beroepsuitoefening, niet alleen zijn kennis en

4

op de werkvloer te kunnen beoordelen staat hoog op de agenda van Kennis-

centrum Handel. Daarom hebben we Piet Sanders en John Dekker gevraagd

Peter Cras

5


Het kader Het onderwijs en het bedrijfsleven zijn bezig om de overgang vorm te geven van eindtermgericht onderwijs naar competentiegericht onderwijs. De laatste jaren is er erg veel tijd en energie gestoken in het ontwerpen van de compe-

tentiegerichte kwalificatiestructuur voor het middelbaar beroepsonderwijs.

Dit heeft kwalificatiedossiers opgeleverd waarin beschreven staat welke kern-

taken en werkprocessen beginnende beroepsbeoefenaren moeten beheersen,

maar vooral ook welke competenties daar dan voor nodig zijn.

De kwalificatiedossiers zijn zowel uitgangspunt voor het inrichten van het

onderwijs, als voor de inrichting van de examinering van dat competentiegerichte onderwijs. Kwalificatiedossiers en examinering zijn twee kanten van dezelfde medaille.

De verantwoordelijkheid voor de vormgeving van de kwalificatiedossiers ligt

bij de Paritaire Commissie Beroepsonderwijs Bedrijfsleven (PCBB). De discussie is gaande of de verantwoordelijkheid voor de inrichting van de Examinering

niet ook bij de PCBB zou moeten liggen. Het lijkt logisch om de verantwoor-

delijkheid voor de vaststelling van examenprofielen/examenplannen ook bij

de PCBB neer te leggen. Hiermee worden de grote lijnen voor examinering bepaald, zonder dat overigens de keuzevrijheid van scholen voor examinering

ingeperkt wordt. Hiermee krijgt ook examinering/beoordeling een formele plaats binnen het dossier.

De uitwerking In deze publicatie starten we vanuit de definitie van competentiegericht kwalificerend examineren:

Samenvatting

6

7


Kwalificerend competentiegericht examineren is het in beroepssituaties (of

De conclusies

hankelijke beoordelaars en volgens vooraf vastgestelde procedures en beoor-

De belangrijkste conclusies zijn:

situaties die daar een valide afspiegeling van zijn), door deskundige en onaf-

delingscriteria beoordelen of een kandidaat beschikt over de vereiste compe-

tenties en deze op de juiste manier kan aanwenden bij het uitvoeren van één

•

Om recht te doen aan een goede beoordeling van competenties, kerntaken

en werkprocessen moet uitgegaan worden van een examenplan/examen-

of meer kerntaken en werkprocessen. (Dekker, 2006)

profiel met authentieke beoordeling in de praktijk. Daarnaast zijn er nog

Aan vier voorwaarden moet worden voldaan om kwalificerend examineren in

totale examenplan of het zogenaamde competentie assessment program-

de praktijk te kunnen realiseren:

•

examens en/of praktijkbeoordelingen moeten authentiek zijn, wat inhoudt

dat examens een afspiegeling moeten zijn van wat er van beginnende

andere ‘meetinstrumenten’ die ingezet kunnen/moeten worden om het

•

beroepsbeoefenaren in de praktijk verwacht wordt

•

examensituaties moeten goed ingericht zijn in de zin dat kerntaken, werk-

•

examens moeten beoordeeld worden door deskundige en onafhankelijke

•

er moeten goede examens beschikbaar zijn om de beoordeling in de

beoordelaars

kwalificatiedossiers verschillen qua volledigheid en complexiteit. Bij de

inrichting van kwalificerende examensituaties moet bewaakt worden dat er ‘voldoende’ volledigheid en ‘voldoende’ complexiteit aanwezig is om

de beheersing van competenties, kerntaken en werkprocessen te kunnen

processen en competenties in de beroepspraktijk aanwezig zijn, daarom ook observeerbaar zijn, en daardoor beoordeelbaar zijn

ma te kunnen uitvoeren.

Beoordelingssituaties in de beroepspraktijk kunnen in vergelijking met de

•

waarborgen.

Het is mogelijk de kwaliteit van examinering in de praktijk te vergroten

door de deskundigheid en onafhankelijkheid van praktijkbeoordelaars (opleiders én begeleiders) te vergroten door middel van onder andere trai-

ning, intervisie en externe beoordeling. De vooronderstelling dat iedereen

beroepspraktijk betrouwbaar en objectief uit te kunnen voeren.

deskundig is op het gebied van beoordelen blijkt moeilijk waar te maken.

Dit betekent dat er een bewust scholingsbeleid op het gebied van deskun-

digheid van examineren en beoordelen vorm gegeven moet worden door

scholen, Kenniscentra en het Ministerie van OCW met als doel om de pro-

•

fessionaliteit van beoordelaars te vergoten.

Beoordelinginstrumenten moeten voldoen aan de standaarden van

authenticiteit. In het ontwerpproces van beoordelingsinstrumenten is

daarom naast inhoudelijke en toetstechnische expertise, de inzet van het

bedrijfsleven en het onderwijs dringend gewenst. Naast technisch - inhoudelijke criteria, moeten betrokkenen in het onderwijsveld – werkgevers, werknemers, onderwijs en ook deelnemers - de overtuiging hebben dat

beoordeling met deze instrumenten op een eerlijke en transparante manier gebeurt.

Ten slotte

De discussie over de kwaliteit van competentiegericht examineren is opnieuw actueel. Zoals eerder gezegd: kwalificeren en examineren zijn twee kanten van dezelfde medaille.

In deze publicatie wordt een uitwerking gegeven aan deze vier aspecten.

Geprobeerd is om concrete handreikingen te geven waarmee scholen, docen-

ten en toezichthouders kunnen beoordelen of er sprake is van een ‘deugdelijke’

8

competentiegerichte examinering of beoordeling.

9


Inleiding 1.1

Uitgangspunten en doel van de publicatie In deze publicatie richten we ons op de kwaliteit van kwalificerend competen-

tiegericht examineren in het mbo. Dekker heeft in 2006 de volgende definitie gegeven:

Kwalificerend competentiegericht examineren is het in beroepssituaties

(of situaties die daar een valide afspiegeling van zijn), door deskundige en onafhankelijke beoordelaars en volgens vooraf vastgestelde procedures en

beoordelingscriteria beoordelen of een kandidaat beschikt over de vereiste competenties en deze op de juiste manier kan aanwenden bij het uitvoeren van één of meer kerntaken en werkprocessen. (Dekker, 2006)

Kernelementen in de definitie zijn:

• • • •

examineren/beoordelen van competenties, kerntaken en werkprocessen examineren/beoordelen in de beroepssituatie of beroepscontext

examineren/beoordelen door deskundige en onafhankelijke beoordelaars

examineren/beoordelen volgens vooraf vastgestelde procedures en beoor-

delingscriteria

Het zwaartepunt bij het examineren van beheersing van competenties, kern-

taken en werkprocessen ligt in de examinering en beoordeling in de praktijk.

De vier kernelementen vormen dan ook gelijk de hoofdonderwerpen van deze publicatie, met de volgende hoofdvragen:

1

• • •

wat zijn de kwaliteitseisen die gesteld moeten worden

hoe kan deze kwaliteit bereikt, of misschien zelfs verhoogd worden

hoe kunnen alle betrokkenen bij kwalificerende examinering de kwaliteits

eisen bewaken of borgen.

De kwaliteit van beoordeling in de praktijk 10

11


1

cerende competentiegerichte examens zijn de mbo-kwalificatiedossiers

zoals deze begin 2007 door de minister vastgesteld zijn. Toetstechnisch uitgangspunt is dat uitgegaan wordt van:

•

de beoordeling van de beheersing van competenties (en daarvan afge-

•

het maximaal realiseren van authentieke beoordelingsituaties (beoor-

• • •

leid de beheersing van kerntaken en werkprocessen)

deling binnen de context) door het uitvoeren van kerntaken en werk-

processen

een examenplan, waarin de diverse instrumenten en procedures

zichtbaar zijn ook wel competentie assessment programma genoemd (Wools, Sanders & Roelofs, 2007)

valide beoordelingsinstrumenten en beoordelingsprocedures deskundige en onafhankelijke beoordelaars

• vaststellen van beroepssituaties, kerntaken, werkprocessen en compeDoel van deze publicatie is de opvattingen, inzichten en werkwijzen uit de

toetspraktijk en de toetstheorie bij elkaar te brengen. Hiermee kan de discussie

over de kwaliteit van competentiegericht beoordelen/examineren in de praktijk in kwaliteit verhoogd worden.

De kwaliteitsaudits (zowel de product- als procesaudits) door het KCE (Kwa-

liteits Centrum Examinering) hebben een hernieuwde discussie over velerlei aspecten tot gevolg gehad. Er heeft discussie plaats gevonden over de kwaliteit van examenproducten, de inrichting van examenprocessen en de kwali-

teit van de beroepssituaties als examensistuatie. Maar vaak zijn die discussies

gevoerd op basis van beperkte informatie, of op basis van overtuigingen en/of ideologieën.

In de mbo-kwalificatiedossiers (Kenniscentrum Handel, 2007) worden

beroepssituaties, kerntaken, werkprocessen en competenties beschreven.

Deel A geeft een algemene schets van het beroep en algemene beschrijvingen van de kerntaken. In deel B wordt de relatie tussen kerntaken, werk-

processen en competenties beschreven en schematisch weergegeven in de proces-competentiematrix per kerntaak.

Deel C geeft een verdere specificatie van

de competentiebeheersing bij werkprocessen en kerntaken in de vorm van prestatie-indicatoren. De kwalificatiedossiers

worden opgesteld door werkgroepen met vertegenwoordigers van onderwijs

en bedrijfsleven, met begeleiding van

De omslag van eindtermgericht examineren naar competentiegericht exami-

Kenniscentrum Handel. De dossiers wor-

van standaarden is opnieuw gestart. Deze publicatie probeert daar een bij-

missie Bedrijfsleven Beroepsonderwijs

neren is in volle gang. De discussie over kwaliteitsstandaarden en het gebruik drage aan te leveren.

1.2 Stappen bij het opzetten, ontwerpen, uitvoeren en verbeteren van kwalificerende competentiegerichte examens In deze publicatie worden de vier kernelementen van kwalificerend compe-

tentiegericht examineren uitgewerkt. Deze elementen passen binnen het

totale proces van kwalificerende examinering. Daarom beginnen we met een beknopte beschrijving van het ontwikkelingsproces van kwalificerende competentiegerichte examens (ontleend aan Downing en Haladyna, 2006):

12

tenties

•

kiezen van uitgangspunten

Inhoudelijk uitgangspunt voor het ontwikkelen en gebruiken van kwalifi-

den vastgesteld door de Paritaire Com-

(PCBB). De PCBB bestaat uit vertegen-

woordigers van het bedrijfsleven (werk-

gevers en werknemers en onderwijs).

‘De kwalificatiedossiers beschrijven het ‘wat’, de inhoud van wat er geëxamineerd moet worden’

13


1

• vertaling

van kwalificatiedossier naar gedragsbeoordelingsschema’s

(instrumenten)

Om van een kwalificatiedossier naar een beoordelingsinstrument te komen,

waarmee competenties, kerntaken en werkprocessen beoordeeld kunnen

worden, moet er een vertaalslag gemaakt worden van de presentatie indi-

catoren in de kwalificatiedossiers naar observeerbare gedragscriteria in het gedragsobservatieschema. Een instrument dat bedoeld is om werkge-

drag te beoordelen moet gedragscriteria bevatten die observeerbaar zijn

aan de hand van het getoonde werkgedrag. Belangrijke aandachtspunten bij het omzetten van prestatie-indicatoren naar gedragscriteria zijn:

•

is het te observeren criterium een valide weergave van de prestatie

•

wordt er gekozen voor globale of analytische beoordeling, en de criteria

•

wat is de bruikbaarheid van het instrument, en wat is de haalbaarheid

•

indicator

die daarbij passen

van het gebruiken van het instrument in een praktische werksituatie

wat is de normering van de prestatie: waar ligt de grens voldoende/

onvoldoende (cesuur)

• beschrijven

van criteriumsituaties en instructies voor deelnemers en

beoordelaars

De situaties waarin de beoordeling van werkgedrag plaats vindt moeten

eenduidig beschreven zijn, zodat er voor deelnemer en beoordelaar (bege-

leider en/of opleider) en eventueel anderen van tevoren volledig duidelijk is ‘wat’ er beoordeeld wordt, ‘hoe’ er beoordeeld wordt (vorm, tijd, plaats),

hoe de beoordeling tot stand komt en op welke manier en op basis van welke normen de beslissing gezakt/geslaagd, voldoende/onvoldoende

De kwalificatiedossiers beschrijven het ‘wat’, de inhoud van wat er geëxa-

mineerd moet worden.

• beschrijven

in de

praktijk wordt deels bepaald door de

van een examenplan (toetskader, examenprofiel, compe-

kwaliteit van de beoordelaars die de

tentie assessment programma)

beoordeling door middel van prak-

ten en procedures die gebruikt worden voor het examineren van de com-

uitvoeren. Twee begrippen worden

tijkobservatie van het werkgedrag

In een examenplan wordt een totaal-overzicht gegeven van de instrumen-

hierbij steeds genoemd: deskundigheid en onafhankelijkheid (Standaar-

context aangegeven ‘waar’ de beoordeling plaats vindt. In de literatuur

wordt het examenplan ook wel ‘toetskader’ (Hendriks en Schoonman, 2006), examenprofiel (Colo, platform Examinering, 2007) of competentie

14

instrumenten wordt ook wel aange-

• trainen van beoordelaars De kwaliteit van examineren

petenties bij kerntaken en werkprocessen. Hierbij wordt ook meestal de

De duidelijkheid over procedures en duid met het begrip ‘transparantie’.

Het bestuur van Kenniscentrum Handel biedt de dossiers voor definitieve vaststelling aan aan de minister.

genomen wordt.

assessment programma (Wools, Sanders en Roelofs, 2007) genoemd.

Examenplannen beschrijven het ‘hoe’ en ‘waar’ van wat er geëxamineerd

moet worden

den, KCE, 2006).

Met deskundigheid worden twee

soorten deskundigheid bedoeld: vakinhoudelijke deskundigheid en beoor-

delingstechnische deskundigheid.

15


1

• •

Vakinhoudelijke deskundigheid betekent dat de beoordelaar voldoende kennis heeft van en ervaring heeft met competenties, kerntaken en

werkprocessen.

Beoordelingstechnische deskundigheid betekent dat de beoordelaar

goed kan observeren; zich bewust is van de valkuilen bij observeren

en op een goede manier met een praktijkobservatie instrument kan

omgaan en een correcte beslissing kan nemen.

Onafhankelijkheid van de beoordelaar wil zeggen dat de beoordelaar zich

kan opstellen als objectief beoordelaar, waarbij hij andere rollen die hij

mogelijk vervult (opleider of begeleider) in de beoordelingssituatie kan

scheiden van zijn beoordelende rol.

Hendriks en Schoonman komen op basis van literatuur tot de volgende vijf competenties die een beoordelaar/assessor moet bezitten:

• • • • •

Communicatief vaardig Zakelijke houding

Ervaring in het competentiedomein Objectieve waarnemer Eigen oordeelsvoming

• uitvoering van praktijkexamens en uitvoering van de normering van de

prestaties

Definitieve instrumenten en procedures kunnen in de praktijk gebruikt

gaan worden. Het is van belang gegevens te verzamelen over de afgeno-

men examens, inclusief evaluaties van deelnemers/kandidaten en beoordelaars, omdat daarmee de laatste stap in het proces mogelijk gemaakt

kan worden.

•

evaluatie van de procedure en de uitvoering

Het is belangrijk op regelmatige basis de gegevens over het gebruik van instrumenten en procedures tegen het licht te houden. Zo kan geborgd

worden dat de verschillende elementen bij het gebruiken en uitvoeren van

examinering in de praktijk van voldoende kwaliteit zijn en blijven. Eventueel worden aan de hand van de evaluatiegegevens verbeteringen aan-

Uit de literatuur blijkt dat getrainde assessoren het ‘beter’ doen dan onge-

trainde assessoren.

•

gebracht. In dit geval zal een aantal stappen zoals hierboven beschreven, opnieuw doorlopen moeten worden.

uitproberen/pilot testing van instrumenten en procedures

Daar waar mogelijk is het aan te raden ontworpen instrumenten en pro-

cedures uit te proberen in een werkelijke examensituatie. In het geval van

gedragsproeven/functioneren in de beroepscontext, betekent dit het in de

16

beroepscontext uitvoeren en evalueren van praktijkexamens.

Naast informatie over de inhoudelijke juistheid van het instrument is veel

informatie te verzamelen over de procedures en over hanteerbaarheid en bruikbaarheid van instrumenten.

17


In het middelbaar beroepsonderwijs wordt het competentiegericht beroepsonderwijs met ingang van september 2010 ingevoerd. Volgens de door het Procesmanagement Kwalificatiestructuur in 2006 opgestelde publicatie ‘Kwalificaties voor competentiegericht onderwijs’ wordt hiermee de intentie weergegeven om in het beroepsonderwijs gericht te werken aan het ontwikkelen van vermogens van mensen die hen in staat stellen om als beroepsbeoefenaar in een bewegelijke arbeidsmarkt en in een continu veranderende maatschappelijke omgeving te functioneren. Het competentiegericht beroepsonderwijs heeft tot doel deelnemers op te lei-

den tot werknemers die naar tevredenheid van hun werkgevers in de beroeps-

praktijk functioneren, die zelf voldoening hebben in het uitoefenen van hun vak en die het perspectief hebben om een ‘leven lang door te leren en zich te

ontwikkelen’. Vandaar dat men de beroepspraktijk ook als uitgangspunt voor

het competentiegericht beroepsonderwijs genomen heeft. De competenties

die een beginnend beroepsbeoefenaar voor een bepaald beroep moet bezit-

ten, staan beschreven in zogenoemde kwalificatiedossiers die de Kenniscen-

tra Beroepsonderwijs Bedrijfsleven in samenwerking met vertegenwoordigers

van het bedrijfsleven (werkgevers en werknemers) en het onderwijs (in de

Paritaire Commissie Beroepsonderwijs Bedrijfsleven) voor de onderwijsinstel-

lingen opgesteld hebben. Een deelnemer krijgt een diploma als hij/zij in voor de beroepspraktijk kenmerkende beroepssituaties laat zien over deze com-

petenties te beschikken. Om te kunnen bepalen of een deelnemer over deze

competenties beschikt, vindt als dat enigszins mogelijk is beoordeling in de

2

beroepspraktijk of in met de beroepspraktijk vergelijkbare situaties plaats.

In dit hoofdstuk wordt eerst een definitie van authentiek toetsen gepresen-

teerd en daarna aangegeven waarom het belangrijk is om authentiek te toet-

sen. Vervolgens worden de kenmerken besproken die toetsen meer of minder authentiek maken. Daarna wordt ingegaan op de ontwikkeling van authen-

tieke toetsen. Ten slotte wordt het hoofdstuk besloten met enige conclusies.

Authentiek toetsen in het middelbaar beroepsonderwijs

Voor zover dat mogelijk en zinvol is worden onderwerpen toegelicht aan de hand van het kwalificatiedossier ‘Verkoper’ en de competentiegerichte prak-

tijkobservatie en evaluatie van kerntaak 2 ‘Verkoopt en verleent service’.

2.1 Wat is authentiek toetsen? Gegeven het kader van het competentiegericht middelbaar beroepsonderwijs is authentiek toetsen:

Authentiek toetsen is een vorm van toetsen waarbij deelnemers moeten demonstreren over de competenties te beschikken die van beginnende beroepsbeoefenaren in de beroepspraktijk verlangd worden.

18

19


2

Twee belangrijke begrippen uit deze definitie, beroepspraktijk en competen-

ties, worden aan de hand van het kwalificatiedossier van ‘Verkoper’ hieronder

toegelicht.

Beroepspraktijk Verkoper

heeft een klantgerichte houding, is sociaal vaardig, is flexibel, heeft een com-

merciële en professionele instelling en is servicegevoelig. De verkoper laat een

stimulerende en motiverende houding zien in de omgang met klanten, collega’s en leidinggevenden.

Wat de beroepspraktijk voor een ‘Verkoper’ is, kan men vinden in deel A van

Competenties Verkoper detailhandel

gegeven. Volgens de omschrijving is de ‘Verkoper’ werkzaam in het midden- en

kerntaak is een substantieel deel van de beroepsuitoefening en bestaat uit

het kwalificatiedossier. In deel A wordt een omschrijving van de beroepsgroep

kleinbedrijf en het grootwinkelbedrijf in zowel de food- als de non-food sec-

tor. Bij de uitoefening van zijn beroep staat het contact met de klant voorop,

zowel bij het voeren van het verkoopgesprek als bij de financiële afhandeling.

Daarnaast behoort de presentatie van artikelen tot zijn takenpakket evenals het in ontvangst nemen en opslaan van goederen. De verkoper heeft een uit-

voerende rol en past standaardprocedures toe. De verkoper werkt veelal in

teamverband en is verantwoordelijk voor zijn eigen takenpakket. De verkoper

In deel B worden de kerntaken met bijbehorende werkprocessen gegeven. Een

een geheel van inhoudelijk met elkaar samenhangende werkprocessen. Een

werkproces is een afgebakend geheel van beroepshandelingen met een begin, eind en een resultaat.

In Tabel 1 staan van ‘Verkoper detailhandel’ de drie kerntaken met bijbehorende werkprocessen uit het kwalificatiedossier 2007 vermeld.

Tabel 1: Kerntaken en bijbehorende werkprocessen van ‘Verkoper detailhandel’.

Kerntaak

Werkproces

1. Ontvangt en verwerkt goederen

1.1 Ontvangt goederen

goederen

1.2 Slaat goederen op

1.3 Vult vaste artikelpresentatie aan

1.4 Bouwt tijdelijke presentaties op 1.6 Verzorgt de winkel en/of de opslagruimte

2. Verkoopt en verleent service

2.1 Ontvangt en benadert klanten 2.2 Voert verkoopgesprek

2.4 Levert branchespecifiek maatwerk

2.5 Plaatst een bestelling voor de klant

2.7 Neemt klachten aan

2.8 Neemt deel aan werkoverleg 3. Handelt verkooptransacties af

3.1 Maakt afrekenpunt en

–systeem gebruiksklaar

3.2 Informeert de klant over de verkoopafhandeling

3.3 Hanteert het afrekensysteem 3.4 Sluit het afrekensysteem af.

In de zogenoemde (werk)proces-competentie matrices wordt aangegeven welke van de 25 onderscheiden competenties aangewend worden bij de uit-

voering van de 6 werkprocessen van de kerntaken van ‘Verkoper detailhandel’.

20

Tabel 2 bevat de proces-competentie-matrix van ‘Verkoper detailhandel’ .

21


2

Tabel 2: Proces-competentie-matrix van ‘Verkoper detailhandel’. Kerntaak 2

Verkoopt en verleent service

(dossier april 2007, p. 54)

Competenties A

B

C

D

E

F

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

U

V

W

X

Y

Beslissen en activiteiten initiëren

Aansturen

Begeleiden

Aandacht en begrip tonen

Samenwerken en overleggen

Ethisch en integer handelen

Relaties bouwen en netwerken

Overtuigen en beïnvloeden

Presenteren

Formuleren en rapporteren

Vakdeskundigheid toepassen

Materialen en middelen inzetten

Analyseren

Onderzoeken

Creëren en innoveren

Leren

Plannen en organiseren

Op de behoeften en verwachtingen van de ‘klant’ richten

Kwaliteit leveren

Instructies en procedures opvolgen

Omgaan met verandering en aanpassen

Met druk en tegenslag omgaan

Gedrevenheid en ambitie tonen

Ondernemend en commercieel handelen

Bedrijfsmatig handelen

Werkprocessen 2.1

Ontvangt en

X

2.2

Voert verkoopgesprek

2.4

Levert branche

2.5

Plaatst een bestelling

2.7

Neemt klachten aan

X

2.8

Neemt deel aan

X

benadert klanten X

specifiek maatwerk

X

X

X

X X

voor de klant

werkoverleg

X X

X X

X X

X

In Tabel 2 kunnen we aflezen dat bij kerntaak 2 ‘Verkoopt en verleent service’,

onderwijs alsook de ontwikkeling van examens. Vergeleken met deel B worden

werkprocessen. Zo zien we dat de competentie ‘Overtuigen en beïnvloeden’

Tabel 3 bevat een uitwerking van werkproces 2.1, Ontvangt en benadert klan-

tien verschillende competenties aangewend worden bij zes verschillende slechts aangewend wordt bij één werkproces: 2.2 Voert verkoopgesprek. Bij de

competentie ‘Op de behoeften en verwachtingen van de ‘klant’ richten’ zien we daarentegen dat die bij vier werkprocessen aangewend wordt.

In deel C van het kwalificatiedossier wordt de informatie uit deel B voor elke

in deel C de werkprocessen en bijbehorende competenties verder uitgewerkt.

ten van kerntaak 2 ‘Verkoopt en verleent service’. De uitwerking betreft een omschrijving van het gewenste gedrag van de verkoper, het gewenste resul-

taat van dat gedrag, de competentie(s) om dat resultaat te bereiken en de

daarbij benodigde vakkennis en vaardigheden.

uitstroom zodanig gespecificeerd dat die informatie volgens het beroepson-

22

derwijs en het bedrijfsleven een goede basis biedt voor de inrichting van het

23


2

Tabel 3: Detaillering proces-competentie-matrices ‘Verkoper detailhandel’

(dossier april 2007, p. 55)

Kerntaak 2 Verkoopt en verleent service 2.1 werkproces Ontvangt en benadert klanten Omschrijving:

Gewenst resultaat:

bepaalt het inspringmoment om hen te benaderen.

ring van de verkoper detailhandel.

De verkoper detailhandel ontvangt klanten in de winkel, observeert hen en

Klanten voelen zich welkom en gerespecteerd door de wijze van ontvangst en benadeDoor ontvangst en observatie wordt het risico op (criminele) derving geminimaliseerd.

Competentie

Component(en)

Prestatie-Indicator

Vakkennis en vaardigheden

I

• Op de toehoorder(s)/ toeschouwer(s) inspelen

De verkoper detailhandel:

• Detailhandelsmarketing

Presenteren

• Enthousiasme uitstralen

• Stemt de wijze van ontvangen en benaderen

op de klant af en stelt zich servicegericht, dienstbaar, actief en enthousiast op, zodat de klant weet dat de verkoper detailhandel klaarstaat voor de klant.

R

Op de behoeften en

• Aansluiten bij behoeften en verwachtingen

verwachtingen van de ‘klant’ richten

De verkoper detailhandel:

• Bepaalt op basis van observatie op welke manier en op welk moment hij de klant gaat benaderen om het verkoopgesprek aan te vangen, zodat de klant tijdig wordt aangesproken en (criminele) derving voorkomen kan worden.

2.2 Hoe belangrijk is authentiek toetsen? Er zijn tenminste drie redenen die er voor pleiten om in het middelbaar beroepsonderwijs bij de beoordeling van deelnemers gebruik te maken van

authentiek toetsen.

De eerste reden is dat het doel van elk ‘meetinstrument’ moet zijn om datgene te meten wat we met dat ‘meetinstrument’ willen meten. Indien we dan

ook willen weten of een deelnemer een verkoopgesprek kan voeren, zal een

praktijkexamen een betere beoordeling van dit werkproces en bijbehorende competenties opleveren dan een schriftelijk examen met vragen over dit werk-

proces en de competenties.

De tweede reden is dat onderzoek heeft laten zien dat de manier waarop deel-

nemers beoordeeld worden invloed heeft op hoe en wat deelnemers leren. Als het beoordelen met authentieke examens of toetsen er inderdaad toe leidt dat

dat nagaat of de instrumenten van examinering alle kerntaken dekken, wordt beoordeeld of de kerntaken gedekt worden en op de juiste manier, natuurgetrouw en realistisch, getoetst worden in de instrumenten van examinering.

2.3 Wat zijn kenmerken van authentiek toetsen? Waar moet je rekening mee houden als je een authentieke toets wilt ontwik-

kelen of als je de authenticiteit van een toets wilt beoordelen? Gulikers (2005,

2007) heeft vijf kenmerken of dimensies onderzocht en benoemd die een toets meer of minder authentiek maken of meer of minder op de beroepspraktijk

doen lijken. Zij heeft ook onderzoek gedaan bij drie groepen mbo-deelne-

mers naar wat die deelnemers een authentieke toets vinden en wanneer een authentieke toets een positief effect heeft op hun leren. De drie groepen deel-

nemers waren:

deelnemers meer gemotiveerd zijn om de competenties te verwerven die ze

•

authentieke toetsen te ontwikkelen en af te nemen.

•

De derde reden is dat authenticiteit of natuurgetrouwheid onderdeel is van

•

in de beroepspraktijk nodig hebben, dan is het de taak van het onderwijs die

24

rium voldoet inhoudelijk aan de uitstroomeisen. Als bewijslast voor ijkpunt 3

twee zogenoemde ijkpunten bij KCE Standaard 4: Het exameninstrumenta-

eerstejaars met weinig praktijkervaring en geen ervaring met beoordelen op de werkplek;

eerstejaars met weinig praktijkervaring maar wel ervaring met beoordelen

op de werkplek;

vierdejaars met veel werkervaring en ervaring met beoordelen op de werk-

plek.

25


2

Een beschrijving van de kenmerken en de uitkomsten van het onderzoek naar

onderscheiden competenties beoordeeld worden. Deelnemers met meer erva-

Kenmerk 1. Taak

ten opdrachten nodig zijn. Praktijkopdrachten zouden deelnemers dan ook

voor de deelnemer betekenisvol en relevant zijn als de opdrachten zoveel

voorbeeld ook op de keuzes die voor een bepaalde uitvoering van de opdracht

de vijf kenmerken van authenticiteit volgt hieronder.

De praktijkopdrachten die de deelnemer geacht wordt uit te voeren, zullen

mogelijk identiek zijn aan opdrachten die in de praktijk uitgevoerd worden. Voor het uitvoeren van die opdrachten zal de

deelnemer gebruik moeten maken van de competenties die tijdens de opleiding verworven

zijn. In het onderzoek bij de drie groepen mbo-

deelnemers werd geconstateerd dat alle drie

startende beroepsbeoefenaar verschillende opdrachten en verschillende soor-

niet alleen moeten beoordelen op de uitvoering van een opdracht maar bijgemaakt zijn. Daarnaast geven deelnemers met meer ervaring ook aan dat

praktijkopdrachten die door de opleiding ontwikkeld zijn vaak nogal gericht

zijn op de technische uitvoering van de opdracht, terwijl in de beroepspraktijk veel waarde gehecht wordt aan competenties zoals plannen en samenwerken

bij de uitvoering van een opdracht. Voor de beoordeling van deze competen-

ties pleiten deze deelnemers er dan ook voor om de praktijkopleider (mede)

de groepen de opdrachten als het belangrijkste

te laten beoordelen omdat die meer gelegenheid heeft gehad om bedoelde

den. Dit onderzoeksresultaat bevestigt nog

minder affiniteit met het gebruik van verschillende soorten opdrachten en het

nemers meteen na aanvang van hun opleiding

beoordeling van hun competenties.

waarmee ze in hun latere beroepspraktijk te

Kenmerk 5. Criteria

Kenmerk 2. Fysieke omgeving

voor dit kenmerk geldt dat de criteria gebaseerd moeten zijn op de criteria die

kenmerk van authentiek toetsen beschouw-

eens dat het bijzonder belangrijk is om deelzoveel mogelijk opdrachten uit te laten voeren maken krijgen.

competenties te beoordelen. Deelnemers met weinig praktijkervaring hebben

betrekken van de beroepspraktijk, in de vorm van de praktijkopleider, bij de

Met dit kenmerk wordt bedoeld welke aspecten van de uitvoering van een opdracht beoordeeld worden en hoe deze aspecten beoordeeld worden. Ook

Met dit kenmerk wordt de omgeving bedoeld

in de beroepspraktijk gebruikt worden. Met betrekking tot dit kenmerk werden

moet uitvoeren. Indien dat mogelijk is ver-

had het gebruik van verschillende concrete beoordelingscriteria een positief

waarin de deelnemer de praktijkopdrachten

dient de beroepspraktijk de voorkeur of anders

een omgeving die zoveel mogelijk gelijk is aan

de beroepspraktijk. Over de fysieke context hadden de deelnemers uit het

onderzoek nogal verschillende meningen. Deelnemers met weinig praktijkervaring vonden het van minder belang om beoordeeld te worden in de echte

beroepspraktijk dan deelnemers die wel ervaring hadden met beoordelen in de beroepspraktijk.

Kenmerk 3. Sociale context

Dit kenmerk verwijst naar de sociale processen die tijdens de uitvoering van de

in het onderzoek grote verschillen tussen mbo-deelnemers geconstateerd. Zo

effect op het leergedrag en de competentieontwikkeling van eerstejaars maar een negatief effect op het leergedrag en de competentieontwikkeling van

vierdejaars die de voorkeur geven aan meer holistische beoordelingscriteria.

2.4 Hoe ontwikkel je authentieke toetsen? We hebben hiervoor geconstateerd dat in het middelbaar beroepsonderwijs

de beroepspraktijk het uitgangspunt is voor authentiek toetsen. Dit uitgangspunt kan het beste gerealiseerd worden door deelnemers, indien dat maar

praktijkopdrachten een mogelijke rol zouden kunnen spelen. Hierbij moeten

enigszins mogelijk is, praktijkopdrachten uit de beroepspraktijk in de beroeps-

nemers bij de uitvoering van opdrachten. Uit het onderzoek blijkt dat sociale

niet hetzelfde is voor docenten en deelnemers die meer of minder praktijker-

spelen bij (authentiek) toetsen of examineren. De uitvoering van de opdrach-

opleiding, docenten en deelnemers, bij de ontwikkeling van praktijkopdrach-

we bijvoorbeeld denken aan samenwerken en overleggen met andere deel-

processen in de perceptie van alle groepen deelnemers een ondergeschikte rol

praktijk te laten uitvoeren. We hebben ook geconstateerd dat authenticiteit

varing hebben. Dit pleit er dan ook voor om zowel de beroepspraktijk als de

ten wordt door deelnemers en docenten (nog steeds) gezien als een individu-

ten te betrekken.

samenwerken en overleggen met collega’s uitgevoerd kunnen worden.

Voor de ontwikkeling van authentieke toetsen geeft deel C van het kwalifica-

Kenmerk 4. Vorm

een goede basis biedt voor de inrichting van het onderwijs alsook de ontwik-

ele aangelegenheid ondanks dat veel opdrachten in de praktijk niet zonder

26

ring zijn terecht van mening dat voor het beoordelen van hun geschiktheid als

Dit kenmerk heeft betrekking op de soorten praktijkopdrachten waarmee de

tiedossier de informatie die volgens het beroepsonderwijs en het bedrijfsleven

keling van examens. Vergeleken met deel B worden in deel C de werkproces-

27


2

voldaan wordt aan het tweede ken-

sen en bijbehorende competenties verder uitgewerkt. Zo wordt van werk-

merk dat betrekking heeft op de

proces 2.1, Ontvangt en benadert klanten, een omschrijving gegeven van het

gewenste gedrag van de verkoper, het gewenste resultaat van dat gedrag, de

competentie(s) om dat resultaat te bereiken en de daarbij benodigde vakkennis en vaardigheden.

•

komt aan de orde bij de opdracht waar het werkproces, Neemt deel

Een voorbeeld van een toets die op basis van de informatie uit deel C ontwik-

aan werkoverleg, beoordeeld wordt.

Verkoper detailhandel uit het Examen Service Systeem van Kenniscentrum

proces aangewend wordt, betreft

keld is, is de zogenoemde competentiegerichte praktijkobservatie en evaluatie

Handel voor kerntaak 2: Verkoopt en verleent service. Dit praktijkexamen heeft de volgende kenmerken:

•

Het praktijkexamen bestaat uit drie opdrachten, zogenoemde observatie-

De competentie die bij dit werk-

•

•

moet toelichten. Het is ook van

die zich in de dagelijkse beroepspraktijk voordoen.

belang te beseffen dat de praktijk-

In de observatiechecklist behorende bij observatie-eenheid 1, Verkoopge-

opdrachten voor kerntaak 2 onder-

sprek, worden de werkprocessen 2.1, 2.2 en 2.4 (zie Tabel 2) beoordeeld.

deel zijn van een examenplan dat

behalve uit vergelijkbare praktijkop-

twee competenties, Presenteren en Op de behoeften en verwachtingen

drachten voor kerntaak 1 en kerntaak 3, een aantal theorietoetsen en een

van de ‘klant’ richten (zie Tabel 3) veronderstelt, worden beoordelingscrite-

presentatie omvat die door de opleiding afgenomen worden, en toetsen

ria vermeld die betrekking op gedrag dat de deelnemer zou kunnen/moe-

voor Nederlandse taalvaardigheid en moderne vreemde talen betreft die

ten laten zien. Voor de competentie Presenteren worden drie criteria en voor de andere competentie zelfs zeven criteria gegeven.

Niet alleen de uitvoering van de opdrachten wordt beoordeeld maar tij-

dens een evaluatiegesprek dient de deelnemer het vertoonde gedrag aan de praktijkopleider, en indien dat mogelijk is ook de praktijkbegeleider, ook toe te lichten.

•

Afname en beoordeling van het praktijkexamen zijn transparant voor de

•

Bij de beoordeling van de competenties worden beoordelingscriteria ver-

praktijkopleider, praktijkbegeleider en de deelnemer.

meld. Als alle beoordelingscriteria apart beoordeeld of gescoord worden

(onvoldoende, voldoende, ruim voldoende of zeer goed), dan is er sprake

van analytische beoordeling. Indien men die beoordelingscriteria meer als

competenties worden beoordeeld zoals hiervoor aangegeven is.

Op basis van het voorgaande kunnen we concluderen dat de competentiege-

richte observatie en evaluatie van kerntaak 2 in hoge mate authentiek is voor

de beroepspraktijk van Verkoper detailhandel.

2.5 Conclusies

den waarbij aan de beoordelaar van de deelnemer veel verantwoordelijk-

rijkste conclusies die het onderzoek naar authentiek toetsen heeft opgeleverd,

Voor de verschillende observatie-eenheden zijn scoringsregels en zak-slaag

van authentiek toetsen betrokken moeten worden.

heid gegeven wordt.

beslissingen opgesteld.

We kunnen de authenticiteit van dit praktijkexamen beoordelen aan de hand

•

door de opleiding en/of in de beroepspraktijk afgenomen worden.

De (beoordelings)criteria, het vijfde kenmerk, worden niet gescoord en de

In het competentiegericht onderwijs wordt om verschillende redenen terecht

van de hiervoor genoemde vijf kenmerken.

•

•

mogelijke (en niet als een uitputtende verzameling) indicatoren zou opvat-

ten, dan zou dat als een meer holistische beoordeling opgevat kunnen wor-

•

Met betrekking tot het vierde ken-

merk werd hiervoor al opgemerkt

gedrag in een evaluatiegesprek

Van werkproces 2.1, Ontvangt en benadert klanten, die de aanwending van

•

Samenwerken en overleggen.

dat de deelnemer het vertoonde

eenheden, die door de praktijkopleider afgenomen worden. De opdrachten

beschrijven het gedrag dat van de deelnemer verwacht wordt bij situaties

28

fysieke omgeving.

Het derde kenmerk, sociale context,

Het feit dat de opdrachten aan de beroepspraktijk ontleend zijn en dat het

een groot belang gehecht aan de authenticiteit van toetsen. Eén van de belang-

is dat zowel de beroepspraktijk, docenten als deelnemers bij de ontwikkeling

De vijf kenmerken van authenticiteit die onderscheiden kunnen worden, bieden ontwikkelaars een kader om meer authentieke toetsen te ontwikkelen en

beoordelaars de mogelijkheid om de authenticiteit van toetsen te beoordelen.

examen in de beroepspraktijk afgenomen wordt, betekent dat dit examen

Hoewel authenticiteit een belangrijk kwaliteitsaspect is van een toets of een

De drie opdrachten worden in de beroepspraktijk afgenomen zodat ook

van toetsen komen op andere plaatsen in deze brochure aan de orde.

voldoet aan het eerste kenmerk.

examenplan, is het niet het enige kwaliteitsaspect. Andere kwaliteitsaspecten

29


De kwalificatiedossiers geven beschrijvingen van kwalificaties voor beroepen in de handel. Nu is er een grote variëteit in bedrijven in deze sector; van één of twee mans bedrijven tot bedrijven met honderden werknemers, van supermarkten tot speciaalzaken en van prijsvechters tot service organisaties. De bedrijfssituaties waarin werknemers functioneren verschillen op een aan-

tal dimensies:

• •

Omvang en daarmee de tijdsduur van kerntaken en werkprocessen

•

Mate van zelfstandigheid

Complexiteit/diepgang van de beroepssituatie en daarmee het beroep dat er op de competentiebeheersing gedaan wordt

Bij examineren van competenties, werkprocessen en kerntaken krijgen we met dezelfde variatie in bedrijfssituaties te maken. Een verkoopgesprek in een

supermarkt zal veelal korter en eenvoudiger zijn dan een verkoopgesprek in

een speciaalzaak; daarentegen is de ontvangst en het verwerken van goederen

in de supermarkt vaak weer veel omvangrijker en complexer dan in een speciaalzaak. Zo is ook het maken van een personeelsplan voor een bedrijf met 70 werknemers omvangrijker en complexer dan het maken van een personeels-

plan voor een bedrijf met 4 werknemers.

Voorbeelden van verschillen tussen winkels en bedrijven kan iedereen dage-

lijks observeren.

Welke bedrijven en bedrijfssituaties zijn nu geschikt om de examinering van

3 Beoordelingssituaties in de praktijk

kerntaken, werkprocessen en competenties uit te voeren? In principe zijn alle

bedrijven geschikt, mits ze aan een aantal voorwaarden voldoen. Bij het spe-

cificeren van deze voorwaarden kunnen we opnieuw gebruik maken van het model van Gulikers (2007). Het gaat dan om de volgende vragen:

• • • • •

Kan de praktijkopdracht in dit bedrijf uitgevoerd worden?

Is de fysieke omgeving of bedrijfssituatie voldoende ‘echt’ voor het uitvoe-

ren van de praktijkopdracht in dit bedrijf?

Is de sociale context in dit bedrijf zodanig dat bij het uitvoeren van de prak-

tijkopdracht, waar nodig, interactie en samenwerken met collega’s moge-

lijk is?

Is de vorm van het examen, bijvoorbeeld een praktijkopdracht met een

evaluatiegesprek, binnen dit bedrijf te realiseren?

Zijn de beoordelingscriteria voor de beheersing van competenties, kerntaken en werkprocessen binnen dit bedrijf hanteerbaar en realiseerbaar?

Deze vijf vragen laten zich nu omzetten in enkele uitgangspunten voor de

inrichting en/of keuze van beoordelingssituaties in de praktijk:

•

30

De kerntaken en werkprocessen, zoals beschreven in het kwalificatiedossier, en geoperationaliseerd in de praktijkopdracht moeten aanwezig zijn

en uitgevoerd kunnen worden in het bedrijf.

31


3

Als een bepaalde kerntaak in een bedrijf niet uitgevoerd kan worden, dan kan er aan gedacht worden de deelnemer in een ander bedrijf zich deze kerntaak,

•

werkprocessen en competenties eigen te laten maken. Dan kan ook daar het praktijkexamen afgenomen worden.

proces-competentiematrix). Observeerbaar en beoordeelbaar veronder-

stelt drie aspecten:

Organisatorisch vergt dit wel het een en ander van scholen en bedrijven.

•

plekken. Voor BBL-deelnemers met een arbeidscontract bij één bedrijf is dat

•

De competenties en prestatie-indicatoren uit het kwalificatiedossier moe-

deelnemers ervaringen opdoen in verschillende bedrijfscontexten, en daar-

•

De beoordelaar, veelal de praktijkopleider, moet deskundig en getraind zijn

ten toe te passen

Er wordt er vanuit gegaan dat op het niveau van de kerntaak die uit één of

•

gedaan kunnen worden over de beheersing van competenties en daarmee

Voor deelnemers in het BOL-traject kan gedacht worden aan meerdere stage-

lastiger. Toch zijn ook hier creatieve oplossingen mogelijk. Uitwisseling van deelnemers tussen bedrijven kan bijvoorbeeld een oplossing zijn. Behalve dat

mee hun horizon verbreden, leren ze ook de competenties in meerdere contex-

Verschillende factoren kunnen er toe leiden dat uitvoering van kerntaken

of werkprocessen en daarmee het tonen van beheersing van competenties niet mogelijk is. De factoren hebben veelal te maken met financiële of

organisatorische redenen, afbreukrisico’s, veiligheidsaspecten of wetgeving.

De competenties, in de vorm van gedragscriteria, moeten zich voordoen in de praktijk

ten in exameninstrumenten concreet geoperationaliseerd zijn in de vorm van gedragscriteria

in het herkennen van gedragscriteria als deze zich voordoen

meer praktijkopdrachten en een evaluatiegesprek kan bestaan, uitspraken over de beheersing van de kerntaak.

•

Voor het aanleren en examineren van deze werkprocessen moet er dan ook

Sommige werkprocessen doen zich in bepaalde beroepscontexten onregel-

matig of weinig voor, zoals bijvoorbeeld het aannemen en afhandelen van

klachten, of het bestellen van artikelen voor een klant. Een oplossing voor

gezocht worden naar alternatieven, die zo dicht mogelijk aanliggen tegen de

deze werksituatie kan zijn om een afspraak met een deelnemer te maken

werkelijke complete beroepssituatie. Het kwalificatiedossier voor de Onder-

dat hij gedurende een dag of een week verantwoordelijk is voor het uit-

moet hierbij coaching-, functionerings- en beoordelingsgesprekken voeren. In

om in deze periode niet zelf klachten af te handelen, maar deze door te

nemer bevat binnen kerntaak 1 het onderdeel personeelsbeleid. De deelnemer

voeren van dit werkproces. Ook het overige personeel wordt geïnstrueerd

veel bedrijven vertrouwt men het voeren van dit soort gesprekken met ‘zittend’ personeel niet makkelijk toe aan een deelnemer van ongeveer 20 – 21

jaar oud.

verwijzen naar de deelnemer. De deelnemer meldt wanneer er een klacht binnenkomt en hij kan dan ook beoordeeld worden.

In een aantal gevallen kunnen organisatorische afspraken binnen het bedrijf het mogelijk maken een examensituatie te realiseren, waarvan men aanvanke-

Een ondernemer in een weliswaar middelgroot

lijk dacht dat dat onmogelijk was.

bedacht. De vierdejaars deelnemer krijgt de coa-

•

bedrijf heeft hiervoor een creatieve oplossing

ching en begeleiding van een of meer eerstejaars

deelnemers voor zijn/haar rekening. Zodra dat

goed functioneert voert hij ook de functione-

Als alle mogelijkheden voor het examineren in de werkelijke beroepsprak-

tijk onderzocht zijn, en het toch niet mogelijk is een kerntaak in die bedrijfssituatie te examineren, dan zal naar een alternatieve vorm gezocht moeten

worden.

ringsgesprekken en uiteindelijk ook het beoor-

Tot nu toe is in het Examen Service Systeem door deskundigen uit bedrijfsle-

mer begeleidt en beoordeelt de vierdejaars. Als

deling, een simulatie in de vorm van een casus nodig is.

delingsgesprek met de eerstejaars. De onderne-

dit goed verlopen is, betrekt de ondernemer de

vierdejaars ook bij het werven van personeel via vacatures, sollicitatiegesprekken en uiteindelijk

ven en onderwijs bij één kerntaak aangegeven dat er naast een praktijkbeoorDie betreffende kerntaak is kerntaak 1 van het kwalificatiedossier Onderne-

mer: Bepaalt en bewaakt het ondernemersbeleid. Deze kerntaak resulteert in

een ondernemingsplan, dat in de vorm van een panelgesprek besproken en

bij het maken van afspraken. De vierdejaars krijgt

beoordeeld moet worden.

we werknemer er in zijn takenpakket bij. Op deze

maar bijvoorbeeld ook gegevens uit een concurrentie-analyse, ter beschikking

nu ook de coaching en begeleiding van deze nieumanier leert de vierdejaars langzamerhand alle aspecten van het uitvoeren van personeelsbeleid,

en kan hij dit ook door middel van praktijkexa-

32

Uitgangspunt is dat bij het uitvoeren van kerntaken en werkprocessen de

competenties observeerbaar en daarmee beoordeelbaar zijn (zie ook de

mens aantonen.

Nogal wat ondernemers zijn huiverig om werkelijke gegevens over financiën,

te stellen, omdat ze bang zijn dat deze gegevens ‘op straat’ komen te liggen. Voor deze kerntaak is een alternatief in de vorm van een casus beschikbaar

waarin de diverse gegevens beschreven staan.

33


In het competentiegericht middelbaar beroepsonderwijs worden de competenties van deelnemers in de beroepspraktijk of in een met de beroepspraktijk vergelijkbare situatie beoordeeld. Bij de uitvoering van de praktijkopdrachten aan de hand waarvan de deelnemers hun competenties moeten demonstreren, zal de beoordeling van de uitvoering altijd door één of meer beoordelaars moeten plaatsvinden. Dit betekent dat beoordelaars niet alleen een zeer belangrijke taak hebben maar dat ze ook voor die belangrijke taak toegerust moeten zijn. Het aantal publicaties dat over beoordelaars en beoordelen verschenen is, is bijzonder omvangrijk. In dit hoofdstuk is getracht samen te vatten wat over de belangrijkste onderwerpen op dit gebied inmiddels geschreven is. Het onderwerp waarmee het hoofdstuk begint, gaat over de objectieve beoordeling van praktijkopdrachten. Vervolgens wordt ingegaan op wat een beoordelaar moet kunnen, een beoordelaar moet doen, een beoordelaar moet zijn, een beoordelaar niet moet doen en hoe beoordelaars het beoordelen kunnen trainen. Het hoofdstuk eindigt met enige conclusies. 4.1 Objectieve beoordeling van praktijkopdrachten Het behoeft geen betoog dat de beoordeling die een deelnemer voor de uitvoering van een praktijkopdracht ontvangt alleen afhankelijk zou mogen zijn van

de kwaliteit van de uitvoering. Dat betekent dan ook dat het niet zou mogen

uitmaken door wie de uitvoering van de praktijkopdracht beoordeeld wordt.

4

Indien er bij de beoordelingen van praktijkopdrachten geen verschillen bestaan

tussen de oordelen van verschillende beoordelaars is er sprake van zogenoem-

de objectieve beoordeling. Objectieve beoordeling is echter een ideaal dat bij

Beoordelaars en beoordelen in de praktijk 34

35


4

nagenoeg geen enkele beoordelingssituatie gerealiseerd zal worden. Welke

mogelijkheden er zijn om dat ideaal proberen te benaderen komt verderop in dit hoofdstuk aan de orde. Verschillen of overeenkomsten tussen beoordelin-

deelnemers niet uit of ze door beoordelaar 3 of beoordelaar 4 beoordeeld worden omdat beoordelaar 3 en beoordelaar 4 even mild of streng zijn.

gen van beoordelaars kunnen we kwantificeren en een maat die daar vaak ten

Voorbeeld 1 en voorbeeld 2 zijn extreme voorbeelden die in de praktijk nooit

Hier wordt gepleit voor het gebruik van de beoordelaarsovereenstemming als

baarheid en beoordelaarsovereenstemming een duidelijk verschil bestaat. Dat

onrechte nog steeds voor gebruikt wordt, is de beoordelaarsbetrouwbaarheid.

maat voor het kwantificeren van verschillen of overeenkomsten tussen beoor-

delingen. Aan de hand van de twee voorbeelden in Tabel 1 wordt het verschil tussen betrouwbaarheid en overeenstemming toegelicht.

van de uitvoering van een praktijkopdracht door vijf deelnemers

1

verschillende maten zijn, kan in voorkomende gevallen ook grote consequen-

3

beoordelaar beoordeeld worden.

nemers?

Beoordelaar 2

dan de beoordelaarsbetrouwbaarheid. Het ten onrechte niet beseffen dat het

Wat betekent het voorgaande voor de praktijk van het beoordelen van deel-

Voorbeeld 2

Beoordelaar

verschil impliceert dat de beoordelaarsovereenstemming nooit hoger zal zijn

ties hebben voor bijvoorbeeld deelnemers die daardoor door een strengere

Tabel 1: Twee voorbeelden van beoordelingen door twee beoordelaars Voorbeeld 1

zullen voorkomen. Ze laten echter wel zien dat er tussen beoordelaarsbetrouw-

4

Deelnemer 1

1

3

1

1

2

2

4

2

2

3

3

5

3

3

4

4

6

4

4

5

5

7

5

5

Gemiddelde beoordeling

3

5

3

3

In voorbeeld 1 zien we dat beoordelaar 1 en beoordelaar 2 iedere deelnemer ver-

schillend beoordelen. We zien echter ook dat er sprake is van een systematisch verschil in de beoordelingen van beoordelaar 1 en beoordelaar 2. Beoordelaar 2

•

In de eerste plaats dat wanneer in het kader van de beoordeling van een praktijkopdracht melding gemaakt wordt van een hoge beoordelaarsbe-

trouwbaarheid, men dient te beseffen dat het zeer goed mogelijk is dat

verschillen tussen beoordelaars

wel eens veel groter kunnen zijn dan met een hoge beoordelaars-

betrouwbaarheid gesuggereerd

wordt. Indien daartoe de moge-

lijkheid bestaat, zou dan ook

nagegaan of nagevraagd moe-

ten worden hoe hoog de beoordelaarsovereenstemming bij de betreffende praktijkopdracht is.

geeft elke deelnemer 2 scorepunten meer dan beoordelaar 1. Hoewel de abso-

lute beoordelingen van beoordelaar 1 en beoordelaar 2 dus verschillen, zijn hun

relatieve beoordelingen echter identiek. Beiden zijn van mening dat deelnemer

5 de beste deelnemer, deelnemer 4 de op een na beste deelnemer en deelnemer 1 de slechtste deelnemer is. In voorbeeld 1 is sprake van een perfecte beoorde-

laarsbetrouwbaarheid vanwege het feit dat de relatieve beoordelingen van de individuele deelnemers identiek zijn en relatieve overeenstemming is het waar

het bij beoordelaarsbetrouwbaarheid om gaat. We zien echter dat in geval

van een perfecte beoordelaarsbetrouwbaarheid het voor de deelnemers wel

degelijk uitmaakt door wie ze beoordeeld worden. Beoordeling door beoorde-

laar 2 heeft duidelijk de voorkeur omdat beoordelaar 2, gegeven zijn gemid-

delde beoordeling, een mildere beoordelaar is dan beoordelaar 1. In voorbeeld 2 geven beoordelaar 3 en beoordelaar 4 identieke oordelen aan de individuele

deelnemers. Er is hier sprake van perfecte beoordelaarsovereenstemming van-

wege het feit dat de beoordelingen van de deelnemers identiek zijn en identieke overeenstemming is het waar het bij beoordelaarsovereenstemming om

36

gaat. In geval van perfecte beoordelaarsovereenstemming maakt het voor de

‘We zien echter dat in geval van een perfecte beoordelaarsbetrouwbaarheid het voor de deelnemers wel degelijk uitmaakt door wie ze beoordeeld worden’

37


4

4.2 Wat moet een beoordelaar doen? De afgelopen jaren zijn er vele zogenoemde competentieprofielen van beoor-

delaars, assessoren of examinatoren opgesteld. In het kader van het Actieplan

Verbetering Examinering heeft een werkgroep een herordening aangebracht in de bestaande competentieprofielen en een nieuw competentieprofiel volgens de opzet van de kwalificatiedossiers (Competentieprofiel Assessor, 2007)

opgesteld. Onderstaande informatie over competentieprofielen van beoorde-

laars is grotendeels uit dit document ontleend.

Ongeacht de toetsvorm die gebruikt wordt, zij het een portfolio, een proeve van bekwaam-

heid of een criteriumgericht interview, mag van een beoordelaar verwacht worden dat deze:

•

In de tweede plaats dat ook het aantal beoordelaars van belang is om een

goed beeld te krijgen van de hoogte van de beoordelaarsovereenstem-

ming. De beoordelaarsovereenstemming van beoordelingen die gebaseerd zijn op de gemiddelde beoordeling van vijf beoordelaars zal namelijk veel

hoger zijn dan van beoordelingen die uitgaan van de gemiddelde beoorde-

ling van twee beoordelaars. Bij de beoordeling van praktijkopdrachten in

de beroepspraktijk zullen echter in de meeste gevallen niet meer dan twee

beoordelaars de uitvoering van de praktijkopdrachten beoordelen. Het rap-

porteren van een beoordelaarsovereenstemming die gebaseerd is op de gemiddelde beoordeling van meer dan twee beoordelaars, zal in dat geval

een te rooskleurig beeld geven van wat in de praktijk realiseerbaar is.

•

Ten slotte dient hier ook nog eens benadrukt te worden dat een hoge

de beoordeling kan uitvoeren volgens de

•

op basis van de uitvoering van de werkpro-

• • •

regels die daarvoor vastgesteld zijn;

cessen de onderliggende competenties kan beoordelen;

het resultaat van de beoordeling op een

begrijpelijke wijze aan de deelnemer kan

uitleggen;

het beoordelingsproces en de beoordeling

kan evalueren met het doel deze te verbeteren;

in voorkomende gevallen de logistieke organisatie en coördinatie voorafgaande aan de toetsafname op zich kan nemen.

4.3 Wat moet een beoordelaar kunnen?

beoordelaars-overeenstemming een belangrijke factor is om de compe-

Een beoordelaar dient een aantal kerntaken met bijbehorende werkproces-

te kunnen beoordelen, maar dat het niet de belangrijkste factor is. Die

beoordelingssituaties waarin de beoordelaar zal moet kunnen opereren. Van

tenties van een beginnende beroepsbeoefenaar op een overtuigende wijze

belangrijkste factor betreft namelijk het aantal praktijkopdrachten die we

een deelnemer laten uitvoeren. Het is eenvoudig in te zien dat we de competenties van een deelnemer beter kunnen bepalen op basis van een aan-

tal praktijkopdrachten dan op basis van één opdracht. Het is ook eenvoudig

in te zien dat verschillen tussen beoordelaars een grotere invloed zullen

hebben op de beoordeling van de deelnemer in het geval van één opdracht

dan in het geval van een aantal verschillende opdrachten. Examenplannen

die uitgaan van een variëteit van opdrachten, zijn daarom beter dan exa-

menplannen die uitgaan van beperkte metingen.

38

•

sen te kunnen uitvoeren. Aard en aantal kerntaken zal afhankelijk zijn van de

een beoordelaar in het groene onderwijs wordt bijvoorbeeld verwacht dat deze de volgende kerntaken kan uitvoeren:

1. Het afnemen van een performance-assessment; 2. Het afnemen van een portfolio-assesment;

3. Het afnemen van een beoordelingsinterview. Deze drie kerntaken zullen naar verwachting veel overlap vertonen met kern-

taken die voor beoordelaars van andere onderwijssectoren, zoals de sector

handel, gelden. Onderstaande tekst die betrekking heeft op kerntaak 1 met bijbehorende werkprocessen is nagenoeg letterlijk en volledig overgenomen

uit Competentieprofiel Assessor 2007.

39


4

Kerntaak 1: Het afnemen van een performance-assessment.

Bij het afnemen van een performance-assessment beoordeelt de beoordelaar

de competenties van de deelnemer in een praktische situatie, bijvoorbeeld aan

•

de hand van een proeve van bekwaamheid.

•

en de deelnemers. Daarvoor dient een beoordelaar dan ook verschillende

viewtechniek is die waarbij gebruik gemaakt wordt van het STARR-model.

De beoordelaar ziet er op toe dat er sprake is van een gestandaardiseerde,

beschrijven grondig door te nemen.

•

De beoordelaar bereidt zich voor door een grondige inleving in het vereiste

•

De beoordelaar informeert de deelnemer over de procedure en eventuele

vaktechnische niveau en de beroepssituaties waarvoor het te observeren praktijkgedrag kenmerkend is.

gedragsregels tijdens de toetsafname.

Voor een toelichting van het STARR-model zie hoofdstuk 5 blz. 64.

•

Zakelijke houding

•

Ervaring in het competentiedomein

Werkproces ‘Observeren’

• •

De beoordelaar observeert, onafhankelijk van een tweede beoorde-

laar, gedrag en resultaten (producten, processen) tijdens de proeve van bekwaamheid.

De beoordelaar maakt aantekeningen op een daartoe geschikt observatie-

•

De beoordelaar interpreteert en evalueert activiteiten (proces en product)

die verband houden met de onderliggende competenties.

Werkproces ‘Beoordelen’

• •

te stellen.

De vakinhoudelijke competentie van een beoordelaar dient van een excel-

lent niveau te zijn. Een beoordelaar dient dan ook op de hoogte te zijn en te

•

Objectieve waarnemer

Een beoordelaar beheerst methoden om het gedrag van deelnemers ade-

quaat te registreren. Zie de paragraaf in dit hoofdstuk die over de training van beoordelaars gaat.

•

Eigen oordeelsvorming

Een beoordelaar moet in staat zijn te reflec-

teren op zijn beoordelingen en zijn zwakke punten kennen.

De beoordelaar legt het verband tussen het geobserveerde gedrag, de

Naast voornoemde competenties mag van een

De beoordelaar overlegt met andere beoordelaars en komt tot een eind-

dat hij onder andere de volgende eigenschap-

competenties en de beoordelingscriteria. oordeel.

Werkproces ‘Communiceren’

• •

Een beoordelaar dient zich bij het beoordelen onafhankelijk en zakelijk op

blijven van ontwikkelingen in de betreffende sector.

formulier.

Werkproces ‘Interviewen’

den goed schriftelijk kunnen communiceren. Daarnaast moet de beoorde-

interviewtechnieken te beheersen. Een bekend voorbeeld van een inter-

veilige examensituatie.

De beoordelaar bereidt zich voor door de documenten die de kwalificatie

Een beoordelaar moet in verband met de verslaglegging die moet plaatsvin-

laar ook mondeling goed kunnen communiceren met andere beoordelaars

Werkproces ‘Voorbereiden’

•

Communicatief vaardig

De beoordelaar stelt een eindrapport op.

De beoordelaar geeft de beoordeelde en/of de begeleider feedback op het

resultaat en het proces en gaat na of de beoordeelde de feedback begre-

professionele beoordelaar verwacht worden

pen heeft: bescheidenheid, blijkend uit besef van eigen beperkingen; groot verantwoorde-

lijkheidbesef, gezien de consequenties die zijn

beslissingen voor deelnemers kunnen hebben;

integriteit, blijkend uit het respectvol omgaan

pen heeft.

4.4 Wat moet een beoordelaar zijn? Met wat een beoordelaar moet zijn, bedoelen we over welke competenties een

beoordelaar moet beschikken. De volgende competenties worden genoemd

(zie o.a. Hendriks en Schoonman, 2006):

40

‘de beoordelaar moet ook mondeling goed kunnen communiceren met andere beoordelaars en de deelnemers’

41


4

•

Normverschuiving: de neiging om de strengheid van de beoordelingen aan te passen aan het gemiddelde prestatieniveau van de onderhavige groep deelnemers.

•

Contaminatie-effect: de neiging om aan de onderhavige beoordeling van

•

Projectie: de neiging van een beoordelaar om het eigen gedrag tot norm

•

Strengheid en mildheid: de neiging om consequent streng of mild te

de deelnemer ook andere functies dan bedoeld toe te kennen.

te verheffen.

beoordelen.

In het algemeen kunnen beoordelingsfouten voorkomen worden door: met de deelnemers; sensitiviteit, blijkend uit het zich kunnen verplaatsen in de deelnemers; stressbestendigheid; samenwerkingsbereidheid.

1. G oede correctievoorschriften bestaande uit beoordelaarsinstructies, beoordelingscriteria en scoringsvoorschriften;

2. Verhoging van de expertise van potentiële beoordelaars door middel van

onder andere training, intervisie of externe beoordeling Aan de training van beoordelaars is onderstaande paragraaf gewijd.

4.5 Wat moet een beoordelaar niet doen? We weten dat het beoordelen van bijvoorbeeld de uitvoering van een prak-

tijkopdracht geen eenvoudige zaak is waarbij veel fouten gemaakt kunnen

worden. Wanneer beoordelaars op de hoogte zijn van de beoordelingsfouten

Het besef dat een goede docent, praktijkopleider of praktijkbegeleider niet

aantal van de meest voorkomende beoordelingsfouten die ook wel beoorde-

en het afbreukrisico van slechte beoordelaars heeft ertoe geleid dat de training

die ze kunnen maken, zijn die fouten mogelijk te vermijden. Onderstaand een

laarseffecten genoemd worden vanwege het feit dat ze onbedoelde effecten hebben op de beoordelingen/scores van de deelnemers.

•

Halo-effect: de neiging van een beoordelaar om als gevolg van een positieve beoordeling van één competentie ook andere competenties van een deelnemer positief te beoordelen.

•

Horn-effect: de neiging om als gevolg van een negatieve beoordeling van één competentie ook andere competenties van een deelnemer negatief te beoordelen.

•

Centrale tendentie: de neiging om geen extreem hoge of extreem lage

scores te geven maar voornamelijk het midden van de beoordelingsschaal te gebruiken.

• •

42

4.6 Hoe kunnen beoordelaars het beoordelen trainen?

Signifisch effect: de neiging om de beoordelingstaak eigenzinnig, dat wil

zeggen anders dan andere beoordelaars, op te vatten.

Sequentie-effect: de neiging om de onderhavige beoordeling te laten beïnvloeden door voorafgaande beoordelingen.

automatisch ook een goede beoordelaar is, is genoegzaam bekend. Dit besef

van beoordelaars nu prominent op de agenda van het middelbaar beroepsonderwijs staat. Verschillende kenniscentra en andere organisaties bieden inmiddels zowel trainingen als certificeringstrajecten aan.

Het doel van elke training van potentiële beoordelaars is dat ze door de training

beter leren waarnemen en beoordelen. Het registreren van gedrag of resulta-

ten van gedrag van deelnemers vormt dan ook de essentie van een training van

beoordelaars. In Hendriks en Schoonman (2006.) worden twee methoden voor

het registreren van gedrag van deelnemers beschreven, het ORCEST – model en

het RUBRICS-model. Hieronder wordt met een grotendeels aan voornoemde publicatie ontleende beschrijving van het ORCEST-model gepresenteerd.

•

Observeren

Het observeren van het gedrag, of de resultaten van het gedrag, van de deelnemer vindt plaats met behulp van beoordelingscriteria of prestatie-

indicatoren. Een beoordelaar blijkt niet meer dan vier tot acht criteria tegelijkertijd te kunnen observeren, maar door training kan dat aantal hoger

worden.

43


4

•

Registreren

Van het gedrag van de deelnemer moet nauwkeurig verslag worden

gedaan omdat de beoordeling van de deelnemer op dat verslag gebaseerd

wordt. Training blijkt een positief effect te hebben op de kwaliteit van het

registreren door beoordelaars.

•

•

Classificeren

Bij classificeren gaat het om welke gedragsobservaties toegeschreven kunnen worden aan welke competenties. Classificeren blijkt voor beoordelaars

beslisregel de voorkeur verdient boven een conjunctieve beslisregel is dat een

deelnemer bij toepassing van een conjunctieve beslisregel met een keer pech ten onrechte geacht wordt niet over bedoelde competentie te beschikken (zie

gedrag. Om de onvermijdelijke subjectiviteit op het waarderen van gedrag

regels. Per kerntaak mag één competentie onvoldoende zijn (de n-1 regel: als

tal mogelijke waarderingen te beperken. Vandaar dat in de competentiege-

voldoende zijn). Daarnaast wordt

Evalueren betreft het toekennen van een waarde aan het geobserveerde

moet men erop bedacht zijn dat beoordelaarsfouten kunnen optreden.

Standaardiseren

De conclusies uit de voorgaande stap moeten worden gerelateerd aan een beoordelingsstandaard om een uitspraak te doen over de mate waarin de

competentie zichtbaar was en wat wel en wat niet voldoende gedemonstreerd is.

Transfereren

den gaan uit van een mengeling van conjunctieve en compensatorische beslis-

er 6 competenties relevant zijn bij een kerntaak dan moeten er minimaal 5 gesteld dat die zelfde competentie

bij een andere taak niet opnieuw

onvoldoende mag zijn.

Hoewel het de voorkeur verdient

een deelnemer door twee onafhankelijke beoordelaars te beoor-

delen, zal dat bij het beoordelen in de beroepspraktijk lang niet altijd

mogelijk zijn. Dit roept de vraag

op hoe problematisch het is dat in bepaalde gevallen door één onaf-

De beoordelingsresultaten kunnen in het geval van een formatieve beoor-

hankelijke of zelfs één afhankelijke

ontwikkelen of in het geval van een summatieve beoordeling leiden tot het

Blijkbaar wordt daar in verschillen-

deling tot adviezen leiden op basis waarvan de deelnemer zich verder kan behalen studiepunten, een (deel)certificaat of een diploma.

4.7 Conclusies Hofstee (1999) wijdt in zijn boek over principes van beoordeling een volledig

beoordelaar beoordeeld wordt.

de onderwijssectoren verschillend

over gedacht. Zo worden in het voortgezet onderwijs de examens

van de deelnemers beoordeeld door de eigen docenten. Die docenten hebben in het algemeen nooit een training voor beoordelaars gevolgd terwijl dat

voor beoordelaars in het middelbaar beroepsonderwijs wel het geval is of ver-

hoofdstuk aan wat hij de feilbaarheid van beoordelaars noemt. Hoe het moge-

langd wordt. Ten behoeve van de beoordeling van de examens beschikken de

eenstemming tussen beoordelaars hebben we in dit hoofdstuk laten zien. Het

gedetailleerde correctievoorschriften. Daarnaast worden hun beoordelingen

lijk is die feilbaarheid te kwantificeren als een maat voor het gebrek aan over-

verdient dan ook aanbeveling om beoordelingen van onafhankelijke beoordelaars te (blijven) verzamelen en te kwantificeren om te zien hoe het met de feilbaarheid van beoordelaars gesteld is.

Indien op basis van beoordelingscriteria bepaald wordt of een deelnemer al

44

beoordelingscriteria voldaan moet zijn. De reden dat een compensatorische

De beoordelingsmodellen die in het Examen Service Systeem gehanteerd wor-

voldoende, ruim voldoende en zeer goed. Bij het waarderen van gedrag

voldoen. Met een conjunctieve beslisregel wordt hier bedoeld dat aan alle

Evalueren

tie gewaardeerd kan worden met vier waarderingen, namelijk onvoldoende,

•

dat het niet voldoen aan bepaalde beoordelingscriteria gecompenseerd kan

worden door aan een (specifiek) aantal andere beoordelingscriteria wel te

ook Hofstee, 1999).

richte praktijkobservatie die in hoofdstuk 3 besproken wordt, een competen-

tieve beslisregel. Met een compensatorische beslisregel wordt hier bedoeld

moeilijk te zijn maar door training wel voor verbetering vatbaar.

zo gering mogelijk te doen zijn, wordt in het algemeen aanbevolen het aan-

•

compensatorische beslisregel in het algemeen de voorkeur boven een conjunc-

dan niet over een bepaalde competentie beschikt, verdient een zogenoemde

docenten in het voortgezet onderwijs, evenals de docenten in het mbo, over (steekproefsgewijs) gecontroleerd door een onafhankelijke collega van een

andere school. Het feit dat dit beoordelingsmodel tot nu toe nooit serieus ter

discussie gestaan heeft, zou voor het mbo aanleiding zijn kunnen dit beoordelingsmodel in bepaalde gevallen te overwegen.

45


De kwaliteit van beoordelingsinstrumenten voor de beoordeling van competenties, kerntaken en werkprocessen in de beroepspraktijk is een belangrijke component in de totale kwaliteit van beoordelen in de praktijk. Een zorgvuldige constructieprocedure en een zorgvuldig constructieproces

kunnen er voor zorgen dat er authentieke, valide beoordelinginstrumenten tot

stand komen, waarmee tot objectieve uitspraken gekomen kan worden over

de prestaties van deelnemers. Participatie van het bedrijfsleven en onderwijs

is essentieel voor het construeren van authentieke en valide beoordelingsinstrumenten.

In dit hoofdstuk worden voorbeelden gebruikt van de ontwikkeling van beoordelingsinstrumenten voor de mbo-sector handel. De uitgangspunten voor de

te maken keuzes zijn echter in alle sectoren van het mbo toe te passen.

5.1 Startpunt voor de ontwikkeling van beoordelingsinstrumenten: de kwalificatiedossiers De ontwikkeling

In mei 2007 zijn een groot aantal kwalificatiedossiers voor verschillende sec-

toren in het middelbaar beroepsonderwijs vastgesteld. Daaraan voorafgaand

heeft een lang ontwikkelingsproces gelegen. Ontwikkelgroepen hebben samen met Kenniscentrum Handel concept-kwalificatiedossiers ontwikkeld.

5

In deze ontwikkelgroepen namen mensen uit zowel het bedrijfsleven als het

onderwijs deel.

Vanaf medio 2006 heeft een omvangrijke en ingrijpende revisie plaats gevonden van de dossiers 2005.

Instrumenten voor beoordelen in de praktijk 46

47


5

Belangrijkste veranderingen van de dossiers 2007 ten opzichte van de dossiers

2005 waren:

•

Alle kenniscentra werden verplicht om één zelfde set competenties (SHL-

competenties) te gebruiken, zodat ook de vergelijkbaarheid, inzichtelijk-

heid en transparantie aanzienlijk vergroot werden. De betrokken ontwikkelaars ondergingen allen een training voor het gebruik en de interpretatie van de SHL-competentieset

zijn door de PCBB, worden deze via het bestuur van Kenniscentrum Handel

aangeboden aan de minister. De minister heeft in mei 2007 een groot aantal kwalificatiedossiers vastgesteld. De verplichte invoeringsdatum van de dos-

siers, die aanvankelijk voorzien was voor 2008, is uitgesteld tot 2010. Dit geeft

de scholen een langere periode om de overgang naar de competentiegerichte kwalificatiedossiers mogelijk te maken.

•

Er is gestreefd naar reductie van het aantal kerntaken tot gemiddeld 4 á 5

De indeling van de dossiers

•

Daarentegen is bij iedere kerntaak een meer gedetailleerde beschrijving

•

•

Waar in de dossiers 2005 vrijwel alle competenties bij alle kerntaken belang-

•

kerntaken per kwalificatie

van werkprocessen toegevoegd

rijk geacht werden, is bij het analyseren welke competenties bij welke pro-

Alle kwalificatiedossiers zijn opgebouwd uit vier delen:

cessen belangrijk zijn, op een andere manier gewerkt. In de dossiers 2007

Deel A geeft een algemene beroepsbeschrijving en een beschrijving van de

kerntaken

Deel B geeft een meer gedetailleerde beschrijving van kerntaken en werk-

processen, en hierin wordt de relatie gelegd tussen de werkprocessen en

de competenties die essentieel zijn voor het uitvoeren van het werkproces.

is gekeken welke competenties essentieel (in de zin van onmisbaar) zijn

Schematisch is dit weergegeven in de proces-competentiematrix. In deel

B worden ook de taalprofielen voor de moderne vreemde talen en Nederlands weergegeven. Een voorbeeld van een proces-competentiematrix is

•

weergegeven in bijlage 1

In deel C wordt de proces-competentiematrix verder uitgewerkt in de

vorm van prestatie-indicatoren. Ook is bij elk werkproces in steekwoorden

aangegeven welke kennis, inzicht en vaardigheden een deelnemer geacht wordt te beheersen. Een voorbeeld van kerntaken, werkprocessen, compe-

•

tenties en prestatie-indicatoren is weergegeven in bijlage 2

In deel D wordt een verantwoording van de totstandkoming van het document en de vermelding van brondocumenten gegeven.

Zowel in het constructieproces, als in het vaststellingsproces zijn vertegenwoordigers van alle geledingen (werkgevers, werknemers, onderwijs én

experts) uitgebreid betrokken. Voor de verdere uitwerking van examens en

examinering, kan er dus vanuit gegaan worden dat de kwalificatiedossiers een

nauwkeurige beschrijving geven van beroepssituaties, kerntaken en werkprocessen. Ook de beschrijving van de competenties die een beginnend beroeps-

voor het uitvoeren van een werkproces. Deze meer kritische ‘toekenning’ van competenties bij werkprocessen, heeft aanzienlijk meer duidelijkheid

• •

gegeven (niet in de laatste plaats voor examineren)

De prestatie-indicatoren zijn nauwkeuriger beschreven

In het dossier is bij elke competentie die essentieel is voor het uitvoeren

van een werkproces ook een aanduiding gegeven van de benodigde kennis, inzicht en vaardigheden.

De vaststelling

5.2 Constructie van een examenplan/toetskader/examenprofiel en vaststelling daarvan De eerste stap van het kwalificatiedossier naar examens is het formuleren van een examenplan.

Alle concepten van de kwalificatiedossiers zijn voorgelegd en besproken in

In een examenplan wordt een totaaloverzicht gegeven van de instrumenten

samengesteld uit vertegenwoordigers van bedrijfsleven (werkgevers en werk-

bij kerntaken en werkprocessen. Hierbij wordt ook meestal de context aange-

de Paritaire Commissie Beroepsonderwijs Bedrijfsleven. Deze commissie is

nemers) en beroepsonderwijs (mbo, branche-organisaties), en wordt onder-

48

beoefenaar moet beheersen zijn uitgangspunt voor de constructie van exa-

meninstrumenten.

steund door Kenniscentrum Handel. Nadat de kwalificatiedossiers vastgesteld

en procedures die gebruikt worden voor het examineren van de competenties geven ‘waar’ de beoordeling plaats vindt.

49


5

of gegroepeerde werkprocessen, is per dossier en per kerntaak verschillend.

In de literatuur wordt het examenplan ook wel ‘toetskader’ (Hendriks en

Als uitgangspunt is gekozen voor een logische maar ook praktisch uitvoer-

Schoonman, 2006), examenprofiel (Colo, platform Examinering, 2007) en com-

bare clustering van werkprocessen, zodat de examinering enerzijds volledig

petentie assessment programma (Wools, Sanders en Roelofs, 2007) genoemd.

De eerste stap van kwalificatiedossier naar examenplan is essentieel voor de

kwaliteit van de examinering, omdat hierin essentiële keuzes gemaakt wor-

den. Hieronder worden een aantal keuzes opgesomd. In de toelichting bij elke

vraag, wordt uitgelegd welke keuze er binnen het Examen Service Systeem

is, maar anderzijds ook hanteerbaar en bruikbaar.

(ESS) voor de handel gemaakt is, voor het vormgeven van de examenplannen:

•

Wat is de eenheid van beoordeling: de competenties óf de kerntaken en werkprocessen, of een combinatie van beide?

In de discussie notitie van het GPM (Dekker, 2006) is na discussie met ver-

sen en het achtereenvolgens doorlopen van de werkprocessen is zodanig

Nu ruim een jaar later, blijken verschillende uitwerkingen mogelijk te zijn:

• •

beheersing de conclusie getrokken wordt dat dus de competenties

beheerst worden

verkoopgesprek (werkprocessen 2.1 tot en met 2.4)

bestellen en klachten aannemen (werkprocessen 2.5 tot en met 2.7) werkoverleg (werkproces 2.8)

In het Examen Service Systeem zijn de examenplannen zodanig vorm gege-

ven dat deze bruikbaar zijn voor alle beroepscontexten (winkelsituaties,

winkelformules, organisatie van bedrijven). Als in een specifieke beroeps-

beoordeling van competenties, waarbij bij voldoende beheersing de

context observatie eenheden tot grotere eenheden geclusterd kunnen

in de beroepspraktijk, waarbij competenties beoordeeld worden bin-

2 observatie instrumenten te gebruiken.

worden, dan is het aan de beoordelaar om dat te doen en dan bijvoorbeeld

een combinatie van beide: uitvoering van kerntaken en werkprocessen

de kerntaak en de werkprocessen voldoende beheerst worden.

In de examenplannen (en daarna in de operationalisering daarvan in

•

petenties als kerntaken (en werkprocessen).

Een nadrukkelijk uitgangspunt is dat de kwalificerende examinering van

In de examenplannen voor de kwalificaties in de handel (het ESS) is uitge-

gaan van één of meer beoordelingsinstrumenten per kerntaak. Dit sluit het

beste aan bij de organisatie van het onderwijsleerproces op scholen, en in de praktijk.

van uitvoeren van kerntaken en werkprocessen (als middel), met het doel

om uiteindelijk te komen tot uitspraken over de beheersing van zowel com-

Kan de beoordeling van meerdere kerntaken gecombineerd worden?

beste aan bij de kwalificatiedossiers, maar sluit over het algemeen ook het

instrumenten) van het Examen Service Systeem is van de laatste uitwerking uitgegaan. Primair is het beoordelen van competenties, door middel

werkprocessen geclusterd in zogenaamde observatie-eenheden. De obser-

conclusie getrokken wordt dat dus de kerntaken beheerst worden

nen die context, en bij voldoende beheersing geconcludeerd wordt dat

Bij kerntaak 2. Verkoopt en verleent service, is dit niet het geval. Hier zijn

• • •

waarvan de beheersing van competenties beoordeeld wordt’.

beoordeling van kerntaken en werkprocessen, waarbij bij voldoende

dat de examinering ook kan plaats vinden met één praktijkobservatie.

vatie-eenheden bij deze kerntaak zijn:

schillende partijen vastgesteld dat ‘de meest logische samenhangende

•

In het examenplan Verkoper wordt kerntaak 3. Handelt verkooptransacties

af (met de werkprocessen 3.1 tot en met 3.4) beoordeeld door middel van

één competentiegerichte praktijkobservatie. De logische samenhang tus-

eenheid van examinering de kerntaken en werkprocessen zijn, aan de hand

Voorbeelden:

De contexten in bedrijven, de manier waarop werkzaamheden uitgevoerd worden en gestructureerd zijn, is heel divers. In supermarkten of groot-

competenties, kerntaken en werkprocessen plaatsvindt in de context van de werkelijke beroepspraktijk. Slechts in uitzonderlijke gevallen, waarbij

het moeilijk of onmogelijk is om de daadwerkelijke uitvoering in de praktijk

plaats te vinden, is uitgeweken naar bijvoorbeeld simulatie van die praktijk.

(voorbeelden zijn ‘het ondernemingsplan’ en ‘bewaken en bijsturen van personeelsbeleid’.

•

50

Kunnen kerntaken door middel van één omvattende praktijkbeoordeling beoordeeld worden, of kunnen het beste afzonderlijke werkprocessen (of groepen werkprocessen) beoordeeld worden?

Of er sprake is van één omvattende praktijkbeoordeling of van afzonderlijke

‘In het Examen Service Systeem zijn de examenplannen zodanig vorm gegeven dat deze bruikbaar zijn voor alle beroepscontexten’ 51


5

extreme situaties (uitvallende motoren, extreme weersomstangheden,

kapingen etc.) te kunnen handelen. Examinering in een simulator is dan

een goed alternatief voor de werkelijke beroepspraktijk. Niemand zal een echt vliegtuig, met passagiers, willen gebruiken voor zo’n examensituatie.

In het artikel van Dekker (1992) worden een aantal voorbeelden genoemd van situaties waarin de gesimuleerde beroepssituatie gelijkwaardig of

beter is (vanuit het oogpunt van authenticiteit en validiteit ten opzichte

van de criteriumsituatie) dan de werkelijke beroepspraktijk.

In de vormgeving van examenplannen bij de kwalificatiedossiers 2007 voor de sector Handel is steeds het uitgangspunt gehanteerd dat de beoor-

deling van competenties, kerntaken en werkprocessen het beste in de con-

text van de bedrijfssituatie kan plaats vinden. Deze opvatting is gedeeld door deskundigen uit bedrijfsleven en onderwijs.

winkelbedrijven zijn er vaak aparte magazijnmedewerkers, vulploegen of

•

ren van werkzaamheden in de praktijk, een voldoende beeld ontstaat

van kerntaken vaak gescheiden. In speciaalzaken is het veel gebruikelijker

over de beheersing hiervan? Of moeten er een aanvullende vorm van

dat bijvoorbeeld een verkoopgesprek eindigt met de financiële afhande-

doet, laten we het aan de beoordelaar over om de beoordeling van kernta-

ken te combineren door meerdere beoordelingsschema’s te gebruiken. De

combinatie van kerntaken – eerst het verkoopgesprek, daarna de financiële

afhandeling – is vaak ook een opvolging in de tijd, de volgorde van de werk-

processen op een authentieke en valide manier uit te voeren door mid-

toetsvormen?

Het uitgangspunt bij het vormgeven van de examenplannen in het Exa-

vaardigheden essentieel zijn op eind niveau mbo, beginnend beroepsbeoe-

Met andere woorden: wat is al duidelijk uit het praktijkhandelen – de

gedragsproef – en wat moet er nog getoetst/geëxamineerd/beoordeeld

In verschillende sectoren van het mbo is ervoor gekozen om kennis, inzicht en vaardigheden als voorwaardelijk te beschouwen aan het uitvoeren van

kerntaken en werkprocessen, en daarmee aan de beheersing van com-

men Service Systeem voor de kwalificaties in de sector handel is dat er

petenties. In de sector handel is ervoor gekozen om de examinering van

beroepscontexten. Met andere woorden: het uitvoeren van een gedrags-

kennis, inzicht en vaardigheden een expliciete plek te geven in de kwali-

deling van competenties, kerntaken en werkprocessen. In slechts één geval

praktijkbeoordeling en geen overlap met voortgangsbeoordeling).

ficerende examinering (maar dan op de juiste manier: geen overlap met

proef in de werkelijke beroepspraktijk is het uitgangspunt voor de beoor-

is de uitwijk gekozen naar simulatie (ondernemingsplan).

In verschillende sectoren zijn gedragsproeven in de werkelijke beroeps-

heidsrisico’s etc. Om een extreem voorbeeld te noemen: piloten worden,

behalve in de praktijk, in een simulator getraind en geëxamineerd om in

De hernieuwde discussies over de plek van kennis, inzicht en vaardigheden

als basis onder de beheersing van competenties, kerntaken en werkprocessen lijken deze keuze te ondersteunen.

praktijk ongewenst of onmogelijk. Dit heeft vrijwel altijd te maken met één of ander afbreukrisico: financiële risico’s, veiligheid, milieu, gezond-

52

fenaar.

worden op eindniveau.

authentieke en valide beoordelingssituaties vorm te geven zijn in diverse

de sector handel is in het ESS bij de vormgeving van examenplannen, zeer

zeer kritisch gekeken welke inhouden op het gebied van kennis, inzicht en

del van een gedragsproef of het uitvoeren van werkzaamheden in de

praktijk, of moet eerder gedacht worden aan simulatie, of nog andere

In de vormgeving van de examenplannen bij de kwalificatiedossiers voor

voeren van kerntaken en werkprocessen, en welke nog niet. Daarbij is ook

levert dan ook zelden of nooit problemen op.

Is het mogelijk de beoordeling van competenties, kerntaken en werk-

beoordeling van deze zaken vorm gegeven worden?

kritisch gekeken welke kennis, inzicht en vaardigheden al blijken uit het uit-

processen of kerntaken. Het gebruik van meerdere beoordelingsschema’s

•

competenties ook aanduidingen gegeven van de benodigde kennis,

inzicht en vaardigheden. Kan aangetoond worden dat door het uitvoe-

kassamedewerkers. In deze contexten/bedrijfssituaties is de uitvoering

ling van de transactie. In de situaties waarin dat zich logischerwijs voor-

In de kwalificatiedossiers worden bij de kerntaken, werkprocessen en

•

Het kwalificatiedossier geeft beheersingsniveaus van de competenties

voor moderne vreemde talen en Nederlands. Kunnen deze competen-

53


5

ties/vaardigheden geïntegreerd in de beroepssituaties geëxamineerd

worden, of kan dit apart beoordeeld worden?

In de kwalificatiedossiers worden beheersingsniveaus gegeven voor Neder-

lands en de moderne vreemde talen. In het onderwijs is de discussie gaan-

de of de beoordeling van de taalcompetenties moet plaats vinden in de

beroepspraktijk of door middel van aparte opdrachten (aparte examens).

De discussie over de beste vormgeving van deze examens lijkt te stagneren

op principiële, ideologische principes, en niet op overwegingen vanuit de techniek/ de methodologie van examineren.

Met nadruk moet gesteld worden dat er slechts bij een beperkt aantal van de

opgesomde vragen er ‘een beste keus’ is, maar dat het veel vaker gaat om keu-

zes over de vormgeving van het examenplan op basis van een visie/filosofie over examineren.

Vaststelling van examenplannen

Examenplannen – met de verantwoording van alle gemaakte keuzes - worden

praktische werkelijke beroepssituatie is er in het examenplan een expliciete

zijn bijeenkomsten van hele dagen waarin deskundigen werken aan de plan-

praktijkbeoordeling blijkt vaak maar een deel van de benodigde kennis, inzicht

kundig experts, en verder ontwikkeld in de zogenaamde ‘expert-meetings’. Dit

nen, tot zij met een eensluidend en eenduidig voorstel komen.

Vaststellingscommissies – ook

plek ingeruimd voor de examinering van kennis, inzicht en vaardigheden. In de en vaardigheden zichtbaar en beoordeelbaar.

weer bestaande uit bedrijfsle-

Naast de beoordeling in de praktijk is in het examenplan ook de wijze van theo

gemaakte keuzes. En de vaststel-

het gebied van de moderne vreemde talen en Nederlandse taalvaardigheid.

ven en onderwijs – toetsen de lingscommissies stellen dan de

rietoetsing beschreven, en daarbij ook de examinering van competenties op

examenplannen vast.

De beoordeling van competenties van leren, loopbaan en burgerschap heeft

ring door de adviesgroep ESS, de

over de plek van deze comptenties.

Uiteindelijk moeten na adviseexamenplannen formeel door de Examencommissie ESS vastgesteld worden.

Het proces van constructie en

nog steeds geen duidelijk plek gekregen door de nog steeds gaande discussie

Het examenplan voor de kwalificatie ‘Verkoper’ is relatief eenvoudig. Voor

kwalificaties op hogere niveaus zijn die plannen veel ingewikkelder, omdat er

dan praktijkbeoordelingen van functioneren in de praktijk (het proces), maar ook praktijkbeoordelingen van opgeleverde producten, en beoordeling van

vaststelling is dus nadrukkelijk

kennis en inzicht en vaardigheden aan de orde zijn. Op de volgende pagina’s is

In het examenplan voor de kwali-

king van de examinering van kennis, inzicht en vaardigheden.

per kerntaak uitgegaan wordt

Intussen is duidelijk dat het makkelijker hanteerbaar is als scholen de beoor-

gescheiden.

ficatie ‘Verkoper’ is zichtbaar dat

van observatie van het handelen

een voorbeeld van het examenplan Ondernemer opgenomen.

In de diverse examenplannen is zichtbaar dat er gestreefd is naar een beper-

deling/examinering van kennis, inzicht en vaardigheden per kerntaak kunnen

in de praktijk bij het uitvoeren kerntaken of delen daarvan (de observatie-een-

afsluiten. Op dit moment wordt gewerkt aan een variant van de huidige exa-

geleider (van school), de praktijkbegeleider (van het bedrijf) en de deelnemer.

ter beschikking. Inhoudelijk zijn er geen verschillen, alleen de ordening zal

heden). Per kerntaak wordt een evaluatiegesprek gevoerd door de praktijkbe-

In de discussie daarover wordt uiteindelijk besloten of de deelnemer de com-

54

Naast de beoordeling van de competenties, kerntaken en werkprocessen in de

voorbereid door constructeurs (uit onderwijs en bedrijfsleven) en onderwijs-

petenties bij een kerntaak voldoende beheerst en dus de kerntaak beheerst.

menplannen en examens. Naar verwachting komen die begin februari 2008

anders zijn.

55


5

Examenplan Verkoper Detailhandel

Ingangsdatum: cursusjaar 2007 - 2008

Kerntaak 1:

Kerntaak 2:

Kerntaak 3:

één competentiegerichte praktijkobservatie met twee observatie-

één competentiegerichte praktijk

één competentiegerichte praktijkobserva-

1. ontvangt goederen en slaat goederen op

eenheden:

1. handelt verkooptransacties af

Ontvangt en verwerkt goederen BPV

crebonummer 93751 Verkoopt en verleent service

eenheden:

(wp 1.1 en 1.2)

(wp 1.3, 1.4 en 1.6)

2. artikelpresentaties en verzorging winkel

observatie met drie observatie-

(wp 2.1, 2.2 en 2,4)

(wp 2.5 en 2.7)

(wp 2.8)

tie met één observatie-eenheid:

1. verkoopgesprek

Handelt verkooptransacties af

(wp 3.1, 3.2, 3.3 en 3.4)

2. bestellen en klachten aannemen 3. werkoverleg

ROC

evaluatiegesprek

evaluatiegesprek

één theorietoets over de onderwerpen:

twee theorietoetsen

• veiligheid/ veiligheidsprocedures

• calamiteiten

toets 1 over de onderwerpen:

• arbo

• derving

• milieu

• derving

• opslagkenmerken en opslagmogelijkheden • hygiëne

• presentatietechnieken, presentatieplan en

evaluatiegesprek

promo-tiemateriaal (basaal)

• consumentenrecht • arbo

• veiligheid/ veiligheidsprocedures toets 2 (verslag/presentatie) over de onderwerpen • algemene kennis van de detailhandel • detailhandelsmarketing • verkoopbeleid

ROC

assortimentskennis – theorietoets of werkstuk

ROC/BPV

Moderne vreemde talen:

ROC/BPV

Luisteren:

Lezen:

Gesprekken voeren/spreken:

Schrijven:

Luistertoets op niveau A2

Leestoets op niveau A2

Spreekvaardigheidtoets B1/A2

Schrijftoets A1

Nederlandse taalvaardigheid Luisteren(B1):

Lezen(B1):

Gesprekken voeren(B1):

Spreken(B1):

Schrijven(A2):

Beoordeling van:

Beoordeling van:

Beoordeling van:

Beoordeling van:

Beoordeling van:

• instructies opvolgen;

• uitleg product;

• werkoverleg;

• klant inlichten;

• korte sollicitatiebrief;

• telefoonnotitie; • werkoverleg.

Eén van deze beoordelingen is kwalificerend. ROC/BPV

• controle pakbon; • prijscatalogus.

Eén van deze beoordelingen is kwalificerend.

• verkoopgesprek; • sollicitatiegesprek.


• branchepresentatie; • productpresentatie.


• sollicitatieformulier; • klachtenformulier.


leren, loopbaan, burgerschap (specificatie volgt)**

* het examenplan is opgesteld conform de KCE standaarden 2006-2007 (zie document “KCE-audit studiejaar 2006-2007”)

56

** ontwikkeling start in september 2007

57


5

Examenplan Ondernemer Detailhandel Ingangsdatum: cursusjaar 2007 - 2008

Crebonummer 90290

Kerntaak 1:

Kerntaak 2:

Kerntaak 3:

Kerntaak 4:

nemersbeleid (zie toelichting)

goederenstroom en voorraad

deze ook uit

leidt deze

Bepaalt en bewaakt het onder

Beheert en verzorgt de

Begeleidt verkoopactiviteiten en voert

BPV


één competentiegerichte


eventueel

ondernemingsplan:

observatie-eenheden:

eenheden:

(kerntaak 1 ook ROC

observatie met een beoordeling (wp 1.1 t/m 1.12)

• productbeoordeling ondernemingsplan

• bewaken en bijsturen beleid ondernemingsplan

• presentatie en panelgesprek ondernemingsplan

en één observatie-eenheid:

1. personeelsbeleid onderneming

praktijkobservatie met drie 1. leiding geven en begeleiden

(wp 2.1, 2.2, 2.5 en 2.8)

2. goederenontvangst en

–opslag

(wp 2.3 en 2.4)

3. voorraad, inkoopplannen

Handelt verkooptransacties af en/of één competentiegerichte praktijk



1. leiding geven en begeleiden

1. leiding geven

(wp 3.1 en 3.2) 2. verkoop

(wp 3.3 t/m 3.6)

3. klachtenafhandeling en service

(wp 3.7 en 3.8)

en bestellen

eenheden:

(wp 4.1)

2. beheren en administratie

afrekensysteem (wp 4.2 en 4.5)

3. verkooptransactie

(wp 4.3 en 4.4)

(wp 2.6 en 2.7)

(wp 1.13, 1.14, 1.15)

3 praktijkopdrachten personeelsbeleid

evaluatiegesprek ROC

evaluatiegesprek

evaluatiegesprek

evaluatiegesprek

Cluster algemeen management

Cluster goederenstroom en verkoopactiviteiten

werpen:

(aansluitend bij context van de drie kerntaken):

Twee theorietoetsen over de onder• managementproces • leidinggeven

• communicatie

• medezeggenschap • organisatie

Eén theorietoets over de onderwerpen

• arbo, veiligheid, milieu, hygiëne en calamiteiten • derving

• voorraadbeheer en bestellen

• opslagkenmerken, opslagmogelijkheden

• personeelsbeleid

• personeelsplanning Cluster financieel management

Twee theorietoetsen over de onderwerpen:

• kosten en financiering

• bedrijfsadministratie en juridisch beheer

Cluster commercieel management

Twee theorietoetsen over de onderwerpen:

• vestigingsplaatsbeleid

• commerciële samenwerking • consumentengedrag

• marktbenadering/ -onderzoek • assortimentsbeleid en inkoop

58

• prijsbeleid

• commerciële presentatie • promotiebeleid

59


5

Examenplan Ondernemer Detailhandel (vervolg) Kerntaak 1:

Kerntaak 2:

Kerntaak 3:

Kerntaak 4:

Luisteren:

Lezen:

Gesprekken voeren/spreken:

Schrijven:

Luistertoets op niveau B1

Leestoets op niveau B1

Spreekvaardigheidtoets op niveau B1

Schrijftoets op niveau B:

ROC

assortimentskennis – theorietoets

ROC/BPV

Moderne vreemde talen

ROC/BPV

taalcompetenties Nederlands (specificatie volgt)

ROC/BPV

leren, loopbaan, burgerschap (specificatie volgt)**

* het examenplan is opgesteld conform de KCE standaarden 2006-2007

** ontwikkeling start in september 2007

Toelichting kerntaak 1 Kerntaak 1 bepaalt en bewaakt het ondernemersbeleid bestaat vier BPV examenonderdelen : • Ondernemingsplan • Bewaken en bijsturen beleid ondernemingsplan • Presentatie & Panelgesprek • Observatie-eenheid personeelsbeleid met evaluatie

in dienst hebben. Afhankelijk van de groei en de grootte van de onderneming zal de ondernemer detailhandel personeel in dienst (gaan) nemen.

(zie document “KCE-audit studiejaar 2006-2007”)

Overzicht proces examenonderdeel 1 t/m 3

1) Ondernemingsplan

Begeleiding/uitvoering

Beoordeling

Twee begeleidingsmomenten Vooraf aan de beoordeling

Individuele beoordeling door één beoordeellaar.

Individuele begeleiding

Na voldoende beoordeling begint de deelnemer aan het onderdeel bewaken en bijsturen beleid ondernemingsplan

De individuele begeleider tekent bij het afronden van elk onderdeel af op de checklist.

In eerste instantie beoordeelt elk panellid het resultaat van de analyse. Hierbij vult ieder panellid het beoordelingsblad in. Vervolgens worden alle beoordelingen van het panel besproken en samengevoegd tot één gezamenlijk gemiddeld oordeel van het panel.

Pas als alle onderdelen van de checklist zijn afgetekend door de begeleider, wordt dit onderdeel inhoudelijk beoordeeld door het panel.

Na voldoende beoordeling van het panel kan de deelnemer een afspraak maken voor de presentatie en het panelgesprek.

3a) Presentatie

De presentatie en het panelgesprek worden achter elkaar uitgevoerd.

In eerste instantie beoordeelt elk panellid het resultaat van de presentatie. Hierbij vult ieder panellid het beoordelingsblad in. Vervolgens worden alle beoordelingen van het panel besproken en samengevoegd tot één gezamenlijk gemiddeld oordeel van het panel.

3b) Panelgesprek

Direct na de presentatie volgt het panelgesprek.

In eerste instantie beoordeelt elk panellid het resultaat van het panelgesprek. Hierbij vult ieder panellid het beoordelingsblad in. Vervolgens worden alle beoordelingen van het panel besproken en samengevoegd tot één gezamenlijk oordeel van het panel.

2) Bewaken en bijsturen beleid ondernemingsplan: Scenario onder de markt Scenario break even Scenario boven de markt

60

Het panel bestaat uit minimaal drie leden die elk deskundig zijn op hun eigen gebied. Bijvoorbeeld commerciële of financiële deskundigheid of op het gebied van het houden van bedrijfspresentaties. Minimaal één van de panelleden is een medewerker van school. Bij voorkeur neemt een ervaringsdeskundige uit de beroepspraktijk deel aan het panel zoals een ondernemer of een medewerker van een bank.

Het praktijkgedeelte van kerntaak 1 van de ondernemer detailhandel wijkt hiermee af van de andere dossiers. De eerste drie onderdelen hebben direct betrekking op het maken, uitwerken, presenteren en toelichten van het ondernemingsplan. Het plan wordt opgesteld vanuit een zelfstandig ondernemer in de detailhandel met een gerichte keuze uit uiteenlopende formules binnen MKB in zowel de food als non-food sector. Bij de start van zijn onderneming zal de ondernemer detailhandel niet altijd personeel

De observatie-eenheid [personeelsbeleid en de evaluatie hebben geen directe relatie met het ondernemingsplan. Hiermee dient rekening gehouden te worden bij het afronden van kerntaak 1. Deze observatie-eenheid richt zich op de personele werkprocessen (1.13 t/m 1.15) in het dossier. De praktijkobservatie en evaluatie vinden daarom los van het ondernemingsplan plaats in een bestaand bedrijf of in een simulatie.

61


5

5.4 Vormgeving van het praktijk observatieschema – criteria voor keuzes: Bij het vormgeven van praktijkobservatieschema’s spelen een aantal overwegingen een belangrijke rol:

•

Wat is het uitgangspunt voor de beoordeling: een globale holistische beoordeling, of een analytische beoordeling. In diverse beoordelingssituaties is

dit onderzocht. Bij productbeoordeling in technische beroepen of beroeps-

situaties is analytische beoordeling op alle details vaak goed mogelijk.

In een onderzoek van Schotten en Dekker in de sector verpleegkunde bleek

een analytische beoordeling van het vervangen van een infuusfles aan de

hand van meer dan 30 criteria (terwijl de handeling uiterlijk 2 minuten duurt)

volstrekt onbetrouwbaar. Elke beoordelaar kiest die beoordelingsaspecten die hij belangrijk vindt.

In de sector handel lijkt het mogelijk om beide beoordelingsmethodieken toe te passen. Het Examen Service Systeem heeft beoordelingsinstrumenten

5.3 Van prestatie-indicatoren uit de kwalificatiedossiers naar observeerbare beoordelingscriteria In de kwalificatiedossiers worden kerntaken, werkprocessen en competenties

beschreven. De prestatie-indicatoren in deel C zijn daar de meest concrete beschrijving van.

opgeleverd waarbij beoordelaars op een globaal/holistisch niveau uitspra-

ken doen over de beheersing van competenties. Intussen worden deze zelfde

instrumenten bewerkt om daarmee ook een analytische beoordeling uit te kunnen voeren.

•

observeerbaar gedrag. Soms zijn prestatie-indicatoren zodanig concreet dat

deze ook als observatiecriterium gebruikt kunnen worden, maar vaak is een vertaalslag nodig.

is of dit afgestemd is op de product/proces criteria. Dit moet beoordeeld

worden naar inhoud, vorm en complexiteit. Validiteit en authenticiteit zijn

Om het functioneren van deelnemers in concrete praktijksituaties te kunnen beoordelen is het nodig om prestatie-indicatoren om te zetten in concreet

Een belangrijk criterium voor de kwaliteit van het beoordelingsschema

hierbij de sleutelwoorden.

•

Een laatste, maar niet het minst belangrijke, is het instrument (praktijkobservatie, maar ook evalauatievragen) in zichzelf duidelijk. Spreekt het voor

zich, is het instrument intuïtief inzichtelijk en bruikbaar.

Uitgangspunten daarbij zijn:

•

Observatiecriteria moeten ook echt observeerbaar zijn. Theoretische of

algemene formuleringen uit de dossiers moeten omgezet worden in con-

creet observeerbaar gedrag

•

Observatiecriteria moeten in de praktijk (beoordelingssituaties) regelma-

•

Observatiecriteria moeten door inhoudelijk deskundigen (opleiders en

tig voorkomen en dus relevant zijn

begeleiders) makkelijk en eenduidig geobserveerd kunnen worden.

De laatste jaren is het bedrijfsleven intensief betrokken bij het omzetten van

prestatie-indicatoren naar observeerbare gedragsciteria in observatieinstru-

menten. Mensen uit de praktijk, ondernemers, filiaalmanagers of afdelings-

managers kunnen vaak op een heel eenvoudige en concrete manier invulling

62

geven aan abstracte begrippen uit dossiers.

63


5

In het Examen Service Systeem zijn bij de kwalificaties voorbeelden van evalu-

atievragen geformuleerd en onderwerpen gegeven als suggestie voor verdere

vragen. Er is geprobeerd om deze vragen direct terug te voeren op het handelen in de praktijk.

Een valkuil die steeds weer naar voren komt bij het voeren van evaluatiege-

sprekken is dat gesprekspartners (en vaak is dat de praktijkbegeleider van

de school) in het evaluatiegesprek een ‘verkapt mondeling theorie examen afneemt’.

Uit de mond van een beoordelaar: ’Als ik merk dat een deelnemer goed weet

waarom hij iets gedaan heeft, dan wil ik toch nog wel even verder weten wat hij

dan nog meer weet. En dan stel ik dus toch nog wel even wat moeilijkere theoretische vragen. Dan kan die kandidaat ook echt laten zien hoe goed hij is’. Hoe goed bedoelt ook, dit is niet de functie van een evaluatiegsprek.

5.5 Vormgeving van evaluatievragen De prestaties van een deelnemer in de praktijk worden achteraf besproken in

een evaluatiegesprek van opleider, begeleider en deelnemer.

5.6 Noodzakelijke documenten bij beoordelingschema’s voor praktijkobservatie van competenties en kerntaken Behalve alle concrete documenten die er nodig zijn voor het uitvoeren van praktijkobservaties/examens zijn er allerlei documenten nodig om aan een ieder die betrokken is bij examinering uit te leggen hoe het hele beoordelingssysteem in elkaar zit (transparantie voor alle betrokkenen). We noemen een

De intentie van dit gesprek is om de deelnemer te kunnen laten vertellen waar-

aantal noodzakelijke documenten, zonder op de details in te gaan:

motiveren, en een onderbouwing geven, waarom hij bepaalde dingen op een

•

om hij het werk gedaan heeft zoals hij het gedaan heeft. De deelnemer kan bepaalde manier aangepakt heeft.

Tijdens de praktijkobservatie wordt vaak heel goed duidelijk wat iemand doet,

maar vaak is nog niet duidelijk waarom iemand het nu juist op die manier doet. Het evaluatiegesprek biedt de ideale mogelijkheid om op de achterliggende

redenen voor het handelen in de praktijk in te gaan. Er worden evaluatievragen

gesteld die specifiek ingaan op deze redenen.

• • •

Handleiding voor de deelnemer. Wat wordt er van de deelnemer verwacht,

welke kerntaak of observatie eenheid moet uitgevoerd worden, wanneer en hoe lang, en wat zijn de criteria waarop hij beoordeeld wordt.

Handleiding voor de praktijkbegeleider Handleiding voor de praktijkopleider

Wat zijn de normen voor het toekennen van een waardering aan de presta-

tie van de deelnemer en waar ligt dan de grens tussen voldoende en onvoldoende

Beoordelaars moeten getraind zijn om effectieve en efficiënte gespreks

methoden te hanteren om dit soort gesprekken met deelnemers te voeren.

De STARR methodiek is één van de voorbeelden van een gespreksmethode.

Situatie : in welke situatie functioneerde je? Taak

Actie

: welke taak moest je doen?

: welke actie heb je toen ondernomen?

Resultaat : en welk resultaat leverde dat op?

Reflectie : en hoe kijk je er op terug, wat heb je er van geleerd?

64

‘Beoordelaars moeten getraind zijn om effectieve en efficiënte gespreksmethoden te hanteren’ 65


Dekker J. (1992); in: Het toetsen van beroepskwalificaties; de gesimuleerde

beroepspraktijk als toetssituatie blz.16 t/m 38; katern bij het Handboek voor

opleiders in organisaties

Dekker J. (2006) Kwalificerend examineren in competentiegericht beroepsonderwijs (versie 3), Ede: GPM (Gemeenschappelijk Proces Management)

Downing en Haladyna (2006) Handbook of test development (Steven M. Downing 2006 Twelve steps for effective test development 2006)

Gulikers, J., Bastiaens, T. & Kirschner, P. (2005). Authentieke Toetsing, de

beroepspraktijk in het vizier. Onderwijsinnovatie, 17-24.

Gulikers, J. (2007). Authentiek beoordelen in een curriculum. Onderwijsinnovatie, 11-14.

Hendriks, P. & Schoonman, W. (2006). Handboek Assessment deel 1, gedragsproeven. Assen: Van Gorcum.

Hofstee, W.K.B. (1999). Principes van beoordeling: methodiek en ethiek van

selectie, examinering en evaluatie. Lisse: Swets en Zeitlinger Publishers.

Wools S., Sanders P. & Roelofs E. (2007) Kwaliteit van competentie assessment, Arnhem: Cito

Competentieprofiel Assessor (2007). www.actieplanexaminering.nl Discussie platform Examinering Colo (2007), in het kader van de pilot examenprofielen van het Ministerie van OC&W

De kwalificatiedossiers voor de sector Handel, volledig beschikbaar via de internetsite van Kenniscentrum Handel: www.kchandel.nl

Geraadpleegde literatuur

66

Standaarden, KCE (2006). www.kce.nl

67

Horapark 2 • Postbus 7001 • N L-6710 CB

Ede

T +31 (0)318 698 498 • F + 3 1 ( 0 ) 3 1 8 6 3 8 5 7 2 E

[email protected]

•

I

w w w. kc h a n d e l . n l

© 2008 Kenniscentrum Handel

ISBN 978-90-806158-4-7 NUR 841

Niets uit deze uitgave mag worden vermenigvuldigd

of openbaar gemaakt door middel van druk, fotokopie

of welke andere wijze dan ook, zonder vooraf gekregen toestemming van de uitgever.

KWALITEIT VAN BEOORDELING IN DE PRAKTIJK

Recommend Documents