No title

Gediplomeerd, maar ook bekwaam? - OVER DE VOORWAARDEN VAN VALIDE BEOORDELING VAN BEROEPSBEKWAAMHEID

FACTA, 8 oktober 2015

-

Gerard J.J.M. Straetmans Saxion / Cito

Diplomawaarde

Wat garandeert het hbo-diploma? Dat de gediplomeerde cognitief op een bepaald niveau functioneert (NLQF-niveau 6, Dublin Descriptoren voor bachelor-opleidingen). Dat de bezitter zich gekwalificeerd heeft als een voldoende bekwaam, startend professional in een nader omschreven domein.

Kennis en inzicht

Toepassen van kennis en inzicht

Leervaardigheden Oordeelsvorming

Communicatie

© G.J.J.M. Straetmans

Wat garandeert het hbo-diploma? Dat de gediplomeerde cognitief op een bepaald niveau functioneert (NLQF-niveau 6, Dublin Descriptoren voor bachelor-opleidingen). Dat de bezitter zich gekwalificeerd heeft als een voldoende bekwaam, startend professional in een nader omschreven domein. Dat de gediplomeerde de kerntaken van een beroep of functie op adequate wijze kan uitvoeren (competentieprofiel).


Wat is die garantie waard? Enkele bevindingen… •

•

•

•

•

70 Procent van ondervraagde schoolleiders vindt dat beginnende leraren door hun pabo onvoldoende zijn toegerust om orde te houden, een taakgerichte werksfeer te creëren, de leerstof uit te leggen en leerlingen actief te betrekken. (Bron: Inspectie van het Onderwijs, 2015) Een derde deel van afgestudeerde pabo-studenten vindt dat de pabo hen niet in staat heeft gesteld datgene te leren wat nodig is voor de beroepspraktijk. (Bron: Inspectie van het Onderwijs, 2015) Een derde van een steekproef van 1400 verpleegkundigen beoordeelde juist afgestudeerde collega’s als ‘slecht functionerend’. (Bron: Nursing, 2009) ‘Het is meer dan aannemelijk dat studenten van de Politie Academie na het behalen van hun diploma de vastgestelde competenties niet volledig beheersen.’ (Bron: Insp. Openbare Orde en Veiligheid, 2010) Ruim een kwart van alle recent afgestudeerde hbo-ers zegt onvoldoende in staat te zijn om verworven kennis en vaardigheden in de praktijk toe te passen. (Bron: ROA, 2013)

Mogelijke oorzaken •

De combinatie van beleid, financiering en weinig examenvoorschriften.

• 65% vindt dat de hogeschool teveel nadruk legt op rendement i.p.v. op kwaliteit*; • 30% geeft wel eens een genade-zes*. * Onderzoek AOB/ITS onder 500 HBO-docenten in 2011




•

De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling.




De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling. • Te weinig tijd voor toetsing en beoordeling.

•

• 50% zegt te weinig tijd te krijgen voor een deugdelijke beoordeling*. * Onderzoek AOB/ITS onder 500 HBO-docenten in 2011




•

De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling.

Te weinig tijd voor toetsing en beoordeling. • De gangbare examenpraktijk in het hbo.

•


Gangbare examenpraktijk: Het hbo-diploma wordt uitgereikt als: •

alle tentamens met een voldoende resultaat zijn behaald;

Dit gaat vooral over voorwaardelijke kennis en vaardigheden.

•

het afstudeerprogramma met een voldoende resultaat is afgesloten;

De nadruk ligt hierbij vaak op een onderzoeksactiviteit en de rapportage daarvan.

•

de stage is uitgevoerd en het stageverslag is goedgekeurd.

In dit onderdeel kan beroepsbekwaamheid worden aangetoond. © G.J.J.M. Straetmans

Onderzoek lectoraat naar de praktijkstage Onderzoek 1 (Econ, Zorg, Techn) • Schriftelijke vragenlijst • 515 studenten van 5 hogescholen; • Interview met 15 praktijkbegeleiders van stagebedrijven; • Interview met 15 stagebegeleiders van hogescholen. Onderzoek 2 (pabo: LIO-stage) • Schriftelijke vragenlijst • 387 LIO-stagiaires en 105 stagebeleiders van 14 pabo’s; • 59 mentoren van stagescholen.


Enkele bevindingen uit het onderzoek naar het functioneren van de praktijkstage • • • • • •

Stagebedrijf en student zijn onvoldoende op de hoogte van de eisen die de opleiding stelt aan een praktijkstage. De inhoud van de praktijkstage wordt meestal bepaald door stagebedrijf en student; de opleiding staat op afstand. De invulling van de stage is vooral afhankelijk van welke taken toevallig voorhanden zijn. Expliciete beoordeling van werkprocessen en/of daarbij vervaardigde producten komt relatief weinig voor. Praktijk- en stagebegeleiders baseren hun oordeel vooral op hun gevoel. Slechts 1% van de bevraagde studenten kreeg een onvoldoende beoordeling. © G.J.J.M. Straetmans

Hoe kan de opleiding beter zicht krijgen op beroepsbekwaamheid? Beter benutten van de praktijkstage; • Opleiding moet weer de regie voeren; • Beoordeling van beroepsbekwaamheid vraagt om een assessmentprogramma. •


Uitvoering van een assessmentprogramma leidt tot assessmentresultaten (scores)

conclusie

Assessmentresultaten

Beroepsbekwaamheid © G.J.J.M. Straetmans

Valide conclusies trekken over beroepsbekwaamheid vereist dat de assessmentresultaten voldoen aan drie basale kwaliteitseisen

conclusie

Assessmentresultaten


Valide conclusies trekken over beroepsbekwaamheid vereist dat de assessmentresultaten voldoen aan drie basale kwaliteitseisen Scores zijn zoveel Assessmentresultaten

mogelijk vrij van meetfouten.

Betrouwbaar Generaliseerbaar Extrapoleerbaar Beroepsbekwaamheid © G.J.J.M. Straetmans

Assessmentresultaten moeten voldoen aan drie basale kwaliteitseisen Assessmentresultaten

Betrouwbaar

Het aangetoonde prestatieniveau geldt ook voor de niet getoetste taken.

Generaliseerbaar Extrapoleerbaar Beroepsbekwaamheid © G.J.J.M. Straetmans

Assessmentresultaten moeten voldoen aan drie basale kwaliteitseisen Assessmentprestaties

Betrouwbaar Generaliseerbaar Extrapoleerbaar

Het aangetoonde prestatieniveau geldt ook voor het functioneren in de reële beroepspraktijk.


Wat is er nodig voor betrouwbare resultaten? •

Deugdelijke prestatiecriteria


Prestatiecriteria: valkuilen bij de ontwikkeling Ontwikkelaar geeft prioriteit aan objectiviteit ten koste van inhoudelijke validiteit. • De prestatiecriteria zijn teveel toegesneden op de concrete assessmenttaak en te weinig op de onderliggende (uiteindelijk te beheersen) kerntaak. •

Ontwikkelproces prestatiecriteria (hoe het vaak gaat) Kerntaak Spoedeisende hulp verlenen door ambulance vpk

Hartinfarct in drukke winkelstraat

? Concrete assessmentopdracht

Prestatiecriteria


Ontwikkelproces prestatiecriteria (hoe het beter kan)

Kerntaak

Stap 1 Taaksituaties

Stap 2 Curr. cie Beoordelingsaspecten (generiek)

Stap 3 Concrete assessmentopdracht Constructeur Stap 4 ass.taak Prestatie-indicatoren (specifiek)


Resultaat systematisch ontwikkelproces (voorbeeld) Spoedeisende hulp verlenen

kerntaak

beoordelingsaspecten Prioriteert medisch handelen.

Voert medisch noodzakelijke handelingen adequaat uit.

Draagt zorg voor de eigen veiligheid.

Enz.

Maakt het leed voor de patiënt draaglijk.

prestatie-indicatoren Scant de omgeving op potentiële gevaren.

Check list • •

Ja Nee

Roept tijdig hulp in van andere professionals

Blijft rustig onder stressvolle condities.

Rating scale (4) Goed (3) Voldoende (2) Onvoldoende (1) Slecht

Treedt beslist en tactvol op bij dreigende agressie.

Rubric

Vraagt en instrueert omstanders voor het creëren van veilige werkplek.

Enz.

schaling

Elk te onderscheiden prestatieniveau is uitvoerig omschreven


Wat is er nodig voor betrouwbare resultaten? Deugdelijke prestatiecriteria • Deskundige assessoren •

Cijfers voor werkstukken in de opleiding tandheelkunde

assessor W E R K S T U K

A

B

C

D

E

I

5

5

7

4

6

II

5

7

5

4

6

III

4

4

3

4

5

IV

5

7

6

4

7

V

5

5

8

6

8

VI

5

6

6

5

7


Wat is er nodig voor betrouwbare resultaten? Deugdelijke prestatiecriteria • Deskundige assessoren Assessmentprestatie I • Transparante procedures voor de score-aggregatie en Criterium 1 1 2 X3 4 de score-evaluatie Criterium 2 1 X2 3 4 •

3verwerkt 4 o Hoe moeten de scores op de prestatiecriteria Criterium 3 1 2 X 4 1 2 3 X worden tot een oordeel (bijv: Criterium O-V-G of4 schoolcijfer) voor de Criterium 5 1 2 3 X4 betreffende assessmentprestatie?

Criterium 6 Criterium 7 Criterium 8

X1

2

3

4

1

2

4

1

2

X3 X3

4

Oordeel: Onvoldoende, Voldoende, Goed?


Wat is er nodig voor betrouwbare resultaten? Bron: Petra Bulthuis (2013), Examens, 2, 5-10

Deugdelijke prestatiecriteria complexiteit: assessoren •Hoge Deskundige • Uiteenlopende, onbekende opdrachten; •• Wisselende, Transparante voor de score-aggregatie en nieuweprocedures situaties; • Nieuwe aanpak bedenken noodzakelijk; de score-evaluatie •

• • • • •

Hoge eisen; o Hoe moeten de scores op de prestatiecriteria verwerkt Multidisciplinair; worden toteneen oordeel (bijv: Nieuwe kennis vaardigheden vereist;O-V-G of schoolcijfer) voor de Veelbetreffende partijen en veel interactie; assessmentprestatie? Hoog afbreukrisico. o Hoe moeten de oordelen van de verschillende

verwerkt worden tot een Hoge assessmentprestaties zelfstandigheid eindoordeel over beheersing van de kerntaak? • Weinig sturing en begeleiding; vrijheid van handelen; ••• Grote Gestandaardiseerde assessmenttaken Verantwoordelijk voor eindresultaat; • Leidinggevende, strategische rol. © G.J.J.M. Straetmans

Wat is er nodig voor generaliseerbare resultaten? Geldt het assessmentresultaat ook voor niet getoetste taken?


Wat is het probleem? Beheersing kerntaak

Hoofdpijnklacht, lage rugpijnklacht, tenniselleboog, zwellingen, krachtsvermindering, enz.

assessmentopdrachten Uitvoeren fysiotherapeutisch behandelplan

Toetsing Volwassene, kind, baby, (demente) bejaarde, geestelijk gehandicapte

Resultaat: 7


Wat is er nodig voor generaliseerbare resultaten? •

Inventarisatie van de taaksituaties waarmee startende professionals geconfronteerd kunnen worden.


Mogelijke taaksituaties waarin bekwaamheid m.b.t. een kerntaak zich kan manifesteren Situatie / conditie

Taken / handelingen

Kerntaak basisarts: Spoedeisende Hulp verlenen

Snel handelen bij: bewusteloosheid hartstilstand hersenbloeding bevalling fracturen / trauma’s vergiftiging ademnood slagaderlijke bloedingen

le le penseur penseur © G.J.J.M. Straetmans

Wat is er nodig voor generaliseerbare resultaten? Inventarisatie van de taaksituaties waarmee startende professionals geconfronteerd kunnen worden. • Selectie van representatieve taaksituaties voor opname in assessmentprogramma. •


Slechte Betere selectie Situatie / conditie

Taken / handelingen

Kerntaak basisarts: Spoedeisende Hulp verlenen

Snel handelen bij: bewusteloosheid hartstilstand hersenbloeding bevalling fracturen / trauma’s vergiftiging ademnood slagaderlijke bloedingen

X X X

le le penseur penseur

X X

X © G.J.J.M. Straetmans

Wat is er nodig voor extrapoleerbare resultaten? •

Principekeuze: assessment op de werkvloer.

Geldt het assessmentresultaat ook voor het functioneren in een echte beroepscontext?


Wat is er nodig voor extrapoleerbare resultaten? Principekeuze: assessment op de werkvloer. • Waar nodig prestaties onder gesimuleerde omstandigheden laten uitvoeren. •


Wat is er nodig voor extrapoleerbare resultaten? • •

•

Principekeuze: assessment op de werkvloer. Waar nodig prestaties onder gesimuleerde omstandigheden laten uitvoeren. Als beroepshouding van cruciaal belang is: overweeg mystery guest techniek.


Resumé: Beter zicht krijgen op de beroepsbekwaamheid van studenten. • •

Stel beroepsbekwaamheid vast op grond van een assessmentprogramma. Voer als opleiding de regie bij de opzet en beoordeling van een assessmentprogramma. Bijvoorbeeld door: o Eisen te stellen aan kwantiteit en kwaliteit van bewijsstukken. o Werk te maken van standaardisatie van assessmentopdrachten.

•

Benut de stage als belangrijke bewijsbron voor beroepsbekwaamheid. o Maak de kerntaken van het beroep tot uitgangspunt voor de stage-opdracht. o Beoordeel vaker werkprocessen en resulterende beroepsproducten op de stage-

werkplek. •

Geef meer aandacht aan de beoordelingskwaliteit. o Systematisch ontwikkelen van prestatiecriteria; o Kalibratiesessies houden om intersubjectiviteit te bevorderen.

•

Werk samen en stem af met gelijksoortige opleidingen in het land. © G.J.J.M. Straetmans

Aanbevolen literatuur Expertgroep Protocol Afstudeerwerk (2014). Beoordelen is mensenwerk. Bevindingen over de wenselijkheid en mogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken. Vereniging Hogescholen. • Straetmans, G.J.J.M. (2014). Voorwaarden voor valide beoordeling van beroepsbekwaamheid. Examens, 11, 2, 1-8. • Straetmans, G.J.J.M. (2015). Beoordelen van competentie. http://www.toetswijzer.nl/html/toetsenopschool/toetsenopsc hool_ho.shtm Ook aanbevelenswaardig: Lidmaatschap van ‘Kennisplatform Examinering Hoger Onderwijs’. Aanmelden bij: [email protected] •


Dank voor uw aandacht!

No title

Recommend Documents