Validiteit van werkplek beoordelingen door middel van portfolio's

Validiteit van werkplek beoordelingen door middel van portfolio's Research Club UZA - 03.10.2012 Nele Michels prof. dr. Benedicte De Winter, prof. dr. Leo Bossaert, prof. dr. Luc Van Gaal

overzicht

context

portfolio introductie & implementatie

onderzoeks vragen

betrouwbaar haalbaarheid heid

studies & resultaten

generaliseerbaarheids analyse

validiteit

systematic review richtlijnen

Delphi studie “validity inventory”

content validity studie

1

portfolio - algemeen ontwikkeling

werkplekleren

- “zicht op (eigen) leren” - bijsturen

begeleiding

feedback & follow up

tutor lerende

beoordeling van competenties - evaluatie van bereikte competenties - evaluatie van ontwikkeling van competenties

2

portfolio Ma 3

adhv stage-ervaring:

stage

Michels et al. Tijdschr vr Geneesk, 2010

• casus • stafvoorstelling • zelfreflecties • specifieke opdrachten •…

“portfolio”

3

portfolio Ma 3 1. brugweek • •

financieel bilan zelfreflectie “zelfzorg tijdens stagejaar”

2. opdrachten

• vanuit eigen ervaring & interesses • authentiek • wetenschappelijk correct • systematisch 3. profileringruimte • persoonlijke beleving & bespreking

4. autopsies

4

portfolio Ma 3

adhv stage-ervaring:

stage

• opdrachten

“portfolio”

tutor stagiair

Michels et al. Tijdschr vr Geneesk, 2010

5

overzicht

context


onderzoeks vragen




validiteit

6

validiteit? beoordelen we wat we “beogen” te beoordelen? aantal manieren om naar validiteit te kijken: 1. “Trinitarian” point of view 2. “Messick’s” framework 3. “Kane’s” view

7

Messick’s framework2 content • examination blueprint • representativeness of test blueprint to achievement domain • test specifications • match of item content to test specifications • representativeness of items to domain • logical/empirical relationship of content tested to achievement domain • quality of test questions • item writer qualifications • sensitivity review

response process • student format familiarity • quality control of electronic scoring • key validation of preliminary scores • accuracy in combining different formats scores • quality control/accuracy of final scores, marks or grades • subscore/subscale analysis • accuracy of applying pass/fail decision rules to scores • quality control of score reporting to students/faculty • understandable/accurate descriptions /interpretations of scores for students

internal structure • item analysis data o item difficulty/discrimination o item/test characteristic curves (ICCs, TCCs) o inter-item correlations o item-total correlations • score scale reliability • SEM (standard errors of measurement) • generalisability – dimensionality – item factor analysis – differential item functioning (DIF) – psychometric model

relationship to other variables • correlation with other relevant variables • convergent correlations (similar test) • divergent correlations (dissimilar test) • test-criterion correlations • generalisability of evidence

consequences • impact of test scores on students & society • consequences on learners/future learning • positive consequences outweigh unintended negative consequences? • reasonableness of method of establishing pass-fail score • pass-fail consequences • false positives/negatives • instructional/learners consequences

2Messick

(1995)

8

overzicht

context


onderzoeks vragen




validiteit m.b.t. portfolio’s?

systematic review

9

systematic review • search Medline, Embase, ERIC - 1999-2010 / geen restrictie voor taal, geografie - kwantitatieve & kwalitatieve studies, reviews, commentaren - portfolio* – validity* – medical education*

142 titels & abstracts

19 weerhouden full reading

11 weerhouden 1. administration please complete all sections

title article

8 niet weerhouden

123 niet weerhouden

data coding form inclusion criteria population medical education : undergraduate, postgraduate, CME nurse, dental education study content validity investigation of portfolio portfolio educational portfolio = 1. collection of evidence of student learning and achievement 2. learning journals Michels et al. reporting Submitted/In revisiondata study design empirical/evaluative

exclusion criteria education of other allied health professions or other professions (teacher, manager, …)

author(s) reviewer 2. relevance – inclusion/exclusion criteria please complete all sections

1) portfolio: does it fit all of following definition? a collection of evidence of student activity outlining own learning experiences (e.g. patients seen, study subject covered, articles read) involving intellectual processing (no logbook or thick box) drawing together more than one item or type of evidence reject if none is applicable 2) population (i.e. students) medical school, undergraduate medical school, postgraduate continuing medical education nurse education dental education reject if none is applicable 3) study content investigation of portfolio validity is studied validity is discussed other psychometric aspects (e.g. reliability) are studied or discussed if none then reject reviewers preliminary decision: inclusion reserve, read for background context exclusion if the article is excluded do not complete the sections below

3. type of publication journal article

report

editorial

comment

4. study design

logbook (tick box) = collection of single assignments or activities

descriptive articles without empirical/evaluative data

4) research design comparative study (cohort) ( clinical trial) (RCT) (others) type? ………………………………………………………………………………………………………. descriptive study (non-comparative) type? ………………………………………………………………………………………………………. research study including data & statistical analysis (non-comparative) (systematic) review

10

systematic review • resultaten - beschrijving context:

Michels et al. Submitted/In revision

11

systematic review n°

article

population & country

design

context description

completion of the portfolio

feedback/ tutoring

time investment of students & teachers

assessment

1

Amsellem-Ouazana et al. 2007

Medical School, UG France

research & descriptive study

clear

mandatory & supervised

portfolio tutors

not mentioned

summative

2

Bierer et al. 2008

Medical School, UG USA

descriptive study

clear


faculty members

not mentioned

formative

3

Driessen et al. 2006

Medical School, UG – the Netherlands

research study

clear


portfolio tutors

not mentioned

summative

4

Gordon 2003

Medical School, UG Australia


moderate


faculty members

mentioned (partially)

summative

5

Grant et al. 2007

Medical School, UG - UK

research study

clear


faculty members / teachers

not mentioned

summative

6

Kear & Bear 2007

nurse education - USA


moderate

mandatory

no feedback & no tutoring

not mentioned

summative?

7

Mathers et al. 1999

CME - UK

research & comparative study

very clear

not mandatory & supervised

portfolio tutors

mentioned

formative

8

O’Sullivan et al. 2004

Medical School, PG USA

research study

clear



not mentioned

summative

9

Pereira & Dean 2009

Medical School, PG - UK

research study

moderate

mandatory & supervised?


not mentioned

unclear

10

Rees & Sheard 2004

Medical School, UG - UK

research study

moderate

mandatory


not mentioned

summative

11

Roberts et al. 2006

CME - UK

research study

moderate

mandatory


not mentioned

summative


12

systematic review • resultaten - beschrijving context: gemiddeld tot goed - kwaliteit studies: laag tot gemiddeld


13

systematic review kwaliteit van studies & type validiteit Sources of validity evidence: TOTAL Methodology: data-based perception-based description-based


content

response process

internal structure

consequences

n=5

relationship to other variables n=4

n=8

n=6

n=4 n=2 n=2

n=4 n=2 n=0

n=5 n=0 n=0

n=2 n=2 n=0

n=0 n=5 n=0

n=5

14

systematic review • resultaten - beschrijving context: gemiddeld tot goed - kwaliteit studies: laag tot gemiddeld - onderzoek validiteit • geen tot weinig verwijzing naar bestaande “frameworks” • meta-analyse niet mogelijk

= zeer divers, geen consensus


15

systematic review • conclusies minimale voorwaarden / richtlijnen 1. context 2. type validiteit? vb. framework Messick 3. “evidence based” onderzoek opzetten


16

overzicht

context


onderzoeks vragen




validiteit



17

overzicht

context


onderzoeks vragen




validiteit




18

Delphi studie • 30 experts - onderwijskundigen (UA & extern) - portfoliobeoordelaars

• per mail - anoniem

Michels et al. BMC Medical Education 2012

19

Delphi rondes Delphi ronde

N experts

response rate

n° 1

30

83% (25/30)

n° 2

25

88% (22/25)

n° 3

25

96% (24/25)


start document

taak /vraag

analyse

Vlaamse vertaling vd CanMEDS4

• relevantie? • suggesties?

• frequenties • oplijsten suggesties

analyse van Delphi n°1

• relevantie? • reacties (akkoord of niet?) op analyse

• frequenties • oplijsten reacties

hervormd document

opmerkingen w.b.

• laatste revisie

• overlap? • missing items? • toepasbaarheid voor toetsing?

4

Bossaert (2007)

20

CanMEDS rol MEDISCH EXPERT de student

criteria heeft inzicht in vereiste medische kennis t.a.v. een klinisch probleem: • past aangeleerde kennis toe • kan besliskundig redeneren past aangeleerde vaardigheid doeltreffend toe t.a.v. een klinisch probleem kan een consultplan uitvoeren: • neemt een relevante en accurate intake en anamnese af • voert een lichamelijk of ander onderzoek doelmatig uit • stelt een differentiaal diagnose op • verzamelt, analyseert en interpreteert doelmatig gegevens (van anamnese, lichamelijk onderzoek, technisch onderzoek) • stelt een correcte diagnose • stelt doelmatige (be)handelingen voor stelt een adequaat, multidisciplinair zorgplan op met specifiek aandacht voor zelfzorg en nazorg van de patiënt beschrijft symptomen van essentiële (en vastgelegde (vb. top 10’s)) ziektebeelden en alarmsignalen (en neemt ze op in de differentiaal diagnose) integreert de rollen communicator, collaborator, manager, health advocate, scholar en professional

CLIMAS =

Curriculum Learning outcomes Inventory of Medical Antwerp School

COMMUNICATOR de student

geeft duidelijke en begrijpelijke neerslag van een relevante, volledige, systematische en accurate intake en anamnese rapporteert schriftelijk de patiëntencasus o.v.v. patiëntenverslag of verwijsbrief kan een patiëntendossier invullen en bijhouden, en geeft alle informatie voor iedere andere gezondheidsverstrekker duidelijk en overzichtelijk weer rapporteert mondeling de patiëntencasus aan andere artsen en gezondheidsverstrekkers communiceert zijn wetenschappelijk opzoekwerk begrijpelijk, volledig en overzichtelijk communiceert tijdens het consult met de patiënt volgens de geldende normen van “good practice” gaat een empathische, vertrouwelijke en ethisch-verantwoorde arts-patiënt relatie en arts-familie relatie aan en kan deze behouden reflecteert over eigen communicatie en vorderingen hierin


21

conclusie Delphi studie • gevalideerde lijst van rollen en competenties die studenten moeten bereiken door te werken & te leren in de klinische setting (workplace based learning) en waarop ze getoetst kunnen worden • cave “artificiële” fragmentatie van verschillende rollen en competenties • geen praktische tool


22

extra Delphi ronde • semi-gestructureerde interviews • 10 Delphi experts at random selectie • tot saturatie (N=9) Validity Inventory for Portfolio Assessment

“VIP-A”

23

MEDISCH EXPERT

-

COMPETENTIE medische kennis (1a – 5) aangeleerde vaardigheid (2) besliskundig redeneren (1b) consultplan en multidisciplinair zorgplan (3 – 4) integratie CanMEDS rollen (6)

+/-

+

MEDISCH EXPERT

COMMUNICATOR

-

COMPETENTIE

intake en anamnese (7) communicatie in arts-patiënt-(familie) relatie (12 – 13) communicatie over wetenschappelijk opzoekwerk (11) communicatie over patiëntencasus (mondeling en schriftelijk) (8 – 9 – 10) reflectie eigen communicatie (14)

medische kennis (1a – 5) aangeleerde vaardigheid (2) besliskundig redeneren (1b) COLLABORATOR consultplan en multidisciplinair zorgplan gepaste deelname in een team van zorgverstrekkers (15 – 16 – 17) (3 – 4) (taken) teamwerk (18) rollen integratie CanMEDS reflectie werken in een team (6) (19)

MEDISCH EXPERT de student

MANAGER COMMUNICATOR reflectie zelfzorg en balans werk-persoonlijke ontwikkeling (20) intake en anamnese prioriteiten, administratieve en organisatorische taken, informatietechnologie (21 – 22 – 23 – 24) (7) gezondheidssysteem, inzicht in kosten en contractprocedures communicatie in(25arts-patiënt-(familie) relatie – 26 – 27) HEALTH ADVOCATE (12 – 13) reflectie over aspecten die gezondheid beïnvloeden (biopsychosociaal en existentieel) (28) wetenschappelijk opzoekwerk communicatie over primaire en secundaire preventie, patiëntveiligheid (11) (29 – 30 – 31) belangen van patiënt, begeleiding in gezondheidszorg communicatie over patiëntencasus (mondeling en schriftelijk) (32 – 33 – 34) reflectie kritische incidenten (8 – 9 – 10) (35) reflectie eigen communicatie SCHOLAR wetenschappelijk denken en handelen (14)

+/-

+

VIP-A

heeft inzicht in vereiste medische kennis t.a.v. een klinisch probleem: • past aangeleerde kennis toe • kan besliskundig redeneren past aangeleerde vaardigheid doeltreffend toe t.a.v. een klinisch probleem kan een consultplan uitvoeren: • neemt een relevante en accurate intake en anamnese af • voert een lichamelijk of ander onderzoek doelmatig uit • stelt een differentiaal diagnose op • verzamelt, analyseert en interpreteert doelmatig gegevens (van anamnese, lichamelijk onderzoek, technisch onderzoek) • stelt een correcte diagnose • stelt doelmatige (be)handelingen voor stelt een adequaat, multidisciplinair zorgplan op met specifiek aandacht voor zelfzorg en nazorg van de patiënt beschrijft symptomen van essentiële (en vastgelegde (vb. top 10’s)) ziektebeelden en alarmsignalen (en neemt ze op in de differentiaal diagnose) integreert de rollen communicator, collaborator, manager, health advocate, scholar en professional

(36 – 37 – 38 – 39) attitude tot levenslang leren – een opleidings (ontwikkelings) plan (40 – 44) overbrengen medische kennis en praktijk t.a.v. scientific community en evoluerende maatschappij (41 – 42 – 43)

PROFESSIONAL hoogste kwaliteit van zorg met juiste attitude en gedrag (45 – 46 – 48) reflectie professioneel gedrag en attitude (47 – 49)

totale tijdsinvestering validering: globale indruk validiteit: zeer goed / goed / minder goed globale score: / of zeer goed / goed / minder goed eventuele aanpassing na discussie:

24

overzicht

context


onderzoeks vragen




validiteit




25

content validity • 120 portfolio’s Universiteit Maastricht (N=40) – Universiteit Utrecht (N=40) – Universiteit Antwerpen (N=40)

• 3 beoordelaars, gepaard (3 sets): Marijke Avonts, Griet Peeraer, Kris Ulenaers onafhankelijke dubbel beoordeling

26

content validity • 120 portfolio’s Universiteit Maastricht (N=40) – Universiteit Utrecht (N=40) – Universiteit Antwerpen (N=40)

• 3 beoordelaars, gepaard (3 sets): • verzamelen van context informatie • VIP-A - is mogelijk om over de competentie te oordelen d.m.v. portfolio? voldoende (+) / gedeeltelijk (+/-) / onvoldoende (-) - welke opdrachten (portfolio inhoud) zorgen voor mogelijke beoordeling? 27

content validity • resultaten - context register - frequentie analyse

• • • • •

context doel van portfolio tutoring – feedback beoordeling portfolio inhoud

28

KEY COMPETENCES MEDICAL EXPERT medical knowledge acquired skills medical decision making (multidisciplinary) health care plan integration of the CanMEDS roles COMMUNICATOR intake and anamnesis communication in the doctor-patient(communication on scientific research communication on patient cases reflection on own communication COLLABORATOR appropriate contribution in a team of tasks teamwork reflection on participating in a team MANAGER reflection on self-care and balance priorities, administrative and health care system, insight in costs HEALTH ADVOCATE reflection on aspects influencing primary and secondary prevention, patient’s benefits, guidance in health reflection on critical incidents SCHOLAR thinking and acting scientifically attitude of lifelong learning – a convey medical knowledge and PROFESSIONAL highest quality of care with an reflection on professional behaviour

overall (N=120) + +/100 89.2 99.6 98.7 22.5 82 100 82 100 72 97 90.

10.8 0.4 1.25 77

0.4

17.5

0.4

28 3

+

Maastricht +/-

100 100 100 100 40 88

60

Utrecht University + +/100 100 100 98.7 5 80.

1.25 95

+

University of Antwerp +/-

100 67.5 98.7 97.5 22.5 77.2

32.5 1.25 2.5 76.2

100 48.7 100 18.7 91.2 71.7

51.2 1.25 81.2 8.75

100 100 100 100 100 100

100 97.5 100 96.2 100 98. 98.7 92.5 100 97.

1.25 7.5

41.2 93.7 6.25 47

23.7 5 58.7

35 1.25 35

100 39.7 100 79.9

78.7 21.2 37.5 50 46.

13.7 48.7 42.5 41.2

7.5 30 20 8.75

68.7 33.7 63.7 80 61.6

28.7 55 35 20

98.7 96.2 90 95

1.25 2.5 10

79.2 100 30 69.7

20.2

1.25

97.5 100 98.

2.5

28.7 96.2 62.5

71.2 3.75

71.2 81.3 93 81.

28 16.7 6.2

0.8 2 0.8

100 100 100 100

77.5 78.2 68.3 74.

11 21.4 20

11.5 0.4 11.7

91.2 100 98.7 96.

8.75

73 28.3 65.5 69.5 59.

24 58 27.5 27.5

3 13.7 7 3

71.2 70 95 78.7 78.

28.7 30 5 21.2

92.9 98.8 46.2 79.

7.1 0.8 53.7

0.4

75.4 98.7 87.

24.6 1.25

100 100 18.7 72. 100 100 100

1.25

81.2

1.25

1.25

3.75

15 51.2 78.7 48.3

82.5 42.5 18.7

1.25

2.5 6.25 2.5

60.2

2.5 11.2 1.25

70

29

content validity overall

UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

30


UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

≥ 85% < 84% & ≥ 60% < 60%

31


UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

≥ 85% < 84% & ≥ 60% < 60%

32


UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

≥ 85% < 84% & ≥ 60% < 60%

33


UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

≥ 85% < 84% & ≥ 60% < 60%

34


UMaastricht

UUtrecht

UAntwerpen

medisch expert

82

88

81

77

communicator

90

100

99

72

collaborator

82

100

97

48

manager

75

97

47

80

health advocate

59

79

47

62

scholar

79

73

95

70

professional

87

100

99

63

≥ 85% < 84% & ≥ 60% < 60%

35

KEY COMPETENCES MEDICAL EXPERT medical knowledge acquired skills medical decision making (multidisciplinary) health care plan integration of the CanMEDS roles COMMUNICATOR intake and anamnesis communication in the doctor-patient(communication on scientific research communication on patient cases reflection on own communication COLLABORATOR appropriate contribution in a team of tasks teamwork reflection on participating in a team MANAGER reflection on self-care and balance priorities, administrative and health care system, insight in costs HEALTH ADVOCATE reflection on aspects influencing primary and secondary prevention, patient’s benefits, guidance in health reflection on critical incidents SCHOLAR thinking and acting scientifically attitude of lifelong learning – a convey medical knowledge and PROFESSIONAL highest quality of care with an reflection on professional behaviour

overall (N=120) + +/100 89.2 99.6 98.7 22.5 82 100 82 100 72 97 90.

10.8 0.4 1.25 77

0.4

17.5

0.4

28 3

+

Maastricht +/-

100 100 100 100 40 88

60

Utrecht University + +/100 100 100 98.7 5 80.

1.25 95

+

University of Antwerp +/-

100 67.5 98.7 97.5 22.5 77.2

32.5 1.25 2.5 76.2

100 48.7 100 18.7 91.2 71.7

51.2 1.25 81.2 8.75

100 100 100 100 100 100

100 97.5 100 96.2 100 98. 98.7 92.5 100 97.

1.25 7.5

41.2 93.7 6.25 47

23.7 5 58.7

35 1.25 35

100 39.7 100 79.9

78.7 21.2 37.5 50 46.

13.7 48.7 42.5 41.2

7.5 30 20 8.75

68.7 33.7 63.7 80 61.6

28.7 55 35 20

98.7 96.2 90 95

1.25 2.5 10

79.2 100 30 69.7

20.2

1.25

97.5 100 98.

2.5

28.7 96.2 62.5

71.2 3.75

71.2 81.3 93 81.

28 16.7 6.2

0.8 2 0.8

100 100 100 100

77.5 78.2 68.3 74.

11 21.4 20

11.5 0.4 11.7

91.2 100 98.7 96.

8.75

73 28.3 65.5 69.5 59.

24 58 27.5 27.5

3 13.7 7 3

71.2 70 95 78.7 78.

28.7 30 5 21.2

92.9 98.8 46.2 79.

7.1 0.8 53.7

0.4

75.4 98.7 87.

24.6 1.25

100 100 18.7 72. 100 100 100

1.25

81.2

1.25

1.25

3.75

15 51.2 78.7 48.3

82.5 42.5 18.7

1.25

2.5 6.25 2.5

60.2

2.5 11.2 1.25

70

36

content validity • resultaten - context register - frequentie analyse - “inhoud” database

37

MEDICAL EXPERT

COMMUNICATOR

COLLABORATOR

MANAGER

HEALTH ADVOCATE

SCOLAR

case report

x

x

x

x

x

x

EBC report

x

x x

x

x

x

x

x

x

x

x

x

x

x

FACR report

x

obstetric/surgery report

x

FM task

x

deepening task

x

x

x

x

financial analysis article/publication

x

presentation

x

x

referral letter

PROFES-SIONAL

x

x

x

autopsy

x

self-assessments

x

x

x

x

x

x

x

self-reflection

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

reflection self-care PDP

x x

x

x

CD

x

x

x

x

x

mini-CEX

x

x

x

x

x

MSF

x

x

x

x

x

CAT

x

PB assessment

x

peer review

x

x x

x

x x

x

x

mentoring report progression report

x

internship observation

x

x

internship assessment

x

x

profiling space

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

38

content validity • resultaten - context register - frequentie analyse - “inhoud” database - validatie van VIP-A: • inter beoordelaar betrouwbaarheid: Percentage Agreement • agreement was hoog (>80% & <90%) tot zeer hoog (>90%) health advocate role scoort minder (wel nog >60%)

39

content validity • conclusie - validatie VIP-A (“internal structure validity”) - portfolio kan gebruikt worden om competenties te beoordelen - “hoe content validity verbeteren?” • • • •

duidelijke stellen van “doel” & blueprint expliciete link tussen competenties/rollen en portfolio opdracht content database portfolio & context: adequate procedures voor beoordeling & begeleiding

40

overzicht

context


onderzoeks vragen




validiteit




41

vervolg… • CLIMAS & VIP-A - andere doeleinden - verder valideren

• validiteit: - andere portfolio’s - “consequences”

• portfolio verbeteren -

opdrachten ~ competenties “directe” beoordelingen, vb. KKB tutorship herbekijken “holistic assessment” 42

take home messages • laat uw studenten & stagiairs actief stage lopen • doel = werkplek leren • betrek CLIMAS = skelet van waaruit u studenten kan begeleiden en beoordelen • directe observaties: KKB • zorg voor uiteenlopende ervaringen / patiënten • bespreek mogelijke opdrachten tijdens stage bij u • “tutor” rol: geef feedback en bespreek leernoden, leerplannen en progressie

43

als laatste • dank aan collega’s vaardighedenteam, portfoliobeoordelaars, reviewers, Delphi experts, validiteit beoordelaars, studenten, stagemeesters,… • vragen of suggesties? [email protected]

44

Validiteit van werkplek beoordelingen door middel van portfolio's

Recommend Documents