Effecten van toetsen op het leren Janke Cohen-Schotanus Maart 2014 Fontys hogeschool
financieel management
Inhoud, planning en organisatie van toetsing Welk beleid voert uw faculteit? Wat zijn de effecten?
Hoger onderwijs in Nederland
te laag rendement twijfels over kwaliteit afstuderende
De lat moet omhoog! Voor wie? En hoe?
Wat gebeurt er in uw opleiding?
De lat moet omhoog! BSA Intake gesprekken Begeleiding Strenge eisen Selectie
Effect??
Plannen 1e jaars Propedeuse in 1 jaar halen Liefst cum laude
Signalen voor 1e jaars nominaal studeren hoeft niet
veel tijd voor herkansingen in programma’s
tweederde van aantal punten is voldoende (BSA)
belangrijk dat je dingen naast je studie doet (werken aan je cv)
Herkansen en studievertraging is normaal!
Onze oordelen over vertragers niet gemotiveerd
lage cijfers VWO
onvoldoende voorkennis
zwakke profielen
besteden te weinig tijd aan de studie
selectie nodig
drinken te veel
te veel bijbaantjes
studievertraging is eigen schuld!
Propedeuserendement GNK als voorbeeld • • • •
8 faculteiten gemeenschappelijke eindtermen vergelijkbare inhoud programma’s homogene instroom
• rendementsverschillen?
Finale propedeuse rendementen (%) 8 medische faculteiten Actief leren en veel zelfstudietijd 100 90 80 70
veel hoorcolleges
60 50 40 30 20 10 0 Schmidt et al, 2009
17 jaar
Propedeuserendement GNK • Hoe hoog schat je het nominale propedeuse rendement ( ≤ 1 jaar)? • Hoe groot mogen de verschillen tussen faculteiten zijn?
Nominale propedeuse rendementen 8 medische faculteiten 100 90 80 70 60 50 40 30 20 10 0
19 jaar
Assessment drives learning Wat student bestudeert Hoe Hoe veel
Hoe effectief Wanneer
Biggs et al, 2007
Drie vragen van student wanneer is de toets? wat moet ik er voor doen? en als ik zak?
Cohen-Schotanus, 1994, 2012
Drie antwoorden voor student wanneer: just-time-manager 3 - 4 week wat:
homo economicus
en als ik zak?
alle doelen groot probleem
Toetsprogramma
wanneer
programmering
wat
inhoud
en als ik zak?
regelgeving
Toetsprogramma Inhoudelijke sturing wat:
Strategische sturing
kwaliteit
inhoud
rendement
wanneer:
programmering
en als ik zak?
regelgeving
De lat omhoog: Inhoudelijke sturing wat:
meer inhoud en/of cesuur?
Strategische sturing wanneer:
programmering vaak toetsen
en als ik zak?
regelgeving minder hertentamens
Wat moet ik er voor doen? Alles zoals omschreven!
Professional authenticity
A simple model of competence
Does
Behaviour
Shows how Knows how Knows Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Cognition
Climbing the pyramid...... Does
Performance assessment in vivo: Masked SPs, Video, Audits…..
Shows how
Performance assessment in vitro: OSCE, SP-based test…..
Knows how
(Clinical) Context based tests: MCQ, essay type, oral…..
Knows
Factual tests: MCQ, essay type, oral…..
Strategische sturing hoe krijg je de student achter zijn bureau
wat helpt niet BSA
4 jaar voor 3-jarige opleiding vrijstellende toetsing
Stegers et al, 2011,
vrijblijvendheid ‘faal’-beleid
Programmering en regels ‘grote’ onderdelen
De Gruijter, 1989 Cohen-Schotanus, 1995 Baars et al, 2012 en 2013
–
ECTS: alles of niets
–
6 studieonderdelen max of jaarklassen?
Rendement (%) jaarklassen (60 ECTS) Erasmus oud
jaarklas
Bestuurskunde 1 jaar
30
62
2 jaar
54
1 jaar
16
2 jaar
48
1 jaar
50
2 jaar
68
Sociologie
Psychologie
Spaai et al, 2012
55
72
Programmering en regels ‘grote’ onderdelen –
ECTS: alles of niets
–
6 studieonderdelen max of jaarklassen?
deeltoetsen –
Wijnen, 1986 Rekveld & Starren, 1994
verdeling studielast
Cumulatieve toetsing umcg • integrale kennistoetsing over blok van 10 weken (mc, open en gesloten boek) • tussentijdse toetsen • uitslagbepaling op eind • herhaling stof binnen toets • hertentamen alles in 1 keer (zomer)
Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen tentamen
20
20
20
20
toets 1
10
10
10
10
toets 2
5
5
5
toets 3
5
5
5
20
20
20
20
5
10
10
10
10
5
10
10
10
10
Hertentamen in zomer: 100 vragen over hele blok
20
20
20 20
Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen voordelen tentamen
20
20
20
20
20
20
20
20
regelmatig studeren 20herhaling 20 studiestof geen concurrentie compensatie revisie mogelijk
toets 1
10
10
10
10
toets 2
5
5
5
5
10
10
10
10
toets 3
5
5
5
5
10
10
10
10
Herkansing in zomer: 100 vragen over hele blok
hertentamen onaantrekkelijk 20 20
Tijdbesteding end-of-block versus cumulatieve toetsing end-of block
cumulatief
Week 1
4
7
Week 2
4
8
Week 3
6
13
Week 4
6
28
Week 5
8
10
Week 6
8
12
Week 7
11
16
Week 8
13
28
Week 9
19
18
Week 10
36
30
Kerdijk et al, 2013 (submitted)
Zelfstudietijd end-of-block versus cumulatieve toetsing end-of block
cumulatief
Week 1
4
7
Week 2
4
8
Week 3
6
13
6
28
Week 5
8
10
Week 6
8
12
Week 7
11
16
13
28
19
18
36
30
Week 4
Week 8
20
60
Week 9 Week 10
Kerdijk et al, 2013 (submitted)
115
56
122
170
Resultaten (% goede antwoorden) end-of block vs cumulatief end-of block
cumulatief
Week 1-4
73
75
Week 5-8
75
74
Week 9-10 **
71
78
Kerdijk et al, 2013 (submitted)
Programmering en regels ‘grote’ onderdelen –
ECTS: alles of niets
–
6 studieonderdelen max of jaarklassen?
deeltoetsen –
verdeling studielast
compensatie –
correctie onbetrouwbaarheid
–
alleen bij 1e reguliere deelname
Wordt alleen door goede studenten gebruik van gemaakt. (Arnold et al. 2009) Niet altijd zelfde vakken en onafhankelijk van omvang. (Cohen-Schotanus, 1995)
De Gruijter, 1989 Cohen-Schotanus, 1995
Compensatie Jaarklassen Erasmus (%) geen 1
2
>2
Bestuurskunde
37
23
26
15
Sociologie
51
43
3
3
Psychologie
52
26
18
3
Spaai et al, 2012
Programmering en regels ‘grote’ onderdelen –
ECTS: alles of niets
–
6 studieonderdelen max of jaarklassen?
deeltoetsen –
verdeling studielast
compensatie –
correctie onbetrouwbaarheid
–
alleen bij 1e reguliere deelname
hertentamen –
niet te dicht bij reguliere afname
–
beperkt aantal
cesuur Wijnen, 1971 Jansen, 1996 Hofstee, 1983 Cohen-Schotanus, 1994 Cohen-Schotanus & vd Vleuten, 1996 & 2010
Cesuur (slaag/zak grens) Groningen
Absoluut:
50-60% kennis (gecorrigeerd voor raden)
Maastricht
Relatief: gemiddelde prestatie (minus standaard meetfout)
% gezakten voor 54 toetsen cesuur: 60% kennis 100 90 80 70 60 50 40 30 20 10 0
Groningen
Kennisniveau bij 54 toetsen cesuur: gemiddelde minus standaard meetfout 60
Goed min Fout
50 40 30 20 10 0 1
2
3
Maastricht
4
5
6
Gemiddeld % gezakte studenten per toets 100 90 80 70 60 50 40
54
30 20 10 0
17 Maastricht
Groningen
Resultaten voortgangstoets 50
2001-2002 40 30 20 10 0 0
4
8
12
16
20
24
8
12
16
20
24
50
2002-2003 40 30 20 10 0 0
4
Toets als steekproef
makkelijk gemiddeld moeilijk
Wat te doen aan toetskwaliteit en rendement? Focus beleid: van falende naar nominale student
nominaal = normaal (= lat omhoog) duidelijke eisen mbt totaalpakket (= lat omhoog) compensatie binnen nominale termijn (≠ lat omlaag)
verdedigbare cesuur methode (≠ lat omlaag)
Accreditatie 3 standaarden voor beperkte visitatie
Beoogde eindkwalificaties Onderwijsleeromgeving Toetsing en gerealiseerde eindkwalificaties
Accreditatie facetten bij ‘adequaat’ systeem van toetsing
Vertaling eindkwalificaties in toetsprogramma Toetsbeleid en – plan (en de uitwerking daarvan) Procedures: feedback, transparantie, cesuur, scripties Functioneren examencommissie Kwaliteitsbewaking toetsing: voor en na afname, betrouwbaarheid, validiteit, respresentativiteit, blauwdrukken
Onderwijscyclus
doel
toets
middel
Onderwijscyclus belangstelling docent
toets
middel = onderwijsprogramma
Onderwijscyclus belangstelling student
toetsprogramma
Onderwijscyclus inconsistentie:
toetsprogramma = onderwijsprogramma
winnaar !!
Students don’learn what you expect,
they learn what you inspect
toetsprogramma = onderwijsprogramma
winnaar !!
Onderwijscyclus
‘Alignment’ is het toverwoord doel
toets
middel
Toetsprogramma’s Goede toetsing is duur Perfecte toets bestaat niet Uitvoerbaar en verdedigbaar
Wat te doen bij financieel management? Hoe kunt u daaraan bijdragen?
Visie op onderwijs is visie op toetsing
