Maatregelen ter verbetering van het rendement in het Hoger Onderwijs: waar is de evidentie? Janke Cohen-Schotanus 19 juni 2015 ORD Leiden
Hoger onderwijs in Nederland Politiek: te laag rendement twijfels over kwaliteit afstuderende
Simpele Boodschap De lat moet omhoog! Voor wie? En hoe?
De lat moet omhoog! BSA Bredere BA opleidingen Intensiever onderwijs Effect?? Intake gesprekken Meer contacttijd Selectie Strenge eisen Studiebegeleiding Verhogen kwaliteit docenten
Meeste maatregelen gericht op 1e jaars studenten
Plannen 1e jaars Propedeuse in 1 jaar halen Liefst cum laude
Signalen voor 1e jaars nominaal studeren hoeft niet
veel tijd voor herkansingen in programma’s
driekwart van aantal punten is voldoende (BSA)
belangrijk dat je dingen naast je studie doet (werken aan je cv)
Herkansen en studievertraging is normaal!
Onze oordelen over vertragers niet gemotiveerd
lage cijfers VWO/HAVO zwakke profielen selectie nodig
onvoldoende voorkennis
besteden te weinig tijd aan de studie drinken te veel
te veel bijbaantjes
Studievertraging: schuld student!
Studievertraging Schuld student? Wat kan een opleiding aan studievertraging doen?
Propedeuserendement GNK als voorbeeld • • • •
8 faculteiten (in NL) gemeenschappelijke eindtermen vergelijkbare inhoud programma’s homogene instroom studenten (Roeleveld, 1997)
• rendementsverschillen?
Finale propedeuse rendementen (%) 8 medische faculteiten 100 90 80 70 60 50 40 30 20 10 0
17 jaar
Propedeuserendement GNK • Hoe hoog schat je het nominale propedeuse rendement ( ≤ 1 jaar)? • Hoe groot mogen de verschillen tussen faculteiten zijn?
Nominale propedeuse rendementen 8 medische faculteiten 100 90 80 70 60 50 40 30 20 10 0
19 jaar
Propedeuserendement GNK Verschillen in: Onderwijsvormen Toetsing
Onderzoek Onderwijsvormen 1 Curricula met accent op actief leren: hoger rendement en snellere doorstroom (Lonka en Ahola 1995, Olds en Miller 2004, Van den Berg en Hofman 2005, Schmidt et al, 2009)
Schmidt et al
8 faculteiten geneeskunde, 10 cohorten (N=13.845) Actief leren: 8% meer afgestudeerden en 5 maanden korter
Onderzoek Onderwijsvormen 2 Heijne-Penninga et al, 2010 3 faculteiten, 2 PBL en 1 traditioneel (n=5478) 4 voortgangstoetsen (4x200 vragen)
Traditioneel beter in jaar 1 en 2 PBL beter in jaar 3 en gehele Master periode Betere beklijving met PBL
Onderzoek Onderwijsvormen 3 Schmidt et al, 2010
(1
8 faculteiten, uren programma onderdelen: geprogrammeerde zelfstudie, hoorcolleges, practica, tutorgroepen 5 uur meer zelfstudie = 4% meer afgestudeerden hoe meer hoorcolleges, hoe lager rendement geen effect practica en tutorgroepen
Propedeuserendement GNK Verschillen in: Onderwijsvormen Toetsing: aantal toetsen, planning, concurrentie, compensatie, cesuurbepaling, herkansingsbeleid
Toetsing Assessment drives learning Wat student bestudeert Hoe Hoe veel
Hoe effectief Wanneer Biggs et al, 2007
Drie vragen van student die studeergedrag beïnvloeden
wanneer is de toets? wat moet ik er voor doen?
en als ik zak?
Cohen-Schotanus, 1994, 2012
Drie antwoorden voor student wanneer: just-time-manager 3 - 4 week wat:
homo economicus
en als ik zak?
alle doelen groot probleem
Toetsprogramma
wanneer
programmering
wat
inhoud
en als ik zak?
regelgeving
Toetsprogramma Inhoudelijke sturing wat:
Strategische sturing
kwaliteit
inhoud
rendement
wanneer:
programmering
en als ik zak?
regelgeving
Programmering/planning Aantal onderwijseenheden Meer dan 6: kans op onterechte onvoldoende > 50% Geneeskunde: hoe meer vakken, hoe lager rendement
Planning toetsmomenten Gemiddelde student begint 2-4 weken voor de toets met voorbereiding
Concurrentie activiteiten en toetsing Strategisch gedrag van studenten. Eerst geplande toets krijgt meeste aandacht De Gruijter, 1989 Cohen-Schotanus, 1994, 1995
Van der Drift en Vos, 1987
Cumulatieve toetsing GNK RuG keuzes mbt programmering en planning
• blok van 10 weken is één onderwijseenheid met integrale toetsing • tussentijdse toetsen • uitslagbepaling (slagen of zakken) op eind blok • herhaling stof • hertentamen alles in 1 keer (zomer)
Cohen-Schotanus, 2012
Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen 20
20
20
20
20
20
20
20
toets 1
10
10
10
10
toets 2
5
5
5
5
10
10
10
10
toets 3
5
5
5
5
10
10
10
10
Hertentamen in zomer: 100 vragen over hele blok Kerdijk et al, 2014
20
20
20 20
Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen voordelen 20
20
20
20
20
20
20
20
regelmatig studeren 20herhaling 20 studiestof geen concurrentie compensatie revisie mogelijk
toets 1
10
10
10
10
toets 2
5
5
5
5
10
10
10
10
toets 3
5
5
5
5
10
10
10
10
Herkansing in zomer: 100 vragen over hele blok
hertentamen onaantrekkelijk 20 20
Tijdbesteding end-of-block versus cumulatieve toetsing end-of block
cumulatief
Week 1*
4
7
Week 2*
4
8
Week 3*
6
13
Week 4*
6
28
Week 5
8
10
Week 6*
8
12
Week 7*
11
16
Week 8*
13
28
Week 9
19
18
Week 10*
36
30
* Sign p<.05
Kerdijk et al, 2015
Zelfstudietijd end-of-block versus cumulatieve toetsing end-of block
cumulatief
Week 1
4
7
Week 2
4
8
Week 3
6
13
6
28
Week 5
8
10
Week 6
8
12
Week 7
11
16
13
28
19
18
36
30
Week 4
Week 8
20
60
Week 9 Week 10
Kerdijk et al, 2015
115
56
122
170
Resultaten (% goede antwoorden) end-of block vs cumulatief end-of block
cumulatief
Week 1-4
73
75
Week 5-8
75
74
Week 9-10 **
71
78
Kerdijk et al, 2015
Taatgen 2009
Regelgeving Herkansing Lager rendement bij meerdere herkansingen (Jansen, 1995) Niet plannen tijdens regulier onderwijs (Cohen-Schotanus, 2012)
Compensatie Maken vooral goede studenten gebruik van (Arnold, 2009) Alle vakken worden gecompenseerd (Cohen-Schotanus, 1995)
Cesuur Elke cesuur die niet corrigeert voor moeilijkheid van toets deugt niet (vele studies, zie bijv. Cohen-Schotanus & Van der Vleuten 2010)
BSA BSA van 60 studiepunten lijkt best te voldoen
Bindend Studie Advies (Academic Dismissal Policy)
< 35-45 studiepunten: opleiding verlaten Bij GNK: Geen rendementsverbetering na twee studiejaren ondanks extra studiebegeleiding Verklaring: plafond of drempel? Stegers-Jager et al, 2011 & 2015 Eijsvolgels et al, 2015
Rendement (%) jaarklassen (60 ECTS) Erasmus oud
jaarklas
Bestuurskunde 1 jaar
30
62
2 jaar
54
1 jaar
16
2 jaar
48
1 jaar
50
2 jaar
68
Sociologie
Psychologie
Baars et al, 2012
55
72
Cesuur (slaag/zak grens) Groningen
Absoluut: gevolg:
vast kennisniveau (50-60%) (grote) variatie in slaag/zak %
Maastricht
Relatief: gemiddelde prestatie (minus standaard meetfout) gevolg: variatie in kennispercentage
Gemiddeld % gezakte studenten per toets 100 90 80 70 60 50 40
54
30 20 10 0
17 Maastricht
Cohen-Schotanus & Van der Vleuten, 2010
Groningen
Resultaten voortgangstoets 50
2001-2002 40 30 20 10 0 0
4
8
12
16
20
24
Toets als steekproef
makkelijk gemiddeld moeilijk
Cesuur Cesuurbepaling waarbij geen rekening wordt gehouden met moeilijkheid van de toets deugt niet Onze hang naar absolute cesuren van 5060 % leidt tot grote groepen onterecht gezakte studenten en houdt onze zakcultuur in stand
Wat te doen aan doorstroom en rendement? Focus toetsbeleid: van falende naar nominale student
nominaal = normaal (= lat omhoog) duidelijke eisen mbt totaalpakket (= lat omhoog) compensatie binnen nominale termijn (≠ lat omlaag) verdedigbare cesuur methode (≠ lat omlaag)
Selectie Doel: voorspelling student geschikt
toelaten
ongeschikt
XXXXX
selectie afwijzen
XXXXX
Groningen
1000 kandidaten 90% geschikt 400 plaatsen student
toelaten
geschikt
ongeschikt
360
40
400
540
60
600
900
100
loting afwijzen
Voorspellers Persoonskenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude)
Voorgaande studieprestaties: eindexamencijfer
Scores op MMI’s:
multiple mini-interviews
Situational Judgment tests Siu & Reiter, 2009 Cohen-Schotanus & Van Trigt, 2015
Wat voorspelt niet individuele gesprekken referenties emotionele intelligentie test
persoonlijkheidstest ‘personal statements’ motivatie/attitude/commitment metingen Siu & Reiter, 2009
Onderzoek effecten van selectie Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden hebben gedaan Unieke situatie Nederland: niet-geselecteerden worden door loting (voor een deel) toch toegelaten
Geselecteerde versus ingelote studenten 2000 - 2010 Geen verschillen (Utrecht, Leiden) Hogere cijfers (AMC, ErasmusMC1)
Meer ECTS na 1 jaar (AMC) Lagere kans drop out (ErasmusMC2) Meer extra-curriculaire activiteiten (AMC3)
Na 2010: Lukt niet goed om gevonden resultaten te repliceren bij andere faculteiten 1. Urlings-Strop ea, 2011, 2 Urlings-Strop ea, 2009, 3 Hulsman ea 2007
Instroomgroepen 8+ geselecteerd na afwijzing ingeloot niet meegedaan aan selectie
Gemiddelde cijfers 1e jaar gecorrigeerd voor gender en cohort (n=1031)
Cijfer
p>.05
8+
7.53
> S, LA, L
Selectie
6.50
>L
Lot na Afwijzing
6.37
-
Lot
6.20
-
Schripsema et al, 2014
Behaalde studiepunten jaar 1 (60 max)
EC
p>.05
8+
59.0
> S, LA, L
Selectie
55.1
>L
Lot na Afwijzing
53.2
>L
Lot
50.5
-
Behaalde studiepunten 2e jaar Gehaald in 2e inschrijfjaar
EC
p>.05
8+
55.6
>L
Selectie
53.7
>L
Lot na Afwijzing
52.4
>L
Lot
47.7
-
Behaalde studiepunten 3e jaar Gehaald in 3e inschrijfjaar
EC
p>.05
8+
55.7
-
Selectie
56.8
-
Lot na Afwijzing
57.2
-
Lot
52.8
-
Professioneel gedrag: goed % goed
Odds ratio
8+
54.9
>L
Selectie
53.3
> LA, L
Lot na Afwijzing
41.7
-
Lot
36.0
-
Risicogroep voor studiesucces: Niet meedoen aan selectie
Participatie Drop out
Cijfers BSA Selectie op inzetbereidheid?
Visser 2015
Waar hebben we het over? Selectie bij geneeskunde: veel geschikte kandidaten afwijzen en ‘winst’ erg mager
Selectie ‘dure’ methode om inzet/motivatie te meten? Bias? (geslacht, diversiteit (cultural capital), ‘medisch milieu’)
Hoe fair is selectie eigenlijk?
Selectie
--
++
Selectie & loten l o t e n
--
++ Meest fair?
Nog een probleem
Wat voor dokters hebben we eigenlijk nodig?
Krijgen we door selectie niet een eenheidsworst van kandidaten terwijl het veld verschillende typen dokters nodig heeft? Hoe fair is dat?
Welke dokters hebben we nodig?
De lat moet omhoog! BSA Bredere?????? BA opleidingen + Intensiever onderwijs Effect?? Intake gesprekken ?????? Meer contacttijd TOETSBELEID ?????? Selectie ++Strenge eisen Studiebegeleiding Verhogen kwaliteit docenten ??????
Visie op onderwijs is visie op toetsing
