Modelmatige analyse van het Bindend Studieadvies Rijksuniversiteit Groningen Casper Albers, Hans Beldhuis, Carlien Vermue, Taco de Wolff DAIR Kennissessie, november 2014
Doel kennissessie
1
Inleiding geven in het BSA-model zoals het door ons is ontwikkeld
2
Deelnemers analyses laten doen op basis van gegevens van hun eigen opleiding
3
Resultaten onderling bespreken. Zijn er patronen zichtbaar? Bv. • HBO vs universiteit • Effect van hoogte BSA-drempel • Doen β-opleidingen het structureel beter/slechter dan α, etc.
BSA Model
Introductie
2 / 38
Inleiding BSA
• Een propedeuse bestaat uit ECTS • Werking van het Binding Study Advice (BSA): • Kies een drempel B • score < B ECTS Negatief advies score ≥ B (Voorlopig) positief advies • Beoogd doel BSA: wegsturen van studenten waarvan de kans op
bachelor binnen (bv.) 4 jaar te laag is.
BSA Model
Introductie
3 / 38
Doel van het model Modelleren van 1
Studieresultaten; zowel op individueel als groepsniveau, voor alle propedeuses van de RUG
2
Mogelijkheid om informatie te aggregeren naar facultair en universitair niveau
3
Bestudering van invloed keuze B
Wel interessant, maar geen doel: 1
Wat is de relatie vooropleiding – studiesucces?
2
Zijn er bepaalde clusters ‘moeilijke vakken’ in een opleiding?
3
Zijn er verschillen M/V, autochtoon/allochtoon, etc. ?
4
Alles dat met studiesucces na jaar 1 te maken heeft
BSA Model
Introductie
4 / 38
Data waarop model gebaseerd is • 2010/2011, 2011/2012: B = 40. • 2012/2013: B = 45. • Voor alle (∼ 60) bacheloropleidingen aan de RUG hebben we voor alle
propedeusevakken: • n1 , m1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen • n2 , m2 , n3 , m3 , . . .: aantal deelnemers (totaal/succesvol) aan volgende
kans tentamens • Hieruit halen we • p1 = m1 /n1 : kans dat de student het vak de 1e keer haalt • pt = p1 + (1 − p1 )m2 /n2 + . . .: (ongeveer) slaagkans voor het vak in jaar 1. • Bij verreweg de meeste vakken ligt pt tussen .75 en .85. • Daarnaast hebben we de ECTS frequentietabel (m.u.v. ‘speciale
studenten’) BSA Model
Introductie
5 / 38
Data waarop model gebaseerd is • 2010/2011, 2011/2012: B = 40. • 2012/2013: B = 45. • Voor alle (∼ 60) bacheloropleidingen aan de RUG hebben we voor alle
propedeusevakken: • n1 , m1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen • n2 , m2 , n3 , m3 , . . .: aantal deelnemers (totaal/succesvol) aan volgende
kans tentamens • Hieruit halen we • p1 = m1 /n1 : kans dat de student het vak de 1e keer haalt • pt = p1 + (1 − p1 )m2 /n2 + . . .: (ongeveer) slaagkans voor het vak in jaar 1. • Bij verreweg de meeste vakken ligt pt tussen .75 en .85. • Daarnaast hebben we de ECTS frequentietabel (m.u.v. ‘speciale
studenten’) BSA Model
Introductie
5 / 38
Voorbeeld: een willekeurige opleiding
BSA Model
Introductie
6 / 38
Wat willen we doen
• Modelleren van de resultaten: overzichtelijke samenvattingen, zodat
we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. • Uitspraak doen over effect van verandering BSA-drempel B op
studiesucces. • Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag:
antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen.
BSA Model
Introductie
7 / 38
Wat willen we doen
• Modelleren van de resultaten: overzichtelijke samenvattingen, zodat
we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. • Uitspraak doen over effect van verandering BSA-drempel B op
studiesucces. • Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag:
antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen.
BSA Model
Introductie
7 / 38
Wat willen we doen
• Modelleren van de resultaten: overzichtelijke samenvattingen, zodat
we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. • Uitspraak doen over effect van verandering BSA-drempel B op
studiesucces. • Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag:
antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen.
BSA Model
Introductie
7 / 38
Onderwerpen presentatie
• Introductie • Poging 1: een simplistisch model • Modeluitbreiding die toestaat dat student-capabiliteit wisselt • Modeluitbreiding die opleidingen met vakken van verschillend aantal
ECTS aankan • Laten zien dat dat model goed past bij de data • Bespreking van de resultaten
BSA Model
Introductie
8 / 38
Onderwerpen presentatie
• Introductie • Poging 1: een simplistisch model • Modeluitbreiding die toestaat dat student-capabiliteit wisselt • Modeluitbreiding die opleidingen met vakken van verschillend aantal
ECTS aankan • Laten zien dat dat model goed past bij de data • Bespreking van de resultaten
BSA Model
Introductie
8 / 38
Onderwerpen presentatie
• Introductie • Poging 1: een simplistisch model • Modeluitbreiding die toestaat dat student-capabiliteit wisselt • Modeluitbreiding die opleidingen met vakken van verschillend aantal
ECTS aankan • Laten zien dat dat model goed past bij de data • Bespreking van de resultaten
BSA Model
Introductie
8 / 38
Onderwerpen presentatie
• Introductie • Poging 1: een simplistisch model • Modeluitbreiding die toestaat dat student-capabiliteit wisselt • Modeluitbreiding die opleidingen met vakken van verschillend aantal
ECTS aankan • Laten zien dat dat model goed past bij de data • Bespreking van de resultaten
BSA Model
Introductie
8 / 38
Het basismodel
BSA Model
Basismodel
9 / 38
Basismodel voor een opleiding met 12 vakken van 5 ECTS • Bij RUG: veel opleidingen bestaan uit 12 × 5 ECTS vakken. • Aanname 1: geen variatie tussen cursussen: slaagkans pt is hetzelfde
bij alle vakken; • Aanname 2: geen variatie tussen studenten: slaagkans pt is hetzelfde
bij alle studenten; • Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS
haalt) wordt gegeven door de binomiale verdeling: n k P(X = k) = p (1 − pt )n−k . k t • P(minstens 9 × 5 = 45 ECTS) =
BSA Model
P12
Basismodel
k=9 P(X
= k), enz.
10 / 38
Basismodel voor een opleiding met 12 vakken van 5 ECTS • Bij RUG: veel opleidingen bestaan uit 12 × 5 ECTS vakken. • Aanname 1: geen variatie tussen cursussen: slaagkans pt is hetzelfde
bij alle vakken; • Aanname 2: geen variatie tussen studenten: slaagkans pt is hetzelfde
bij alle studenten; • Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS
haalt) wordt gegeven door de binomiale verdeling: n k P(X = k) = p (1 − pt )n−k . k t • P(minstens 9 × 5 = 45 ECTS) =
BSA Model
P12
Basismodel
k=9 P(X
= k), enz.
10 / 38
Basismodel voor een opleiding met 12 vakken van 5 ECTS
• Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de
waarheid; doorgaans slechts kleine verschillen in pt per vak; • Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet
op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los.
BSA Model
Basismodel
11 / 38
Basismodel voor een opleiding met 12 vakken van 5 ECTS
• Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de
waarheid; doorgaans slechts kleine verschillen in pt per vak; • Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet
op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los.
BSA Model
Basismodel
11 / 38
Basismodel voor een opleiding met 12 vakken van 5 ECTS
• Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de
waarheid; doorgaans slechts kleine verschillen in pt per vak; • Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet
op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los.
BSA Model
Basismodel
11 / 38
Het beta-binomiale model
BSA Model
Beta-binomiaal model
12 / 38
Het Beta-binomiale model • Aanname 1 - gelijke vakmoeilijkheid - blijft. • We staan student-variabiliteit toe: πi ∼ Beta(α, β), met πi de kans
dat student i slaagt voor een tentamen x α−1 (1 − x)β−1 . B(α, β)
3
4
f (x) =
●
2
●
●
0
1
density
●
α=6 α=4 α=2 Poor Median Good
0.0
0.2
0.4
0.6
0.8
1.0
skill
BSA Model
Beta-binomiaal model
13 / 38
Het Beta-binomiale model • Gemiddelde slaagkans = α/(α + β); kies β = (1 − pt )α/pt , dan geldt
gemiddelde = pt . • α beschrijft de mate van variabiliteit in studenten-capabiliteit. pt
gemiddelde capabiliteit. • Na het selecteren van πi , de capabiliteit van student i, worden de
kansen op het halen van x tentamens berekend via de Bin(n, πi ) verdeling. • Deze beta-binomiale verdeling past veel beter bij de data.
1−p n B(k + α, n − k − p α) P(X = k|n, α, pt ) = k B(α, 1−p p α)
BSA Model
Beta-binomiaal model
14 / 38
Het Beta-binomiale model • Gemiddelde slaagkans = α/(α + β); kies β = (1 − pt )α/pt , dan geldt
gemiddelde = pt . • α beschrijft de mate van variabiliteit in studenten-capabiliteit. pt
gemiddelde capabiliteit. • Na het selecteren van πi , de capabiliteit van student i, worden de
kansen op het halen van x tentamens berekend via de Bin(n, πi ) verdeling. • Deze beta-binomiale verdeling past veel beter bij de data.
1−p n B(k + α, n − k − p α) P(X = k|n, α, pt ) = k B(α, 1−p p α)
BSA Model
Beta-binomiaal model
14 / 38
Het Beta-binomiale model
• Schatting via de momentenmethode:
µ = npt
and σ = npt (1 − pt ) 1 + 2
n+1 α+β+1
,
vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. • Het is een twee-parameter model en, onder zeer milde voorwaarden,
doet de keuze van parametrisatie (α, β / pt , α / µ, σ 2 ) er niet toe
BSA Model
Beta-binomiaal model
15 / 38
Het Beta-binomiale model
• Schatting via de momentenmethode:
µ = npt
and σ = npt (1 − pt ) 1 + 2
n+1 α+β+1
,
vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. • Het is een twee-parameter model en, onder zeer milde voorwaarden,
doet de keuze van parametrisatie (α, β / pt , α / µ, σ 2 ) er niet toe
BSA Model
Beta-binomiaal model
15 / 38
●
●
●
●
75%
●
50%
●
25%
●
●
Data BBM Binomial
● ● ●
0 BSA Model
●
●
0%
P(at least temporary positive advice)
100%
Voorbeeld: een van onze opleidingen (n = 69)
10
20
30
40
BSA threshold B
Beta-binomiaal model
50
●
●
60 16 / 38
Propedeuses met keuzevakken
• Een deel van de opleidingen heeft keuzevakken in de propedeuse • Vaak via ingewikkelde voorwaarden (‘als je van A doet, moet je B ook
doen’, ‘je mag C en D niet allebei kiezen’) • Er is dan niet meer direct sprake van ‘de propedeuse’ • Aanpak: voor elke propedeuse maken we een ‘default profiel’ met de
60ECTS aan meestgevolgde vakken. • We nemen aan dat dit profiel representatief is voor de hele opleiding.
BSA Model
Technische details rond het model
17 / 38
Opleidingen met vakken van niet elk evenveel ECTS • Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10×5, 4, 3 en
3 ECTS? • Elk vak heeft nog steeds dezelfde slaagkans πi , slechts verschillende
ECTS. • Het idee achter het model blijft ongewijzigd. De uitvoering is een wat
grotere uitdaging: 1
Gebaseerd op de ECTS frequentietabel en het aantal vakken, T ,schat α en pt .
2
Zet de 7 scenario’s op gebaseerd op die schatters.
3
Voor elk scenario, bereken de 2T mogelijkheden.
4
Maak dit overzichtelijk
BSA Model
Technische details rond het model
18 / 38
Opleidingen met vakken van niet elk evenveel ECTS • Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10×5, 4, 3 en
3 ECTS? • Elk vak heeft nog steeds dezelfde slaagkans πi , slechts verschillende
ECTS. • Het idee achter het model blijft ongewijzigd. De uitvoering is een wat
grotere uitdaging: 1
Gebaseerd op de ECTS frequentietabel en het aantal vakken, T ,schat α en pt .
2
Zet de 7 scenario’s op gebaseerd op die schatters.
3
Voor elk scenario, bereken de 2T mogelijkheden.
4
Maak dit overzichtelijk
BSA Model
Technische details rond het model
18 / 38
Opleidingen met vakken van niet elk evenveel ECTS • Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10×5, 4, 3 en
3 ECTS? • Elk vak heeft nog steeds dezelfde slaagkans πi , slechts verschillende
ECTS. • Het idee achter het model blijft ongewijzigd. De uitvoering is een wat
grotere uitdaging: 1
Gebaseerd op de ECTS frequentietabel en het aantal vakken, T ,schat α en pt .
2
Zet de 7 scenario’s op gebaseerd op die schatters.
3
Voor elk scenario, bereken de 2T mogelijkheden.
4
Maak dit overzichtelijk
BSA Model
Technische details rond het model
18 / 38
Schatten • pt kan direct geschat worden, α niet. • Bereken de empirische kansdichtheidfunctie en de theoretische
kansdichtheidsfunctie voor een aantal mogelijke α’s • Selecteer de α die de beste curve oplevert (in Kolmogorov-Smirnov
1
afstand)
0.3 0.2
max(abs(distance))
0.1
Distribution function
Data α = 0.5 α=2 α=5
0
1
0
1
Performance
BSA Model
Technische details rond het model
2
3
4
5
^ α
19 / 38
Alle mogelijkheden
Binomiale model: ga alle 2T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50?
BSA Model
Technische details rond het model
20 / 38
Alle mogelijkheden
Binomiale model: ga alle 2T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50?
BSA Model
Technische details rond het model
20 / 38
Scenario’s
BSA Model
Scenario’s
21 / 38
Uitgewerkte scenario’s
• We hebben schatters voor slaagkans pt en variatie α, dit is te
gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. • We werken daarnaast met verschillende scenario’s en bestuderen het
gevolg van een BSA-hoogte B hiervoor. • Scenario’s zijn o.a. ‘goede student’, ‘slechte student’, ‘huidig cohort’.
BSA Model
Scenario’s
22 / 38
Uitgewerkte scenario’s
• We hebben schatters voor slaagkans pt en variatie α, dit is te
gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. • We werken daarnaast met verschillende scenario’s en bestuderen het
gevolg van een BSA-hoogte B hiervoor. • Scenario’s zijn o.a. ‘goede student’, ‘slechte student’, ‘huidig cohort’.
BSA Model
Scenario’s
22 / 38
Scenario’s
Populatie-scenario’s: • Complete cohort inclusief 95% interval
Student-scenarios: • De ‘mediaanstudent’: 50% van het cohort is beter, 50% is slechter • Een ‘slechte’ student: 67% van het cohort is beter, 33% is slechter • Een ‘goede’ student: 33% van het cohort is beter, 67% is slechter
(Keuze voor 33% en 67% is subjectief.)
BSA Model
Scenario’s
23 / 38
3
4
Scenario’s
●
2
●
1
●
0
density
●
α=6 α=4 α=2 Poor Median Good
0.0
0.2
0.4
0.6
0.8
1.0
skill BSA Model
Scenario’s
24 / 38
Voorbeeld: [een andere opleiding]
BSA Model
Scenario’s
25 / 38
Aggregeren
BSA Model
Aggregeren
26 / 38
Geaggregeerde resultaten
Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo’n 180 uitwerkingen van 7 scenario’s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau.
BSA Model
Aggregeren
27 / 38
Geaggregeerde resultaten
Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo’n 180 uitwerkingen van 7 scenario’s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau.
BSA Model
Aggregeren
27 / 38
Geaggregeerde resultaten
Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo’n 180 uitwerkingen van 7 scenario’s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau.
BSA Model
Aggregeren
27 / 38
Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: • Neem een gewogen gemiddelde van de curves van de opleidingen van
een faculteit. • De gewichten zijn de studentaantallen • Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A:
500, B: 300, C : 200 • BSA-curve voor faculteit als geheel:
=
500 300 × BSA-curveA + × BSA-curveB + 1000 1000 200 × BSA-curveC . 1000
• Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten
BSA Model
Aggregeren
28 / 38
Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: • Neem een gewogen gemiddelde van de curves van de opleidingen van
een faculteit. • De gewichten zijn de studentaantallen • Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A:
500, B: 300, C : 200 • BSA-curve voor faculteit als geheel:
=
300 500 × BSA-curveA + × BSA-curveB + 1000 1000 200 × BSA-curveC . 1000
• Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten
BSA Model
Aggregeren
28 / 38
Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: • Neem een gewogen gemiddelde van de curves van de opleidingen van
een faculteit. • De gewichten zijn de studentaantallen • Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A:
500, B: 300, C : 200 • BSA-curve voor faculteit als geheel:
=
300 500 × BSA-curveA + × BSA-curveB + 1000 1000 200 × BSA-curveC . 1000
• Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten
BSA Model
Aggregeren
28 / 38
Resultaten
BSA Model
Resultaten
29 / 38
Een alfa, beta en gammastudie - cohortcurves
10
20
30
40
BSA threshold B
BSA Model
50
60
● ●
● ●
●
50%
● ●
●
0
2010/2011 2011/2012 2012/2013 10
20
30
40
BSA threshold B
Resultaten
50
60
75% 100%
●
●
●
●
●
●
●
●
●
●
● ● ●
50%
●
●
25%
●
P(no negative study advice)
●
(β)
●
0%
75% 100%
●
25%
P(no negative study advice)
50% 25% 0
●
0%
75% 100%
(α)
2010/2011 2011/2012
0%
P(no negative study advice)
(γ)
0
2010/2011 2011/2012 2012/2013 10
20
30
40
BSA threshold B
30 / 38
50
60
De γ-studie: cohort vs individueel
0
10
20
30
40
50
●
60
BSA Model
●
●
●
75%
●
50%
●
25%
●
●
●
0
BSA threshold B
●
●
0%
25%
50%
P(at least temporary positive advice)
75% 100%
100%
Individueel (2010/2011)
2010/2011 2011/2012
0%
P(no negative study advice)
Cohort
Poor Median Good 10
● ●
20
30
40
50
BSA threshold B
Resultaten
31 / 38
●
60
Conclusies n.a.v. studie-plots
• Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo’n 10%
schommeling per vak per slaagkans niet ongewoon. • Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te
hebben op cohort maar kan extreem effect hebben op individu. • Zelfs modale studenten lopen bij een te hoge BSA-norm een re¨ eel
risico.
BSA Model
Resultaten
32 / 38
Conclusies n.a.v. studie-plots
• Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo’n 10%
schommeling per vak per slaagkans niet ongewoon. • Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te
hebben op cohort maar kan extreem effect hebben op individu. • Zelfs modale studenten lopen bij een te hoge BSA-norm een re¨ eel
risico.
BSA Model
Resultaten
32 / 38
Resultaten: Faculteit X (populatie)
BSA Model
Resultaten
33 / 38
Faculteit X per jaar
0
10
20
30
50
60
0
10
20
30
75% 100% 50% 25%
2010/2011 2011/2012 2012/2013
0% 40
BSA threshold B
Resultaten
Individueel (B = 45)
P(at least B credits)
75% 100% 50%
2010/2011 2011/2012 2012/2013
0% 40
BSA threshold B
BSA Model
25%
25%
50%
P(at least B credits)
75% 100%
Individueel (B = 40)
2010/2011 2011/2012 2012/2013
0%
Proportion with at least B credits
Cohort
50
60
0
10
20
30
40
BSA threshold B
34 / 38
50
60
RUG
0
10
20
30
50
60
0
10
20
30
75% 100% 50% 25%
2010/2011 2011/2012 2012/2013
0% 40
BSA threshold B
Resultaten
Individueel (B = 45)
P(at least B credits)
75% 100% 50%
2010/2011 2011/2012 2012/2013
0% 40
BSA threshold B
BSA Model
25%
25%
50%
P(at least B credits)
75% 100%
Individueel (B = 40)
2010/2011 2011/2012 2012/2013
0%
Proportion with at least B credits
Cohort
50
60
0
10
20
30
40
BSA threshold B
35 / 38
50
60
Conclusies geaggregeerde plots
• Meer data dus kleinere onzekerheidsmarges • Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 • Duidelijke verschillen tussen faculteiten • BSA-norm verhoging leidt niet tot betere studieresultaten. • Gemiddeld haalde men in 2012/2013 (B = 45) zo’n 4.8 ECTS meer dan daarvoor (B = 40) • Maar verbetering komt met name door programma-aanpassingen • Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra • Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten
vergelijkbaar?
BSA Model
Resultaten
36 / 38
Conclusies geaggregeerde plots
• Meer data dus kleinere onzekerheidsmarges • Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 • Duidelijke verschillen tussen faculteiten • BSA-norm verhoging leidt niet tot betere studieresultaten. • Gemiddeld haalde men in 2012/2013 (B = 45) zo’n 4.8 ECTS meer dan daarvoor (B = 40) • Maar verbetering komt met name door programma-aanpassingen • Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra • Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten
vergelijkbaar?
BSA Model
Resultaten
36 / 38
