TU Delft: Naar een ‘breed’ model voor studiesucces. Maartje van den Bogaard
Delft University of Technology
Challenge the future
Delft: In den beginne……. (1)
2
1
Delft: In den beginne……. (2) • • • • • • • • • • • • • • • • • • • • • •
Technische Hogeschool Delft (1959). Mislukking en vertraging van de studie. Verslag van een onderzoek verricht aan de Technische Hogeschool te Delft 1953-1957. Technische Hogeschool Delft, Delft. TU Delft (1993). Rapportages Onderwijs Studeerbaarheids fonds 1987 – 1992 Adviesraad Technologiebeleid TU Delft (1994). Op weg naar de 21e eeuw. TU Delft. Snippe, J., Wasmus, H. (1993). Evaluation of ‘modular curriculum organisation’ Civil Engineering. TU Delft. Claessens, M. (1995). Program evaluation in innovating an engineering curriculum. TU Delft. PhD thesis. TU Delft (1996). Evaluations of educational projects of ‘course doability fund’. TU Delft. Heeringa, W. (1998). Gestaakte studenten in 1997/98, resultaten enquête. TU Delft, Staf/OOS, Delft. Jansen, E, G. Willemsma, M. van der Hulst (2000). Studievoortgang in de propedeuse en het basisdoctoraal. Een onderzoek naar de studievoortgang tijdens de propedeuse en het basisdoctoraal van studenten van de opleidingen Elektrotechniek, Luchtvaart- en Ruimtevaarttechniek en Werktuigbouwkunde van de TU Delft studiejaren 1994/1995 tot en met 1997/1998. GION COWOG, Groningen. Technische Universiteit Delft. Statistisch Jaarboek 1995 t/m 2000. Studenten aan de TU Delft, momentopnames, studievoortgang, raming aantallen. TU Delft, Delft. Fac. Bouwkunde (2001). Curriculum Vernieuwing Bouwkunde. Startnota Voorbereidingsfase 2001-2002. Coplacova (2001). Rapport evaluatie instellingspakket Wiskunde. TU Delft Smid (2001). Reactie op rapport evaluatie instellingspakket Wiskunde. TU Delft Menten (2002). Evaluation of introductory interviews with potential students in Industrial Design Engineering. TU Delft. Daudt, J. (2005). Betrokkenheid van docenten bij onderwijstaken. PhD thesis. TU Delft (2006). Inventarisatie mentoraten 2005 - 2006. Bogaard, M.E.D. van den (2006). Tussentijdse Rapportage Rendement. TU Delft, Delft. Werkgroep OMI (2006). Onderwijs management informatie aan de TU. Bogaard, M. van den (2007). Literatuuronderzoek rendement. TU Delft De Caluwe (2007). Analyzing the gap: first generation students in Delft University of Technology. Klapwijk, R. (2007). Evaluatie proefstuderen. Bogaard, M. van den, C. Sluis (2007). Rapportage Elektrotechniek: Onderzoek naar verwachtingen van eerstejaarsstudenten ten aanzien van de opleiding. Lubsen, A., M. Draijer (2007). Ruimte voor talent. Pouw, N., Bogaard, M. Van den (2008). ‘Doability’ in the master of Industrial Design engineering. Project funded by WO Sprint.
3
Onderzoeksdoel en onderzoeksvragen Onderzoeksdoel: • Inzicht verwerven in wat we als universiteit kunnen doen om studiesucces werkelijk te verhogen.
Onderzoeksvragen: • Welke factoren beinvloeden het studiesucces van eerstejaars studenten in ingenieursonderwijs? • In welke mate en op welke manier kunnen die factoren beïnvloed worden door een onderwijsinstelling?
4
2
Leuk dat onderzoek, maar….. • Alles is al onderzocht! We weten alles al. • Zo bijzonder zijn die ingenieurs nou ook weer niet! • Het is een wet die niet aan verandering onderhevig is! • Het ligt aan de student: het ligt aan de leerstijl/ motivatie/ zittenblijven/ opleiding ouders/ VWO cijfers/ geslacht/ verwachtingen t.a.v. opleiding/ academische integratie/ woonsituatie/ gebrekkige aansluiting met vooropleiding/ intenties/ gebrek aan financiële prikkels/ de crisis/ et cetera
5
Theoretisch model voor eerstejaars studiesucces in engineering
Studentkenmerken Sociale omgeving
Onderwijskenmerken
Input
Student-dispositie variabelen Motivatie, Intenties, Academisch zelfvertrouwen
Studiegedrag “Time on task” Studiestrategie
Voortgang Behaalde studiepunten
Kwaliteit van onderwijsklimaat zoals ervaren door studenten. Docenten, Assessment, Faciliteiten, Onderwijsorganisatie
Throughput
Output 6 Maartje van den Bogaard 2011
3
Onderzoeksopzet Kwalitatief onderzoek
Dropout interviews
Modeleren
Relevantie context
Interviews met andere stakeholders
Research process
Focus groepen
Kwantitatief onderzoek Body of knowledge Surveys Empirie
Database analyse
‘rigour’
Exploratief modelleren
Multivariate analyse ‘Situated systems model’ Begrip van dynamiek van het systeem 7
8
4
Cohort 2009: Hoe zien studenten succes? P-in-1 P-in-1: alle 60 punten in het eerste jaar binnen een jaar. • P-in-1 als hoger doel: 1) het is sowieso geen haalbare kaart. 2) Je weet niet of het ook voor jou is. • P-in-1 versus ‘deep learning’: sommige studenten gaan voor begrip, niet voor studiepunten. Dat staat soms op gespannen voet. • P-in-1 ga ervoor!: die tentamens moet je toch wel halen, dus je kunt het maar achter de rug hebben!
9
Cohort 2009: Hoe zien studenten succes? Ander succes • Je goed voelen over jezelf: “Het geeft een kick als je terug kijkt op de tentamenperiode en je weet dat je echt wat bereikt hebt.” • Succesvol overeind krabbelen. “Ik voelde me echt extatisch toen ik zag dat ik alle tentamens (7) had gehaald, ook al had ik er een paar op het randje gehaald.” • Een goede studie-ervaring. “Ik wil meer dan alleen maar studeren en ik wil die andere dingen niet maar half doen. Als dat betekent dat ik niet alles in een keer haal, dan is dat maar zo.”
10
5
Cohort 2009: Hoe zien studenten ‘falen’? • Twijfels over niveau en inhoud “Je weet niet of dit voor jou is. Je moet gewoon je best doen en als het dan niet lukt, dan is dat ok. Je weet dan dat je je best hebt gedaan en je kunt met opgeheven hoofd vertrekken.” • Attitude “Ze is er in eht begin van de tweede periode mee gestopt. Ze deed gewoon niets. Ze kwam alleen naar projectbijeenkomsten omdat het moest en dan zat ze daar met haar hoofd naar beneden. Ze was nergens goed voor.” • Dropout als een ‘fact of life’ “Je hoort mensen er over praten, dat 50% uitvalt in deze studie in het eerste jaar. Dat neem je dan maar aan.” en “Iedereen bij TN zit hier omdat die het leuk vindt en iedereen probeert er het beste van te maken.”
11
!"#
%$&'()$*$)%+"#$,%
!"#$"%&&%'#"$'
(#&&)*+,%-+#*'#*'."#$"/00'
'
@)..#"-''
-% 2$,+345.4"1,%"6%,./.$0$1.,% ,./.$0$1.,% 7%
8%
1'
2'
1'
A'
3'!"#$"/00'4/--/"'%*5'#-6/"'7#"&0'#7',#&&)*+,%-+#*'%"/'*/$%-+8/'%*5')*0)..#"-+8/'%*5'+0'9%0/5'#*')*"/."/0/*-%-+8/'0%&.4/'#7'-/0-0:'' ;'<-'+0'4+=/'%'"/.#"-',%"5'7#"'.%"/*-0>'+-'+0'%'?%=/').',%44:'' 3'@-)5/*-',#)*0/44#"0'%"/')*0)..#"-+8/'%*5'9%5'7#"'B#)"'+&%$/:'C"%+*/5'%,%5/&+,'0-%77'6%0'*#-6+*$'&/%*+*$7)4'-#'0%B:'@)..#"-'0-%77'0//&0'-#'%+&' -#'"+5')*+8/"0+-B'#7'9%5'0-)5/*-0:'@-%77'&/&9/"'-"+/5'-#'-/&./"'0-)5/*-D0'%&9+-+#*' ;'C"%+*/5'%,%5/&+,'0-%77',%*'9/'8/"B'6/4.7)4>'-6/'9/0-'.4%,/'-#'-%4='%9#)-'.4%*0'%*5'5#)9-0:''
'
E%,+4+-+/0'
()""+,)4)&'#"$'
F'
F'
J/*/"%4'
KA'
3'
'
M+$6',#)"0/'4#%5'%*5' ."/00)"/:'
KN'
2'
'
E4),-)%-+#*0'+*',#)"0/'4#%5'
P'
A'
'
G4+$*&/*-'#7'/5),%-+#*%4' %,-+8+-+/0'
K'
1'
S'
A'
KN'
KU'
KS'
AF'
KA'
K1'
'
M%8+*$',6#+,/'+*'/5'&%--/"0'
C/%,6/"'
!/"0#*%4'0-B4/'
'
W+5%,-+,%4'/L./"-+0/'
@-)5/*-'0#,+%4' /*8+"#*&/*-'
G--+-)5/'.//"'$"#).'
'
@-)5/*-'%00#,+%-+#*>'9#%"5' ?#"=>'6#)0+*$'0+-)%-+#*>' 7%&+4B'0)..#"-'
3'G-'-6/'9/$+**+*$'#7'-6/'B/%"'-##'7/?',#&.)-/"'-6%-'%"/'-##'04#?>'*#',6+44'#)-'H#*/0:' ;'I./*+*$'6#)"0'#7',/*-"%4'4+9"%"B>'$##5'%-�.6/"/'#*',%&.)0'%*5'+*'-6/'9)+45+*$0:'' 3'@,6/5)4+*$'%-')*7%8#)"%94/'-+&/0>'4%0-'&+*)-/',%*,/44%-+#*'#7'/5),%-+#*%4'%,-+8+-+/0>'4%,='#7'74/L+9+4+-B>'4%,='#7'+*7#"&%-+#*:' 3'O#*$'5%B0>'4#*$'6#)"0'7#"'4#*$/"'./"+#50'#7'-+&/>'&%*B'5+77/"/*-'5/&%*50'%*5'4+--4/'-+&/'7#"'"/4%L%-+#*:'' ;'C6+0'."/00)"/'&%=/0'0-)5/*-0'&#"/'-+&/'/77+,+/*-:'<-D0'*#-'-6%-'9%5:'' 3'!"%,-+,%40>'."#Q/,-0'%*5'"/0+-'/L%&0'%55'-#'%*'%4"/%5B'7)44'?#"='?//=:'' ;'O/,-)"/'7"//'?//=0'$+8/'0#&/-6+*$'#7'%'9"/%-6+*$'0.%,/'%*5'-+&/'-#'."/.%"/'7#"'/L%&0:' 3'@#&/-+&/0',#*-/*-'*//5/5'+*'."#Q/,-0'6%0'*#-'B/-'9//*',#8/"/5:' ;'@#&/-+&/0',#*-/*-'#7'&%-6'%*5'.6B0+,0'7+-0'+*'?/44:'I"$%*+H%-+#*'#7'."#Q/,-'$"#).0'+0'#"$%*+H/5'+*'0),6'%'?%B'-6%-'5"#.'#)-0'5#*D-'5+0-)"9'-6/' $"#).0D'."#$"/00:'R/*-#"'$"#).0'-6%-'5#)94/'%0'."#Q/,-'$"#).0'9)+45'-")0-:' 3'T#'0%B'+*'-/%&',#&.#0+-+#*' ;'.%"%44/4'$"#).0'+*'&%-6>'0-)5/*-0'5/,+5/'?6/"/'-6/B'$#' 3'C/%,6/"'-%4=0'5#?*'-#',4%00>'")06/0',4%00>'+0')*%8%+4%94/>'5#/0'*#-'4+0-/*'-#',"+-+V)/>'+0'0%",%0-+,:''
AU'
;'C/%,6/"'%../%40'-#'0-)5/*-0>',%.-+8%-/0'-6/&>'+0'+*8#48/5>'06#?0'.%00+#*0'7#"'-6/'0)9Q/,->'+0'%)-6/*-+,>'+0'%8%+4%94/>'-%=/0'0-)5/*-0'0/"+#)04B>' .4/*-B'#7'./"0#*%4+H/5'%--/*-+#*:' 3'C/%,6/"0'%"/'*/+-6/"'/*-6)0+*$'*#"'.%00+#*%-/>'/L.4%+*'.##"4B'%*5')*0-"),-)"/54B>'4/,-)"/0'%"/'.##"4B'.%,/5:' ;'C/%,6/"0'"#)0/'0-)5/*-0D'/*-6)0+%0&>'.#+*-'#)-'"/4/8%*,/'#7'-6/'-#.+,0>'0-"),-)"/'8/"B'?/44'%*5'-%=/'-+&/:'' 3'G'."#Q/,-'$"#).'-6%-'5#/0'*#-'7)*,-+#*'?/44>'6%0'%*'%58/"0/'/77/,-'#*'0-)5/*-0:'<-'0#&/-+&/0'7")0-"%-/0'-6/+"'0-)5+/0'%0'%'?6#4/:'X*&#-+8%-/5' 7"+/*50'6%8/'%'5/-"+&/*-%4'/77/,-'#*'B#)"'#?*'%--+-)5/:'' ;'G'$##5'."#Q/,-'$"#).'%*5'&#-+8%-/5'.//"0'%"/'8/"B'0)..#"-+8/'%*5'/*$%$+*$:'Y6%-'&%=/0'%'$"#).'Z$##5D'8%"+/0'./"'0-)5/*-:'[:$:'&/*-#"+*$' ."#$"%&&/0'%"/'$/*)+*/4B'%.."/,+%-/5'9B'0#&/'%*5'%'5"%$'7#"'#-6/"0:''' G44'-6/0/'%0./,-0'6%8/'&+L/5'/77/,-0'#*'-6/'0-)5/*-0:'@-)5/*-'%00#,+%-+#*0'%*5'7"%-/"*+-+/0'-%=/'%'4#-'#7'-+&/'%*5'-/&.-'0-)5/*-0'*#-'-#' 12 ,#*,/*-"%-/'#*'-6/+"'0-)5+/0:'@-+44'-6/B'6/4.'0-)5/*-0'"/4%L>'5/8/4#.'%'9"#%5/"'#)-4##='#*'4+7/>'&#-+8%-/'-6/&'-#',#*-+*)/'%*5'0-)5B'6%"5:'I*/' 0-)5/*-',6#0/'*#-'-#'Q#+*'9/,%)0/'6/',%**#-'0.%"/'-6/'-+&/:'I*/'#-6/"'0-)5/*-'+0'4/00'%&9+-+#)0'9/,%)0/'6/'?%*-0'-#'/*Q#B'6+0'7"%-/"*+-B'0+5/' 4+*/0:'@-)5/*-0'?6#'4+8/'+*'0-)5/*-'6#)0/0'/L./"+/*,/'0#&/-6+*$'0+&+4%"\'6#)0/&%-/0',%*'."#8+5/'$/*)+*/'0)..#"-'#"'5+0-"%,-+#*:'R#0-'7%&+4+/0'
6
Studentmodellen van studiesucces 1
Green: positive Red: negative 13
Studentmodellen van studiesucces 2
14
7
Studentmodellen van studiesucces 3
15
Van den Bogaard’s model: correlations cohort 2009
16
8
Structural equations model: substructure of the Van den Bogaard model (1) Load and Strategy are latent variables representing aspects of student behaviour. Oo_Material represents the extent to which students are satisfied with the availability of study materials. Coefficients are standardized for effect size 17
Structural equations model: substructure of the Van den Bogaard model (2) Load and Strategy are latent variables representing aspects of student behaviour. Int_factor_1 is a composite variable representing students’ expectations and intentions. Coefficients are standardized for effect size
18
9
Structural equations model: alternative substructure of the Van den Bogaard model Load and Strategy are latent variables representing aspects of student behaviour. Int_factor_1 is a composite variable representing students’ expectations and intentions. Coefficients are standardized for effect size
19
Structural equations model: substructure of the Van den Bogaard model (3)
• Load is a latent variable representing aspects of student behaviour. • Int_factor_1 represents students’ expectations and intentions. • Coefficients are standardized for effect size 20
10
Structural equations model: substructure of the Van den Bogaard model (4) • Load is a latent variable representing aspects of student behaviour. • Int_factor_1 represents students’ expectations and intentions. • Coefficients are standardized for effect size
21
Voorlopige conclusies • Veel variabelen hebben kleine en indirecte effecten op studievoortgang. • Variabelen die te maken hebben met motivatie spelen een centrale rol in het model. • Beïnvloedbare variabelen zoals docentgedrag en onderwijsorganisatie spelen een rol bij studiesucces. • Studenten zoeken hun eigen weg richting studiesucces. • ‘One size fits all’ interventies werken niet voor de hele populatie.
22
11
Naar een breed model voor studiesucces (1) • Veel van de initiatieven in Delft hebben niet geleid tot gewenste verbeteringen in studiesucces. • Onderzoek naar studiesucces heeft inzicht gegeven in de rijkheid en complexiteit van het vraagstuk, maar heeft nauwelijks bijgedragen aan verbeteringen van rendement.
23
Naar een breed model voor studiesucces (2) • In dit onderzoek hebben we een methodiek gekozen die leidt tot een contextgebonden, breed model dat inzicht geeft in het dynamische proces dat ten grondslag ligt aan studiesucces: • We hebben met veel studenten gesproken om hun kant van het verhaal goed in beeld te krijgen. • Dit is vertaald in een model dat we hypothese voor hypothese toetsen m.b.v. een uitgebreide dataset. We willen weten welke variabelen niet bijdragen aan het model en hoe de overgebleven variabelen met elkaar samenhangen.
24
12
En dus….: ‘Buy in’ and coordinatie • Rendement wordt op alle niveaus van onderwijs beïnvloed en moet dus ook op alle niveaus aangepakt worden. Dit kan niet zonder ‘buy in’ en coördinatie op een strategische plek in de onderwijsorganisatie. Doorgaande monitoring • Zoals met alle organisatie-veranderingen is informatie van groot belang. De vraag is daarbij: welke informatie heb je nodig binnen een dergelijk complex systeem? Rendement is een werkwoord • Alle voor de hand liggende en eenduidige oplossingen hebben niet gewerkt. Je kunt alleen effect verwachten als oplossingen worden ingebed in de dagelijkse gang van zaken. 25
Dank u wel voor uw aandacht!
Met dank aan mevr. Nellie van de Griend voor de ondersteuning van dit project.
26
13
