Longitudinaal cohort onderzoek naar rendementsveranderingen als gevolg van een interventie
Gerda Korevaar1#, Gijs van Duijn*, Roeland van der Rijst* & Dato de Gruijter* # *
Faculteit der Rechtsgeleerdheid, Universiteit Leiden
ICLON, Afdeling Hoger Onderwijs, Universiteit Leiden
In deze studie wordt een cohort-onderzoek beschreven naar rendementsveranderingen van het propedeuseonderwijs aan de cohorten die begonnen in 2007, 2008 en 2009 aan de Faculteit der Rechtsgeleerdheid van de Universiteit Leiden. In 2007 vonden er substantiële aanpassingen plaats in het propedeuseprogramma van deze opleidingen. De veranderingen waren onder meer gericht op het verbeteren van het rendement van de bacheloropleiding. Twee elementen van deze veranderingen worden in dit paper kort toegelicht, namelijk het bindend studie advies en de homogene indeling naar vermogen in werkgroepen. Over de jaren 2007 tot 2010 is het onderwijs bestudeerd. Met regelmatige tussenpozen zijn veranderingen in het studierendement bestudeerd aan de hand van studiepunten, tentamencijfers, bindend studieadvies en uitval. In dit paper wordt een onderdeel van het rendementsonderzoek gepresenteerd waarbij het accent ligt op de vraag of er veranderingen zijn aan te tonen met betrekking tot het studiesucces van de studenten. We gaan daartoe kort in op twee zaken, namelijk het bindend studie advies en de homogene indeling naar vermogen in werkgroepen.
Paper gepresenteerd tijdens de Onderwijs Research Dagen, 23-25 juni 2010, Enschede.
1
Contact:
[email protected]
1
Inleiding In deze studie wordt een cohort-onderzoek (cf. Cohen et al., 2000) beschreven naar rendementsveranderingen binnen de juridische bacheloropleiding en de bacheloropleiding Criminologie van de Universiteit Leiden. In 2007 vonden er substantiële aanpassingen plaats in het propedeuseprogramma van deze opleidingen. De aanpassingen hadden te maken met de invoering van een nieuw onderwijsconcept, genaamd Leiden Law School (LLS). Met de invoering van LLS koos de faculteit voor een forse verandering van het propedeuseonderwijs. Het concept was onder meer gericht op het verbeteren van het rendement van de bacheloropleiding. Het ging gepaard met wijzigingen in het curriculum, zoals het instellen van verplichte deelname aan tentamens, met conditionele herkansingen, het instellen van tutorgroepen met begeleiding door docenttutoren en studenttutoren, homogene werkgroepindeling naar vermogen (ability grouping; Slavin, 1987) en een verplichte aanwezigheid tijdens werkgroepen. Met daarnaast aanpassing van onderwijsmateriaal, zoals syllabi en Blackboard. Door het instellen van meer verplichtingen in het curriculum wilde de faculteit de vrijblijvendheid van het onderwijs beperken en de betrokkenheid en het studiesucces van studenten verhogen.
De faculteit formuleerde vier beleidsdoelen, te weten: 1.
het terugdringen van de door studenten gepercipieerde vrijblijvendheid van de studie;
2.
het verminderen van het gevoel van studenten dat zij ‘verloren lopen’;
3.
het versterken van de betrokkenheid van docenten bij onder meer de studievoortgang van studenten;
4.
het intensiveren van vaardighedenonderwijs in de Bachelor.
Over de jaren 2007 tot 2010 is het LLS onderwijs geëvalueerd. Met regelmatige tussenpozen zijn studenten en docenten bevraag over hun ervaringen met (onderdelen) van het nieuwe onderwijsconcept. Verder zijn veranderingen in het studierendement bestudeerd aan de hand van studiepunten, tentamencijfers, bindend studieadvies en uitval. De gemeten veranderingen werden gerelateerd aan de cijfers uit 2006, het laatste jaar dat het propedeuseonderwijs ‘oude stijl’ gegeven werd. Ook is de eerste cohort die onder het LLS viel gevolgd om te zien hoe men in het tweede bachelorjaar presteerde.
2
In dit paper wordt een onderdeel van het rendementsonderzoek gepresenteerd van het propedeuseonderwijs aan de cohorten die begonnen in 2007, 2008 en 2009 aan de Faculteit der Rechtsgeleerdheid van de Universiteit Leiden (Van Duijn & De Gruijter, 2008; Van Duijn & Van der Rijst, 2009). Het accent ligt daarbij op de vraag of er veranderingen zijn aan te tonen met betrekking tot het studiesucces van de studenten. In dit paper gaan we daartoe in op twee zaken, namelijk het bindend studie advies en de homogene indeling naar vermogen in werkgroepen (ability grouping; Slavin, 1987).
Methode Voor het totale onderzoek naar de studentprestaties is gebruik gemaakt van de cohorten eerstejaars studenten voltijd 2006-2007, 2007-2008 en 2008-2009; voor de cohort uit 20092010 worden de gegevens momenteel verzameld. In het onderzoek is onderscheid gemaakt tussen de opleidingen Rechten en Criminologie. De aantallen studenten per cohort en per opleiding zijn gepresenteerd in Tabel 1. Tabel 1. Aantal studenten per cohort, uitgesplitst naar opleiding opleiding Rechten cohort
Criminologie
2006
565
83
2007
647
100
2008
748
99
Bindend Studie Advies Aan het einde van het eerste studiejaar worden de definitieve bindend studieadviezen (BSAadviezen) gegeven. Na een negatief BSA advies mag de student de studie niet vervolgen. Naast positieve adviezen en negatieve adviezen, zijn er adviezen waarbij negatieve resultaten niet tot een afwijzing leiden vanwege persoonlijke omstandigheden (bijvoorbeeld ziekte) of vanwege toepassing van de zogenaamde hardheidsclausule. Onderzocht wordt welke veranderingen er optreden met betrekking tot de BSA adviezen en het aantal studenten dat de studie staakt voordat ze met een definitief studieadvies te maken krijgen. Ook is, bij de afsluiting van ieder semester van het LLS, een digitale vragenlijst over de perceptie van de opleiding uitgezet onder de studenten van de betreffende cohorten. Naast de invloed van het LLS op studiesucces, levert dit informatie op over de wijze waarop de studenten het LLS waarderen. 3
Homogene indeling van werkgroepen In augustus 2009 had de cohort die in september 2007 met de studie Rechten/Criminologie was gestart de tentamens van het tweede semester van jaar twee achter de rug. Studenten uit dit cohort die aan het einde van het eerste jaar LLS 55 ects of meer hadden behaald, kregen bij de start van het tweede jaar de mogelijkheid zich te laten indelen in een werkgroep met medestudenten die evenveel ects hadden. Achtergrond hiervoor was de gedachte dat ‘goede’ studenten tijdens het werkgroeponderwijs wellicht belemmerd werden door minder goede of minder gemotiveerde studenten.
Tabel 2 toont dat 292 studenten na afloop van het eerste studiejaar 55 ects of meer hadden behaald. Van hen hebben 137 studenten zich in tenminste één van de ‘snelle werkgroepen’ ingeschreven. Dat wil zeggen dat ze samen met anderen die ook tenminste 55 ects behaald hadden het werkgroeponderwijs van een vak volgden. Een groep bestaande uit 155 studenten die eveneens meer dan 55 ects behaalden, koos niet voor indeling in ‘snelle werkgroepen’. Enkele studenten uit de cohort 2007 (deze bestond bij de aanvang van de studie uit 747 eerstejaars) blijven buiten de tabel als gevolg van “missing values”. Tabel 2. Aantal studenten met 55 ECTS of meer en indeling in ‘snelle werkgroepen’
Snelle werkgroepen nee ECTS 55 of meer
ja
Total
nee
448
0
448
ja
157
138
295
Totaal
603
137
743
Van de cohort 2007 – 2008 zijn inmiddels (meer) studenten gestopt. Indien deze meegenomen worden in de berekeningen trekken ze het gemiddelde voor de ’langzame groep’, de studenten die in het eerste studiejaar minder dan 55 ects behaalden, naar beneden. Daarom is de volgende selectie gemaakt: indien studenten aan het eind van hun eerste jaar 20 ects of minder hadden behaald én in het tweede studiejaar geen studiepunten hebben bijgehaald, nemen we aan dat ze niet langer actief zijn. Deze groep is in de nu volgende analyse buiten beschouwing gelaten. Aan het eind van het tweede studiejaar bestaat de actieve cohort daarmee nog uit 600
4
studenten, zijnde ruim 80% van de groep van 747 studenten die in september 2007 met Leiden Law School begonnen. Resultaten Bindend Studie Advies Aan 672 studenten rechten en aan 92 studenten Criminologie is aan het eind van studiejaar 2008-2009 een advies gegeven. De (83) studenten die geen eindadvies kregen, hadden zich op tijd voor de studie afgemeld. Tabel 3 geeft de verdeling van de adviezen voor de selectie met een definitief advies. Tabel 3. De BSA-adviezen 2008 (- = afgewezen, + = propedeuse gehaald of voldoende punten om door te gaan; H = hardheidsclausule, P = persoonlijke omstandigheden) OPLEIDING
BSA advies
RECHTEN
CRIMINOLOGIE
%
%
-
13,5
14,1
+
79,8
76,1
H
1,2
2,2
P
5,5
7,6
De gegevens uit Tabel 3 kunnen worden vergeleken met die uit eerdere jaren. In 2006-2007 kregen 523 studenten Rechten een definitief advies, en 80 studenten Criminologie. In 20072008 waren dat er 596 resp. 94. Gegevens van deze cohorten staan in de Tabellen 4 en 5. Tabel 4. De BSA-adviezen 2007 (- = afgewezen, + = propedeuse gehaald of voldoende punten om door te gaan; H = hardheidsclausule, P = persoonlijke omstandigheden) opleiding
BSA advies
rechten
criminologie
%
%
-
20,5
24,5
+
73,5
74,5
H
,5
P
5,5
1,1
5
Tabel 5. De BSA-adviezen 2006 (- = afgewezen, + = propedeuse gehaald of voldoende punten om door te gaan; H = hardheidsclausule, P = persoonlijke omstandigheden) opleiding
Bsa advies
rechten
criminologie
%
%
-
30,0
22,5
+
66,0
75,0
H
,6
P
3,4
2,5
Geconcludeerd kan worden dat, binnen de groep studenten met een BSA-advies, het percentage positieve adviezen bij Rechten is toegenomen van 66 procent in 2006 naar 74 procent in 2007 en naar bijna 80% in 2008. Daarbij blijft het percentage dat vertrekt voordat ze een BSA advies krijgt, voor de drie cohorten vrij stabiel (bij Rechten tussen 7,5 en 10%, bij Criminologie tussen 4 en 7%). De indeling in werkgroepen voor het tweede studiejaar Tabel 6 toont dat de langzame groep aan het einde van jaar 1 gemiddeld 39,6 ects heeft behaald, na afloop van jaar 2 is dat voor deze groep toegenomen tot gemiddeld 66,5 ects. De snelle groep begon het tweede jaar met gemiddeld 60,3 ects (Studenten kunnen meer dan 60 ects halen door extra vakken te doen) en kwam aan het eind van jaar 2 uit op gemiddeld 105,2 ects. Het verschil tussen de langzame en snelle groep is aan het eind van het tweede jaar toegenomen. Gemiddeld heeft de snelle groep in het tweede jaar ruim 55 ects meer dan aan het eind van jaar 1 tegen ruim 27 ects voor de langzame groep. Een t-toets wijst uit dat de in Tabel 6 weergegeven verschillen tussen de langzame en snelle groep significant zijn. In totaal behoort 40% van de cohort die in 2007 – 2008 begon, tot de ‘snelle starters’, dat wil zeggen met 55 ects of meer aan het eind van hun 1e studiejaar Rechten / Criminologie. Van deze ‘snelle starters’ (n=295) heeft een deel (138) ervoor gekozen om te worden ingedeeld in (tenminste één) werkgroepje waarin zij met andere ‘snelle starters’ samen de werkcolleges volgen. Een ander deel heeft daar niet voor gekozen, zij volgden de werkcolleges in een gemêleerd gezelschap van snelle en minder snelle medestudenten.
6
Tabel 6. Langzame en snelle starters: gemiddelden en standaardeviaties > 55 EC Aantal Gemiddelde Std. Deviatie Std. Error Mean ECTS na 1 jaar
ECTS na 2 jaar
ECTS behaald in jaar 2
0
305
39,64
9,50
,54
1
295
60,32
5,76
,34
0
305
66,52
25,769
1,48
1
295
105,24
22,43
1,31
0
302
27,48
20,43
1,18
1
293
45,75
19,73
1,15
Tabel 7 toont de gemiddelden en de standaarddeviaties van de snelle groepen en hun indeling in homogene respectievelijk heterogene groepen. Hun gemiddelde score aan het eind van het eerste jaar is gelijk, immers het criterium was 55 ects of meer behaald. Aan het eind van jaar 2 (ECTS na jaar 2; Tabel 7) zijn de door hen behaalde ects eveneens vrijwel gelijk. Er worden geen significante verschillen gevonden op de t-toets. Tabel 7. Studenten met 55 ECTS of meer en hun indeling in werkgroepen
Werkgroep
Aantal Gemiddelde
Std.
Std. Error
Deviatie
Mean
heterogeen
157
60,45
6,39
,51
homogeen
138
60,18
4,96
,42
heterogeen
157
103,57
25,26
2,02
homogeen
138
107,14
18,60
1,58
ECTS behaald in jaar heterogeen
155
44,68
21,39
1,72
2
138
46,96
17,69
1,51
ECTS na 1 jaar
ECTS na 2 jaar
homogeen
Het lijkt er sterk op dat het voor de snelle starters niet uitmaakt of ze in een homogeen of in een heterogeen samengestelde werkgroep zitten. Zij blijven evengoed presteren.
Discussie Naast kritische feedback konden de maatregelen en veranderingen op een positieve waardering en steun van de studenten rekenen. Gemiddeld krijgt LLS van de studenten een ruime voldoende. Een minderheid van de eerstejaars studenten pleit voor meer ruimte voor eigen verantwoordelijkheid en wijst zaken af die verplicht gesteld worden. Een meerderheid van de studenten kan echter het verplichtende karakter begrijpen en accepteren. Het merendeel van de studenten uit de bestudeerde cohorten geeft aan dat de vaste
7
werkgroepsamenstelling leidt tot toegenomen betrokkenheid bij elkaar en bij de studie. Daarentegen krijgen de tutoraatsbijeenkomsten en de conditionele herkansing in het algemeen een lagere waardering. Ook uit de toelichtingen blijkt daarover een tamelijk breed gedragen ontevredenheid. Men vindt de normen te streng en sommige geven aan dat de procedures voor bezwaarschriften niet duidelijk zijn. De positieve waardering voor de tutoren, voor de vaste groepssamenstelling en voor de conditionele herkansingen is gedurende de jaren licht gestegen. Veel van de enquêtevragen, bijvoorbeeld over de colleges, werden door de cohorten gemiddeld op dezelfde positieve wijze beantwoord. In relatie tot het begin van de studie neemt de motivatie voor de studie in de loop van het jaar nog toe. De studenten die docenttutoren hadden die slechts weinig aanwezig waren, vonden de rol van deze tutoren onduidelijk en de afwezigheid werd door sommigen gepercipieerd als desinteresse. Het rendementsonderzoek toont een toename van positieve BSA besluiten voor de opleiding en een stijging van het percentage voldoende eindresultaten over de jaren. Op basis van de gepresenteerde resultaten kan geconcludeerd worden dat, binnen de groep studenten met een BSA-advies, het percentage positieve adviezen bij Rechten is toegenomen. Daarbij blijft het percentage dat vertrekt voordat ze een BSA advies krijgt voor de drie cohorten vrij stabiel. Het idee dat ‘goede’ studenten tijdens het werkgroeponderwijs belemmerd zouden worden door minder goede of minder gemotiveerde studenten blijkt niet uit de gepresenteerde resultaten. Het lijkt er sterk op dat het voor de snelle starters niet uitmaakt of ze in een homogeen of in een heterogeen samengestelde werkgroep zitten. Zij blijven evengoed presteren.
Verantwoording: De auteurs danken de heer J. Dreef van het faculteitsbureau Rechten voor het verstrekken van de benodigde gegevens.
Referenties Cohen, L., Manion, L., & Morrison, K. (2000) Research methods in education (5th ed). London: Routledge Falmer. Slavin, R.E. (1987). Ability grouping and student achievement in elementary schools: A best-evidence synthesis. Review of Educational Research, 57, 293-336. Van Duijn, G., & De Gruijter, D. N. M. (2008). LLS monitor 2007-2008. Rapport nr. 188. Leiden: Universiteit Leiden, ICLON. Van Duijn, G., & Van der Rijst, R. M. (2009). LLS monitor 2008-2009. Rapport nr. 196. Leiden: Universiteit Leiden, ICLON.
8
