Toetsgestuurd leren in digitale leeromgevingen: casus economie in Utrecht

ONBETWIST Deliverable 5.3.4

ONderwijs verBETeren met WISkunde Toetsen

Toetsgestuurd leren in digitale leeromgevingen: casus economie in Utrecht

ONBETWIST Werkpakket 5

Yolanda Grift (Utrecht University School of Economics)

ONBETWIST Werkpakket Effectmeting Deliverable 5.3.4 April 2012



Introductie In deze bijdrage wordt het onderzoek naar de resultaten van zowel het eerstejaarsvak wiskunde als het eerste disciplinevak, micro-economie, van het studiejaar 2011-2012 voor de opleiding economie aan de Utrecht University School of Economics (USE) beschreven. Centraal staan de verschillende toetsen die bij het eerstejaarsvak wiskunde ingezet worden. Er worden drie toetsen in het onderwijs ingezet: de Entreetoets, die gebaseerd is op de landelijke toetsen die in eerdere Surf-projecten ontwikkeld zijn (NKBW en NKBW2), de zogenoemde inspanningstoetsen en de Eindtoets. De inspanningstoetsen en de Eindtoets worden via een tweetal digitale leeromgeving en aangeboden, te weten de Digitale Wiskunde Oefenomgeving (DWO) die ontwikkeld is door het Freundenthal Instituut van de UU en MyMathLab, die ontwikkeld is door Pearson (zie ook deliverable 5.3.1 voor een beschrijving van MyStatLab van dezelfde uitgever). Een van de redenen om dit onderzoek te beschrijven ligt gelegen in het feit dat het een relatief grote studentenpopulatie betreft in de economische discipline waardoor een vergelijking met de resultaten in Maastricht (deliverable 5.3.1) en Amsterdam mogelijk is. Dit is eveneens één van de dertien onderwijsprojecten die plaatsvinden binnen het ‘Toetsing en Toetsgestuurd Leren’ SURF project ONBETWIST. In al die onderwijsprojecten wordt geëxperimenteerd met vormen van toetsgestuurd leren, gebruik makend van een gemeenschappelijke database van toets materialen (de ONBETWIST database, te vinden op www.onbetwist.org/). In de eindrapportage zal de analyse zowel uitgebreid zijn naar meerdere jaren, naar meerdere eerstejaarsvakken en naar de andere onderwijsprojecten die aan de Universiteit Utrecht plaatsvinden.

Eerstejaarsvak onderwijspraktijk

wiskunde

UU:

de

Vanaf het studiejaar 2005-2006 wordt er bij USE aandacht besteed aan de aansluiting op het gebied van wiskunde tussen het middelbaar onderwijs en de studie. In dat jaar is voor het eerst gestart met een diagnostische Entreetoets in de eerste week van het eerste studiejaar. Deze toets was gebaseerd op de eindtermen van wiskunde A op de middelbare school en bevatte zowel opgaven over wiskunde als over statistiek. Vanaf het studiejaar 2006-2007 wordt er naast de Entreetoets Wiskunde een practicum aangeboden. Dit practicum is in het eerste studiejaar als een pilot opgezet. Vanaf het studiejaar 2007-2008 is het practicum ondergebracht in het NKBW-programma; het eerste jaar in NKBW1 en de laatste twee jaren in NKBW2. Het practicum bestaat uit vier weken drie uur per week opgaven maken onder begeleiding van student-assistenten. Sinds het studiejaar 2008-2009 is de Entreetoets vervangen door de NKBW Entreetoets. Vanaf het studiejaar 2008-2009 wordt er aan het eind van de practica een Eindtoets afgenomen, de Mathematical skills test. Deze is qua inhoud gelijk aan de NKBW Eindtoets.




In het reguliere eerstejaarswiskundevak worden de studenten ingedeeld in werkgroepen op basis van de score op de Entreetoets. Het vak volgt de 4-1-3-1 indeling: 4 weken onderwijs, het eerste deeltentamen, 3 weken onderwijs, gevolgd door het tweede deeltentamen. Het gemiddelde van de twee deeltentamens bepaald het eindcijfer. Tijdens de 7 onderwijsweken worden er zogenoemde inspanningstoetsen aangeboden. In tabel 1 wordt de opbouw over de jaren samengevat.




Tabel 1. Structuur van het aansluittraject Wiskunde: 2003-2012 Studiejaar Aansluittraject wiskunde

Entreetoets Wiskunde

Remediërend onderwijs: practica

Eindtoets

• Indeling

Mathematical skills test

• Welke digitale oefenstof

• Wanneer

• Wanneer

• Wanneer

• Welke toets

• Welke digitale oefenstof

• Welke toets

20032004

Eerste studieweek

20042005

Entreetoets USE

Regulier wiskunde onderwijs

• Welke toets

20052006 20062007

Introductieweek

20072008

Introductieweek Entreetoets USE

Entreetoets USE

4 weken, 3 uur per week

4 weken, 3 uur per week

Werkgroepindel ing op basis van score Entreetoets

DWO

DWO (FI) Geen formatieve toetsing 20082009 20092010 20102011 20112012

Introductieweek NKBW Entreetoets

4 weken, 3 uur per week •

DWO

• www.uu.nl\use\wiskunde

In 5de week NKBW Eindtoets

Werkgroepindel ing op basis van score Entreetoets DWO (FI) en MyMathLab (Pearson) Inspanningstoet sen (formatief)

De Entreetoets wordt afgenomen in een tentamenzaal met pen en papier. De toets bestaat uit open vragen, waarbij alleen het antwoord gegeven wordt. Op basis van goed/fout wordt een score bepaald. Op het voorblad van de Entreetoets




staat expliciet vermeld dat bij het reguliere wiskundevak niet het antwoord maar de structuur van de oplossing beoordeeld wordt. Omdat de Entreetoets op dinsdag en de indeling van de werkgroepen op woensdag plaatsvindt, is het bij deze toets niet mogelijk om antwoorden van ca. 300-350 eerstejaars na te kijken. Op basis van een norm worden de studenten ingedeeld in de reguliere werkgroepen wiskunde. De practica bestaan uit het gedurende vier weken per week drie uur maken van opgaven. Tijdens de practica lopen er twee studentassistenten rond die individuele vragen individueel beantwoorden. In de vijfde week wordt het eerste deeltentamen Wiskunde afgenomen. Daarna worden geen practica meer aangeboden; al is het wel de wens van veel studenten. De afgelopen jaren hebben laten zien, dat studenten daadwerkelijk drie uur per week sommen maken en daadwerkelijk gebruik maken van de expertise van de aanwezige studentassistenten; en vaak ook van elkaar. De waardering voor de practica, de mogelijkheid om de wiskunde A kennis op te halen in een omgeving met een docent, wordt door de studenten zeer gewaardeerd. Ook op de voorlichtingsdagen wordt dit als een aspect van de studie economie in Utrecht naar voren gebracht. In de vier weken practica worden de basisvaardigheden wiskunde A geoefend: Week 1: Basic rules, exponents, polynomials, factoring, fractions Week 2: Equations, inequalities, quadratic equations, system of equations (2x2) Week 3: Functions and their properties, differentiation Week 4: Recapitulation Per week worden 4 practica verzorgd voor maximaal 240 studenten. Naast de practica, waar met pen en papier wordt geoefend, wordt DWO aangeboden als digitale oefenomgeving (zie figuur 1). Deze omgeving is in eerste instantie ontwikkeld voor het middelbaar onderwijs, maar kent inmiddels diverse modules voor wiskunde. DWO is voor het eerst gebruikt bij de implementatie van NKBW. Per week is er oefenstof klaargezet die aansluit op de weekindeling van de practica. Studenten moeten zich registreren op de site (screendumps van de registratieprocedure worden beschikbaar gesteld), en hebben dan toegang tot alle modules. Naast DWO is er ook gebruikt gemaakt, op vrijwillige basis, van de omgeving die ontwikkeld is tijdens NKBW, nl. www.uu.nl\use\wiskunde (zie figuur 2). Deze laatste omgeving is Engelstalig en behandelt functies en differentiëren. Figuur 1. Screenshot van DWO.




Figuur 2. Screenshot van www.uu.nl\use\wiskunde




De Eindtoets is voor het eerst in het studiejaar 2009-2010 afgenomen via het digitale oefenen toetsprogramma DWO (Digitale Wiskunde Oefenprogramma; Freudental instituut, UU). Ook deze toets bestond uit open vragen. Het is niet mogelijk om deze toets op papier af te nemen omdat het niet mogelijk is om in de vijfde week dit centraal in te passen in het onderwijsschema. Dat betekent dat studenten in hun eigen tijd de toets hebben gemaakt. Het is daardoor niet uitgesloten dat de toets niet door de student zelf gemaakt is. Maar de indruk bestaat dat dat zelden voorgekomen is. Sinds het studiejaar 2008-2009 worden de studenten op basis van hun score op de Entreetoets ingedeeld in de reguliere werkgroepen voor Wiskunde. Daardoor ontstaan meer homogene werkgroepen waardoor docenten effectiever op de vragen van studenten in kunnen spelen. En waardoor docenten effectiever ingezet kunnen worden bij de werkgroepen. Utrecht kent daarnaast het systeem van inspanningsverplichtingen tijdens de reguliere cursus. Studenten die voldoen aan de inspanningsverplichting hebben recht op een herkansing. De inspanningsverplichting bij het reguliere vak wiskunde bestaat uit - het maken van de Entreetoets; - bij een te lage score voor de Entreetoets, het volgen van 3 van de 4 practica - het maken van de Eindtoets, en het wekelijks inleveren van opgaven; 5 van de 7 weken; de zogenoemde inspanningstoetsen. Sinds 2007-2008 worden de inspanningstoetsen via twee digitale leeromgevingen aangeboden: de eerste vier weken wordt gebruikt gemaakt van DWO, de laatste drie weken van MyMathLab (zie figuur 3) omdat op dit moment in DWO nog niet de stof van de laatste drie weken geoefend en getoetst kan worden. In het studiejaar 2009-2010 zijn voor het eerst alle onderdelen van het onderwijstraject, dus zowel de Entreetoets als de practica als de Eindtoets, volledig ingezet en hebben er voldoende studenten deelgenomen. Figuur 3. Screenshot MyMathLab




Eerstejaarsvak wiskunde UU: de resultaten In het studiejaar 2011-2012 stonden 558 studenten ingeschreven voor het vak wiskunde; eerstejaars, herhalers, bijvakkers en premasterstudenten. 482 Studenten hebben deelgenomen aan de eerste deeltoets wiskunde, het mid term exam, en 387 aan de tweede deeltoets, het end term exam. Het overall slagingspercentage voor het vak wiskunde is 46%, dat wil zeggen van de 558 ingeschreven studenten hebben 259 het vak wiskunde gehaald. Ten opzichte van de deelname aan respectievelijk de eerste deeltoets (n=482), en beide deeltoetsen (n=387), zijn de slagingspercentages 54% en 67%. In figuur 4 is de verdeling opgenomen van de behaalde eindcijfers voor het eerstejaarsvak wiskunde naar deelname aan de deeltentamens. De verdeling van de cijfers voor de studenten die aan een van de twee of aan beide deeltentamens hebben meegedaan (de combinatie van de groene en roze staafjes) laat een bimodale verdeling zien: een eerste bij het cijfer 1,5 en een tweede bij het cijfer 5,5. Voor de studenten die deel genomen hebben aan het tweede deeltentamen (de groene staafjes) geldt dat de verdeling unimodaal is met een top bij het cijfer 5,5. Voor de studenten die alleen aan het eerste deeltentamen hebben meegedaan (de roze staafjes) geldt dat de top bij het cijfer 1 ligt. Dat betekent




dat deze groep studenten voor het eerste deeltentamen het cijfer 2 hadden gescoord (met een incidenteel maximum van een 7). Het uitvalpercentage bij het reguliere vak wiskunde, dus het aantal studenten dat niet deelgenomen heeft aan het eerste deeltentamen, is 14%. Dat percentage loopt op naar 31% indien gekeken wordt naar het aantal studenten dat niet aan het tweede deeltentamen heeft deelgenomen. Opgemerkt moet worden dat deze cijfers nog niet gecorrigeerd zijn voor het aantal studenten dat gestopt is met de studie. Figuur 4. Resultaten eerstejaarsvak wiskunde studiejaar 2011-2012 naar deelname aan eerste en tweede deeltentamen.

Bron: Utrecht University School of Economics, studiejaar 2011-2012 [resultaten micro-economie en statistiek: volgt] In het navolgende wordt sec gekeken naar de steekproef van eerstejaars die in het studiejaar 2011-2012 gestart zijn met de studie economie aan de universiteit Utrecht. In 2011-2012 zijn er 412 studenten gestart, waarvan 72% van het mannelijk geslacht is. 77,8% heeft de Nederlandse nationaliteit. Van de overige nationaliteiten heeft ca. 6,3% een Aziatische nationaliteit en ca. 5,8% een OostEuropese. De gemiddelde leeftijd is 19 jaar. 44% van de studenten heeft gekozen voor de Nederlandstalige bachelor en 56% voor de Engelstalige bachelor. Tabel 2. Verdeling eerstejaarsstudenten naar nationaliteit en taal van de bachelor. Nationaliteit Nederlandse Anders Bachelor in het: Totaal




Nederlands 180 1 181 Engels 141 90 231 Totaal 321 91 412 Bron: Utrecht University School of Economics, studiejaar 2011-2012 374 studenten hebben de Entreetoets gemaakt. Via een bij de Entreetoets bijgevoegde enquête is gevraagd naar de gevolgde vooropleiding en de daar behaalde cijfers voor wiskunde en Engels. Hier kan dus sprake zijn van een afwijking, omdat geen gebruik gemaakt kon worden van administratieve gegevens. De enquêtegegevens laten zien dat 41% van de studenten wiskunde A heeft gehad, 36% wiskunde B en 23% heeft een andere wiskunde vooropleiding gehad. De laatste groep is lastig te splitsen. In de analyse zal de relatief homogene groep met een wiskunde A vooropleiding als referentie gelden. Ook is gevraagd naar het cijfer voor respectievelijk wiskunde en Engels. Uit tabel 3 blijkt dat er de gemiddelde cijfers weinig verschillen indien onderscheid gemaakt wordt naar de wiskunde vooropleiding. Het gemiddelde cijfer voor wiskunde is 6,3 en voor Engels 6,4. Het gemiddelde cijfer voor zowel wiskunde als voor Engels is relatief laag. Tabel 3. Vooropleiding studenten studiejaar 2011-2012. N % Cijfer Cijfer Engels Wiskunde Wiskunde A 129 41% 6,4 6,3 Wiskunde B 113 36% 6,2 6,7 Anders 73 23% 6,2 6,2 Totaal 315 100% 6,3 6,4 Bron: Utrecht University School of Economics, studiejaar 2011-2012 In tabel 4 worden de gemiddelde en standaarddeviaties van de demografische kenmerken en de kenmerken van de vooropleiding samengevat. Het effect van toetsgestuurd leren, zowel in het remediërend onderwijs als in het reguliere onderwijs, wordt in de volgende twee secties besproken.

Remediërend onderwijs: Entreetoets en practica In figuur 5 worden de resultaten van de Entreetoets per vraag getoond. Indien de cesuur gelegd wordt bij 60% goed dan kan geconstateerd worden dat alleen voor vraag 1, 2, 4, 5, 7 en 10 60% of meer van de studenten de vraag correct beantwoord heeft. Deze 6 vragen vallen voornamelijk in het domein algebra. Figuur 6 laat de verdeling zien van het aantal goed beantwoorde vragen. De 374 studenten die de Entreetoets gemaakt hebben, hebben gemiddeld 8 vragen goed beantwoord. Als gekeken wordt naar de aanwezigheid op de practica dan blijkt dat ca. 78% van de studenten minstens 3 van de 4 practica gevolgd heeft. Tabel 4. Gemiddelde en standaard deviaties van de demografische kenmerken en kenmerken van de vooropleiding.


ONBETWIST Deliverable 5.3.4 Variable

Obs

Mean


Std. Dev.

Min

Ma x 1 1

geslacht 414 .2898551 .4542439 0 Taal bachelor (1=Engels) 414 .5603865 .4969406 0 Vooropleiding: - D_wisA 315 .4095238 .4925283 0 1 - D_wisB 315 .3587302 .4803909 0 1 - D_wisTotaal 315 .231746 .422619 0 1 Behaalde cijfers (zelf reporting): - cijfer_math 289 6.316436 1.640561 1 10 - cijfer_eng 290 6.428276 1.664808 1 10 Bron: Utrecht University School of Economics, studiejaar 2011-2012 Figuur 5. Entreetoets: Resultaten per vraag.

Column B

Bron: Utrecht University School of Economics, studiejaar 2011-2012

ag vraag vraag vraag vraag vraag vraag vraag vraag vraag vraag 7 8 9 10 11 12 13 14 15 16




0

10

Frequency 20

30

40

Figuur 6. Entreetoets: aantal vragen goed beantwoord.

0

5

TOTAL

10

15


Inspanningstoetsen: DWO en MyMathLab De zogenoemde inspanningstoetsen zijn toetsen die in een digitale leeromgeving aangeboden worden. Voor het eerstejaarsvak wiskunde geldt dat elk van de 7 onderwijsweken er een toets klaar gezet wordt. De studenten kunnen voor elke toets oefenen en elke toets maken. Indien studenten 3 van de 4 toetsen in DWO en twee van de 3 toetsen in MyMathLab met een gemiddeld voldoende resultaat (60% of meer) afgesloten hebben, dan kwalificeren ze zich voor een herkansing. In tabel 5 wordt het patroon getoond dat gevolgd wordt door de studenten. In de eerste vier weken doen gemiddeld 244 studenten elke week de inspanningstoets. Echter, het aantal studenten dat de toets doet verloopt over de weken. Nadat in de eerste week nog niet elke student op de hoogte is van de inspanningsverplichting, blijkt dat het aantal studenten dat de inspanningstoets maakt oploopt tot en met week 3. Daarna neemt het aantal af omdat voor de meeste studenten dan het aantal “3 van de 4” behaald is. 252 studenten maken alle inspanningstoetsen van de eerste vier weken. Bij de inspanningstoetsen na het eerste deeltentamen wordt eenzelfde patroon gevonden. Gemiddeld doen 131 dan elke week de toets, maar het verloop over de drie weken laat zien dat het aantal van “2 van de 3” een drukkend effect heeft op het aantal studenten




dat in de derde week nog de toets doet. 146 studenten maken alle inspanningstoetsen van de laatste drie weken. De gemiddelde score behaald door studenten (n=135) die álle inspanningstoetsen maken, is 78%. Wat opvalt zijn de percentages voor dwo4 en mml1; de percentages zijn relatief laag, respectievelijk 52% en 65%. Een verklaring voor het lage percentage voor de inspanningstoets in de vierde week (dwo4) kan zijn dat de studenten die die toets maken al voldoen aan de “3 uit 4” eis dan wel dat de behandelde stof voor de meeste studenten nieuw is (inleiding in integreren). Een verklaring voor het relatief lage percentage voor de inspanningstoets in de zesde week (mml1) kan zijn dat de studenten moeten wennen aan een nieuwe leeromgeving én opnieuw dat de stof nieuw is voor de studenten (partieel differentiëren). Tabel 5. De resultaten van de inspanningstoetsen: DWO en MyMathLab. Variable

Obs

Mean

Std. Dev.

Min

Max

dwo1

238

78.9916

21.81704

0

100

dwo2

263

59.65779

28.90952

5

100

dwo3

274

80.38321

20.65633

0

100

dwo4

203

51.65025

28.13037

0

100

Average DWO

252

74.57063

17.33304

4.3

100

mml1

162

65.32716

12.89143

16.7

85

mml2

135

74.76074

22.18123

13.5

100

mml3

95

75.36842

19.55954

20

100

Average MML

146

75.51575

13.07909

39.1

100

Total average

135

77.56074

10.51006

44.2

97.5


Effecten van remediërend inspanningstoetsen preliminary

onderwijs

en

Op basis van het voorgaande wordt in deze paragraaf onderzocht of de behaalde cijfers voor het eerstejaarsvak wiskunde verklaard kunnen worden uit voorkennis en inspanning. De voorkennis wordt gemeten door het niveau (wiskunde A, wiskunde B of anders) en het behaalde cijfer voor wiskunde in de vooropleiding. De inspanning wordt gemeten door de behaalde scores voor de ONBETWIST Werkpakket Effectmeting Deliverable 5.3.4 April 2012



inspanningstoetsen. Zoals eerder in 5.3.1 uitgelegd is, zal gecorrigeerd worden voor onder andere gender, leeftijd, nationaliteit en taal van de bachelor. De nu gepresenteerde resultaten zijn een tussenresultaat en slechts een indicatie van het mogelijke effect van vooropleiding en formatieve toetsing op het rendement van het eerstejaarsvak wiskunde. Uit kolom 1 van tabel 6 blijkt dat studenten uit Azie en Oost-Europa een hoger cijfer halen dan de Nederlandse studenten. Ook indien gekozen is voor de Engelstalige variant van de bachelor opleiding, scoren de studenten hoger. In de tweede kolom van tabel 6 staan de resultaten inclusief remediërend onderwijs en inspanningstoetsen. De eerder gevonden effecten voor nationaliteit en taal van de bachelor verdwijnen. Maar naarmate de score op de Entreetoets hoger is, is het wiskundecijfer hoger. En naarmate de gemiddelde score voor de inspanningstoetsen hoger is, is het wiskundecijfer hoger. Het lijkt zo te zijn dat toetsen een positief effect kunnen hebben op het rendement van het vak wiskunde. Tabel 6. Resultaten van regressieanalyse ter verklaring van het cijfer voor het eerstejaarsvak wiskunde: preliminary. Cijfer eerstejaarsvak wiskunde Geslacht (1=male) 0 0 Taal bachelor (1=Engelstalig) + 0 Nationaliteit: - Nederlands - Aziatisch +++ 0 - Oost_Europees + 0 - anders 0 0 Leeftijd 0 Vooropleiding: - Wiskunde A - Wiskunde B 0 - anders 0 Cijfer wiskunde vooropleiding 0 Score entreetoets (1-16) ++ Gemiddelde score inspanningstoetsen +++ (0-100) R2_adj 0.113 0.315 Bron: Utrecht University School of Economics, studiejaar 2011-2012 [analyse meerdere jaren: volgt] [analyse micro-economie en statistiek: volgt] [analyse culturele factoren: volgt]

Conclusie [volgt]

Referenties


Toetsgestuurd leren in digitale leeromgevingen: casus economie in Utrecht

Recommend Documents