Experience Mathness: Oefen- en ingangstoetsing voor bachelor studenten TUE

ONBETWIST Deliverable 5.3.3

ONderwijs verBETeren met WISkunde Toetsen

Experience Mathness: Oefen- en ingangstoetsing voor bachelor studenten TUE ONBETWIST Werkpakket 5 Deliverable 5.3.3, April 2012

Dirk Tempelaar & Hans Cuypers

ONBETWIST Werkpakket Effectmeting Deliverable 5.3.3 April 2012



Introductie Experience Mathness diende ter voorbereiding van instroom in de bachelor, en voor HBO doorstroom studenten ter voorbereiding van de instroom in de master, op de wiskunde die TU/e -studenten in het eerste jaar aangeboden krijgen. De gebrekkige wiskunde-kennis en vooral het gebrek aan (algebraïsche) vaardigheden speelt een groot aantal studenten parten in het begin van hun studie. Met behulp van Experience Mathness werd getracht de studenten bewust te maken van de belangrijke rol die wiskunde speelt bij een technische studie, en hun de mogelijkheid te geven hun eigen vaardigheden te testen en zo mogelijk te verbeteren. Alle ongeveer 1200 studenten die instromen in de bachelor of als doorstromer in de master waren beoogde deelnemers van dit onderwijsproject. Het project startte al in juni en liep door tot midden oktober. In die tijd werd de studenten online oefenmateriaal aangeboden. Dit materiaal kon (voor een groot deel) uit de binnen Onbetwist beschikbare materialen worden samengesteld. Bij aanmelding voor een technische bachelor of master studie aan de TU/e kregen studenten toegang tot de elektronische leeromgeving www.wistue.nl. Op deze omgeving kon men een aantal toetsen en oefenmateriaal wiskunde vinden waarmee men zich kon voorbereiden op de studie. In de eerste week van het nieuwe studiejaar kregen alle studenten een ingangstoets. Ze werden geacht deze toets te halen (consequenties bij niet halen verschilden per faculteit). Als de toets niet gehaald werd, werd de student een oefentraject aangeboden, die werd afgesloten met een herkansing van de ingangstoets. Het uiteindelijke effect van het onderwijsproject is wat betreft de bachelor studenten bepaald aan de hand van de prestaties van de studenten in het eerste op wiskunde georiënteerde examen. Dat examen is echter niet uniek, hetgeen de effectbepaling bemoeilijkt: studenten waren afkomstig van 14 verschillende studies, en het eerste wiskunde examen betrof 9 verschillende examens. De hier gerapporteerde activiteit omvat dus volgtijdelijk de volgende stappen: Oefenen1  Ingangstoets  Oefenen2  Ingangstoets Herkansing  Examen.

Globale uitkomsten De belangrijkste conclusie die naar voren komt uit de evaluatie van de vele data die in het project is vastgelegd en additioneel is verzameld, is dat de prikkel om de bachelor studenten te verleiden vrijwillig aan het experiment deel te nemen te licht is geweest. Of dat, anders geformuleerd, de weerbarstigheid van studenten om aan een facultatief experiment deel te nemen met een, per faculteit verschillende maar kennelijk grosso modo te bescheiden beoordeelde, beloning is onderschat in de opzet van het experiment. Dit is tegenstelling tot de HBO doorstromers, die juist zeer intensief gebruik hebben gemaakt van de oefenomgeving. Als indicatie: van de 25 meest actieve studenten, die samen meer dan 20% van de totale activiteit in de oefenomgeving voor hun rekening hebben genomen, zijn 22 doorstomers, en slechts 3 bachelor studenten. Jammer genoeg ontbreekt bij de doorstromers zowel enige indicatie van het voorkennisniveau, als een indicatie van de prestaties na aanvang van de master studie. Om die reden kan die groep van studenten die het meest intensief van de oefenomgeving gebruik heeft gemaakt, niet worden benut voor onze effect-analyse. Deelname aan het experiment voor de, veel minder actieve, bachelor studenten is op vele alternatieve wijzen te definiëren, maar om een enkel voorbeeld te noemen staan in Tabel 1 de aantallen bachelor studenten die hebben geoefend in de twee relevante deelperioden, voor en na de ingangstoets, en die tevens hebben deelgenomen aan één van de wiskunde-examens.




Tabel 1: participatie in oefentoetsing in beide deelperioden, onder bachelor studenten waarvan eindexamencijfer en eerst wiskunde examen bekend is Onderwerp

#Periode1

#Periode2

117

6

Exponenten & logaritmes

80

12

Vergelijkingen & ongelijkheden

38

1

Wortels & machten

31

1

Differentiëren

26

1

Integreren

34

3

Gonio

20

2

Breuken

De aantallen deelnemende studenten die in Tabel 1 staan weergegeven maken snel duidelijk dat effect-analyse onder de bachelor studenten op een ander probleem stuit: van deze studenten zijn weliswaar alle benodigde gegevens beschikbaar, inclusief de gewenste kennisindicatoren, maar deze groep van studenten is juist zo weinig actief geweest in de oefenomgeving, dat nu de steekproefomvangen te gering zijn om een zorgvuldige effectanalyse te kunnen doen. Zeker wanneer rekening wordt gehouden met de omstandigheid dat het effect moet worden berekend naar een negental verschillende examens. Daarbij komt dat de opbouw van aantallen deelnemende bachelor studenten over de verschillende deelonderwerpen tegenintuïtief is: des te moeilijker het deelonderwerp, des te minder studenten hebben er mee geoefend. Het door de docenten als meest lastig ervaren onderwerp, Gonio, kende maar 20 deelnemers in de eerste periode, tegen 2 in de tweede periode. Juist van het oefenen in dit onderwerp hadden docenten veel verwacht. De animo om aan het experiment deel te nemen, in combinatie met relatief hoge uitvalcijfers onder studenten die in eerste instantie wel aan het experiment zijn begonnen, hebben ertoe geleid dat uiteindelijk maar een uiterst beperkte groep aan het piece de resistente is toegekomen. Effectanalyse is daardoor niet goed mogelijk, zeker wanneer die tot doel zou hebben op onderwerpsniveau naar de effecten van oefentoetsing te kijken.

Voorkennis in de groep van bachelorstudenten Het aantal deelnemende bachelor studenten is niet enkel beperkt, de samenstelling van de groep van deelnemers wijkt ook enigszins af van wat men zou verwachten. Het systeem registreert voor iedere deelnemer een drietal gegevens: totale tijd in het oefensysteem doorgebracht, aantal opgaven waarmee is geoefend, en score op die opgaven. In Figuur 2 worden de correlaties weergegeven van deze drie systeemregistraties met het belangrijkste voorkennisgegeven van de studenten: het WiskundeB eindcijfer, en de twee toetsscores bereikt in de eigen studie: score IngangsToets en score eerste Wiskunde Examen.




Figuur 2: correlaties voor oefentoetsing-data en kennisindicatoren 0.7 0.6 0.5 0.4

WiskundeB

0.3

OefenTijd Oefen#Opgaven

0.2

OefenScore 0.1 0.0 -0.1 WiskundeB

IngangsToets

WiskundeExamen

In het eerste panel van Figuur 2 staan de relaties tussen WiskundeB cijfer en de drie gegevens uit het oefensysteem: oefentijd, aantal oefenopgaven, oefenscore. Voor een leeromgeving die ontworpen is om kennisdeficiënties aan te pakken, zou verwacht kunnen worden dat zeker oefentijd en oefenopgaven sterk negatief gerelateerd zijn aan het WiskundeB cijfer: hoe lager de kennisbeheersing, des te groter de behoefte aan remediering. Maar dat effect treedt niet op: OefenTijd en Oefen#Opgaven zijn niet gerelateerd aan WiskundeB cijfer, OefenScore heel licht positief (maar statistisch niet-significant) met WiskundeB cijfer (voorkenniseffect). De tweede en derde panel geven de relaties weer tussen enerzijds voorkennis en activiteit in oefentoetsomgeving, anderzijds de twee kennisbepalingen: ingangstoets en eerste wiskunde examen (de verschillende examens zijn in deze analyse als equivalent beschouwd). Opvallend is de volstrekt dominante rol voor voorkennis: activiteit in de oefenomgeving voegt nauwelijks verklaarde variatie toe (de hoogste correlatie, die van 0.12 tussen OefenScore en WiskundeExamen, impliceert 1,4% verklaarde variatie). Dit gebrek aan relaties tussen toetsuitkomsten en activiteit in oefenomgeving is echter eenduidig te interpreteren door de geringe deelname onder bachelor studenten aan de oefentoetsomgeving, zowel in termen van aantal studenten, als in termen van intensiteit van gebruik door die studenten die wel aan het experiment zijn begonnen.

Functioneren oefenomgeving Tegenover het gebrek aan resultaten uit de effect-analyse, staat de bevinding dat de oefenomgeving zich wel bewezen heeft als een volwaardige leeromgeving. TU/e is de enige van betrokken onderwijsprojecten geweest waarbij volledig gebruik is gemaakt van zowel de ONBETWIST data base als de ONBETWIST speler. De ONBETWIST database was, ook in het vroege stadium waarop dit onderwijsproject is verlopen, voldoende dekkend om voor alle relevante onderwerpen de studenten voldoende oefenmateriaal aan te bieden. En de ONBETWIST speler is in staat geweest alle relevante gebruiksgegevens gedurende het gehele project adequaat te registreren: de mogelijkheden om effect-analyses uit te voeren zijn volledig vergelijkbaar met die van professionele systemen als MyMathLab.




Vervolg De slotconclusie van dit onderwijsproject is kernachtig: technisch heeft het oefentoetssysteem prima gefunctioneerd, en door de HBO doorstromers is intensief van de oefenomgeving gebruik gemaakt. Spijtig genoeg leent deze groep zich niet tot een effectanalyse vanwege het ontbreken van relevante kennisindicatoren. Onder de groep van bachelor studenten waar die indicatoren wel gekend zijn, zijn door een achteraf gezien te grote vrijblijvendheid in de organisatie van het gebruik van het systeem, de mogelijkheden tot het doen van effectanalyse eveneens te gering gebleken. Het, al eerder in de planning voor komende academisch jaar vastgelegde, opheffen van die vrijblijvendheid is de aangewezen maatregel in de uitvoering van de vervolgstap van dit project in dit najaar.


Experience Mathness: Oefen- en ingangstoetsing voor bachelor studenten TUE

Recommend Documents