Invloed van ICT-tools op onderwijsprestaties en efficiëntie Kristof De Witte‡δ1 en Carla Haelermansδ¥
(δ): Maastricht University TIER, Faculty of Economics and Business Po Box 6015, 6200 ML Maastricht (the Netherlands);
[email protected];
[email protected] (‡): Katholieke Universiteit Leuven (KULeuven) Faculty of Business and Economics Naamsestraat 69, 3000 Leuven (Belgium);
[email protected] (¥): IPSE Studies, Delft University of Technology, PO Box 5015, 2500 GA Delft (the Netherlands)
1. Onderwijsinnovaties – Inleiding Investeringen in ICT infrastructuur was een van de prioriteiten in onderwijsbeleid tijdens de voorbije decennia. In de meeste westerse landen werden er veel middelen vrij gemaakt om te investeren in computers, whiteboards, connectiviteit, en software. Gegeven deze investeringen is de vraag of dit heeft opgebracht. Leerlingprestaties blijven immers al jaren gelijk, ondanks de groeiende investeringen in het onderwijs. Schoolbesturen verantwoorden de onderwijsinnovaties vaak vanuit een efficiëntiestandpunt. Hiermee wordt bedoeld dat met een gegeven budget hogere leerresultaten behaald kunnen worden, of dat er voor de gegeven leerresultaten minder budget /personeel vereist is. Deze rapportage focust op de invloed van ICT op onderwijsprestaties. We gaan in op het oefengedrag van leerlingen, alsmede op de invloed van een ICT-tool op de rekenprestaties van leerlingen. We gebruiken hiervoor gegevens van Gotit?!. Dit is een online begeleidingsmiddel voor leerlingen in het voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal. Het theoretisch kader waartoe dit onderzoek behoort, is het differentiëren in het onderwijs en het leveren van maatwerk aan leerlingen, het gebruik van skill drill-oefeningen (oefeningen om vaardigheden erin te stampen), en tenslotte het gebruik van ICT om dit te bereiken. Eerder onderzoek naar differentiëren en maatwerk in het onderwijs laat zien dat het werken in traditionele klassen, waarbij alle leerlingen op hetzelfde niveau werken, de verschillende leerstijlen en interesses van de individuen volledig negeert (Fischer & Rose, 2001; Forsten, Grant, & Hollas, 2002; Tomlinson & Kalbfleisch, 1998). Het meenemen van verschillen in niveau, interesses en leerstijlen tussen leerlingen lijkt tot verhoogde motivatie te leiden (Tomlinson, 2004), en het negeren van deze verschillen lijkt tot verlaagde prestaties te leiden (Tomlinson & Kalbfleisch, 1998). Diverse studies 1
Corresponding author. Tel.: 003216326566 E-mail address:
[email protected];
[email protected]
1
laten ook zien dat differentiatie leidt tot hogere leerling-prestaties (Barta & Allen, 1995; Kulik & Kulik, 1982; Lou et al., 1996; Reezigt, Houtveen, & Van de Grift, 2001). Bosker (2005) laat zien dat leerlingen het meest gebaat zijn bij een volledig gedifferentieerde route, hoewel hij ook de voordelen van het sociale aspect van het klaslokaal erkent. Literatuur over een skill drill methode als Gotit?! sluit erg aan bij literatuur over het gebruik van ICT in het onderwijs (zie deel 1 van de rapportage: De Witte en Rogge, 2013), aangezien skill drill methoden vaak digitaal zijn. Studies naar het effect van digitale oefenmethoden laten zien dat interactieve online methoden vaak een positief effect hebben op rekenprestaties. Christensen en Gerber (1990) concluderen bijvoorbeeld dat oefeningen in spelvorm niet goed werken voor leerlingen met leerproblemen, maar wel voor reguliere leerlingen. Dit in tegenstelling tot de mondelinge- en computeroefeningen. Arroyo et al. (2010) laten zien dat een intelligent tutoring systeem tot hogere leerling-prestaties leidt in de onderbouw van het voortgezet onderwijs. Burns et al. (2012) laten ook zien dat een digitaal rekenprogramma tot een hogere leerwinst leidt voor de deelnemende leerlingen. Daarnaast concluderen zij dat er minder leerlingen risico lopen om een achterstand op te lopen na gebruik van het digitale programma. Onderzoeken naar niet-digitale skill drill oefeningen laten een gemengd beeld zien. Uit de literatuur blijkt in ieder geval dat het niet uitmaakt of er een digitaal of niet-digitaal skill drill programma gebruikt wordt. Wat werkt heeft meer te maken met de leerstijl van de leerling en leerstrategieën die gehanteerd worden (Becker, 1990; MacGregor, Shapiro, & Niemiec, 1998). Uit een ander onderzoek blijkt dat leerlingen het beter doen als ze strategieën aangeleerd krijgen dan met drilloefeningen (Tournaki, 2004) . Eerder experimenteel onderzoek naar reken- en taaloefeningen in ‘Muiswerk’ (een gelijkaardig programma als Gotit?!) liet een positief effect zien (zie deelrapportage 5). Haelermans et al. (2013) observeren een significant en positief effect heeft op het aantal vragen goed beantwoord per seconde bij rekenen en wiskunde. Oefenen met Muiswerk, ongeacht hoeveel, heeft dus een positief effect op de groei van score per seconde voor rekenen. Het vervolg van de deelrapportage verloopt als volgt. In onderdeel 2 worden het programma en de aannames beschreven. Onderdeel 3 beschrijft de gegevens, terwijl sectie 4 enkele verbanden uit de data weergeeft. Meer bepaald biedt het een antwoord op de vraag ‘Wordt in scholen met lage leerprestaties meer met de ICT-tool gewerkt?’, ‘Leidt meer oefenen tot betere resultaten?’, en ‘Leidt deelname aan het ICT-programma tot hogere toetsscores?’. In onderdeel 5 wordt het efficiency model uitgelegd en de resultaten gerapporteerd.
2. Vorm van het programma en aannames 2.1 Algemeen Het rekenbeleid van scholen in het voortgezet onderwijs staat de laatste jaren in toenemende belangstelling. Vanwege de invoering van de verplichte centrale rekentoets bij het eindexamen zoeken scholen naar manieren om het rekenniveau van hun leerlingen te verhogen tot tenminste het vereiste referentieniveau (Commissie Meijerink, 2008). De rekentoets wordt ingevoerd in 2013/2014 2
en telt mee in het examen van de leerling vanaf 2014-2015. Er zijn zowel bij de overheid als bij de scholen zelf zorgen geuit over het huidige niveau rekenen van voortgezet onderwijs leerlingen. Derhalve hebben veel scholen ingezet op een specifiek rekenbeleid, om het niveau van de leerlingen op peil te brengen. Een van de manieren waarop scholen actief aan de slag gaan met het verhogen van het rekenniveau is met het programma Gotit?!’. Dit is een online en adaptief begeleidingsmiddel voor leerlingen in het voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal. Er wordt toegewerkt naar de verplichte rekentoets die alle leerlingen in het voortgezet onderwijs en middelbaar beroepsonderwijs moeten gaan afleggen. De verplichte rekentoets is gebaseerd op referentieniveaus van de commissie Meijerink. Deze gelden voor het primair, voortgezet onderwijs en middelbaar beroepsonderwijs. Deze referentieniveaus geven aan wat leerlingen moeten kennen op het gebied van rekenen. Het programma start met een instaptoets. Deze helpt het niveau van de leerling te bepalen. De resultaten van deze instaptoets worden in kaart gebracht, de kenniskaart. Er wordt hierbij een onderscheid gemaakt tussen vier onderdelen (domeinen): getallen, verhoudingen, meten en meetkunde, en verbanden. Uitlegfilmpjes, theorie en opgaven helpen de leerling bij het oefenen van de verschillende onderdelen. Gotit?! is een adaptief programma. Zodra de leerling de stof beheerst gaat hij een fase verder. Gotit?! signaleert zelf dat een leerling toe is aan een toets. De docent behoudt het overzicht via een docentendashboard. Dit laatste bevat zowel gemiddelde scores per groep als individuele voortgang van leerlingen. In Gotit?! kunnen leerlingen zelfstandig werken, maar de docent heeft ook de mogelijkheid om in te grijpen in het proces door leerstof voor een leerling specifiek voor te schrijven via bijvoorbeeld hulpfilmpjes en het inplannen van toetsen. Gotit?! geeft op diverse momenten individuele feedback en feedforward. Gotit?! Rekenen voor de doorlopende leerlijn is beschikbaar sinds schooljaar 2012. Een leerlinglicentie Gotit?! Rekenen is €10,- per leerling per jaar. Een leerling krijgt hiermee toegang tot al het materiaal van Gotit?!, van zowel 1F, 2F en 3F. Een docentenlicentie Gotit?! Rekenen kost €19,50 per docent per jaar. Meer algemeen kan Gotit?! geclassificeerd worden als een procesinnovatie die het leerproces van leerlingen faciliteert. Er zijn studies die positieve effecten van ICT op onderwijsprestaties vinden (bijvoorbeeld Machin et al. 2007), maar ook studies die negatieve effecten vinden (bijvoorbeeld Leuven et al., 2007), en studies die helemaal geen effecten vinden (bijvoorbeeld Rouse & Krueger, 2004). Er heerst dus nog onduidelijkheid in de literatuur over de effecten van ICT op onderwijsprestaties. Heel vaak is er in de literatuur echter geen gedetailleerde informatie beschikbaar over wat leerlingen precies doen. Dit onderzoek buit dergelijke informatie wel uit.
2.2 Doorloop van het programma In het programma delen alle leerlingen eenzelfde chronologie: (1) Het niveau van de leerling wordt bepaald via een instaptoets; (2) de leerlingen oefenen op hun niveau; en (3) elk onderwerp wordt beëindigd met een toets. Er zijn in het programma 3 niveaus: 1F, 2F en 3F. De vragen van 2F volgen niet noodzakelijkerwijs op 1F. Het niveau 2F stemt overeen met het eindniveau van vmbo en instapniveau van havo. In principe maakt een leerling 1 instaptoets per schooljaar, en is het meest 3
waarschijnlijk dat de lijn oplopend is (1F-2F-3F). Omdat Gotit?! pas 1 schooljaar in gebruik is heeft het merendeel van de leerlingen nog maar 1 instaptoets gemaakt. Binnen een niveau zijn er ook fases die een moeilijkheidsgraad weerspiegelen. De instaptoetsen testen de leerling op fase 3 en fase 4. Op basis van de score wordt bepaald op welke fase de leerling begint met oefenen. De oefeningen zijn ingedeeld in 4 fasen, fase 1 tot en met 4. Bij niveau 1F lopen de fasen tot en met fase 3. Leerlingen krijgen oefeningen in een fase die gebaseerd is op hun score op de instaptoets en iedere leerling krijgt een eigen random oefenreeks binnen een onderwerp. Elke keer als een leerling op een onderwerp 8 van de 10 laatste vragen goed heeft krijgt de leerling een onderwerptoets. Als dit onderwerp het laatste openstaande onderwerp binnen een domein is dan krijgt de leerling een domeintoets. Deze onderwerp- of domeintoetsen komen qua samenstelling overeen met de instaptoets: ze testen op fase 3 en 4. De domeintoetsen zijn facultatief (de docent kan dit uitzetten) en veel docenten maken zelf hun toets. Dit kan schematisch als volgt worden weergegeven zoals in
4
Figuur 1.
5
Figuur 1: Schematische indeling Gotit?!
Instaptoets (moeilijheidsgraad fase 3-4)
Niveau (1F, 2F, 3F)
Oefenen in een onderwerp in een fase (1-4). Als 8 van de 10 vragen goed Toets op fase 3-4
Volgend onderwerp
Domeintoets
2.3 Keuzes in de data De gegevens voor het project zijn verkregen via uitgeverij ThiemeMeulenhoff die het programma ontwikkelde. Zoals beschreven in onderdeel 2.2 doorlopen de leerlingen het programma niet in een vaste vorm. Daarom zijn in de verwerking van het ruwe databestand naar een databestand voor de analyse volgende keuzes gemaakt: -
-
De instaptoets is het gemiddelde van de verschillende onderwerpen. De toets per onderwerp is de meest recent gemaakte toets, waarvan we de score gebruiken. Andere keuzes in de data (zoals gebruik van de gemiddelde score van alle gemaakte toetsen per onderwerp, of het volgen van een vooraf bepaalde leerroute) zullen waarschijnlijk niet tot andere uitkomsten leiden. De scores van het tussentijdse oefenen (die tussen de instaptoets en de onderwerptoets op de tijdlijn liggen) zijn de gemiddelden van alle keren dat een leerling geoefend heeft per onderwerp. Andere keuzes in de data (zoals gebruik van de mediaan) zullen waarschijnlijk niet tot andere uitkomsten leiden.
Dankzij deze veronderstellingen in de data kan het verband tussen de hoeveelheid/intensiteit van oefenen en het verschil in score tussen de instaptoets en "latere toetsing" onderzocht worden. In hoeverre kan er gesteld worden dat "hoe meer men oefent, hoe groter de vooruitgang" en wat is de optimale tijdsverdeling over de onderwerpen per domein.
6
3. Beschrijvende statistieken 3.1 Kenmerken van Gotit-scholen. De gegevens zoals verkregen door ThiemeMeulenhoff zijn gekoppeld op basis van het BRIN-nummer aan gegevens van Dienst Onderwijsuitvoering (DUO). Deze bevatten voor 2011 informatie over de werkingsmiddelen van de school. In Tabel 1 worden de 149 scholen met Gotit vergeleken met 314 scholen die de ICT-tool niet hanteren. Hieruit blijken op enkele kenmerken significante verschillen tussen beide groepen te bestaan. We bespreken de variabelen met merkbare verschillen. In de scholen die werken met Gotit?! is er per leerling meer ondersteunend personeel, zijn er meer leerlingen, is er een lager bedrag uitgekeerd voor de aankoop van materialen en onderhoud van gebouwen, en zijn de kosten voor leraren per leerling lager. Bovendien is in de Gotit?!-scholen het gemiddelde examencijfer merkbaar lager net als het slagingspercentage. Deze merkbare verschillen geven aan de invoering van Gotit niet random gebeurd is, maar een bewuste keuze was van scholen.
Tabel 1:Vergelijking Gotit scholen met niet-Gotit scholen Gotit
niet-gotit
Gemiddelde
Gemiddelde
verschil
t-statiek
Managers (in FTE) per lln
0.0039
0.0036
-0.0003
-1.1872
Leraren (in FTE) per lln
0.0661
0.0657
-0.0004
-0.3060
Ondersteunend personeel (FTE) per lln
0.0219
0.0203
-0.0016
44.9655
45.0586
0.0931
Aantal leerlingen
2643.9400
1615.6780
-1028.2620
Personeelskost per lln
6414.2250
6544.5080
130.2824
Materiaalkosten per lln
927.1842
999.9606
72.7764
**
2.4226
Kosten voor gebouwen per lln
502.3142
579.3365
77.0222
***
2.9950
Vsv-percentage
1.1979
1.2114
0.0135
Gemiddelde centraal examencijfer
6.4260
6.4964
0.0704
Gemiddelde leeftijd leraren
**
-2.4220 0.4419
***
-10.5440 1.0033
0.1635 ***
2.5386
APCG leerlingen (%)
5.6405
6.8195
1.1790
1.0786
LWOO leerlingen (%)
12.7316
11.0055
-1.7261
-1.4806
Slagingspercentage
89.5800
90.7697
1.1897
4816.7950
5040.5190
223.7237
Kosten ondersteunend personeel per lln
970.0858
991.5019
21.4161
0.5407
Kosten voor managers per lln
385.4711
352.9241
-32.5470
-1.3742
Kosten voor leraren per lln
Denominatie (Mann-Whitney rank-sum test) Aantal scholen
*
1.7662
**
2.0950
0.014 149
314
7
3.2 Beschrijvende statistieken volgens de instaptoets Leerlingen die starten met het programma doorlopen een instaptoets. Deze bepaalt het niveau van de leerlingen. Er zijn drie instaptoetsen (1F, 2F en 3F). Tabel 2 beschrijft het onderwijsniveau en het leerjaar van de leerlingen voor elk van deze instaptoetsen. Leerlingen in sterkere onderwijsniveaus (bijvoorbeeld HAVO, VWO) en hogere leerjaren volgen typisch meer de 3F, al observeren we hier veel heterogeniteit in de gegevens. Aangezien docenten het onderwijsniveau moeten aanvullen uit een dropdown-menu zijn er veel ontbrekende gegevens bij het onderwijsniveau. Tabel 2: Onderwijsniveau en leerjaar van leerlingen volgens niveau instaptoets Instaptoets 1F
Instaptoets 2F
Instaptoets 3F
Totaal
onderwijsniveau Onbekend
1,412
2,167
1,690
5,269
Gymnasium
16
95
57
168
Havo
61
459
356
876
Havo-vwo
446
325
11
782
Lwoo-b
96
6
0
102
Lwoo-g
22
0
0
22
Lwoo-k
10
7
0
17
Vmbo-b
80
50
0
130
Vmbo-bk
94
27
0
121
Vmbo-gt
186
139
0
325
Vmbo-k
197
100
0
297
Vmbo-kgt
163
97
1
261
Vmbo-t
233
283
1
517
Vmbo-t/havo/vwo
164
75
0
239
92
386
294
772
Vwo Leerjaar
Totaal
1
1,875
680
0
2,555
2
997
1,528
66
2,591
3
317
1,513
323
2,153
4
80
466
1,200
1,746
5
2
0
763
765
6
1
29
58
88
3,272
4,216
2,410
9,898
Uit
8
Tabel 3 blijkt dat de score afneemt naar mate het niveau van de instaptoets toeneemt. Bovendien stijgt ook de tijd die leerlingen gebruiken om de instaptoets te maken. Dit komt waarschijnlijk omdat de moeilijkheidsgraad van de toets toeneemt. Uit de achterliggende gegevens blijkt dat er minder oefeningen gemaakt worden bij de hogere instapniveaus.
9
Tabel 3: Score en tijd volgens instaptoets Aantal
Score
tijd
Instaptoets 1F
3,272
59.20
14.85
3592.94
1642.54
Instaptoets 2F
4,216
54.90
13.41
4351.70
2569.47
Instaptoets 3F
2,410
54.36
14.86
4449.25
2078.30
Eenmaal de leerlingen een instaptoets gemaakt hebben, starten ze de oefeningen. We onderscheiden in de data 11 onderwerpen: optellen, vermenigvuldigen, breuken, komma, verhoudingen, procenten, grootheden, oppervlakte, meetkunde, gegevens en rekenvoorschriften. Zoals beschreven in onderdeel 2 kunnen leerlingen voor elk van deze onderwerpen oefenen per functieniveau. De leerlingen kunnen Gotit?! in een willekeurige volgorde doorlopen, afhankelijk van hun eigen prestaties, voorkeuren en de inzichten van de docent. De ICT-tool stelt dus een onderwerp voor, maar zowel de leerling als de docent kunnen dit wijzigen. De willekeurige volgorde blijkt ook uit Tabel 4. Deze geeft de volgorde weer waarin de verschillende onderwerpen in fase 1 zijn doorlopen. Zo kiest 22.5% van de leerlingen als eerste onderwerp ‘optellen’. Vanaf het tweede onderwerp is de verdeling over de onderwerpen vrij gelijk. Er in de data geen bepaald patroon te ontdekken van opeenvolgende onderwerpen.
Tabel 4: Volgorde van het doorlopen van het Gotit-programma (bovenste rij is het aantal, onderste rij het percentage) Onderwerp Vermenig vuldigen
Breuk en
Verhoud ingen
Procenten
Groot heden
Gegevens
Rekenvoo rschriften
7,49
9,21
6,6
5,89
4,58
12,57
10,49
4,94
8,88
9,36
8,15
6,35
5,91
11,36
11,28
7,55
9,59
9,71
8,22
7,63
10,56
11,21
7,93
7,66
7,24
6,35
10,28
10,59
7,94
7,91
6,54
7,11
9,35
8,53
8,93
8,99
9,64
9,67
8,73
7,22
9,27
10,1
9,1
9,26
8,89
9,41
10,53
9,9
7,7
8,07
8,41
9,75
8,41
9,17
7,7
8,72
8,43
8,36
8,85
9,02
8,26
8,36
10,85
8,51
11,51
9,12
8,77
9,35
9,35
7,59
10,75
11,38
9,7
7,8
8,43
9
7,23
7,8
8,29
8,86
8,48
7,71
12,52
13,78
11,85
7,8
5,68
10
3,79
7,57
7,89
8,2
6,47
9,31
11,99
12,3
13,09
8,68
10,73
11
4,71
6,35
6,82
8,24
9,65
5,41
12,71
12,94
15,06
8,71
9,41
14,07
9,59
8,43
8,91
8,98
7,79
7,45
6,57
10,75
10,19
7,27
volgorde
Optellen
1
22,53
8,51
7,19
2
12,91
10,46
7,79
3
11,62
10,84
4
11,79
11,4
5
8,59
9,76
6
9,67
7 8
Totaal
Komma
Oppervl akte
Meetku nde
10
3.3 Scholen en klassen In de data zijn er 202 schoollocaties (6-cijfer BRIN) uit 149 scholen (4-cijfer BRIN). Er zijn op een schoollocatie gemiddeld 612 leerlingen die deelnemen aan Gotit, dit is gemiddeld 28% van de totale schoolpopulatie. Als Gotit wordt ingevoerd op een school (school staat vanaf hier synoniem voor schoollocatie – 6cijfer brin), gebeurt dit in veel scholen in meerdere klassen. Uit Tabel 5 blijkt dat er slechts 13 scholen zijn waarbij het enkel in 1 klas werd ingevoerd, 16 scholen met twee Gotit-klassen, 2 scholen met 3 klassen en 12 scholen met 4 klassen. De gegevens uit Tabel 5 zijn niet uitputtend aangezien er nog 73 scholen in de data zijn met meer dan 20 geregistreerde klassen die Gotit hebben ingevoerd. Omdat dit vaak slechts kleine klasgroepen zijn, werden deze niet meegenomen in de gegevens.
Tabel 5: Frequentie van scholen waarbij Gotit in meerdere klassen werd ingevoerd.
Aantal klassen in school met Gotit
frequentie
Aantal klassen in school met Gotit
Frequentie
1
13
11
5
2
16
12
8
3
2
13
6
4
12
14
5
5
9
15
3
6
8
16
4
7
5
17
5
8
2
18
8
9
6
19
3
10
7
20
3
3.4. Domeinen van rekenen Een sub-analyse van Gotit betreft de splitsing naar de 4 domeinen waarin rekenen is opgesplitst: getallen, verhoudingen, meet en meetkunde en verbanden. Tabel 6 laat de gemiddelde score van de diverse onderdelen zien en de totale opgetelde tijd voor deze onderdelen (in seconden) gebruikt voor de voormeting.2 In de tabel zien we dat, voor f3, leerlingen die de test hebben gemaakt op niveau 1F en 2F het hoogste scoren op het domein getallen, terwijl de 3F leerlingen het hoogste scoren op verhoudingen. Voor f4 betrof het in alle gevallen maar één vraag die leerlingen ofwel goed ofwel fout hadden (score van 100 betekent goed beantwoord, score van 0 betekent fout beantwoord). Wat opvalt is dat bij 1F en 2F het grootste aandeel leerlingen de getallen-vraag goed hadden. Bij 3F is het veel meer verdeeld en had ongeveer een derde tot de helft van de leerlingen de vraag goed per domein. 2
In voorgaande tabellen werd gewerkt met enkel leerlingen waarvoor we over volledige informatie beschikken. Dit zijn 9,898 leerlingen. In deze analyse werken we met alle leerlingen waarvoor we informatie hebben op de afzonderlijke domeinen. Zo zijn er 25,285 leerlingen met gegevens op ‘niveau 2F – verhoudingen’ en 11,334 leerlingen met gegevens op ‘Niveau 1F – getallen’.
11
Tabel 6: Gemiddelde score en totale tijd (in seconden) startmeting, weergegeven per domein, per niveau, gesplitst naar f3 en f4 f3 Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score Gemiddeld
St.Dev
Min
Max
Gemiddeld
St.Dev
Min
Max
Getallen
11334
74.26
19.07
0
100
293.32
364.17
0
32923
Verhoudingen
11333
69.20
21.22
0
100
178.09
122.34
0
2580
Meet en Meetkunde
11332
70.92
15.85
6
100
148.63
96.05
0
1904
Verbanden
11332
58.81
23.63
0
100
177.36
116.57
0
1774
Getallen
25290
71.96
14.21
0
100
337.32
350.74
0
16719
Verhoudingen
25285
62.33
20.09
0
100
183.41
173.99
0
16470
Meet en Meetkunde
25283
63.73
20.08
0
100
268.21
229.50
0
16785
Verbanden
25283
64.61
22.08
0
100
183.41
173.99
0
16470
Getallen
16997
75.91
14.77
0
100
229.81
196.36
0
8730
Verhoudingen
16997
84.90
19.22
0
100
148.20
159.72
0
6033
Meet en Meetkunde
16995
82.53
17.50
0
100
204.25
214.77
0
8582
Verbanden
16994
78.94
20.46
0
100
157.61
137.62
0
3155
f4 Niveau 1F
Niveau 2F
Niveau 3F
Totale Tijd
Obs
Gemiddelde Score
Totale Tijd
Obs
Gemiddeld
St.Dev
Min
Max
Gemiddeld
St.Dev
Min
Max
Getallen
11334
21.93
27.70
0
100
63.06
106.23
0
2664
Verhoudingen
11332
11.00
22.93
0
100
43.08
103.22
0
1739
Meet en Meetkunde
11332
6.85
15.87
0
100
24.28
67.64
0
1960
Verbanden
11332
14.50
25.31
0
100
21.60
53.53
0
1549
Getallen
25287
10.48
15.69
0
100
89.88
602.83
0
65777
Verhoudingen
25284
5.11
16.25
0
100
46.07
153.66
0
5226
Meet en Meetkunde
25283
4.95
13.80
0
100
93.31
232.69
0
7083
Verbanden
25281
11.82
23.55
0
100
46.06
153.97
0
10528
Getallen
16997
37.67
21.93
0
100
194.01
183.71
0
4513
12
Verhoudingen
16996
47.90
31.60
0
100
175.92
184.58
0
4419
Meet en Meetkunde
16995
32.00
21.13
0
100
268.23
278.51
0
10368
Verbanden
16994
34.36
25.81
0
100
120.56
132.17
0
2193
*leerlingen met waarde -1 bij score van de toets zijn uit deze tabel verwijderen
13
Tabel 7 geeft de beschrijvende statistieken van het oefengedrag van leerlingen, uitgesplitst naar het startniveau. Tabel 7 geeft zowel het aantal leerlingen weer dat tenminste 1 oefening gemaakt heeft binnen een onderwerp, als de leerlingen die naast oefeningen van een onderwerp ook al een domeintoets gemaakt hebben, of, in het geval van scholen die de domeintoetsen uitzetten, alle leerlingen die alle afzonderlijke onderwerpen van een domein hebben afgesloten met een toets. Tenslotte geeft Tabel 7 het aandeel leerlingen dat de domeintoets, of alle losse toetsen van de onderdelen van het domein, heeft gemaakt op het totaal aantal leerlingen dat geoefend heeft. In de rest van de rapportage zullen we verwijzen naar domeintoetsen, waar in werkelijkheid we dus ook leerlingen meenemen die de losse toetsen van alle onderdelen van een domein afgerond hebben. Ten eerste valt op dat van de leerlingen die de voormeting op niveau 1F gemaakt hebben, er best een aantal geoefend hebben, maar dat er nog geen enkele leerling een domeintoets gemaakt heeft. Ook zien we dat het aandeel leerlingen dat geoefend heeft én een domeintoets gemaakt heeft bij 3F groter is dan bij 2F, hoewel absolute aantallen lager zijn. Al met al is het maar een laag aantal leerlingen dat per domein een domeintoets gemaakt heeft. In tabel 7 zien we ook dat het gemiddeld aantal keer geoefend veel hoger ligt bij 2F dan bij 3F. Dit zou erop kunnen duiden dat leerlingen bij niveau 2F meer oefeningen nodig hebben om op niveau te komen, óf dat docenten van leerlingen op niveau 2F meer sturen. Ook zou het kunnen dat er eenvoudigweg meer oefeningen beschikbaar zijn in 2F dan in 3F.
14
Tabel 7: Oefengedrag van leerlingen, gesplitst naar startniveau Startniveau 1F
Startniveau 2F
aantal leerlingen die met onderwerp geoefend aantal leerlingen die met hebben die ook onderwerp geoefend domeintoets gemaakt hebben hebben
leerlingen onderwerp hebben
aantal leerlingen die met die met onderwerp geoefend hebben geoefend die ook domeintoets gemaakt hebben
aantal leerlingen
gemiddeld aantal keer aantal geoefend leerlingen
gemiddeld aantal keer aantal geoefend aandeel in % leerlingen
gemiddeld aantal keer aantal geoefend leerlingen
gemiddeld aantal keer geoefend aandeel in %
Getallen 1.
Hele getallen +-
3260
16.38
0
0
0.00
2436
20.22
450
24.04
18.47
2.
Hele getallen : x
1650
17.18
0
0
0.00
1582
23.90
494
27.84
31.23
3.
Breuken
1717
16.17
0
0
0.00
1152
21.47
430
22.91
37.33
4.
Kommagetallen
2062
16.96
0
0
0.00
1203
23.16
522
26.21
43.39
5.
Verhoudingsproblemen
2367
19.42
0
0
0.00
1313
28.29
585
28.99
44.55
6.
Procenten
1902
15.28
0
0
0.00
1028
24.37
540
25.81
52.53
Verhoudingen
Meet en meetkunde 7.
Grootheden en maten
2135
16.89
0
0
0.00
891
23.51
283
26.02
31.76
8.
Lengte, oppervlakte en inhoud
2162
19.38
0
0
0.00
727
25.19
286
27.03
39.34
9.
Meetkunde
2923
20.91
0
0
0.00
1634
21.90
266
21.04
16.28
10. Gegevensverwerking
2296
20.39
0
0
0.00
1556
23.35
594
23.47
38.17
11. Rekenvoorschriften
2129
15.61
0
0
0.00
707
22.66
482
23.79
68.18
Verbanden
15
Startniveau 3F aantal leerlingen die met onderwerp geoefend aantal leerlingen die met hebben die ook onderwerp geoefend domeintoets gemaakt hebben hebben
aantal leerlingen
gemiddeld aantal keer aantal geoefend leerlingen
gemiddeld aantal keer geoefend aandeel in %
Getallen 1.
Hele getallen +-
980
15.70
344
16.35
35.10
2.
Hele getallen : x
887
18.33
393
19.04
44.31
3.
Breuken
634
15.26
275
15.88
43.38
4.
Kommagetallen
903
16.14
493
17.54
54.60
Verhoudingen 5.
Verhoudingsproblemen
621
18.18
366
18.27
58.94
6.
Procenten
655
16.86
434
16.53
66.26
Meet en meetkunde 7.
Grootheden en maten
646
14.22
224
14.85
34.67
8.
Lengte, oppervlakte en inhoud
470
17.88
232
19.63
49,36
9.
Meetkunde
819
5.72
181
13.00
22.10
10. Gegevensverwerking
921
15.93485
426
16.49296
46.25
11. Rekenvoorschriften
640
16.48125
414
17.57005
64.69
Verbanden
16
Tabel 8 geeft inzicht in het aantal maanden dat een leerling geoefend heeft voordat de domeintoets gemaakt werd. Tabel 8 laat zien dat voor het merendeel van de leerlingen het aantal maanden oefenen tussen de 1 en de 4 maanden ligt. Dit lijkt erop te duiden dat het merendeel van de leerlingen gedurende kortere tijd intensief geoefend heeft, waarna ze een domeintoets mochten maken. Slechts enkele leerlingen hebben gedurende het merendeel van het schooljaar geoefend (8 tot en met 10 maanden oefenen) en hebben daarna pas een domeintoets gemaakt. Verdere analyse (niet zichtbaar in de tabel) laat zien dat voor de leerlingen met startniveau 2F er een significant positief verband is tussen het aantal maanden tussen voormeting en nameting en de score op de nameting. Dit geldt voor de domeinen getallen, meet en meetkunde en verbanden. Dit is niet het geval voor het domein verhoudingen of voor de leerlingen met startniveau 3F.
17
Tabel 8: Aantal maanden geoefend tussen voormeting en domeintoets, per domein 2F
3F
2F
3F
2F
3F
2F
3F
getal
getal
verhoudingen
verhoudingen
meetkunde
meetkunde
verbanden
verbanden
Aantal maanden geoefend
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
Aantal personen
1
214
308
198
200
163
200
281
338
2
217
183
232
153
146
135
304
198
3
206
192
252
152
149
104
253
148
4
170
111
200
117
110
100
232
121
5
147
69
168
62
105
64
177
85
6
139
35
121
30
106
35
166
38
7
100
29
106
15
85
17
117
21
8
50
8
50
11
49
10
63
8
9
7
21
10
19
12
18
19
12
10
0
2
0
2
2
0
0
0
18
Tabel 9 laat de gemiddelde score op de domeintoets zien. Omdat er nog geen enkele leerling van startniveau 1F een domeintoets gemaakt heeft, zijn alle waarden hier 0. Tabel 9 laat zien dat zowel voor f3 als voor f4 en zowel voor niveau 1F als voor niveau 2F er het hoogst gescoord wordt op getallen. Ook zien we in Tabel 9 dat het laagste aantal leerlingen de domeintoets voor meet en meetkunde heeft afgerond, terwijl het bij de andere 3 domeinen ongeveer evenveel leerlingen zijn.
Tabel 9: Gemiddelde score op de domeintoets f3 Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score Obs
Gemiddeld
St.Dev
Min
Max
Getallen
0
0.00
0.00
0
0
Verhoudingen
0
0.00
0.00
0
0
Meet en Meetkunde
0
0.00
0.00
0
0
Verbanden
0
0.00
0.00
0
0
Getallen
570
84.27
12.31
15
100
Verhoudingen
611
80.41
14.64
12
100
Meet en Meetkunde
319
82.45
12.56
47
100
Verbanden
650
83.26
13.45
27
100
Getallen
546
87.55
10.39
34
100
Verhoudingen
507
83.37
11.94
25
100
Meet en Meetkunde
260
85.04
11.66
40
100
Verbanden
474
82.91
12.90
40
100
f4 Niveau 1F
Niveau 2F
Niveau 3F
Gemiddelde Score Obs
Gemiddeld
St.Dev
Min
Max
Getallen
0
0.00
0.00
0
0
Verhoudingen
0
0.00
0.00
0
0
Meet en Meetkunde
0
0.00
0.00
0
0
Verbanden
0
0.00
0.00
0
0
Getallen
570
71.13
16.60
8.3
100
Verhoudingen
611
67.28
19.28
9
100
Meet en Meetkunde
319
67.05
16.48
8.3
100
Verbanden
650
66.84
18.15
5
100
Getallen
546
80.42
12.82
13
100
Verhoudingen
507
74.13
16.18
15
100
Meet en Meetkunde
260
78.92
15.83
17
100
Verbanden
474
73.48
16.35
19
100
19
4. Onderliggende verbanden In de gegevens zijn er enkele onderliggende verbanden zichtbaar. Deze verbanden zijn correlaties, vaak op geaggregeerd niveau, en kunnen bij gebrek aan een controlegroep niet als causale verbanden beschouwd worden. Toch zijn ze inzichtelijk omdat ze ons meer leren over het gebruik van ICT. De verbanden worden voorgesteld op basis van enkele ‘onderzoekshypothesen’. Waar voorgaande rapporteringen gebaseerd zijn op alle beschikbare gegevens, beperken we in dit hoofdstuk de data tot alle ‘volledige’ leerlingen. Zowel observaties met lege cellen als observaties met foutief gelogde gegevens (bijvoorbeeld de tijd voor de instaptoets is meer dan 3 uur) worden verwijderd. Dit levert een steekproef van 9,898 observaties.
4.1 Wordt in scholen met lage leerprestaties meer met de ICT-tool gewerkt? Om deze hypothese te verifiëren benaderen we de gemiddelde schoolprestaties als het gemiddelde school- en/of centraal examen van de school (6-cijfer brin en gegevens van 2011, het laatst beschikbare jaar). We corrigeren voor bijkomende controlevariabelen als klasgrootte van de leerling, de score op de instaptoets van de individuele leerling, de tijd genomen voor de instaptoets, het rendement van de school, percentage vsv, percentage leerlingen uit armoedeprobleem-cummulatiegebied (APCG), en het percentage leerlingen in LWOO. Alle resultaten bevatten fixed effects op klasniveau, al zijn de resultaten zonder fixed effects in teken en significantie gelijk. Bemerk dat fixed effects op schoolniveau niet mogelijk zijn bij de toetsing van deze hypothese omdat de relevante variabelen op schoolniveau gemeten worden. De resultaten zijn weergegeven in
20
Tabel 10. Uit
21
Tabel 10 oberveren we dat bij hogere gemiddelde eindexamens er minder onderwerpen succesvol beëindigd worden. Ook als het totaal aantal gemaakte oefeningen als uitkomstmaatstaf gehanteerd wordt, eerder dan het aantal afgelegde onderwerpen, observeren we een gelijkaardig patroon (zie model 3 en 4). Hoe hoger het centraal examen, hoe minder oefeningen er gemaakt worden. Dit resultaat is robuust als er bijkomende controlevariabelen opgenomen worden in de regressie. Omgekeerd wil dit ook zeggen dat de scholen met lagere cijfers op het centraal examen, en lagere cijfers op het schoolexamen ook meer afgelegde onderwerpen hebben en meer oefenen. Dit suggereert dat scholen ICT als een middel zien om achterstand in te halen. Dit wordt bovendien ook bevestigd door de controlevariabelen in model 2 en 4. Hoe meer leerlingen uit APC-gebieden, hoe meer onderwerpen en oefeningen er gemaakt worden. Deze variabelen zijn significant op 1%-niveau. Het aantal leerkrachten per leerling heeft een negatieve, maar geen significante invloed op het aantal oefeningen en onderwerpen.
22
Tabel 10: Verband tussen leerprestaties en doorloop in het programma en aantal oefeningen Model 1
Model 2
Model 3
Model 4
Onafhankelijke variabele
Onderwerp
Onderwerp
Oefeningen
Oefeningen
Gemiddelde centraal examen (brin6)
-4.4697***
-0.0136
-89.6699***
-37.611
Gemiddelde school examen (brin6)
-3.751***
-43.9077
Instaptoets - score (lln niveau)
0.0407***
0.0391***
0.0933
0.0871
Instaptoets - tijd (lln niveau)
-0.0002***
-0.0003***
-0.0047***
-0.0048***
Gemiddelde instapscore (brin6 niveau)
0.0566**
0.14
Aantal leraren per lln (fte - brin6)
-0.288
-106.419
Materiaal kosten per lln (brin6)
-0.016
-180.326
vsv-percentage (brin6)
-0.357
-4.649
APCG-leerlingen (%) (brin6)
0.0367***
0.736**
LWOO-leerlingen (%) (brin6)
-0.0135
0.0592
Constante
30.3286***
23.647***
629.9820***
565.3156**
Fixed Effects
Klas
Klas
Klas
Klas
Aantal observaties
9898
9898
9898
9898
R²-adjusted legende: * p<0.05; ** p<0.01; *** p<0.001
0.1447
0.1376
0.176
0.174
4.2 Leidt meer oefenen tot betere prestaties? Om na te gaan of meer oefenen met de ICT-tool leidt tot betere prestaties, correleren we het aantal oefeningen dat leerlingen maken met de gemiddelde score op de toetsen. Omdat leerlingen die veel oefenen net de minder sterke leerlingen kunnen zijn (wat zou kunnen leiden tot reversed causality) corrigeren we voor de score die de leerling haalde op de instaptoets. Verder kijken we via een multiplicator of sterke leerlingen die veel oefenen hogere scores behalen (gegeven dat ze veel oefenen en gegeven dat ze een sterke leerling zijn). We corrigeren in model 2 en 3 voor klas fixed effects, en in model 4 voor klas en school fixed effects. Op deze manier wordt er rekening gehouden met alle geobserveerde en niet-geobserveerde factoren op klas- en schoolniveau. De resultaten zijn weergegeven in Tabel 11. Hieruit blijkt dat leerlingen die veel oefenen merkbaar hogere scores behalen. Gecorrigeerd voor het niveau op de instaptoets en voor het feit dat ze veel oefenen, scoren sterke leerlingen die veel oefenen hoger op de onderwerptoets. In model 3 observeren we ook dat hogere schoolexamens positief en significant correleren met hogere scores op de Gotit?! toets. De resultaten zijn robuust in het meest uitgebreide model 4.
23
Tabel 11: Invloed van oefenen op leerprestaties Model 1
Model 2
Model 3
Model 4
0.0002***
0.0001*** 0.0048*** 0.0005***
0.6274***
0.3405***
0.0001*** 0.0026*** 0.0004*** 0.089 0.1719* 0.6638** -0.0394*** -0.003 0.0023** 0 -1.2250*
0.0001*** 0.0026*** 0.0003*** (omitted) (omitted) (omitted) (omitted) (omitted) (omitted) (omitted) 0.4760***
Fixed effect Aantal observaties R²
9898 0.006
klas 5527 0.1204
klas 5527 0.2625
klas en school 5527 0.3352
legende:
* p<.1; ** p<.05; *** p<.01
Onafh. Var: gemiddelde score Aantal oefeningen (lln niveau) Instaptoets - score (lln niveau) Veel oefenen * score instaptoets Gemiddeld centraal examen (brin6) Gemiddeld school examen (brin6) vsv-percentage (brin6) APCG-leerlingen (%) (brin6) LWOO-leerlingen (%) (brin6) Constante
4.3 Leidt deelname aan het ICT-programma tot hogere toetsscores? Het aantal keer dat een leerling oefent is (niet-geobserveerd) gecorreleerd met de mate waarin de school en de leerkracht de ICT-tool wensen in te zetten en met de intelligentie van de leerling. Om dit endogene gedeelte dat ontstaat door niet-geobserveerde heterogeniteit uit te zuiveren, passen we een instrumentele variabelen techniek toe. In lijn met Rouse en Krueger (2004) definiëren we deelname aan Gotit?! als de mate waarin leerlingen onderwerpen hebben afgewerkt. Leerlingen die bijvoorbeeld slechts 2 onderwerpen hebben afgewerkt, hebben veel minder contact gehad met het programma dan leerlingen die alle elf de onderwerpen hebben afgewerkt. Het aantal oefeningen dat leerlingen maken is bijgevolg sterk gecorreleerd met de mate waarin leerlingen in het programma deelnamen. Omgekeerd heeft deelname in het programma niet rechtstreeks een verband op de toetsresultaten, maar enkel via het aantal oefeningen dat gemaakt werd. Dit zorgt ervoor dat de mate van deelname aan Gotit een goed instrument vormt (dit blijkt ook uit de ‘first stage analysis). Schematisch is de IV als volgt: Gemiddelde toetsscore
aantal oefeningen
Deelname aan het ICT programma De resultaten van de instrumentele variabelen regressie zijn weergegeven in
24
Tabel 12. Een eerste en tweede regressie model neemt deelname aan de ICT-tool op als dichotoom instrument. Leerlingen die minder dan twee onderwerpen volledig aflegden worden vergeleken met leerlingen die meer dan 10 onderwerpen volledig aflegden. In model 3 tot 5 wordt het aantal onderwerpen als een continue variabele beschouwd. Model 2 en 4 controleren bovendien voor klas fixed effect. In model 5 worden zowel klas als school fixed effects opgenomen. Dit laat ons toe om voor een brede waaier aan geobserveerde en niet-geobserveerde kenmerken te corrigeren. Wel vallen hierdoor de coëfficiënten van de schoolvariabelen die we eerder in het model hadden weg (omitted). De resultaten zijn robuust over de verschillende modelspecificaties heen. In elk van de modellen leidt, gegeven de deelname aan de ICT tool, het aantal oefeningen tot hogere resultaten. De ICT-tool leidt tot hogere leerresultaten van de leerlingen.
Tabel 12: Instrumentele variabelen analyse Onafh. Variab.: post-test scores
model1
model2
model3
model4
model5
Aantal oefeningen (lln niveau)
0.0007***
0.0007***
0.0008***
0.0006***
0.0006***
Instaptoets - score (lln niveau)
0.0049***
0.0027***
0.0051***
0.0028***
0.0027***
Instaptoets - tijd (lln niveau)
0.0000***
0.0000***
0.0000***
Gemiddelde centraal examen (brin6)
0.0701
0.1208*
(omitted)
Gemiddelde school examen (brin6)
0.247**
0.1197*
(omitted)
Aantal leraren per leerling (fte - brin6)
0.501
0.379
(omitted)
Materiaal kosten per leerling (brin6)
-0.828***
-0.642***
(omitted)
vsv-percentage (brin6)
0.0579**
-0.021
(omitted)
APCG-leerlingen (%) (brin6)
0.0016
0.0015**
(omitted)
LWOO-leerlingen (%) (brin6)
-0.0117
0.0008
(omitted)
Constante
0.3060***
-1.649**
0.2993***
-1.1262**
0.4284***
Instrument
Deelname dummy (veel of weinig)
Deelname dummy (veel of weinig)
Deelname continu
Deelname continu
Deelname continu
Klas
klas en school
9898
9898
Fixed effects Number of observations
Klas 5478
R²-adjusted
0.0817
5478
9898 0.0765
Legend: * p<.1; ** p<.05; *** p<.0.01
5. Allocatieve efficiency Het model van allocatieve efficiëntie schat de optimale verdeling, in tijd, geld, aantallen of dergelijke, van inputs om zo efficiënt mogelijk outputs te produceren. Hier wordt gekeken naar de werkelijke 25
verdeling over de inputs en wordt vervolgens berekend wat de optimale verdeling zou zijn om zo efficiënt mogelijk te opereren. In het geval van Gotit?! kijken we naar de efficiënte verdeling van tijd over de verschillende onderdelen per domein van rekenen. Bij het domein getallen onderzoeken we bijvoorbeeld of leerlingen misschien teveel tijd of oefenmomenten aan procenten besteden en te weinig aan optellen en aftrekken. Hierbij kijken wij naar gemiddelde score van het domein getallen op de voormeting en vervolgens ook op de domein-eind-toets die de leerling gemaakt heeft. Dit leert ons of docenten, of eventueel de software, zouden moeten sturen in de onderwerpen waar leerlingen meer of minder mee zouden moeten oefenen. We nemen in de analyse per domein alleen de leerlingen mee die al een domeintoets of alle losse onderwerptoetsen gemaakt hebben. Dit betekent dat we 4 aparte analyses maken, voor de 4 domeinen van rekenen. Per domein analyseren we zowel het optimale aandeel van het aantal keer oefenen per onderdeel als van het aantal seconden oefenen per onderdeel.
26
Tabel 13 a t/m d laten de werkelijke verdeling van het aantal keer oefenen en het totaal aantal seconden oefenen voor de onderdelen van de 4 domeinen zien, en daarnaast de afwijking ten opzichte van de optimale verdeling. Een minteken betekent hier dat er op dit onderdeel gemiddeld genomen te weinig geoefend is, een plusteken betekent dat er gemiddeld genomen teveel geoefend is. Het eerste dat opvalt in
27
Tabel 13 is dat bij domeinen verhoudingen en verbanden (tabel b en d) er eigenlijk al een optimale verdeling is. De gemiddelde efficiëntiecijfers (niet in tabel a t/m d) laten bij deze twee domeinen ook zien dat de leerlingen gemiddeld erg efficiënt zijn in hun oefengedrag om een zo goed mogelijke score op de domeintoets te behalen. Voor het domein getallen zien we in tabel a dat studenten het vaakst oefenen met kommagetallen, maar juist het meeste tijd besteden aan hele getallen delen en vermenigvuldigen. Echter zouden ze minder tijd moeten besteden aan kommagetallen, en meer aan de andere onderdelen van getallen. Daarnaast zouden ze ook vaker moeten oefenen met het onderdeel optellen en aftrekken (1,8 procent vaker, wat een stijging betekent van 20, het huidige gemiddelde over 2F en 3F, naar 21 keer). Wat betreft het domein meet en meetkunde zien we dat de verdeling van aantal keer oefenen en oefentijd ongeveer gelijk is over de drie onderdelen. Echter zouden leerlingen minder moeten oefenen met het onderdeel lengte, oppervlakte en inhoud (1,2% minder, van 23 naar 22 keer), en meer met meetkunde (van 21 naar 22 keer) en grootheden en maten (van 17 naar 18 keer).
28
Tabel 13: Allocatieve efficiency (tabellen a t/m d) A
Getallen Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Hele getallen + en -
0.225
0.196
-0.018
-0.000
Hele getallen : en x
0.276
0.374
0.005
-0.000
Breuken
0.160
0.160
0.008
-0.001
Kommagetallen
0.339
0.270
0.006
0.001
B
Verhoudingen Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Verhoudingsproblemen
0.503
0.495
0.000
-0.000
Procenten
0.497
0.505
-0.000
0.000
C
Meet en Meetkunde Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Grootheden en maten
0.349
0.358
-0.004
0.000
Lengte, oppervlakte en inhoud
0.396
0.426
0.012
-0.000
Meetkunde
0.255
0.216
-0.009
0.000
D
Verbanden Werkelijke verdeling
Aanpassing naar optimale verdeling
Aantal keer
Tijd in seconden
Aantal
Tijd in seconden
Gegevensverwerking
0.556
0.544
0.000
-0.000
Rekenvoorschriften
0.444
0.456
-0.000
0.000
Een tweede analyse, waarin we alleen leerlingen die Gotit!? zeer weinig gebruiken en de leerlingen die het veel gebruiken vergelijken (hierbij nemen we het laagste kwintiel (de laagste 20%) van leerlingen met betrekking tot oefentijd en het hoogste kwintiel (de 20% leerlingen met de hoogste oefentijd)), laat geen verschil in allocatieve efficiëntie zien voor deze twee groepen op de 4 domeinen.
29
6. Conditionele efficiency De invloed van Gotit?! op leerprestaties en efficiëntie wordt bepaald via een ‘conditioneel DEA model’ (Daraio en Simar, 2007; De Witte en Kortelainen, 2013). Deze onderzoeksmethode is gebaseerd op het niet-parametrische Free Disposal Hull (FDH) model. Dit is een aantrekkelijke methode om vier redenen: (1) Er wordt geen voorkennis verondersteld over het exacte verloop van de relatie tussen inputs (voorbeeld budget / tijd) en outputs (voorbeeld leerprestaties). Dit is een bijzonder goede eigenschap aangezien er bijna nooit informatie is over de productiefunctie; (2) Er is geen prijsinformatie nodig over de leerlingprestaties; (3) Er wordt in de efficiëntieanalyse rekening gehouden met uitbijters en schoolkenmerken; (4) De methode laat toe om meerdere inputs en outputs tegelijkertijd op te nemen. Zo hoeft er geen beperkende keuze in inputs en outputs gemaakt te worden. In dit efficiëntiekader worden scholen met elkaar vergeleken door middel van een benchmark. Scholen die met gegeven inputs de hoogste leerlingprestaties behalen, krijgen een efficiëntiescore van 100 procent. Scholen die onder de benchmark scoren, krijgen een lagere score. Het verschil van 100 minus de efficiëntiescore van de school komt overeen met de mogelijke verbetering voor deze school. Dit betekent dat de school met hetzelfde budget hogere leerlingprestaties zou kunnen bereiken, of anders gezegd, dezelfde leerlingprestaties kan bereiken met minder geld. Uiteraard worden alleen vergelijkbare scholen onderling vergeleken. We corrigeren op deze manier voor geobserveerde schoolkenmerken (zie ook Haelermans & De Witte, 2012). We concentreren ons in deze exercitie op leerlingen die instaptoets 1F namen en alle onderwerpen volledig doorlopen hebben. Leerlingen moeten, gegeven hun instapscore en tijd voor de instaptoets (dit zijn de twee inputs), de gemiddelde score op de eindtoets maximaliseren (dit is de output). De eerste input is een maatstaf voor de intelligentie van de leerlingen. Ze is vaak ook gecorreleerd met achtergrondkenmerken van de leerlingen waarvoor we geen informatie hebben (vb. opleiding van de ouders). De tweede input is een benadering voor de verwerkingssnelheid van leerlingen. De output is de gemiddelde score op de verschillende domeinen die de leerling heeft afgelegd. Grafisch is de grens van best practices tweedimensionaal weergegeven in Figuur 2: FDH grens met 1 input en 1 output
30
Figuur 2 (een driedimensionale weergave zou beter zijn aangezien er twee inputs zijn, maar dit is moeilijker grafisch te interpreteren). Er blijkt 1 uitbijter te zijn in de gegevens. Het efficiency model zal hier automatisch rekening mee houden. Enkele leerlingen zijn ‘best practice’: gegeven de score op de instaptoets en gegeven hun tijd, zijn er geen leerlingen die een hogere gemiddelde eindtoets behalen. De traditionele FDH houdt geen rekening met de omgevingskenmerken van de leerlingen. Het conditionele FDH model doet dit wel aangezien het enkel vergelijkbare observaties vergelijkt. De efficiëntiescores die uit elk van deze modellen komt interpreteren is niet echt zinvol. Wel is het zinvol om de efficiency waarin er rekening wordt gehouden met individuele- en schoolkenmerken (het ‘conditionele efficiency model’) te vergelijken met de efficiency waarin dit niet werd gedaan. Dit geeft immers een aanknopingspunt om te bepalen wat de efficiency van leerlingen verklaart (zie De Witte & Kortelainen (2013) voor een formele toelichting, en De Witte & Geys (2013) en Haelermans en De Witte (2012) voor toepassingen van deze methode). In het ‘conditionele efficiency’ model houden we rekening met zowel individuele- en schoolkenmerken, als maatstaven voor de ICT inzet van de leerling en de school. Meer bepaald het leerjaar van de leerling, de klasgrootte, het schoolgemiddelde op centraal examens, het aantal leraren in de school (in fte) en het aantal oefeningen dat de leerling maakt. In een tweede modelspecificatie nemen we daarnaast ook de uitgaven voor materiele kosten zonder huisvesting op. Deze kosten zijn immers sterk gecorreleerd aan ICT uitgaven van de school.
31
Figuur 2: FDH grens met 1 input en 1 output
De resultaten van de niet-parametrische analyse laten zien dat sommige variabelen een merkbare invloed hebben op de efficiency van leerlingen (gemeten als het maximaliseren van de gemiddelde eindtoets gegeven de score en tijd van de instaptoets). Leerlingen uit hogere leerjaren zijn minder efficiënt, net als grotere klassen. Hoe hoger de gemiddelde score op het centraal examen van de school hoe hoger de geobserveerde efficiency.
32
Tabel 14: Factoren die de efficiency beïnvloeden op 1F
Model 1 Richting correlatie
Model 2 Richting correlatie
p-waarde
p-waarde
Leerjaar Gemiddelde cijfer centraal examen Klasgrootte
Ongunstig
0.001
***
Ongunstig
0.01
***
Gunstig
0.005
***
Gunstig
0.001
***
Ongunstig
0.05
**
Ongunstig
0.69
Aantal leerkrachten (FTE)
Gunstig
0.001
***
Ongunstig
0.015
***
Aantal oefeningen
Gunstig
0.001
***
Ongunstig
0.005
***
Gunstig
0.001
***
Materiële investeringen
* Significant op tienprocent-niveau, ** Significant op vijfprocent-niveau, en *** significant op éénprocent-niveau
33
Literatuur Arroyo, I., Park Woolf, B., Royer, J. M., Tai, M., & English, S. (2010). Improving Math Learning through Intelligent Tutoring and Basic Skills Training. In V. Aleven, J. Kay & J. Mostow (Eds.), ITS 2010, Part i, LNCS 6094 (pp. 423-432). Berlin Heidelberg: Springer-Verlag. Barta, J. J., & Allen, M. G. (1995). The Dilemma of Tracking and Grouping in Early Childhood and Middle Grades: Are We Speaking the Same Language. Bloomington/Indiana: Phi Delta Kappa Educational Foundation. Becker, H. J. (1990). Effects of Computer Use on Mathematics Achievement. Findings from a Nationwide Field Experiment in Grades Five to Eight. Classes: Rationale, Study Design, and Aggregate Effect Sizes. Baltimore, MD.: Center for Research on Elementary and Middle Schools. Bosker, R. (2005). De grenzen van gedifferentieerd onderwijs. Groningen: Universiteit van Groningen. Burns, M. K., Kanive, R., & DeGrande, M. (2012). Effect of a Computer-Delivered Math Fact Intervention as a Supplemental Intervention for Math in Third and Fourth Grades. Remedial and Special Education, 33, 3. Commissie Meijerink. (2008). Over de drempels met taal en rekenen - Hoofdrapport van de expertgroep doorlopende leerlijnen taal en rekenen. Enschede. Christensen, C. A., & Gerber, M. M. (1990). Effectiveness of computerized drill and practice games in teaching basic math facts. Exceptionality: A Special Education Journal, 1(3), 149-165. De Witte, K. and Geys, B. (2013). Citizen Coproduction and Efficient Public Good Provision: Theory and Evidence from Local Public Libraries. European Journal of Operational Research 224, 592-602. De Witte, K. & Rogge, N. (2013). Does ICT matter for effectiveness and efficiency in secondary education. TIER Working paper series. Mimeo. De Witte, K. and Kortelainen, M. (2013), What Explains Performance of Students in a Heterogeneous Environment? Conditional Efficiency Estimation with Continuous and Discrete Environmental Variables. Applied Economics 45(17). 2401-2412. Forsten, C., Grant, J., & Hollas, B. (2002). Differentiated Instruction. Different Strategies for Different Learners. Peterborough: Crystal Spring Books. Fischer, K. W., & Rose, L. T. (2001). Webs of skill: How students learn. Educational Leadership, 59(3), 6123. Haelermans, C., J. Ghysels, D. Stals, & F. Weeda. (2013). Het effect van online digitaal oefenen op rekenprestaties van brugklasleerlingen. Economisch Statistische Berichten, 98(4671), 650-653. 34
Haelermans, C. and De Witte, K. (2012). The role of innovations in secondary school efficiency – Evidence from a conditional efficiency model. European Journal of Operational Research 223, 541-549. Kulik, C. L. C., & Kulik, J. A. (1982). Effects of ability grouping on secondary school students: A metaanalysis of evaluation findings. American Educational Research Journal, 19(3), 415-428. Lou, Y., Abrami, P. C., Spence, J. C., Poulsen, C., Chambers, B., & d'Apollonia, S. (1996). Within-class grouping: A meta-analysis. Review of Educational Research, 66(4), 423-458. MacGregor, S. K., Shapiro, J. Z., & Niemiec, R. (1998). Effects of A Computer-Augmented Learning Environment on Math Achievement For Students With Differing Cognitive Style. Journal of Educational Computing Research, 4(4), 453-465. Reezigt, G. J., Houtveen, A. A. M., & Van de Grift, W. (2001). Vormgeving en effecten van adaptief onderwijs. Groningen: RUG/GION. Rouse, C. E., & Krueger, A. B. (2004). Putting computerized instruction to the test: a randomized evaluation of a “scientifically based” reading program. Economics of Education Review, 23(4), 323-338. Tournaki, N. (2004). The Differential Effects of Teaching Addition Through Strategy Instruction Versus Drill and Practice to Students With and Without Learning Disabilities. Journal of Learning Disabilities, 36(5), 449-458. Tomlinson, C. A. (2004). Reserach evidence for differentiation. School Administrator, 61(7), 30. Tomlinson, C. A., & Kalbfleisch, M. L. (1998). Teach me, teach my brain: A call for differentiated classrooms. Educational Leadership, 56(3), 52-55.
35
