Programma
LOVS Rekenen-Wiskunde Inhoud, rapportage en invloed van contexten
• Intro: Het model achter het LOVS Mogelijkheden die het model biedt voor interpretatie • Categorieënanalyse als alternatief voor traditionele foutenanalyses
Jan Janssen
Marian Hickendorff Universiteit Leiden / Cito Arnhem
Cito Arnhem
• Onderzoek context - kaal
Schaalconstructie
Globale werkwijze ontwikkeling LOVS
Doelen in kaart brengen Opgaven construeren Opgaven voorleggen aan leerlingen Op basis van de antwoorden van de lln wordt er een schaal geconstrueerd • Schaal wordt gebruikt bij het rapporteren en interpreteren
Item Response Theorie
• Mbv IRT model gegevens ordenen • We gebruiken de goed-fout scores van lln (tabel met 1/0) • Parameters schatten (computer) moeilijkheidsparameter discriminatieparameter • Beoordelen of de afzonderlijke items met het model beschreven kunnen worden • Beoordelen of we met de schaal in zijn totaliteit tevreden zijn
IRT: moeilijkheidsparameter 1
kans op juist antwoord
• • • •
0.5
0 vaardigheid (theta)
1
IRT: discriminatieparameter
Voordeel van IRT
kans op juist antwoord
1
• Verschillende toetsen kunnen zinvol worden vergeleken. • Als we tenminste verbonden afnamedesigns hebben gebruikt
0.5
verbonden
niet verbonden
c. 1 0 vaardigheid (theta)
c. 2
p50 en p80 kanspunt item
M4 p90
M4 p10
LOVS systematiek • Naast papieren variant ook digitale variant • Gecombineerd onderzoek papier – digitaal • Kenmerkend voor de LOVS systematiek is dat de resultaten van de leerlingen vanuit de verschillende varianten van toetsen naar één en dezelfde rekenvaardigheidsschaal vertaald worden. • Dat betekent dat scores op bijvoorbeeld de papieren toets E4, de digitale toets M5 en de Entreetoets E5, onderling vergelijkbaar zijn.
2
Van traditionele foutenanalyse naar categorieënanalyse
Flexibiliteit voor scholen • Scholen kunnen zelf bepalen of ze de papieren
variant of de digitale variant maken. • Scholen kunnen op elk afnamemoment overstappen van papier naar digitaal. Het maakt niet uit of een leerling op een bepaald afnamemoment de papieren of de digitale variant maakt, het moet dezelfde vaardigheidsscore opleveren. • Dat er naast een papieren variant ook een digitale variant is heeft praktische voordelen.
• Sommigen maken per leerling een overzicht van het aantal foute antwoorden per categorie. Op basis daarvan vervolgbeslissingen nemen. Geen goede diagnose mogelijk. Het geeft onvolledige en deels toevallige informatie. • Je houdt geen rekening met vaardigheidsniveau van de leerling en de moeilijkheidsgraad van de opgaven • Daarom hebben we een alternatief ontwikkeld dat m.b.v het computerprogramma uitgevoerd kan worden: categorieënanalyse
Traditionele foutenanalyse Leerling 1
Opg in t
Leerling 2
Leerling 3
Criterium
Getallen
10
7
6
+ en -
12
8
8
x en :
10
7
5
Meten
8
5
5 Getallen
Functie categorieënanalyse
O&A
V&D
Categorieënanalyse: Overzicht categorieën M3
E3
M4
E4
M5
E5
M6
E6
M7
E7
4
4
4
4
5
5
6
6
6
6
GET
Nagaan of het niveau van een leerling op onderdelen significant afwijkt van het niveau dat ik bij de verschillende onderdelen op basis van het algemene vaardigheidsniveau van de leerling verwacht
O&A V&D HR BE_MP MTG ME TG VBP Aantal cat
3
Categorieënanalyse: output Voorbeeld: Niet opvallend profiel
Categorieënanalyse: Voorbeeld niet opvallend profiel
Categorieënanalyse: output
Categorieënanalyse: output
Voorbeeld: Zeer opvallend profiel
Voorbeeld: Zeer opvallend profiel
Vervolg op categorieënanalyse
Vragen over de toetsen RW
• Inventariseren welke opvallende patronen vaak voorkomen • In kaart brengen welke fouten leerlingen maken bij die verschillende patronen en proberen te achterhalen waarom ze meer fouten maken dan verwacht • Aanwijzingen voor leraren geven
• De toetsen RW bevatten naast opgaven sec, ook veel contextopgaven. Is de toets RW niet meer begrijpend lezen dan rekenen? • Worden de rekenprestaties van taalzwakke leerlingen en allochtone leerlingen niet onderschat?
4
Onderzoek context - kaal
Onderzoek context - kaal
• Nagaan of en in welke mate kinderen verschillen in hun vaardigheid wat betreft het uitrekenen van kale sommen in vergelijking met het toepassen van geleerde procedures in contextopgaven
• Juni 2008 bij lln eind groep 3, 4 en 5 • Steekproef: vooral scholen met relatief veel lln die een grote taalachterstand en/of veel allochtone lln hebben • naast de reguliere LOVS toetsen (2 delen) een extra taak met alleen kale opgaven afnemen • Daarnaast zijn gegevens over de thuistaal en de score op de LOVS-toets begrijpend lezen verzameld
% goed: context vs. kale opgaven samenhang (groep 3)
% goed: context vs. kale opgaven samenhang (groep 3)
kwartiel prestatie op kale opgaven
aantallen leerlingen kwartiel prestatie op context opgaven
A
B
C
D+E
A
101
50
20
5
176
B
40
65
46
7
158
C
22
36
59
44
161
D+E
5
14
32
103
154
168
165
157
159
649
totaal
kwartiel prestatie op kale opgaven
aantallen leerlingen
totaal hogere prestatie op kale opgaven: 18% van de NLtalige lln. 33% van de nietNL-talige lln.
51% van de leerlingen
kwartiel prestatie op context opgaven
totaal
A
B
C
D+E
A
101
50
20
5
176
B
40
65
46
7
158
C
22
36
59
44
161
D+E
5
14
32
103
154
168
165
157
159
649
totaal
hogere prestatie op context opgaven: 31% van de NLtalige lln. 16% van de nietNL-talige lln.
percentage leerlingen dat op beide taken in dezelfde prestatiegroep zit: groep 3: groep 4: groep 5:
51% 51% 56%
groep 3: niet-NL-talige leerlingen relatief vaak hogere prestatiegroep op kale taak dan op context-taak, vergeleken met NL-talige leerlingen. groep 4: ongeveer hetzelfde patroon groep 5: de verschillen tussen NL-talige en niet-NL-talige leerlingen nemen af
correlatie tussen % goed (context) en % goed (kaal) groep 3: groep 4: groep 5:
.74 .72 .79
% goed: context vs. kale opgaven verschillen tussen leerlingen naar niveau van Begrijpend Lezen
% goed: context vs. kale opgaven verschillen tussen leerlingen naar thuistaal
groep 3 groep 3
groep 4
groep 4
context kaal
85
80
90 context kaal
85
% goed
75 70
75
75
72,9 69,4
65
70
70,3 67,9
65 62,5
60
85
context kaal
71,6
70 63,5 61,6
60
65 60
63,1
60 55 52,9
52,4
50
50
45
45
45
45 niet-Ned
niet-Ned
70
70,1
B
A
LOVS-niveau Begr. Lezen
66,7
65
62,7
75,7
80,7
71,2 66,8
60 55
50 51,5 C
82,2
73,9
75
57,9
50
45 D+E
Nederlands
63,9
65
55
Nederlands
70 70,3
55 56,0
50
85
71,3
60
55
context kaal
79,6 80 77,2
75
65
50 niet-Ned
context kaal
80 71,9
70
55
Nederlands
81,0 79,1
75 75,2 71,7
90
87,6 85,5 85
80
80
80 76,4
90
context kaal
% goed
85
90
groep 5
groep 5 90
90
45 D+E
C
B
A
LOVS-niveau Begr. Lezen
D+E
C
B
A
LOVS-niveau Begr. Lezen
niet-Nederlandstalige leerlingen scoren lager dan Nederlandstalige leerlingen
leerlingen die hoger scoren op Begrijpend Lezen, scoren ook hoog op de rekentaken
maar: dit verschil is groter op de contextopgaven dan op de kale opgaven
in groep 3 en 4 is dit verband ongeveer gelijk voor context-rekenen als voor kaal-rekenen
dus: niet-NL-talige leerlingen hebben minder achterstand op de kale opgaven dan op de context-opgaven
in groep 5 hebben de zwakkere lezers een groter voordeel van de kale taak dan de sterkere lezers
5
% goed: context vs. kale opgaven in groep 5 verschillen tussen leerlingen, naar thuistaal én niveau Begrijpend Lezen Nederlandstalige leerlingen
niet-Nederlandstalige leerlingen 90
90 context kaal
% goed
80 74,5
75 70
60
75,8
64,3
68,1
60,6
op toepassingsopgaven (in een context) worden niet-Nederlandstalige leerlingen benadeeld t.o.v. hun ‘pure’ rekenvaardigheid
75,2 73,0
75 70
69,6 64,9
65
66,1
discussiepunten
60 54,6
55
55
50
50
45
45 D+E
81,6 80,9
80
80,6
72,6
context kaal
85
82,4
% goed
85
65
conclusies rekenprestaties op context-opgaven niet zonder meer gelijk aan rekenprestaties op kale opgaven
C
B
A
LOVS-niveau Begr. Lezen
wat is rekenen? D+E
C
B
LOVS-niveau Begr. Lezen
alléén voor de niet-NL-talige leerlingen geldt dat de zwakkere lezers een groter voordeel hebben van de kale taak dan de sterkere lezers.
A
wat hebben de huidige onderzoeksbevindingen voor gevolgen voor een volgende uitgave van LOVS? is het wenselijk meer kale opgaven op te nemen? moeten we aparte normtabellen maken voor allochtone leerlingen?
Bedankt voor jullie aandacht en het meedenken!
6
