29 -‐11
2012
Stress! Het effect van tijdsdruk op de rekenvaardigheid van leerlingen Feline Lindeboom -‐ V6D
H e r m a n n W e s s e l i n k C o l l e g e
Inhoudsopgave Samenvatting Inleiding: § Literatuur § Onderzoeksvragen § Hypothesen en verwachtingen Materiaal en Methode § Opzet § Pilots § Onderzoek Resultaten § Methode § Beschrijving § T-‐test § Regressie-‐analyse Discussie § Analyse resultaten § Foutendiscussie § vervolgonderzoek Conclusie Evaluatie Bronnen Logboek Bijlage § Bijlage 1 § Bijlage 2 § Bijlage 3 § Bijlage 4 § Bijlage 5
p. 3 p. 3 p. 3 p. 6 p. 7 p. 8 p. 8 p. 10 p. 10 p. 13 p. 13 p. 14 p. 19 p. 23 p. 26 p. 26 p. 30 p. 32 p. 33 p. 34 p. 35 p. 36 p. 40 p. 41 p. 43 p. 44 p. 48 p. 49
2
Samenvatting Dit onderzoek heeft het effect van twee verschillende vormen van tijdsdruk op de rekenvaardigheid van leerlingen in de 1e klas getest. Dit effect werd gemeten op de snelheid en accuratesse van de leerlingen. De drie groepen leerlingen bestonden uit een controlegroep, een groep met continue manipulatie en een groep met categorische manipulatie, die alle drie eenzelfde rekentoets hebben gemaakt in 10 minuten. Op basis van de literatuur werd verwacht dat bij beide vormen van manipulatie de snelheid zou toenemen, waarbij de continue manipulatie een sterker effect zou hebben. Continue manipulatie zou de accuratesse sterk negatief beïnvloeden en categorische manipulatie zou deze juist licht verbeteren. Mijn onderzoek laat een ander beeld zien: de accuratesse wordt sterk negatief beïnvloed door categorische manipulatie en continue manipulatie heeft geen effect op de accuratesse. Beide vormen van manipulatie beïnvloeden de snelheid positief waarbij de effecten van categorische manipulatie sterker zijn.
Inleiding Tijdsdruk is een belangrijke factor die ons dagelijks leven sterk kan beïnvloeden. Leerlingen op scholen, maar ook volwassenen op het werk, ervaren dagelijks situaties waarbij zij onder tijdsdruk komen te staan. Voor dit profielwerkstuk heb ik het effect van tijdsdruk onderzocht. Ik zal beginnen met een samenvatting van de relevante literatuur.
Literatuur Verfijning van het begrip tijdsdruk Er zijn verschillende componenten die invloed hebben op de resultaten van een onderzoek naar de effecten van tijdsdruk. Bij een onderzoek kan één van deze componenten als variabele gekozen worden. Voorbeelden van componenten die er voor mijn onderzoek toe doen, zijn de typen manipulatie en de hoogte van de druk. Er zijn twee vormen van manipulatie die toegepast kunnen worden om tijdsdruk uit te oefenen: continue manipulatie en categorische manipulatie. De snelheid en accuratesse, de twee factoren waaraan de effecten van tijdsdruk worden gemeten, worden allebei verschillend beïnvloed door deze twee vormen van tijdsdruk. Continue manipulatie is een vorm van tijdsdruk waarbij de kandidaten voor het uitvoeren van de taak een tijdslimiet te horen krijgen waarbinnen de taak volbracht moet worden. De verkregen tijd is niet genoeg om de taak succesvol te kunnen voltooien. Bij categorische manipulatie wordt de kandidaat slechts verteld
3
op te schieten, zonder dat hij/zij een bepaalde deadline te horen krijgt. Tijdens het uitvoeren van de test kan de kandidaat dingen te horen krijgen als: ‘schiet op’, ‘dit moet sneller’, of ‘doe deze taak zo goed, maar ook zo snel mogelijk’. De hoogte van de tijdsdruk heeft natuurlijk ook grote invloed op de snelheid en accuratesse. Het geven van te veel tijd geeft geen tijdsdruk, maar wanneer de kandidaat zo weinig tijd krijgt dat het succesvol uitvoeren van de taak onmogelijk is, zorgt dit voor demotivatie. Voor het meten van de effecten van tijdsdruk is het dus zaak een sterkte van de druk te vinden die de kandidaat tot het einde van de taak in spanning houdt of hij/zij de taak wel of niet af krijgt. Pas dan ervaart de kandidaat werkelijk tijdsdruk. Al gevonden effecten van tijdsdruk: gebieden Eerder uitgevoerd onderzoek over het effect van tijdsdruk toont aan dat door tijdsdruk gemiddeld genomen de accuratesse verslechtert op meerdere cognitieve velden. Op de gebieden: oordeel en besluitvorming, visueel vermogen, waakzaamheid en aandachtsprocessen, strategieën voor het terugroepen van geheugen (Campbell & Austin, 2002), het maken van concessies en integratieve overeenkomsten en het vermogen van de mens zichzelf correct te beoordelen, zijn deze negatieve gevolgen van tijdsdruk al gevonden. Wel is er een verschil in het effect van tijdsdruk tussen deze verschillende gebieden. Dit blijkt uit een meta-‐analyse van Driskell, Mullen, Johnson, Hughes, en Batchelor (1992) over de effecten van tijdsdruk. De accuratesse werd het meest negatief beïnvloed op de gebieden van symbolen herkennen, waakzaamheid en reactievermogen. Reactievermogen, symbolen herkennen en andere cognitieve taken beleefden juist een toename in snelheid door de tijdsdruk. Het gebied waarop ik mijn onderzoek toespits is rekenvaardigheid. Hierin is voor zover ik weet nog geen onderzoek gedaan naar tijdsdruk, dus het kan alle kanten op. Al gevonden effecten van tijdsdruk: effecten De literatuur laat dus zien dat tijdsdruk de prestatie beïnvloedt. Hieronder vallen snelheid en accuratesse. De Driskell e.a. onthulden dat tijdsdruk over het algemeen een positief effect heeft op de snelheid en een negatief effect heeft op de accuratesse (hoewel in mindere mate). Dit is over het algemeen, dus zonder een onderscheid tussen de typen manipulatie. De richting en sterkte van dit effect hangt namelijk af van het type manipulatie. Continue manipulatie zorgt voor een sterke afname van de accuratesse maar ook een sterke toename van snelheid. Categorische manipulatie daarentegen, zorgt voor een redelijke toename van de snelheid en verbetert ook de accuratesse lichtelijk. Doordat de effecten bij continue manipulatie sterker zijn, overheersen
4
vaak de vermindering van de kwaliteit en de verbetering van de kwantiteit. Dit is dan ook wat er in veel artikelen vermeld wordt. Maar zeg nu, wat heb je aan kwantiteit, als er geen kwaliteit is? Om dit argument wordt ook wel vaak gezegd dat tijdsdruk de prestatie in zijn geheel verslechtert, maar er is dan geen onderscheid gemaakt tussen de verschillende typen manipulatie (continue en categorisch) en de verschillende manieren waarop de effecten daarvan zich kunnen uiten (snelheid en accuratesse). Ook zijn er effecten gevonden van de hoogte van de druk. R.D. Huchingson (1973) beschreef dat zijn kandidaten de hoop al opgaven bij het geven van 60 procent van de tijd die de kandidaat eerder zelf bewees nodig te hebben voor de taak. Huchingson mat dit met de hartslag van de kandidaten. Hiernaast zijn er nog meer minder bekende effecten. Ben Zur en Breznitz (1981) vonden met een gok-‐paradigma dat tijdsdruk er ook voor zorgt dat men minder risico’s neemt en meer tijd kwijt is, verwikkeld in een neerwaartse spiraal waarin de kandidaat zijn eigen kansen minimaal acht. De kandidaat ziet alles in de omgeving als slecht, en denkt al helemaal niet dat hij/zij zelf in staat zal zijn deze negatieve situatie te beheersen. Omgaan met tijdsdruk Hoe komt het nu dat de prestatie zo kan verslechteren? Wanneer kandidaten onder tijdsdruk staan, is er een aantal methoden te handhaven om hier mee om te gaan. 1) Acceleratie: De kandidaat versnelt het tempo. Hierbij gaat men er dus vanuit dat de kandidaat in eerste instantie in een suboptimale snelheid aan de slag was. Aangezien dit niet altijd het geval is, is deze aanpassing in werkwijze vaak niet mogelijk. 2) Verandering van strategie: § Het verkiezen van het uitvoeren van een bepaalde taak boven een andere taak met minder prioriteit. De kandidaat geeft de voorkeur aan belangrijkere opgaven. § Het 'tunnelen' van de aandacht, waarbij slechts aan een bepaald onderdeel aandacht wordt besteed, en het 'scannen' in plaats van zorgvuldig lezen. De kandidaat verkiest hier bijvoorbeeld makkelijke opgaven boven de moeilijke opgaven. § De kandidaat focust zich op de snelheid óf accuratesse 3) Filtratie: Slechts bepaalde informatie wordt opgenomen.
5
Een mooi voorbeeld voor bovengenoemde veranderingen van wijze van aanpak is het onderzoek van J.I.D Campbell en S. Austin. Zij hebben met hun onderzoek volwassen personen rekenvragen gegeven met de opdracht de ene keer binnen 0.75 seconde te antwoorden en de andere keer binnen 2,5 seconden. Zij hebben hiermee onderzocht wat het verschil is in de toegepaste strategieën en de accuratesse. Uit dit onderzoek bleek dat de kandidaten bij de deadline van 0.75 seconden, vooral bij iets moeilijkere vragen, aanzienlijk meer op geheugen deden en hierbij ook meer fouten maakten dan wanneer de kandidaten meer tijd hadden. Hieruit blijkt dat de kandidaten zich gefocust hebben op de snelheid in plaats van de accuratesse. Dit is ook wel aannemelijk, aangezien de kandidaten toch iets moesten antwoorden, anders was het antwoord zonder meer fout. Deze strategieën hoeven natuurlijk niet alleen negatieve effecten te hebben. Zoals dus al is gebleken uit eerder onderzoek, heeft categorische manipulatie gemiddeld genomen slechts voordelen en bevordert continue manipulatie ook de snelheid. Het kan dan bij de snelheid zo zijn dat acceleratie is toegepast. Voor het verbeteren van de accuratesse en de snelheid kan het veranderen van de strategie of het toepassen van filtratie positief zijn uitgepakt. Aan onnuttige informatie wordt bij filtratie in sommige gevallen minder aandacht besteed. De kandidaat heeft dan meer aandacht voor de nuttige informatie en dit kan de accuratesse dus verbeteren. Wel is het dan van belang dat de kandidaat de juiste informatie selecteert.
Onderzoeksvragen Rekening houdend met de hierboven besproken literatuur kom ik tot de volgende hoofdvraag. Hoofdvraag: 1) Wat is het effect van tijdsdruk op de prestatie? Hierbij gaat het om korte termijn tijdsdruk op de rekenvaardigheid bij jongens en meisjes in de eerste klas havo. De tijdsdruk bestaat uit categorische en continue manipulatie waarbij het effect wordt gemeten in de snelheid en accuratesse van de kandidaten. Dit kan echter niet gemeten worden zonder de volgende deelvragen eerst te beantwoorden. Deelvragen: 2)
Wat is het effect van continue manipulatie op accuratesse?
3)
Wat is het effect van categorische manipulatie op accuratesse?
4)
Wat is het effect van continue manipulatie op de snelheid?
5)
Wat is het effect van categorische manipulatie op de snelheid?
6
6)
Zijn er effecten van achtergrondkarakteristieken van leerlingen op de accuratesse en snelheid?
Hypothesen & Verwachtingen Volgens de literatuur zijn de volgende effecten te verwachten: Hypothesen 1)
Het algemene effect van tijdsdruk is dat de snelheid verbetert, maar de accuratesse verslechtert.
2) 3) 4) 5) 6)
Het effect van continue manipulatie op de accuratesse is dat de kwaliteit redelijk tot sterk omlaag gaat. Het effect van categorische manipulatie op de accuratesse is dat de kwaliteit licht omhoog gaat. Het effect van continue manipulatie op de snelheid is dat de snelheid sterk omhoog gaat. Het effect van categorische manipulatie op de snelheid is dat de snelheid licht omhoog gaat. Het is bovendien te verwachten dat bepaalde achtergrondkarakteristieken de scores kunnen beïnvloeden.
Verwachtingen Het effect van continue manipulatie op de accuratesse is dat de kandidaten (veel) minder accuraat zijn en dus meer fouten maken. Het effect van categorische manipulatie op de accuratesse is dat de kandidaten iets accurater zijn en dus iets minder fouten maken. Het effect van continue manipulatie op de snelheid is dat de kandidaten veel sneller werken en dus veel meer vragen af hebben. Het effect van categorische manipulatie op de snelheid is dat de kandidaten iets sneller werken en dus iets meer vragen af hebben. Kinderen met een bepaald achtergrondkarakteristiek zullen verschillen tonen in (een) bepaalde uitkomst(en) vergeleken met de kinderen die dit karakteristiek niet hebben. In de volgende sectie zal ik mijn gebruikte materiaal en methode bespreken. Daarna zal ik de resultaten van het onderzoek presenteren, gevolgd door een discussie, conclusie en evaluatie.
7
Materiaal en Methode Opzet In mijn onderzoek kijk ik naar de snelheid en accuratesse. Dit zijn twee maatstaven die onafhankelijk van elkaar beïnvloed kunnen worden door de twee verschillende typen manipulatie. Typen manipulatie – Indeling in drie testgroepen Als variabele voor mijn onderzoek heb ik de typen manipulatie gekozen. De rekentoets is gemaakt door drie groepen. Een groep krijgt geen tijdsdruk. Dit is de controlegroep. Hen wordt verteld dat zij de toets zo goed mogelijk moeten maken. Een tweede groep krijgt continue manipulatie. Deze groep krijgt de tijdslimiet van 10 minuten te horen. Een derde en laatste groep krijgt categorische manipulatie, waarbij hen wordt verteld dat zij de test zo goed, maar ook zo snel mogelijk moeten maken. Alle drie de groepen krijgen 10 minuten voor een toets waar minstens 20 minuten nodig voor zijn om goed te scoren. Domein – de test Voor mijn onderzoek heb ik gekozen de rekenvaardigheid te testen. Dit heb ik gedaan om verschillende redenen. Allereerst ben ik ervan overtuigd dat dit gebied makkelijk beïnvloed kan worden door stress. Bij het hoofdrekenen zullen de kandidaten, wanneer blootgesteld aan tijdsdruk, snel in de war raken en vergeten waar in de som zij gebleven waren. Een andere reden waarom dit gebied erg belangrijk is, is omdat het begrijpen van de cognitieve processen van de rekenkunde belangrijk is. Rekenvaardigheid, en zeker de simpelere sommen, hebben een status als fundamentele intellectuele vaardigheid. Bovendien worden rekenvaardigheidstoetsen veel gebruikt in gedragsonderzoeken (als deze). Het is dus belangrijk dat men hier dingen vanaf weet. Doel voor de kandidaten Mijn kandidaten geef ik een zak snoep als stimulans om de test goed uit te voeren. Ik vertel per klas dat de beste drie leerlingen een zak snoep krijgen. Hierdoor is er een stimulans. Ik krijg daardoor resultaten die echt laten zien waartoe de leerlingen in staat zijn. Hoogte van de druk Bij mijn test geef ik de kandidaten 50% van de gemiddeld benodigde tijd. Deze tijd heb ik gebaseerd op mijn pilot. De kandidaten kunnen de test onmogelijk af hebben wanneer zij hun best doen. Omdat de rekensommen er niet groot uitzien zullen de kandidaten geen last krijgen
8
van wanhoop en daarmee demotivatie, zoals bij het onderzoek van Huchingson (1973) het geval was. Proefpersonen De groep die ik heb gekozen is de eerste klas havo van het Hermann Wesselink College te Amstelveen. Hierbij gebruik ik klas 1j en klas 1k . De reden hiervoor is als volgt. De eerste klas is een belangrijk jaar voor de ontwikkeling van een kind. De eerste klas bepaalt voor een groot deel welke kant de ontwikkeling van het kind op zal gaan en welke toekomst een kind zal hebben. Natuurlijk is er de mogelijkheid, wanneer dit eerste jaar niet goed verloopt, later op te klimmen, maar een belangrijke stap richting het volwassen worden, is al gezet in het toetreden van een middelbare school. Het pad wordt voor een deel gekozen en hierna wordt het dus steeds moeilijker om om te draaien voor een gemiste afslag. Hiernaast zijn de verschillen tussen leerlingen aan het begin van het eerste jaar op de middelbare school nog kleiner dan in latere jaren. Dit is handiger voor mijn onderzoek waarbij de resultaten significanter zullen zijn wanneer de spreiding binnen de groepen kleiner is. Bovendien wil ik drie groepen hebben die zo veel als mogelijk gelijk aan elkaar zijn. Bovendien is de eerste klas ook handiger om praktische redenen. Ook de eindexamenleerlingen hebben een belangrijk jaar, maar die hebben daarbij geen tijd om mee te doen aan mijn onderzoek. Ook heb ik als leerling van de zesde klas meer gezag over een 1ste klas dan over een andere eindexamenklas. Ik heb gekozen voor twee havo klassen omdat deze van gelijk niveau zijn. De VWO klassen waren allemaal van een verschillend niveau, omdat er onderscheid gemaakt kan worden tussen gymnasium en atheneum, tweetalig onderwijs en normaal onderwijs. De havo klassen hebben deze verschillen niet. Mijn doelgroep komt in zekere mate overeen met de doelgroep van de meta-‐analyse, waarbij de effecten van stress werden berekend ten behoeve van de verbetering van de omstandigheden van soldaten in oorlogssituaties. Voor deze soldaten is de beheersing van stress ook van essentieel belang en dat is dan ook de reden voor het schrijven van de meta-‐ analyse. De schrijvers hebben deze meta-‐analyse samengesteld om te kijken welke componenten van stress de meeste invloed hebben op mensen (en dus op soldaten) en om hieruit oefeningen te kunnen afleiden om de stress van soldaten te verminderen. Wanneer mijn onderzoek dus afgerond zal zijn, kunnen de resultaten wel degelijk behulpzaam zijn voor de leraren en de teamleidster van de klassen. Het krijgen van inzicht in de invloed van tijdsdruk op de prestatie van kinderen, zou eventueel kunnen helpen hiermee om te gaan.
9
Pilots Voor mijn onderzoek heb ik eerst twee pilots gedaan. Deze waren bedoeld om te kijken of de toetsen begrijpelijk en van een goed niveau waren. Bovendien kon ik hierbij de procedure van het onderzoek oefenen. De eerste pilot was met een andere toets met bovendien een ander onderwerp. Deze bleek niet geschikt te zijn voor mijn onderzoek. Een gedetailleerdere uitleg hiervan staat in de bijlage (bijlage 1) Pilot 2: Na mijn eerste pilot heb ik een nieuwe test gemaakt, een rekentoets. Hierbij heb ik rekensommen van verschillende soorten en moeilijkheidsgraden gemaakt en samengevoegd. De meeste sommen heb ik zelf gemaakt. De meerkeuze sommen heb ik van een internetsite (bron 5). Deze test heb ik bij dezelfde personen afgenomen als de eerste pilot. Er is dus een kans dat deze kinderen nu beter bestand waren tegen de tijdsdruk dan de eerste keer, maar ik denk dat dit niet veel uitgemaakt zal hebben. Het soort toets was immers anders en de kinderen zijn verder ook gewend aan tijdsdruk door het maken van toetsen op school. Ik heb de kinderen de test twee keer gegeven. Één maal zonder tijdsdruk, en één maal met tijdsdruk. Toen de leerlingen de test zonder tijdsdruk maakten, maakten zij al een aantal fouten, wat laat zien dat de test niet te makkelijk was. Bij het maken van de test met tijdsdruk heb ik hen 50% gegeven van de tijd die zij gemiddeld nodig hadden bij het maken van de eerste test. Hierbij werden meer fouten gemaakt. De leerlingen deden duidelijk nog wel hun best. Deze pilot liet dus zien dat de toets van een goed niveau was en dat de hoogte van de druk goed was. De test die ik voor de tweede pilot heb gebruikt, is dezelfde test als de test die ik voor mijn echte onderzoek heb gebruikt. Deze staat ook in de bijlage als 'bijlage 3'.
Onderzoek Na de pilot heb ik mijn test niet meer aangepast. Dezelfde test heb ik dus aan mijn drie groepen gegeven. Op de dag van mijn echte onderzoek heb ik tijdens het tweede uur op maandag 29 oktober 2012 de twee klassen 1j en 1k in 3 groepen verdeeld. Beide klassen bevatten 30 leerlingen, dus heb ik 3 groepen van 20 leerlingen gemaakt. Ik heb hierbij geprobeerd evenveel jongens als meisjes in elke groep in te delen. Ik heb eerst groep 1 meegenomen naar een apart lokaal voor het afnemen van de test zonder tijdsdruk. Toen ik deze leerlingen terugbracht, heb ik gelijk de laatste tien leerlingen uit klas 1j meegenomen en nog tien leerlingen uit klas 1k meegenomen. Bij deze leerlingen heb ik de test met continue manipulatie afgelegd. Toen deze groep klaar
10
was, was de les (80 minuten) voorbij. Ik heb toen twee dagen daarna het laatste deel van mijn onderzoek gedaan. Ik heb hierbij de laatste twintig leerlingen uit klas 1k meegenomen voor de test met categorische manipulatie. Bij alle drie de groepen gold het volgende: Eenmaal aangekomen in het lokaal voor de toets, moesten de leerlingen ieder aan een tafel gaan zitten. De tafels heb ik van tevoren al uit elkaar geschoven. De leerlingen kregen allemaal de toets uitgedeeld. Op de voorpagina stond de uitleg die ik ze ook mondeling gaf. Ik zei de leerlingen dat zij eerst de gevraagde gegevens (naam en achtergrondkarakteristieken) moesten invullen op de voorpagina. Ik vertelde ze dat ze het blad nog niet om mochten slaan en pas mochten beginnen als ik dat zei. Daarna heb ik de leerlingen de toets uitgelegd. Groep 1 -‐ controlegroep: Groep 1 heb ik verteld dat zij de toets zo goed mogelijk moesten maken. Om de leerlingen te stimuleren echt hun best te doen, heb ik een zak snoep als beloning gesteld voor de 3 leerlingen met de meeste goede antwoorden. Na tien minuten worden de leerlingen gestopt. Groep 2 – continue manipulatie: Groep 2 heb ik gezegd dat zij 10 minuten de tijd kregen voor de toets. Wederom heb ik de beste drie leerlingen een zak snoep beloofd. Groep 3 – categorische manipulatie: Bij groep drie heb ik de leerlingen verteld dat het aantal goede antwoorden even belangrijk is als de snelheid. Ook hier krijgen de beste leerlingen een zak snoep. Ik vertel hun echter dat de zak snoep niet is voor de leerlingen met de minste fouten, maar voor de leerlingen die het snelst zijn én de minste fouten hebben. Ook hier kijk ik echter slechts naar het aantal goede antwoorden voor de beoordeling. Het feit dat zij snel moeten werken zal namelijk (verwacht ik) al effect hebben op het aantal goede antwoorden. De leerlingen van groep 3 zal ik tijdens de test ook nog aansporen nόg sneller te werken. Hierbij heb ik dingen geroepen als: Schiet op. Dit kan sneller. Dit moet sneller (na langslopen). Het is belangrijk dat je het zo goed en zo snel mogelijk doet. De andere groep deed het beter. Het tempo moet omhoog. Je moet zo min mogelijk fouten maken. Zorg dat je het tempo hoog houdt.
11
Na tien minuten worden de leerlingen gestopt. In een testsituatie waarbij personen onder druk worden gezet bij het maken van een rekentoets, kunnen zij ook hun strategie veranderen. Dit viel mij ook op tijdens het nakijken. Ik heb daarom een tweede vorm van snelheid en een tweede vorm van accuratesse geïntroduceerd. Deze tweede vormen heb ik gemaakt om te corrigeren voor het feit dat sommige leerlingen, wanneer onder druk, de makkelijke vragen eerst zouden kunnen maken. Hierdoor zouden zij sneller en accurater lijken, terwijl zij in feite een makkelijkere test hebben gemaakt. Dit mag natuurlijk niet mijn conclusie, op het gebied van snelheid en accuratesse, beïnvloeden en gaat in strijd met het feit dat de enige variabele de manipulatie moet zijn. Snelheid 2 staat dus niet voor het aantal vragen af, maar het aantal punten af. Ik heb hierbij punten toegekend aan vragen, waarbij de moeilijkere vragen die meer tijd kosten, ook meer punten waard zijn. Op deze manier haalt een leerling die slechts makkelijke vragen maakt, een lagere score dan een leerling die even veel vragen maakt, maar van een moeilijker niveau. Op ditzelfde principe heb ik accuratesse 2 geïntroduceerd. Accuratesse 1 is de fractie van het aantal goed gemaakte vragen ten opzichte van het aantal gemaakte vragen. Accuratesse 1 kan dus berekend worden door het aantal correct beantwoordde vragen te delen door het aantal gemaakte vragen. Accuratesse 2 kan berekend worden door het aantal goed gemaakte punten te delen door het aantal gemaakte vragen. Deze waarde is dus hoger wanneer een leerling vragen goed heeft gemaakt die meer dan 1 punt waard zijn. Hierbij wordt dus niet alleen rekening gehouden met het feit dat de leerling langer over de moeilijke vragen heeft gedaan (waar snelheid 2 rekening mee houdt) maar ook met het feit dat de leerling met een hogere Accuratesse 1 = aantal goedgemaakte vragen / aantal gemaakte vragen Dit getal toont d us aan hoeveel vragen de leerling foutloos maakt van het aantal vragen dat de leerling maakt. Het cijfer 0,55 betekent dat de leerling 55% van de gemaakte vragen foutloos heeft gemaakt. Accuratesse 1 houdt geen rekening met de moeilijkheidsgraad van de vragen. Accuratesse 2 = aantal behaalde punten / aantal gemaakte vragen Dit getal komt veelal boven de 1 uit. Wanneer de leerling slechts éénpuntsvragen maakt is dit getal gelijk aan de accuratesse 1. Hoe hoger dit getal, hoe moeilijker de vragen waren die d e leerling goed heeft gemaakt. Accuratesse 2 laat zien in h oeverre de leerling in staat is moeilijke vragen correct te beantwoorden onder tijdsdruk. Snelheid 1 = aantal vragen af. Dit getal geeft het aantal afgemaakte vragen weer. Dit is geen fractie of percentage. Snelheid 2 = aantal punten af. Deze variabele is gemiddeld genomen hoger dan snelheid 1, omdat de leerlingen niet alleen éénpuntsvragen hebben gemaakt. Deze variabele toont dus aan in hoeverre de leerling in staat is moeilijkere vragen te maken onder tijdsdruk en corrigeert voor snelheid 1, waarbij hiermee geen rekening wordt gehouden.
12
accuratesse 2 beter in staat is geweest moeilijkere vragen tot een correct einde te brengen. De strategie van de leerlingen is natuurlijk wel interessant. Hier ga ik in mijn discussie onder de sectie 'strategie' verder op in.
Resultaten De resultaten van het onderzoek staan in de bijlage samen met het codeboek. De tabellen en grafieken die uit deze resultaten kunnen worden afgeleid, staan hieronder. De sectie 'resultaten' bestaat uit 4 onderdelen. Eerst zal ik de methode van het analyseren van mijn resultaten bespreken en uitleggen. Hierna volgt een beschrijving van de gegevens. Daarna wordt de t-‐test besproken. De resultaten eindigen met een regressie-‐analyse.
I -‐ Methode Voor de beschrijving heb ik eerst de gemiddelden van de gegevens en de standaarddeviaties hierbij, berekend. Uit de tabel (tabel 1) bleek dat er aanzienlijke verschillen waren in achtergrondkarakteristieken tussen de drie groepen. Vervolgens heb ik de gemiddelden van de scores van de drie groepen berekend. Hierop heb ik eerst een t-‐test gedaan, die bepaalt of verschillen tussen uitkomsten statistisch significant zijn. Bij de t-‐test wordt geen rekening gehouden met de invloed van de achtergrondkarakteristieken van de leerlingen. Daarom heb ik hierna nog een regressie-‐analyse toegepast. Deze methode houdt rekening met de achtergrondkarakteristieken van de leerlingen volgens de volgende formule:
yi = α + β1Groep2 i + β2Groep3i + γ1 X1i + γ 2 X 2i +.. + γ k X ki + εi
Dit is een lineaire vergelijking, die de score van leerling i ( yi ) relateert aan de groep en individuele karakteristieken van de leerling. α is de constante; de referentie. β1 en β2 zijn de coëfficiënten die bij de groepen 2 en 3 horen. Deze coëfficiënten gelden ten opzichte van groep 1, die in de constante is inbegrepen. Groep2 i en Groep3i zijn variabelen die de getallen 0 en 1 kunnen aannemen. Wanneer een leerling in groep 2 zit, dan neemt de variabele de waarde 1 aan. Hierdoor telt de coëfficiënt β1 mee. Wanneer een leerling niet in groep 2 zit, dan neemt
Groep2 i de waarde 0 aan, waardoor de coëfficiënt β1 niet meetelt. De coëfficiënt en de variabele worden immers vermenigvuldigd. Hetzelfde geldt voor groep 3. Wanneer een leerling in groep 1 zit, nemen beide coëfficiënten de waarde 0 aan. Er is dan geen verandering ten
13
opzichte van de constante. γ1 is de coëfficiënt bij X1i , een bepaalde variabele, zoals geslacht of leeftijd. Wanneer deze variabele voor een bepaalde leerling niet geldt, omdat zijn/haar karakteristieken op dit gebied al in de constante zitten inbegrepen, dan wordt deze variabele overgeslagen. Dit stukje van de formule wordt voor elke variabele herhaald en dat is dus 'k' maal. De coëfficiënten α, β en γ zijn partiële correlatiecoëfficiënten, die de samenhang tussen X1i (een karakteristiek) en yi beschrijven, rekening houdend met alle andere factoren die in de regressievergelijking voorkomen. Ten slotte is er de statistische ruis ( εi ) die rekening houdt met de niet systematische verschillen tussen leerlingen die niet in de variabelen zitten inbegrepen. De ene leerling wordt bijvoorbeeld meer afgeleid van geluiden buiten, dan de ander. Alle variabelen hebben subscript i , die staat voor de desbetreffende leerling. De theorie voor deze methode heb ik uit de boeken van J.J. Thomas (1973) en A. Buijs (2008) gehaald. Alle gegevens zijn in Excel ingevoerd en vervolgens met behulp van het statistische pakket 'STATA 12.0' uitgevoerd. Dit is een pakket voor het uitvoeren van statistische analyses.
II – Beschrijving In het eerste deel van de resultaten zal ik de groepssamenstelling bespreken. De drie groepen van het onderzoek bestaan uiteraard niet allemaal uit identieke kinderen. Om hiervoor later te kunnen corrigeren, heb ik de leerlingen gevraagd een aantal gegevens over zichzelf in te vullen. Ook heb ik een aantal gegevens verkregen van de teamleidster van de klassen. Al deze variabelen heb ik gekozen omdat deze mogelijk een invloed zouden kunnen hebben op de resultaten. Dit heeft uiteindelijk tot de volgende beschrijvende tabel geleid.
Tabel 1 -‐ Gemiddelden en standaarddeviaties van de variabelen
Alle groepen
Groep 1
Groep 2
Groep 3
controlegroep
continue manipulatie
categorische manipulatie
Variabele
Gem.
St. dev.
Gem.
St. dev.
Gem.
St. dev
Gem.
St. dev
Vrouw
0.59
0.50
0.50
0.51
0.63
0.50
0.65
0.49
Leeftijd
152.14
6.11
153.35
5.98
151.00
6.12
152.00
6.32
Jan-‐mrt
0.20
0.41
0.25
0.44
0.21
0.42
0.15
0.37
Apr-‐jun
0.29
0.46
0.30
0.47
0.26
0.45
0.30
0.47
Jul-‐sep
0.24
0.43
0.15
0.37
0.32
0.48
0.25
0.44
Okt-‐dec
0.27
0.45
0.30
0.47
0.21
0.42
0.30
0.47
14
Cijfer
6.80
1.56
6.86
1.48
7.04
1.76
6.52
1.48
Dyslexie
0.08
0.28
0.20
0.41
0.05
0.23
0.00
0.00
School 1
0.07
0.25
0.00
0.00
0.05
0.23
0.15
0.37
School 2
0.08
0.28
0.00
0.00
0.00
0.00
0.25
0.44
School 3
0.07
0.25
0.05
0.22
0.16
0.37
0.00
0.00
School 4
0.07
0.25
0.15
0.37
0.05
0.23
0.00
0.00
School 5
0.05
0.22
0.15
0.37
0.00
0.00
0.00
0.00
School 6
0.14
0.35
0.15
0.37
0.16
0.37
0.10
0.31
School 7
0.53
0.50
0.50
0.51
0.58
0.51
0.50
0.51
Strategie
1.20
0.41
1.05
0.22
1.37
0.50
1.20
0.41
Klad 1
0.39
0.49
0.7
0.47
0.32
0.48
0.15
0.37
Klad 2
0.41
0.50
0.15
0.37
0.26
0.45
0.80
0.41
Klad 3
0.20
0.41
0.15
0.37
0.42
0.51
0.05
0.22
15
Legenda Beschrijving Gem. = gemiddelde waarde St. dev = standaard deviatie vrouw = leerlingen die vrouw zijn (0 = man; 1 = vrouw) leeftijd = de leeftijd van de leerlingen in maanden jan-‐mrt = leerlingen geboren in de maanden januari tot en met maart (0 = niet geboren in de desbetreffende maanden; 1 = wel geboren in de desbetreffende maanden) apr-‐jun = leerlingen geboren in de maanden april tot en met juni (") jul-‐sep = leerlingen geboren in de maanden juli tot en met september (") okt = dec = leerlingen geboren in de maanden oktober tot en met december (") cijfer = de hoogte van het eerste wiskundecijfer, waarbij de leerlingen die de toets niet gemaakt hebben, niet meetellen dyslexie = leerlingen met dyslexie (0 = geen dyslexie; 1 = wel dyslexie) school 1 = leerlingen afkomstig van basisschool 'De Triangel' school 2 = leerlingen afkomstig van basisschool 'Karel Eykman' school 3 = leerlingen afkomstig van basisschool 'Michiel de Ruyter' school 4 = leerlingen afkomstig van basisschool 'Roelof Venema' school 5 = leerlingen afkomstig van basisschool ' 't Kofschip' school 6 = leerlingen afkomstig van basisschool 'Willem Alexander' school 7 = leerlingen afkomstig van overige basisscholen strategie = de strategie van de leerlingen. (0 = de vragen zijn op gepresenteerde volgorde gemaakt; 1 = de vragen zijn niet op gepresenteerde volgorde gemaakt) klad 1 = leerlingen die een klad hebben gebruikt op een nette manier klad 2 = leerlingen die een klad hebben gebruikt op een slordige manier klad 3 = leerlingen die geen klad hebben gebruikt
16
Wanneer we kijken naar de verdeling van geslachten over alle drie de groepen, valt op dat 60% van de proefpersonen van het vrouwelijk geslacht is. Dit is niet helemaal eerlijk verdeeld over de 3 groepen. Groep 1 heeft namelijk een even verdeling van mannen en vrouwen, maar de groepen 2 en 3 hebben beide meer vrouwelijke dan mannelijke testpersonen. De standaarddeviatie van alle 4 de besproken groepen is groot. Dit is logisch, aangezien de vrouwen een waarde van 1 hebben en de mannen een waarde van 0. Niemand heeft een waarde tussen de 0 en de 1. Daarom is de spreiding groot. De gemiddelde leeftijd van alle drie de groepen samen is 152.14 maanden. Dit is gelijk aan 12 jaar en 8,4 maanden. De drie groepen hebben een gemiddelde leeftijd van 153.35, 151.00 en 152.00 maanden met een standaarddeviatie van 6.11, 5.98 en 6.32 maanden. Er zijn dus verschillen tussen de drie groepen in de gemiddelde leeftijden en de standaarddeviaties. Ook heb ik de leerlingen gevraagd hun geboortemaand in te vullen. De verschillende maanden heb ik vervolgens gegroepeerd tot 4 groepen, te weten: de kinderen die in de maanden januari tot en met maart geboren zijn; de kinderen die in de maanden april tot en met juni geboren zijn; de kinderen die in de maanden juli tot en met september geboren zijn; de kinderen die in de maanden oktober tot en met december geboren zijn. De verdeling is niet helemaal gelijk. Uit de gegevens valt af te lezen dat van alle kinderen samen, 20 % bij de eerste groep maanden hoort, 29 % bij de tweede groep, 24 % bij de derde groep en 27% procent bij de vierde groep. Ook heb ik gekeken naar het eerste wiskunde cijfer van de leerlingen. Alle drie de groepen samen hadden een gemiddeld eerst wiskunde cijfer van 6.80, met een standaard deviatie van 1,56. Groep 2, met een gemiddelde van 7.04, heeft gemiddeld duidelijk beter gescoord op deze eerste toets dan groep 3, met een gemiddelde van 6.52. De spreiding is bij groep twee wel groter. Groep 1 zit wat betreft het cijfer tussen deze groepen in met een gemiddelde van 6.86. In totaal was 8 procent van de leerlingen dyslectisch. Dit was niet eerlijk verdeeld over de drie groepen. In groep 1 was 20 procent van de leerlingen dyslectisch, terwijl in groep 3 geen enkele leerling dyslexie had. Ook heb ik de leerlingen gevraagd naar dyscalculi, maar geen enkele leerling had dit. De leerlingen kwamen van veel verschillende basisscholen. Veel van deze scholen waren slechts door een leerling vertegenwoordigd. Ik heb hierdoor gekozen om de 6 'grootste' scholen als aparte variabele te nemen en de overige scholen samen te groeperen als 'school 7'. De leerlingen van bepaalde scholen waren niet gelijk verdeeld over de groepen. Dit kwam omdat de leerlingen van eenzelfde basisschool allemaal in dezelfde klas zijn gestopt. Leerlingen in groep 1 konden dus onmogelijk van dezelfde basisschool komen als leerlingen in groep 3. Het kwam dus geregeld voor dat scholen in slechts twee van de 3 groepen vertegenwoordigd waren. School 2 en school 5 hadden zelfs slechts leerlingen in één groep. De strategie van de leerlingen sloeg op de volgorde waarop zij de toets gemaakt
17
hebben. '1' betekent dat de leerling de vragen op de volgorde dat deze gepresenteerd waren, had gemaakt. '2' betekent dat de leerling de vragen door elkaar had gemaakt. Alle leerlingen begonnen aan het begin van de toets, maar de leerlingen die strategie 2 hadden gekozen, begonnen ongeveer halverwege de toets de makkelijke vragen eerst te maken. Het verschil tussen de groepen is opvallend. In groep 1 heeft slechts 1 leerling (5 %) strategie twee toegepast, terwijl in groep twee dit wel 37 % was. In groep 3 pasten ook meer leerlingen deze strategie toe dan in groep 1, maar minder dan in groep 2. Voor het klad heb ik gekozen voor de verdelingen 'netjes' (klad 1), 'slordig' (klad 2) en 'geen klad gebruikt' (klad 3). In groep 1 heeft 70% van de leerlingen een net klad gebruikt. 15 % gebruikte een slordig klad, en 15% gebruikte geen klad. In groep twee was dit iets eerlijker verdeeld. 42 % gebruikte geen klad en het nette en het slordige klad waren redelijk gelijk verdeeld over de rest van de leerlingen. Groep 3 heeft duidelijk een scheve verdeling. Veruit de meerderheid gebruikt een klad, maar de meesten doen dit op een slordige manier. Het blijkt dus dat de samenstellingen van de groepen verschillen. Deze achtergrondkarakteristieken zouden de scores kunnen beïnvloeden. Om mijn hoofd-‐en deelvragen correct te kunnen beantwoorden, moet hier rekening mee gehouden worden. Voor deze eventueel significante verschillen in de groepssamenstelling zal ik later bij de regressie-‐ analyse corrigeren. Hierbij moet vermeld worden dat de laatste twee punten in mijn beschrijving, de 'strategie' en het 'klad' niet mee worden geteld als achtergrondkarakteristieken. Op deze punten zal ik in de discussie terugkomen. Figuren Nu de achtergrondkarakteristieken van de leerlingen duidelijk zijn, zal ik nu beginnen met het bespreken van de resultaten van de toets. De volgende grafieken tonen de vier soorten scores op de X-‐as, uitgezet tegen de fractie van de leerlingen dat deze score behaald had, op de Y-‐as. Uit deze figuren is te zien dat de vorm van de grafieken verandert als de groepen verschillende vormen van tijdsdruk krijgen opgelegd en dat dit verschilt bij verschilllende scoringsmaten. Dit kan onder andere invloed hebben op de gemiddelden. In de volgende secties zal ik statistisch testen of deze verschillen echt plaatsvinden.
18
Figuur 1 – De verdeling van Accuratesse 1
1
2
.4
.6
1.5
1
2
.4
.6
0
3 .6
1
Fraction
.5
0
.2
.4 .2 0
0
3
0
0
.2
.2
.4
Fraction
2
.6
1
Figuur 2 – De verdeling van Accuratesse 2
0
.5
1
0
1.5
1
2
Accuratesse 2
Accuratesse 1
Graphs by groep
Graphs by groep
Figuur 3 – De verdeling van Snelheid 1
1
.2 40
50
0
20
40
60
3 .3
30
0
.1
.2
.3 .1
.2
20
Fraction
.1
.2 .1 0
10
3
0
Fraction
2
.3
2
.3
1
Figuur 4 – De verdeling van Snelheid 2
10
20
30
40
50
20
40
Aantal vragen af Graphs by groep
60
80
100
Aantal punten af Graphs by groep
III -‐ T-‐test Ik heb een t-‐test gebruikt om de significantie van de verschillen tussen alle drie de groepen op alle vier de gebieden, te bepalen. In onderstaande tabel van de t-‐test staan de twaalf gemiddelde scores en de bijbehorende p-‐waarden tussen de verschillende groepen. P-‐waarde (p-‐value) staat voor 'probability value’ : de kans dat gevonden verschillen op toeval berusten. Een p-‐waarde van onder de 0.05 geeft aan dat bij het herhaaldelijk uitvoeren van het experiment, de twee groepen 5% van de gevallen op dezelfde waarden uit zullen komen. De
19
80
100
waarde van de coëfficiënt is dan significant. Bij een p-‐waarde van tussen de 0.05 en 0.10 is de uitkomst niet significant, maar zeker ook niet verwaarloosbaar.
Tabel 2 – T-‐testen voor de verschillen tussen gemiddelden van groepen
Groep 1
Groep 2
Groep 3
1 -‐ 2 P-‐waarde
1 -‐ 3 P-‐waarde
2 -‐ 3 P-‐waarde
Acc 1
0.87
0.83
0.75
0.1327
0.0003
0.0246
Acc 2
1.80
1.71
1.59
0.2584
0.0185
0.2281
Af 1
18.60
25.58
28.95
0.0021
0.0000
0.2279
Af 2
40.55
54.63
64.05
0.0047
0.0000
0.0738
Legenda T-‐test Acc 1 = accuratesse 1: Het aantal vragen goed / het aantal vragen gemaakt Acc 2 = accuratesse 2: Het aantal punten goed / het aantal vragen gemaakt Af 1 = aantal vragen af Af 2 = aantal punten af Groep 1 = groep zonder tijdsdruk Groep 2 = groep met continue manipulatie Groep 3 = groep met categorische manipulatie 1 -‐ 2 P-‐waarde = de p-‐waarde die behoort bij de test op verschillen tussen groep 1 en 2 1 -‐ 3 P-‐waarde = de p-‐waarde die behoort bij de test op verschillen tussen groep 1 en 3 2 -‐ 3 P-‐waarde = de p-‐waarde die behoort bij de test op verschillen tussen groep 2 en 3
20
Wanneer we slechts naar de scores van de groepen voor accuratesse 1 kijken, valt op dat er duidelijke verschillen tussen de groepen zijn, waarbij groep 1 het hoogst scoort. Groep 2 scoort lager en groep 3 scoort het laagst. Dit zelfde gebeurt bij accuratesse 2. Het aantal gemaakte vragen en het aantal gemaakte punten nemen beide juist toe van groep 1 naar groep 3. Ook hierbij zit groep 2 hier tussenin. Om nu te kijken of dit verschil geen toeval is, heb ik de t-‐test gebruikt. Hieruit blijkt dat het verschil in accuratesse 1 tussen groep 1 en groep 2 niet significant is. De verschillen tussen groep 1 en 2 zijn ook niet significant bij accuratesse 2. De verschillen tussen groep 1 en groep 3 zijn wel significant op deze gebieden. Tussen groepen 2 en 3 is het verschil in accuratesse 1 wel significant, maar bij accuratesse 2 niet. Het verschil in snelheden tussen de groepen 1 en 2, en tussen de groepen 1 en 3, is ook significant. Hierbij is groep 3 sneller dan groep 2. Dit verschil is echter alleen significant bij het aantal punten af. Hieronder staan 4 grafieken weergegeven die de scores van de t-‐test afbeelden. Daarin zijn duidelijk de stijgende en dalende lijnen te zien tussen de drie groepen.
Figuur 5 – Gemiddelden van de groepen bij Accuratesse 1
21
Figuur 6 – Gemiddelden van de groepen bij Accuratesse 2
Figuur 7 – Gemiddelden van de groepen bij Snelheid 1
Figuur 8 – Gemiddelden van de groepen bij Snelheid 2
22
IV -‐ Regressie Analyse De regressie-‐analyses houden, bij het toetsen van verschillen tussen groepen, rekening met de achtergrondkarakteristieken van de leerlingen. De coëfficiënten (coef.) geven aan wat de invloed van die bepaalde variabele is op de vier verschillen de scoringsmaatstaven. Wanneer de coëfficiënt een negatieve waarde heeft, betekent dit dat de invloed negatief is. Wanneer de coëfficiënt een positieve waarde heeft, betekent dit dat de invloed positief is. De constante is een groepering van variabelen. De constante bevat op elk gebied 1 karakteristiek. Zo zijn bijvoorbeeld groep 1, man, een geboorte in de maanden januari tot en met maart, school 7 en klad 1, inbegrepen bij de constante. Deze waarden van variabelen worden de referentiegroep genoemd. De p-‐waarde in de kolom naast de coëfficiënten geeft aan of deze beïnvloeding van de variabele significant is. Om te corrigeren voor het maken van makkelijke vragen heb ik 'accuratesse 2' en 'snelheid 2' geïntroduceerd. Deze tweede maatstaven kan ik ook weer vergelijken met 'accuratesse 1' en 'snelheid 1'. Op basis hiervan kan ik de conclusie trekken of groepen moeilijkere of makkelijkere vragen gemaakt hebben. De p-‐waarde hangt af van de coëfficiënt en van de spreiding.
Tabel 3 – Resultaten van de regressie-‐analyse 1) variabele
Accuratesse 1
Accuratesse 2
Snelheid 1
Snelheid 2
aantal vragen goed / aantal vragen gemaakt
aantal punten goed / aantal vragen gemaakt
aantal vragen af
aantal punten af
Coef.
P-‐ waarde
Coef.
P-‐ waarde
Coef.
P-‐ waarde
Coef.
P-‐ waarde
constante
0.70
0.06
0.23
0.81
23.40
0.46
37.79
0.55
groep 2
-‐0.05
0.17
-‐0.11
0.22
6.57
0.03
13.40
0.03
groep 3
-‐0.10
0.01
-‐0.25
0.02
9.55
0.01
20.99
0.00
vrouw
-‐0.01
0.82
0.06
0.36
-‐4.05
0.09
-‐6.59
0.16
leeftijd
0.001
0.51
0.01
0.08
-‐0.01
0.96
0.05
0.90
apr-‐jun
-‐0.07
0.08
-‐0.09
0.35
-‐5.24
0.10
-‐9.40
0.14
jul-‐sep
-‐0.08
0.04
-‐0.14
0.14
-‐7.34
0.03
-‐15.42
0.02
okt-‐dec
-‐0.14
0.00
-‐0.21
0.03
-‐5.15
0.11
-‐8.50
0.18
23
cijfer
0.00
0.62
0.02
0.46
0.66
0.39
1.60
0.29
dyslexie
-‐0.05
0.38
-‐0.16
0.24
-‐3.43
0.44
-‐8.08
0.36
school 1
-‐0.17
0.00
-‐0.41
0.00
9.00
0.05
19.37
0.03
school 2
0.07
0.16
0.22
0.10
4.75
0.28
9.46
0.27
school 3
0.03
0.62
0.08
0.59
-‐1.57
0.76
-‐3.96
0.69
school 4
0.03
0.59
0.10
0.46
-‐2.44
0.59
-‐5.14
0.57
school 5
-‐0.04
0.50
-‐0.28
0.08
-‐4.10
0.44
-‐11.05
0.29
school 6
0.03
0.44
0.00
1.00
0.95
0.76
-‐0.16
0.98
klad 2
-‐0.02
0.59
0.01
0.89
-‐2.46
0.43
-‐5.41
0.38
klad 3
-‐0.02
0.59
-‐0.11
0.28
0.93
0.77
-‐0.19
0.98
1) Voor de betekenis van de variabelen: zie Legenda Beschrijvingen
Ik zal eerst de accuratesse 1 bespreken. Uit de waarden van de regressie analyse blijkt dat de invloed van groep 2 ten opzichte van groep 1 (die in de constante zit) niet significant is. De invloed van groep 3 op groep 1 is wel significant. Deze invloed is negatief. De kinderen uit groep 3 zijn dus voorlopig minder accuraat dan de kinderen uit de twee andere groepen. De leeftijd van de leerlingen maakt niet uit. De geboortemaand daarentegen maakt wel degelijk uit. De geboortemaanden januari tot en met maart zitten inbegrepen in de constante. De overige maanden worden hiermee vergeleken. Hieruit blijkt dat de kinderen geboren in de maanden januari tot en met maart de test het beste maken op dit gebied. De kinderen geboren in de maanden april tot en met juni doen het iets slechter en dit nadeel wordt groter wanneer de leerlingen later in het jaar geboren zijn. Het nadeel dat de leerlingen die aan het eind van het jaar geboren zijn, ondervinden, is zelfs groter dan het nadeel dat men ondervindt aan de categorische manipulatie (groep 3). De basisscholen hebben duidelijk een effect op de prestaties van de leerlingen. School 1 (De Triangel) doet het op dit gebied een stuk minder goed dan alle andere scholen. De andere scholen hebben geen effect op accuratesse 1 gehad. Bij accuratesse 2 is er tussen groep 1 en groep 2 wederom geen significant verschil. Tussen groep 1 en 3 is dit er wel. De leerlingen van groep 3 doen het hier weer veel slechter. De leerlingen van groep 3 maken dus niet alleen minder vragen goed dan de leerlingen van groep 1 en groep 2, maar ook minder punten goed dan de leerlingen van groep 1 en groep 2. De invoer van accuratesse 2 was wat betreft de groepen dus niet nodig geweest, want de uitkomsten wijzen dezelfde kant op. Zoals zal blijken uit de discussie, bij de sectie 'strategie', hebben de
24
verschillende groepen wel verschillende vragen gemaakt, maar dit verschil is niet groot genoeg geweest of de spreiding is te groot geweest. Bij accuratesse 2 is de coëfficiënt voor de leeftijd wederom niet significant, maar de p-‐ waarde van 0,08 is ook zeker niet te verwaarlozen. Oudere leerlingen maken moeilijkere vragen, kan hieruit afgeleid worden, maar dit verschil zeer klein. De geboortemaand maakt hier een stuk minder uit dan bij accuratesse 1. De leerlingen geboren in de maanden april tot en met juni en juli tot en met september ervaren hier geen nadeel ten opzichte van de leerlingen geboren in de maanden januari tot en met maart. De leerlingen geboren tussen april en september maken dus moeilijkere vragen dan de leerlingen geboren van januari tot en met maart. De leerlingen geboren aan het eind van het jaar hebben nog steeds een nadeel ten opzicht van alle andere leerlingen. School 1 (De Triangel) scoort wederom een stuk slechter dan de overige scholen op dit onderdeel. Verder scoort ook school 5 hier lager dan gemiddeld. Zij hebben dus makkelijkere vragen gemaakt dan de andere groepen, omdat zij wel even veel vragen goed hadden als de rest van de groepen, maar minder punten goed. Bij snelheid 1 is de invloed van de groepen 2 en 3 beide significant. De leerlingen in beide groepen maakten meer vragen in totaal. De toename voor groep 3 is groter dan voor groep 2. Wanneer je een vrouw bent, benadeelt dit de snelheid. Deze waarde is niet significant, maar ook niet verwaarloosbaar en we zien dan ook een groot verschil tussen de invloed van de vrouw bij de beide vormen van accuratesse en bij snelheid 1. De leerlingen geboren in de maanden januari tot en met maart doen het op dit onderdeel wederom het beste. De maanden juli tot en met september ervaren dit keer het grootste nadeel. De andere groepen ervaren een kleiner nadeel. School 1 (De Triangel) heeft bij de accuratesse aangetoond duidelijk zwakker te zijn dan de andere scholen, maar scoort op dit onderdeel juist duidelijk beter door gemiddeld 9 vragen meer gemaakt te hebben dan alle overige scholen. Uit deze laatste analyse (snelheid 2) blijkt dat de leerlingen van de groepen 2 en 3 alsnog significant sneller zijn in het maken van de toets dan de leerlingen van groep 1, ook al is er een tweede maatstaf voor snelheid ingevoerd. Groep 3 is zelfs ook nog veel sneller dan groep 2. Ook hier heeft het introduceren van een tweede maatstaf op hetzelfde gebied dus niets uitgemaakt voor de uitkomsten wat betreft de verschillende vormen van manipulatie. De leerlingen geboren in de maanden april tot en met juni en oktober tot en met december zouden wederom een nadeel hebben ondervonden wat betreft de snelheid, maar de p-‐waarden bij deze analyse zijn hoger dan bij snelheid 1 en hieruit kan dus geen eigenlijk conclusie worden getrokken. Wel is er een relatie te zien tussen de invloeden van de variabelen op de snelheid 1 en snelheid 2. Om deze reden kan het zo zijn dat de invloed wel bestaat, maar dat er bij de proefpersonen bijvoorbeeld te veel spreiding is geweest of dat de invloed te klein is om significant te zijn. De leerlingen geboren in de maanden juni tot en met september zijn
25
wederom een stuk langzamer geweest. Bij de basisscholen vertoont zich eenzelfde significantiepatroon als bij snelheid 1, waarbij school 1 (De Triangel) veel sneller is dan alle andere scholen. De coëfficiënten van de variabelen 'cijfer' en 'dyslexie' hebben in geen van de analyses significante waarden aangenomen. Ook staan de variabelen 'klad 2' en 'klad 3' in de regressieanalyse. Dit zijn geen eigenschappen van leerlingen, maar deze variabelen heb ik toegevoegd aan de analyses, om te kijken of het gebruikte klad zelf nog effecten had op de scores van de leerlingen. Zo zou een slordig klad de leerlingen minder accuraat kunnen maken. De vorm van het gebruikte klad hangt sterk af van de groep waarin de leerlingen zijn ingedeeld, maar om te kijken of het klad zelf nog een effect had, kon ik kijken naar de sterkte van de coëfficiënten. De waarden voor de twee vormen van klad waren echter in geen van de gevallen significant.
Discussie Analyse resultaten De invloeden van de verschillende groepen op de vier scoringsmaatstaven waren anders dan ik, gebaseerd op mijn literatuuronderzoek, had verwacht. Opvallend is bijvoorbeeld dat, wat ik als resultaat vond voor categorische manipulatie, in de literatuur meestal gevonden wordt bij continue manipulatie. Dit verschil zou kunnen komen doordat het type test en de onderzoeksgroep van mijn onderzoek verschillen van de onderzoeken in de literatuur. De volgende twee alinea’s zullen hier een eventuele verklaring voor geven. Type test Er is nog geen eerder onderzoek geweest naar het effect van tijdsdruk op de rekenvaardigheid. Wel bleek al uit mijn literatuuronderzoek dat tijdsdruk verschillende velden op andere manieren beïnvloedt. De rekenvaardigheid zou dus helemaal niet overeen hoeven te komen met een gemiddelde van eerder onderzoek naar het effect van tijdsdruk. Groep Ook is het zo dat ik voor mijn onderzoek leerlingen van gemiddeld 12 jaar en 8 maanden oud heb getest. Deze kandidaten zijn aanzienlijk jonger dan de kandidaten voor veel ander onderzoek dat er al naar tijdsdruk is gedaan. De proefpersonen van de eerder verrichtte onderzoeken waren altijd volwassenen. Het brein van mijn kandidaten is nog niet volledig ontwikkeld, ook op het gebied van het plannen. De leerlingen met continue manipulatie bijvoorbeeld, zouden in mijn geval pas stress gevoeld kunnen hebben na 5 minuten, terwijl
26
volwassenen meteen gezien zouden kunnen hebben dat de test veel te lang was om in tien minuten af te krijgen. Dit kan de resultaten beïnvloed hebben. Effecten van achtergrondkarakteristieken In deze sectie zal ik de invloeden van mijn overige variabelen, de achtergrondkarakteristieken van de leerlingen, bespreken. Ik bespreek slechts resultaten die opvallend zijn en er toe doen. Opvallend is dat de vrouw op het gebied van accuratesse gelijk scoort met de man, maar dat zij opvallend lager scoort bij de snelheid. Ik zou verwacht hebben dat de vrouw hoger zou scoren bij de accuratesse, omdat meisjes op school, vooral in de onderbouw, vaak hogere cijfers halen dan jongens en nauwkeuriger en serieuzer zijn. Uit deze resultaten blijkt dus dat meisjes langzamer zijn en, van de vragen die zij af hebben, er even veel goed maken als de jongens. Dit zou dus tot de conclusie kunnen leiden dat jongens beter zijn in rekenen. Dit bevestigt wel het feit dat jongens gemiddeld hoger scoren voor het onderdeel 'rekenen' op de Cito Eindtoets die op veel Nederlandse basisscholen wordt afgenomen. Een andere mogelijke conclusie is dat jongens beter presteren onder tijdsdruk of dat jongens simpelweg competitiever zijn en daardoor beter willen presteren. De leerlingen geboren in de maanden januari tot en met maart doen het beter dan de leerlingen uit de overige maanden. Hoe later in het jaar de leerling geboren is, des te slechter presteert hij/zij bij de accuratesse 1. Leerlingen geboren in de maanden januari tot en met maart zijn vaak oude leerlingen. Het komt namelijk niet vaak voor dat een leerling een klas heeft overgeslagen. Ook zitten er late leerlingen in de groep leerlingen geboren in de maanden oktober tot en met december. In mijn testgroep bleken daar meer vroege leerlingen in te zitten dan late leerlingen. De leeftijd van de leerlingen neemt dus af naarmate zij meer aan het einde van het jaar geboren zijn. De leerlingen maakten accuratesse 1 en 2 over het algemeen dus beter naarmate zij ouder waren. Dit kan dus liggen aan de ontwikkeling van de hersenen, die al verder is bij oudere leerlingen. Apart is wel dat de leeftijd als variabele zelf op het gebied van accuratesse 1 niet uit maakt. Dit kan komen doordat de twee variabelen natuurlijk niet helemaal overeen komen. Het effect van de geboortemaand zelf kan ook groot zijn, los van de daaraan gebonden leeftijden. Bij het aantal vragen af scoren de kinderen uit januari tot en met maart wederom het beste. De kinderen uit oktober tot en met december doen het hier alleen niet het slechtst. De kinderen die aan het eind van het jaar geboren zijn, zijn dus sneller dan zij accuraat zijn, in verhouding tot de andere geboortemaanden. Er wordt veelal onderzoek gedaan naar het effect van de geboortemaand op de schoolprestaties. Het antwoord op veel van deze onderzoeken tot nu toe is dat vroege leerlingen inderdaad significant slechter presteren dan hun oudere klasgenoten. Hierbij is de geboortemaand dus ook gekoppeld aan de leeftijd. De twee zijn dus moeilijk los van elkaar te
27
zien wanneer leerlingen samen in een klas zitten en allemaal rond dezelfde leeftijd zijn. Naar het precieze geboortemaand-‐effect op tijdsdruk zal dus nader onderzoek verricht moeten worden. Twee voorbeelden van onderzoeken die al op dit gebied gedaan zijn en waar deze net besproken resultaten uitkomen, staan bij de bronnen. (bron 8 & 9) Het eerste wiskunde cijfer maakt bij geen van de vier verschillende scoringsmaten iets uit. Dit verbaasde mij in eerste instantie. Het is echter zo dat wiskunde niet alleen rekenen is. Bij wiskunde is het handig als de rekenvaardigheden ontwikkeld zijn tot een redelijk niveau, maar de leerling kan altijd een rekenmachine gebruiken. Hierdoor kan het zo zijn dat leerlingen met een hoog cijfer voor de wiskundetoets, helemaal niet goed te hoeven kunnen rekenen. Ook andersom geldt dit. Leerlingen met goede rekencapaciteiten hoeven nog niet in staat te zijn vergelijkingen op te lossen. Opvallend is dat de leerlingen van school 1 duidelijk hebben gekozen voor de een strategische verandering, namelijk dat zij zich op de snelheid hebben gefocust in plaats van de accuratesse. Deze leerlingen zouden slecht les gehad kunnen hebben op de basisschool, waardoor zij niet in staat waren de sommen correct op te lossen. Dit zou er toe hebben kunnen leiden dat de leerlingen minder lang bezig waren met het oplossen van de sommen, omdat zij de antwoorden toch niet wisten. Antwoorden zouden ook gegokt kunnen zijn, wat uiteraard sneller is dan een nauwkeurige berekening. Het is in dit geval van snelheidsverhoging en een lagere accuratesse niet zo dat de leerlingen fouten maakten bij het oplossen van de sommen, maar dat de sommen simpelweg te moeilijk waren. Strategie Ik heb in eerste instantie de scoringsmaten accuratesse 1 en snelheid 1 gebruikt om de scores van de leerlingen te beoordelen. Toen ik hiermee bezig was viel het mij echter op dat er veel leerlingen waren die, onder tijdsdruk, de makkelijke vragen eerst maakten. Om deze reden zouden deze leerlingen accurater en sneller uit te test kunnen komen, terwijl zij dit in feite niet echt waren. Zij hadden slechts een slimmere strategie toegepast. Zoals te zien uit de beschrijvingen, gebruikten de leerlingen van groep 1 bijna allemaal strategie 1, waarbij de vragen op de gepresenteerde volgorden werden gemaakt. De leerlingen van groep 2 gebruikten, vergeleken met de andere twee groepen, het vaakst strategie twee, waarbij de vragen op andere dan gepresenteerde volgorde werden gemaakt. Groep 3 zat hier tussenin. Dat de leerlingen van groep 1 de vragen maakten op de volgorde waarop deze op het blad stonden, is erg logisch. Deze leerlingen dachten dat zij alle tijd zouden krijgen voor de toets. Dan maakt het natuurlijk niet uit welke vragen eerst gemaakt worden. Dat de leerlingen van groep 2 dit niet deden is dan dus ook logisch. De leerlingen wisten dat de tijd drong en dat zij niet alles af zouden krijgen. Om toch nog zo veel mogelijk vragen goed te maken heeft een aantal leerlingen beslist de makkelijke vragen eerst te maken. Bij groep 3 is de keuze van
28
strategie mij onduidelijker. De leerlingen werd wel verteld zo snel mogelijk te werken, maar zij hadden van mij niet te horen gekregen dat zij na tien minuten al moesten stoppen. Waarom een aantal leerlingen dan toch strategie 2 heeft gebruikt is onduidelijk. Het zou kunnen zijn dat deze leerlingen toch het gevoel had dat er een tijdslimiet was, al werd dit hen niet verteld. Het type strategie dat hier is gebruikt is het tunnelen van de aandacht, waarbij de kandidaten makkelijke opgaven boven moeilijke opgaven kan verkiezen. Dit is een bekende verandering van strategie bij kandidaten die moeten presteren onder tijdsdruk, zoals ook al in mijn inleiding vermeld staat. Hieruit blijkt dus dat het uitoefenen van tijdsdruk door mij gelukt is. Ook laat dit zien dat kinderen onder tijdsdruk creatiever denken. Zij maken niet slechts de vragen, maar verzinnen een manier om een hogere score te krijgen onder druk. Dit is zeker een interessante uitkomst die ik niet had verwacht. Wel is het zo dat het veranderen van strategie niet systematisch was. Uiteindelijk waren de maatstaven accuratesse 2 en snelheid 2, op het gebied van groepen, overbodig. Er zat dus nog een te grote spreiding in de strategie van de leerlingen om hier een mooi patroon uit te krijgen. Klad De variabele 'klad' kan twee dingen aantonen. 1.) Het toont aan in hoeverre het klad afhangt van de groep waar in de leerling zich bevindt. Dit is te zien bij de beschrijvingen. Zoals ook al bij de beschrijvingen is besproken, hebben de leerlingen uit groep 1 over het algemeen net gewerkt. De leerlingen uit groep 3 werkten erg slordig. Groep 2 liet op dit punt een gevarieerder beeld zien. De variabele 'klad' komt deels overeen met de variabele 'groep'. Dit komt doordat de groep waarin de leerling zit, het klad verandert. Het klad kan dus wat zeggen over de tijdsdruk die de leerlingen van de groep ervaren hebben. Wanneer zij meer tijdsdruk hebben ervaren, dan is het voor de hand liggender dat de leerling niet net heeft gewerkt. Toch is niet elke leerling uit groep 3 slordig en niet elke leerling uit groep 1 heeft net gewerkt. Er zijn genoeg kinderen die van zichzelf slordig of net zijn, zonder dat zij hierbij invloed hebben gehad van een bepaalde vorm van manipulatie. Het klad toont dus in principe aan in hoeverre de werkwijze van de leerlingen beïnvloed wordt door de typen manipulatie, maar hieruit valt door een grote spreiding niet veel af te leiden. 2.) Het kan aantonen in hoeverre het klad zelf invloed heeft op de resultaten van de leerlingen. Een slordig klad wordt vooral gebruikt door leerlingen uit groep 3. Stel dat een slordig klad een significante afname in de accuratesse veroorzaakt die groter is dan de afname in accuratesse die wordt veroorzaakt door groep 3 zelf. Dit toont dan aan dat de manier waarop de leerlingen het klad gebruiken ook een negatieve invloed heeft op de score. Het klad zou bij dit voorbeeld
29
voor een afname van de scoringsmaat kunnen zorgen, doordat het de leerling kan belemmeren accuraat te werken. Het effect van het klad op de score is echter niet gemeten. Ik heb namelijk eerst de variabele 'klad' toegevoegd aan de regressie-‐analyse. Hieruit kwam een verwaarloosbare waarde. Dit kan komen doordat de spreiding van de gebruikte methoden van klad te groot is, of doordat het klad zelf simpelweg te weinig invloed had. Fouten Ook heb ik bij het nakijken ontdekt dat bepaalde fouten herhaald werden bij alle groepen en dat sommige fouten alleen vaak of extra vaak voorkwamen bij de groepen met tijdsdruk. In groep 1 werden er niet veel bepaalde fouten meerdere malen herhaald. Veel kinderen hadden gewoon simpele rekenfouten gemaakt. Wel kwam er een bij een enkele leerling voor dat deze een 0 had vergeten en dus het antwoord nog had moeten vermenigvuldigen met 10. Bij groep 2 en 3 kwamen er veel meer fouten voor. Leerlingen vergaten vaak nullen en tekens werden vaak omgewisseld. Leerlingen antwoordden dan bijvoorbeeld 22 in plaats van -‐22. Ook zaten leerlingen vaak extreem ver naast het correcte antwoord en hadden ze makkelijke sommen als 4x6 soms fout. Deze fouten tonen aan dat de leerlingen onder tijdsdruk ook filtreren, één van de veranderingen van aanpak die in mijn literatuursectie zijn besproken. Het geven van een antwoord ver naast het correcte antwoord kan ook een gevolg zijn van het verkiezen van snelheid boven accuratesse.
Foutendiscussie Nauwkeurigheid Ik heb voor mijn onderzoek groepen gebruikt van 20 kinderen. Dit aantal is groot genoeg om conclusies te kunnen trekken, maar natuurlijk is het beter om nog meer testpersonen te gebruiken. Voor mijn onderzoek was dat praktisch echter niet mogelijk. De waarnemingen die ik heb gedaan zijn objectief geweest. Bij de rekentoets was er namelijk geen discussie mogelijk over goede en foute antwoorden. Wel had ik subjectief kunnen zijn bij het beoordelen van de netheid van het klad, maar om dit te voorkomen heb ik de groepen bij het beoordelen van het klad gemengd. Hierdoor wist ik zelf niet uit welke groep een leerling met een bepaalde vorm van gebruikt klad kwam tijdens het beoordelen van de netheid hiervan. Om de resultaten van mijn onderzoek te berekenen heb ik het statistisch pakket STATA gebruikt. Dit is een pakket dat door middel van statistische technieken de coëfficiënten en p-‐ waarden van de gemeten grootheden in een instelbare hoeveelheid decimalen berekent. Voor mijn onderzoek waren slechts twee cijfers achter de komma nodig, omdat een waarde significant is wanneer de p-‐waarde kleiner dan of gelijk is aan 0.05. Ik heb dus altijd minstens
30
twee decimalen gebruikt. Om deze redenen kan ik de conclusie trekken dat mijn onderzoek nauwkeurig is geweest. Wel had er voor een nog nauwkeuriger resultaat rekening gehouden kunnen worden met de vorm van de spreiding bij de verschillende variabelen. Hierop kom ik terug bij mijn voorstel voor een vervolgonderzoek. Betrouwbaarheid Bij het uitvoeren van mijn onderzoek heb ik ervoor gezorgd dat de omstandigheden, voor zover mogelijk, voor alle drie de groepen gelijk waren. Het enige verschil waar ik voor gezorgd heb, is de ervaring van tijdsdruk. Ik heb alle leerlingen dus hetzelfde verteld wat betreft mijn onderzoek en alle leerlingen hebben in dezelfde opstelling in hetzelfde lokaal dezelfde toets gemaakt. Natuurlijk is het voor mij niet mogelijk geweest om de hoeveelheid binnenkomende zonnestraling, de temperatuur en luchtvochtigheid te controleren. Ik ga er vanuit dat dit niet voor een significant verschil zou hebben gezorgd, maar dat weet ik natuurlijk niet zeker. Ook heb ik groep 3 op een andere dag getest dan de groepen 1 en 2. Dat dit op een andere dag op een ander tijdstip was, heeft kunnen zorgen voor een verandering in de resultaten, maar nog belangrijker is dat de leerlingen van groep 3 de tijd hebben gehad dingen te horen te krijgen over de toets van de leerlingen uit de groepen 1 en 2. Zij zouden te horen hebben kunnen krijgen dat zij een rekentoets moesten maken en van leerlingen uit verschillende groepen zouden zij te horen hebben kunnen krijgen wat voor uitleg zij hierbij kregen. Dit is dus wel een belangrijk ongewenst verschil tussen de groepen geweest. Het is wel zo dat het minder erg is dat dit bij groep 3 is gebeurd, dan dat het zou zijn geweest als dit bij groep 1 zou gebeuren. De leerlingen van groep 1 mochten namelijk niet weten dat zij niet alle tijd hadden. Wanneer zij dit van groep 2 of 3 te horen gekregen zouden hebben, dan zouden zij al van te voren geweten kunnen hebben dat zij niet alle tijd zouden krijgen. Groep 3 kreeg van mij voor het beginnen van de toets al te horen dat zij de vragen zo snel en zo goed mogelijk moesten maken. Wat dat betreft maakt het niet uit dat de leerlingen al dingen te horen gekregen konden hebben. De leerlingen hadden op dat gebied dus slechts de kans op mentale voorbereiding. Verder heb ik rekening gehouden met zoveel mogelijk achtergrondkarakteristieken van de leerlingen om zo precies mogelijk te kunnen corrigeren bij de regressie-‐analyse. Om nog betrouwbaarder te zijn had ik hiervoor nog meer gegevens nodig, maar dit was niet mogelijk gezien de omstandigheden en mijn bevoegdheden. Mijn onderzoek zou niet betrouwbaar genoemd kunnen worden omdat de reproduceerbaarheid niet heel groot is. De algemene gevonden effecten van tijdsdruk komen niet geheel overeen met wat ik heb gevonden. Wel is het zo dat de effecten van tijdsdruk erg verschillen per type test. Er was voor zover ik weet nog geen onderzoek gedaan naar de effecten van tijdsdruk op de rekenvaardigheden en wat dat betreft zouden mijn waarden dus
31
inderdaad alle kanten op kunnen gaan zonder dat het onderzoek daardoor minder betrouwbaar wordt. Validiteit Ik heb met mijn onderzoek mijn onderzoeksvraag volledig beantwoord en de antwoorden hierop staan ook allemaal in mijn conclusie. Ook heb ik in alle fasen van mijn onderzoek, wanneer nodig, rekening gehouden met de verschillende variabelen.
Vervolgonderzoek Met de fouten uit mijn foutendiscussie kan een vervolgonderzoek samengesteld worden. Ik zou voor een vervolgonderzoek dus grotere groepen kunnen gebruiken om het onderzoek nauwkeuriger te maken. Bovendien moeten in een vervolgonderzoek alle leerlingen de test op de zelfde dag krijgen zodat er geen overleg plaats kan vinden. Ook zullen hierdoor de omstandigheden nog meer gelijk zijn. Dit blijft natuurlijk altijd voor verbetering vatbaar, maar het zou zo maar eens de moeite waard kunnen zijn. Deze maatregelen, om de omstandigheden nog meer gelijk te maken en zo slechts de onderzoekvariabele als variabele over te laten, verbeteren de betrouwbaarheid van het onderzoek. Ook kan de betrouwbaarheid verbeterd worden door meer achtergrondkarakteristieken van de leerlingen te vragen bij een vervolgonderzoek. De opleiding van de ouders; de buurt waarin de leerlingen wonen; het land, de stad en de buurt waarin zij zijn opgegroeid; de bezigheden van de leerlingen buiten school, zijn allemaal voorbeelden van informatie die de regressie-‐analyse zou kunnen verbeteren. Het zou interessant zijn als dit vervolgonderzoek nog meer genuanceerde resultaten zou geven. Daarnaast zou het interessant zijn bij toekomstig onderzoek te proberen de stress die een persoon heeft op momenten van echte toetsing, te kunnen simuleren. Hiervoor zou je de kandidaten geld kunnen laten in zetten bijvoorbeeld, waarbij zij met een goede score een groter bedrag terugkrijgen dan dat zij hebben ingezet. Dit is uiteraard bij mijn onderzoek, gezien de leeftijd en omstandigheden van de testpersonen, niet mogelijk geweest, maar dit kan wel gedaan worden bij een ander onderzoek bij volwassenen op dit zelfde gebied. Als laatste verbeterpunt is het zo dat de regressie-‐analyse geen rekening houdt met de verdeling van de spreiding. De regressie-‐analyse gaat uit van een Normale verdeling, waarbij de spreiding in de te verklaren variabele symmetrisch is rond een gemiddelde. Dit is niet altijd het geval, zoals we dus al uit de grafiekjes bij de resultaten hebben kunnen zien. De verdelingen waren daar bij de verschillende groepen scheef en het zwaartepunt hing naar één kant. In een vervolgonderzoek zou hiermee rekening gehouden kunnen worden. Dit kan gedaan worden door ingewikkeldere statistische modellen, of door te transformeren. Dit verbetert de nauwkeurigheid.
32
Conclusie In dit onderzoek heb ik onderzocht wat de verschillende effecten zijn van twee vormen van tijdsdruk op de snelheid en accuratesse van leerlingen uit de eerste klas havo. Deze effecten zijn gemeten op de rekenvaardigheid van de leerlingen. Ik heb hiervoor mijn onderzoeksvragen en hypotheses samengesteld, afgeleid van een literatuuronderzoek. Om deze onderzoeksvragen te kunnen beantwoorden heb ik 3 groepen samengesteld uit de eerste klas havo van het Hermann Wesselink College te Amstelveen. Alle drie de groepen kregen 10 minuten voor een rekentoets waarvoor minstens 20 minuten nodig geweest zouden zijn om deze succesvol te voltooien. De drie groepen kregen alle drie een andere inleiding op de toets waardoor zij een andere indruk kregen van wat hen te wachten stond. De volgende alinea’s bevatten mijn onderzoeksvragen en de uitkomsten van het onderzoek. Mijn hoofdvraag was: Wat is het effect van tijdsdruk op de prestatie? Dit is een zeer algemene vraag, waarop uiteindelijk alleen antwoord gegeven kan worden door middel van de verschillende deelvragen. Er is namelijk gebleken niet één effect te zijn van tijdsdruk op de prestatie. Voor het correct verwerken van mijn onderzoek zal ik daarom eerst alle deelvragen apart moeten beantwoorden. Mijn eerste deelvraag was: Wat is het effect van continue manipulatie op de accuratesse? Uit mijn onderzoek is gebleken dat de invloed van continue manipulatie op beide vormen van de accuratesse verwaarloosbaar is. Wel is er invloed van de categorische manipulatie op de accuratesse. Hiermee beantwoord ik mijn tweede deelvraag: Wat is het effect van categorische manipulatie op accuratesse? Uit mijn onderzoek is gebleken dat de invloed van categorische manipulatie op de beide vormen van accuratesse significant negatief is. De invloed van beide typen manipulatie op de snelheid heb ik gemeten volgens onder andere de volgende deelvraag: Wat is het effect van continue manipulatie op de snelheid? De invloed van continue manipulatie op de snelheid is wel significant voor beide vormen van snelheid. Deze groep leerlingen heeft dus meer vragen en ook meer punten gemaakt. De kandidaten met categorische manipulatie waren gemiddeld nog sneller dan de kandidaten met de continue manipulatie. Hiermee beantwoord ik mijn vierde deelvraag: Wat is het effect van categorische manipulatie op de snelheid? Uit deze vier deelvragen kan mijn hoofdvraag beantwoord worden. Het algemene effect van tijdsdruk op de rekenvaardigheid kan berekend worden door de effecten van beide vormen van
33
manipulatie bij elkaar optellen. Er wordt hierbij dus geen onderscheid gemaakt tussen de twee vormen van manipulatie. Uit deze optelling blijkt dat tijdsdruk de accuratesse sterk verslechtert en de snelheid sterk omhoog brengt. Deze uitkomst is echter niet veelzeggend, want belangrijker is natuurlijk de invloed van beide vormen van tijdsdruk apart. De deelvragen hebben tot andere uitkomsten geleid dan aanvankelijk in de hypothesen werden geformuleerd. Een verklaring hiervoor kan zijn dat mijn onderzoeksgroep en type test verschillend waren van de groepen en testen uit eerder gedaan onderzoek. Mijn laatste deelvraag was iets algemener: Zijn er effecten van achtergrondkarakteristieken van leerlingen op de accuratesse en snelheid? De precieze invloeden van elke variabele op elke vorm van score heb ik uitgebreider besproken in de sectie resultaten en de sectie discussie. Wel kan ik daaruit concluderen dat er wel effecten zijn van achtergrondkarakteristieken. De invloeden van sommige variabelen waren zelfs groter dan de invloed van de toepassing van continue of categorische manipulatie. Wanneer we nu de drie groepen vergelijken, kan de conclusie getrokken worden dat de leerlingen met continue manipulatie het best zouden scoren op een toets. Deze vorm van manipulatie wordt ook al toegepast bij toetsen op school. Hierbij moet dan natuurlijk nog wel goed gelet worden op de sterkte van de tijdsdruk. In het geval van mijn onderzoek leidde die tot de gevonden resultaten, maar het veranderen van de grootte zou de gevonden effecten ook kunnen versterken of juist doen verzwakken.
Evaluatie Ik heb van het maken van dit onderzoek ontzettend veel geleerd. Dit was eigenlijk de eerste keer dat ik helemaal zelf een onderzoek heb opgezet en uitgevoerd en al helemaal de eerste keer dat ik zo een groot onderzoek heb gedaan. Ik ben begonnen met mijn literatuuronderzoek. Hierbij heb ik veel Engelse literatuur gelezen van wetenschappers uit allerlei verschillende landen. In dat opzicht was het makkelijker geweest mijn werkstuk in het Engels te schrijven. Het is heel erg interessant om op zo een manier zo diep in een bepaald onderwerp te duiken. Op mijn literatuuronderzoek heb ik vervolgens mijn hypotheses gebaseerd. Ook heb ik na het lezen van de literatuur mijn onderzoeksvragen genuanceerd. Toen begon het echte werk, namelijk het bedenken en uitvoeren van het onderzoek. Het bedenken van het onderzoek was erg lastig omdat absoluut niks vergeten mag worden. Wanneer per ongeluk één keer iets verkeerds gezegd wordt tegen de leerlingen van een bepaalde groep, dan is het hele onderzoek mislukt. De leerlingen mogen namelijk geen verkeerd gevoel van tijdsdruk ervaren. Een goede
34
voorbereiding is hiervoor essentieel. Het uitwerken van het onderzoek was verreweg het meeste werk. Het invoeren van de resultaten alleen al heeft mij bijna 10 uur gekost en mij verdiepen in de statistiek, die wij op school niet hebben gehad, heeft mij ook erg veel tijd gekost. Hiervoor heb ik gebruik gemaakt van twee boeken die ook bij mijn bronnen vermeld staan (bron 7 & 8). Wel zal ik dit nooit vergeten en dus meenemen naar mijn leven op de universiteit. Daar zal ik er wellicht nog veel aan hebben. Toen ik de resultaten eenmaal had ingevuld en de statistiek had uitgevoerd, kon ik gaan schrijven. Het is erg boeiend om hierbij steeds weer verrassende en interessante dingen tegen te komen uit de resultaten. Het zoeken wat hier nu achter kan zitten is dan net een puzzel om op te lossen. Toen mijn werkstuk uiteindelijk klaar was, had ik er veel meer tijd aan besteed dan er voor stond. Ik had daarbij slechts de tijd meegeteld die ik er daadwerkelijk aan gezeten heb. Zo heb ik mij bij de WECO lessen vaak niet goed kunnen concentreren. Ik heb dan ook alleen de tijd genoteerd die ik er daadwerkelijk aan gezeten heb. Ik wist van tevoren niet dat mijn werkstuk zo veel meer werk zou zijn dan de bedoeling was, maar ik heb hier geen spijt van. Het voorbereiden, uitvoeren en verwerken van dit onderzoek heeft mij namelijk ontzettend veel geleerd.
Bronnen
1. Staal, Mark A. (2004). Stress, Cognition, and Human Performance: A literature Review and Conceptual Framework. 84-‐85. Het artikel bevindt zich op de volgende website: http://human-‐factors.arc.nasa.gov/flightcognition/Publications/IH_054_Staal.pdf 2. Driskell, J. E., Mullen, B., Johnson, C., Hughes, S., & Batchelor, C. (1992). Development of quantitative specifications for simulating the stress environment (Rept. No. AL-TR-1991-0109). Wright-Patterson AFB, OH: Armstrong Laboratory. 1-18, 50-76, 161-196. Het artikel bevindt zich op de volgende website: http://www.dtic.mil/cgi-‐bin/GetTRDoc?AD=ADA250669
3.
4. 5. 6.
Campbell, Jamie I. D. (2002). Effects of response time deadlines on adults’ strategy choices for simple addition. Memory & Cognition, 30(6), 988-‐994 Huchingson, R. D. (1973). Effects of time constraint on closed-‐loop tracking performance and change in heart rate. Perceptual and Motor Skills, 36, 1195-‐1198 Ben Zur, H., Breznitz, S.J. The effect of time pressure on risky choice behavior. http://mens-‐en-‐samenleving.infonu.nl/opleiding-‐en-‐beroep/6711-‐test-‐je-‐ rekenvaardigheid.html 35
Van deze internet pagina heb ik de eerste drie sommen van de rekentoets gehaald. 7. Thomas, J.J (1973). 'An Introduction to Statistical Analysis for Economists'. Lecturer in Economics, London School of Economics and Political Science. 8. Buijs, A. (2008). 'Statistiek om mee te werken'. 9. http://www.cambridgeassessment.org.uk/ca/digitalAssets/169664_Cambridge_Lit_Revi ew_Birthdate_d3.pdf Op deze site valt het volgende artikel te vinden: Sykes, E.D.A., Bell, J.F., Rodeiro, C.V. (2009). Birthdate Effects: A Review of the Literature from 1990-‐on. University of Cambridge 10. http://www.ifs.org.uk/wps/wp1006.pdf Op deze site valt het volgende artikel te vinden: Crawford, C., Dearden, L., Meghir, C. (2010). When You Are Born Matters: The Impact of Date of Birth on Educational Outcomes in England. Institute for Fiscal Studies and
Institute of Education, University of London 11. 'Wechsler Intelligence Scale For Children 3.0 (WISC-‐III)' – Symbolen vergelijken
Logboek Wanneer
Hoe lang
Wat
3 Juni
25 minuten
Over ideeën nadenken
7 Juni
1,5 uur
Informatie opzoeken en aan uitgedeelde blad werken
13 Juni
1 uur
lezen
15 Juni
40 minuten
Informatie opzoeken, lezen en meetopzet bedenken
3 Juli
20 minuten
Doornemen wat te doen op 4 juli, voorbereiden.
4 Juli
80 minuten
Informatie opzoeken en ordenen en een stappenplan
36
maken. 5 Juli
2,5 uur
Statistiek les mevrouw Nijhof en literatuur lezen
1 Augustus
2 uur en 10 minuten
2 Augustus
30 minuten
5 September
15 minuten
Printen wat ik heb en voorbereiden voor WECO 6 september
6 September
2 uur
9 september
2 uur
Test uitzoeken en de meetopzet bedenken
15 September
2 uur
23 September
2 uur
24 September
2 uur en 20 minuten
Pilot 1 voorbereiden en printen
25 september
2 uur en 45 minuten
Pilot 1 houden en analyseren
26 September
10 minuten
Voorbereiden WECO
27 September
2,5 uur
WECO
1 Oktober
1 uur en 45 minuten
Maken nieuwe test en zelf doen
3 Oktober
1 uur
Pilot 2 houden
4 Oktober
2 uur en 40 minuten
Literatuur lezen
7 Oktober
3,5 uur
Bronnen opzoeken & werken aan eerste versie: meetopzet, bronnen en logboek
37
10 Oktober
3 uur
Eerste versie inleiding: gegevens literatuuronderzoek & meetopzet
11 oktober
2 uur en 40 minuten
Werken aan eerste versie: hypothese, literatuur lezen en in verslag zetten, meetopzet.
18 oktober
1 uur
voorbereiden onderzoek
21 oktober
2 uur
voorbereiden onderzoek
4 uur
statistiek leren
herfstvakantie
1 uur
mailen om dingen te regelen
25 oktober
1 uur en 15 minuten
printen onderzoek
27 oktober
1 uur
snoep kopen
28 oktober
2 uur en 35 minuten
voorbereiden onderzoek
29 oktober
4,5 uur
onderzoek voorbereiden, houden en nakijken van de toetsen
31 oktober
1 uur
onderzoek
3 november
2 uur
STATA leren
6 november
1 uur
bespreken eerste versie
10 november
2 uur
STATA leren
14 november
1 uur
nakijken
15 november
3,5 uur
nakijken
17 november
3 uur
gegevens en resultaten invoeren in Excel
18 november
5 uur en 45 minuten
gegevens en resultaten
22 oktober
38
invoeren in Excel 23 november
5 uur
resultaten statistiek
24 november
6 uur
resultaten statistiek en schrijven werkstuk
25 november
5 uur en 30 minuten
schrijven werkstuk en aanpassen eerste versie
26 november
5 uur
schrijven
27 november
7 uur en 30 minuten
schrijven en checken
28 november
4.5 uur
schrijven en laatste dingen aanpassen
29 november
3 uur
Laatste details en lay-‐out
39
Bijlage
40
Bijlage 1 – Pilot 1 111
In eerste instantie had ik een toets genaamd: ‘Symbolen vergelijken’. Dit is een test waarbij de oog-‐hand coördinatie en het visueel korte termijn geheugen van de leerling getoetst worden. Aan de linker kant van het papier staan twee symbolen naast elkaar. Daarna volgt een vrije ruimte en dan staan er rechts nog vijf symbolen. De leerling moet herkennen of minstens 1 van de symbolen links, ook rechts voorkomt. Is dit het geval, dan kruist de kandidaat ‘Ja’ aan. Is dit niet het geval en zijn de symbolen links dus allemaal anders dan de symbolen rechts, dan kruist de kandidaat ‘Nee’ aan. Deze test heb ik zelf samengesteld op basis van al bestaande testen ‘Symbolen vergelijken’ van de 'Wechsler Intelligence Scale For Children 3.0 (WISC-‐III)'. Ik heb de eerste pilot afgelegd bij 5 kinderen die in de eerste klas van de middelbare school zitten. 4 van deze kinderen doen VWO en het 5de kind doet VMBO-‐T. Ik heb deze kinderen allemaal eerst de gehele test gegeven. Zij kregen de opdracht deze zo goed mogelijk te maken. Tijd speelde deze eerste keer geen rol. Van de totale tijden heb ik het gemiddelde berekend. Hiervan heb ik 60% genomen en vervolgens heb ik de leerlingen een zelfde soort test nogmaals laten doen. Deze tweede keer zouden zij dus continue manipulatie hebben moeten ervaren. In de bijlage, bijlage 1, staat een pagina van mijn test. De test was in werkelijkheid 15 pagina's met vergelijkbare opgaven. Het resultaat was dat de leerlingen de beide testen erg goed deden. Er werden nauwelijks fouten gemaakt, zelfs met tijdsdruk. Één leerling was, met tijdsdruk, zelfs op tijd klaar. Hier is een aantal verklaringen voor. 1) De grootte van tijdsdruk was te klein, waardoor deze geen effect had. 2) De leerlingen hadden bij het maken van de eerste test vaardigheden ontwikkeld die zij in de tweede test toe konden passen waardoor de tweede test ze gemakkelijker af ging. 3) De test was te makkelijk, dus de tijdsdruk had geen effect. Een verklaring voor het feit dat één leerling al klaar was, kan als volgt zijn: Ik heb na de eerste afname van de test een gemiddelde van de tijden berekend. Deze ene leerling was al de snelste na de eerste test. De tijdsdruk, waarbij ik de leerlingen 60% van de gemiddeld benodigde tijd gaf, was voor hem dus veel minder groot. Ik gaf deze jongen misschien wel 80% van de tijd die hij eerst nodig had. Ook de andere leerlingen, zelfs degenen die juist minder dan 60% van hun eigen benodigde tijd hadden gekregen, maakten daarentegen de test sneller dan en even goed als de eerste keer. Hierdoor ga ik ervan uit dat de grootte van de tijdsdruk niet de reden is geweest van het feit dat de tijdsdruk geen effect had. Dat de leerlingen vaardigheden ontwikkeld zouden hebben na het maken van de test voor de eerste keer, is natuurlijk waar. Dat dit de enige reden is waarom de leerlingen totaal geen last hadden van de tijdsdruk, kan niet het geval zijn, omdat de kandidaten het begin en einde van de testen even goed maakten. Hierdoor ga ik er vanuit dat de test niet uitdagend genoeg was. De leerlingen waren makkelijk
41
in staat acceleratie toe te passen. Ook was het aantal fouten hierdoor dus te klein om onderscheid te maken, de test was niet differentiërend genoeg. Om deze reden heb ik een nieuwe test gemaakt. Ik heb na deze ervaring besloten het onderzoek toe te spitsen op de rekenvaardigheid.
42
Bijlage 2 -‐ Symbolen vergelijken
43
Bijlage 3 -‐ Rekentoets De volgende bijlage is de rekentoets die ik de leerlingen gegeven heb. De eerste pagina is de uitleg voor de toets. Hierop heb ik de drie verschillende uitleggen onder elkaar gezet, maar natuurlijk kregen de verschillende groepen slechts één van deze uitleggen. De twee pagina's na de uitleg zijn de rekentoets zelf. Op het einde staat nog een apart blad dat ik de leerlingen heb gegeven waarop zij konden aangeven of zij genoeg tijd hadden. Hierin waren geen systematische verschillen tussen de verschillende groepen. dus dit heb ik verder ook niet uitgebreid in mijn verslag behandeld.
Naam: Klas: Geboortedatum:
Groep: 1/2/3 Geslacht: m/v Dyscalculi: Ja/Nee Dyslexie: ja/nee
Hallo allemaal, Ik ben Feline Lindeboom en ik zit in V6D. In de 6de klas moet je een profielwerkstuk maken, een groot werkstuk waarbij je een onderzoek doet. Voor mijn onderzoek heb ik jullie hulp nodig, als proefpersonen. Voor je ligt een rekentoets. Een deel van de sommen is meerkeuze. Het is niet de bedoeling dat je die sommen heel precies uitrekent, maar dat je het schat. Dat kan, omdat de antwoorden van de meerkeuzevragen niet heel dicht op elkaar liggen. Een ander deel van de toets is hoofdrekenen. Hierbij moet je het antwoord wel precies op je blaadje schrijven. Je mag ook een kladblaadje gebruiken. Schrijf allemaal je naam op je antwoordenblaadje. Vul ook de andere vragen bovenaan je blaadje nu in voor de toets begint. Zonder tijdsdruk: Het is de bedoeling dat je de toets zo goed mogelijk maakt. Tijd speelt geen rol. De 3 leerlingen die het meeste antwoorden goed hebben, krijgen een zak snoep Doe je best en succes! Continue manipulatie: De toets die voor je ligt, moet je zo goed mogelijk maken. De 3 leerlingen die de meeste antwoorden goed hebben, krijgen een zak snoep. Je krijgt hier 10 minuten de tijd voor. Doe je best en succes! Categorische manipulatie: Het is de bedoeling dat je deze toets zo goed en zo snel mogelijk maakt. Snelheid en het aantal goede antwoorden zijn allebei even belangrijk. De 3 leerlingen die de meeste antwoorden goed hebben in de snelste tijd, krijgen een zak snoep. Bedankt voor jullie medewerking!
44
1: 75239 – 12724 – 29846 = a) 49 437 b) 32 669 c) 24 319 d)18 024 2: 72 + 240 + 28 + 100 = a) 700 b) 350 c) 435 d) 440 e) 850 3: 425248 – 138546 – 217489 – 16079 = a) 53 134 b) 109 494 c) 39 714 d) 98 317 e) 49 411 3 x 9 = 4 x 6 = 3 x 8 = 5 x 6 = 7 x 8 = 123 x 30 = 2 x 13 = 5 x 21 = 7 x 34 = 3 x 89 =
9 x 51 = 321 x 50 20 x 34 = 40 x 21 = 31 x 80 = 35 x 30 = 60 x 24 = 593 x 51 45
61 x 11 = 34 x 14 = 45 x 54 = 23 x 72 = 99 x 13 = 400 x 67 = 19 – 38 = 75 – 28 = 89 – 11 = 78 – 34 = 56 – 78 = 1358 + 5932 = 13 + 28 = 24 + 39 = 15 + 54 = 44 + 73 = 88 + 99 = 10001 + 1001 = 121 – 356 = 356 – 121 = 444 – 278 = 990 – 997 = 282 – 573 = 5938 – 2954 = 678 + 536 = 295 + 107 = 990 + 133 = 166 + 887 =
492 + 688 = 900 – 876 = 7 x 9 = 4 x 52 = 6 x 65 = 70 x 23 = 50 x 98 = 54 ÷ 90 = 82 x 12 = 78 x 11 = 72 – 58 = 67 – 54 = 72 + 58 = 78 ÷ 30 = 45 + 54 = 555 – 777 = 899 – 998 = 456 + 654 = 111 + 222 = 999 ÷ 111 = 4 x 8 = 6 x 14 = 63 x 21 = 373 -‐ 987 = 482 + 482 = Einde
46
Naam: Had je genoeg tijd? Kruis de stelling aan die voor jou geldt o Ik had het af ruim voordat de tijd op was o Ik had het af voordat de tijd op was o Ik had het af op het moment dat de tijd op was o Ik had het nog niet af toen de tijd op was o Ik had het nog lang niet af toen de tijd op was
Bijlage 4 -‐ Excel bestand met resultaten
Hieronder staat een afbeelding weergegeven van het Excel bestand waarin ik mijn resultaten heb gezet. De getallen kunnen verschillende waarden aannemen. Dit staat in het codeboek (bijlage 4). Ook staat daar waarvoor de afkortingen staan.
48
Bijlage 5 -‐ Codeboek
Variabele naam
Betekenis + labels*
Llnr
Nummer leerling
Naam**
Naam
Groep
Experimentgroep (1 = zonder tijdsdruk; 2 = continue manipulatie; 3 = categorische manipulatie)
Geslacht
Vrouw = 1; man = 2
Gbj
Geboortejaar
Gbm
Geboortemaand
Wiskunde
Eerste wiskunde cijfer.
Dyscalculi
Nee = 0; ja = 1
Dyslexie
Nee = 0; ja = 1
Klas
1j = 1; 1k = 2
Tijdsdruk***
Of de leerling genoeg tijd heeft ( 1 = af ruim voordat de tijd op was; 2 = af voordat de tijd op was; 3 = af op het moment dat de tijd af was; 4 = nog niet af toen de tijd op was; 5 = nog lang niet af toen de tijd op was)
Basisschool
Basisschool waar de leerlingen op zaten Ik onderscheid de 6 ‘grootste’ basisscholen (waar minimaal 4 kinderen vandaan kwamen) 1 = De Triangel 2 = Karel Eykman 3 = Michiel de Ruyter 4 = Roelof Venema
49
5 = ’t Kofschip 6 = Willem Alexander 7 = Overig Goed
Aantal vragen goed
Punten
Aantal punten goed. Hierbij zijn de moeilijke vragen meer punten waard. Dit is ingedeeld in 1,2 en 3 punten.
af (v1)
aantal vragen af
af (v2)
aantal punten af
acc. 1
aantal vragen goed / aantal vragen af
acc. 2
aantal punten goed / aantal vragen af
Strategie
1 = gemaakt op volgorde van de vragen; 2 = niet gemaakt op volgorde van de vragen
Klad
gebruik klad (1 = Net; 2 = slordig; 3 = geen klad)
*Missende gegevens worden genoteerd als '-‐9' ** Namen staan niet vermeld in het Excel bestand *** Dit heb ik vervolgens uit mijn onderzoek gelaten omdat hierin geen systematische verschillen waren tussen de verschillende groepen.
50
51