Onderzoeksverslag Op pad met Haas het effect van een educatieve game op de woordenschat
Inleiding In de M&ICT-aanvraag Game IIENS (Interactief Intelligent Educatief Narratief Systeem), ingediend bij de 9e Prijsvraag M&ICT februari 2009, is onder andere een summatief onderzoek beloofd naar de effecten van de op te schalen serious game Mijn naam is Haas op de woordenschatontwikkeling van kleuters. De game heeft de naam Op pad met Haas (http://www. OppadmetHaas.nl) gekregen, het gehele concept inclusief prentenboeken, cd-rom’s en de online omgeving wordt met Mijn naam is Haas (http://www.MijnnaamisHaas.nl) aangeduid. Het nu voorliggend rapport doet verslag van het summatieve onderzoek naar Op pad met Haas.
Onderzoeksverslag Op pad met Haas het effect van een educatieve game op de woordenschat
Het onderzoek vond plaats in het najaar van 2010. Een groot aantal scholen had zich bereid verklaard mee te doen aan het onderzoek; daaruit hebben wij 15 scholen geselecteerd en uiteindelijk hebben 12 scholen daadwerkelijk geparticipeerd. De opzet van het onderzoek staat beschreven in paragraaf 2, de daadwerkelijke uitvoering komt in paragraaf 3 aan bod. Voorafgaand aan het onderzoek is er een interventiegebonden woordenschattoets ontwikkeld en zijn de psychometrische waarden ervan in beeld gebracht (zie par. 2.3). Paragraaf 4 rapporteert de resultaten van het onderzoek; de discussie vindt u in paragraaf 5. Veel mensen en instellingen waren bij het onderzoek betrokken. Stichting ontSpruit is penvoerder van de M&ICT aanvraag en daarmee ook opdrachtgever voor het onderzoek. Mijn naam is Haas heeft in samenwerking met Stichting ontSpruit zorggedragen voor de realisatie van de serious game. Het Expertisecentrum Nederlands is gevraagd het onderzoek uit te voeren. Namens hen heeft dr. Uriël Schuurs (ITP De Aanzet) het onderzoek daadwerkelijk uitgevoerd, daarbij ondersteund door: • Marian Bruggink en Cindy Teunissen, beiden van Expertisecentrum Nederlands, voor resp. inhoudelijke adviezen en voor logistieke ondersteuning bij het testen van de leerlingen op de deelnemende scholen; • Paul de Haas en Miek ten Brummelhuis (beiden van Stichting ontSpruit) voor het meedenken, het leggen en onderhouden van contacten met de onderzoeksscholen en voor troubleshooting.
Door: Uriël Schuurs Nijmegen, april 2011
Hen allen wil ik hartelijk danken voor hun bijdrage. De meeste dank echter gaat uit naar de vele scholen, de bereidwillige leerkrachten en de honderden enthousiaste leerlingen die aan het onderzoek hebben willen deelnemen. Uriël Schuurs
Een onderzoek van:
Met medewerking van:
In opdracht van:
Stichting ontSpruit
2
Mede tot stand gekomen door de financieële bijdrage van het rijksbrede actieprogramma M&ICT:
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
3
Inhoudsopgave
1. Een beschrijving van Op pad met Haas
Inleiding 3 Inhoudsopgave 4 1. Een beschrijving van Op pad met Haas5 1.1. Op pad met Haas en woordenschat 5 1.2. Eerder onderzoek naar Mijn naam is Haas 5 1.3. Thema’s en selectie van woorden in Mijn naam is Haas 6 2. Opzet van het onderzoek 8 2.1. De onderzoeksvraag 8 2.2. De onderzoeksopzet 8 2.3. Ontwikkeling van de interventiegebonden woordenschattoets 9 3. Verloop van het onderzoek 10 3.1. Logboeken 10 4. Resultaten 12 5. Discussie 14 6. Literatuurlijst 16 7. Bijlagen 18
1.1. Op pad met Haas en woordenschat Het computerspel Op pad met Haas is één van de weinige serious games bedoeld voor kinderen in de leeftijd van 3 - 7 jaar. Het is een verrassend educatief spel, waarin kinderen in een geanimeerde, verhalende omgeving spelenderwijs leren. Het spel richt zich vooral op het stimuleren van de woordenschat, maar daarnaast worden ook het probleemoplossend vermogen en het verhaalbegrip van jeugdige leerlingen gestimuleerd. Het belang van instrumenten die bijdragen aan een grote woordenschat op jonge leeftijd is duidelijk. Eén van de meest consistente bevindingen die uit woordenschat¬onderzoek naar voren komt, is dat een beperkte woordenschat bijna altijd leidt tot slechte schoolresultaten (bv. Anderson & Nagy, 1992; Verhoeven & Vermeer 2000). Dankzij een goed ontwikkelde woordenschat krijgt de leerling meer grip op lees- en leerprocessen. Eén van de zaken die Op pad met Haas aantrekkelijk maakt voor het woordenschat-onderwijs, is het adaptieve karakter van de verhaalvorm: afhankelijk van de input die de leerlingen geven aan het spel neemt het verhaal een andere wending en worden er ook andere woorden aangeboden. Dit adaptieve karakter draagt in hoge mate bij aan de ideale situatie om snel en effectief nieuwe woorden te leren. In het spel is ernaar gestreefd om nieuwe woorden aan te bieden volgens de principes die het woordleren optimaliseren (vgl. bv. Van der Nulft & Verhallen 2002; Kienstra 2003). In de literatuur worden onder andere de volgende principes genoemd die het woordleren faciliteren: • nieuwe woorden aangeboden krijgen in een betekenisvolle context; • zowel omschrijvingen van de woordbetekenis als contextuele informatie krijgen; • actief met de nieuw aangeboden woorden aan de slag kunnen gaan; • de woorden in verschillende situaties aangeboden krijgen. Op pad met Haas komt in hoge mate aan deze principes tegemoet. Zo biedt het spel de leerlingen nieuwe woorden aan in een functionele, betekenisvolle en voor de leerlingen aantrekkelijke context. Bovendien krijgen de kinderen de woorden planmatig meerdere keren in verschillende contexten aangeboden. De verhalende vorm zorgt ervoor dat de betekenisrelaties tussen verschillende woorden wordt benadrukt. Door zelf met de muis objecten te tekenen hebben de leerlingen voortdurend zelf een actieve rol in het verhaal en creëren ze zelf de context van het woordaanbod. Onderzoek laat zien dat leerlingen informatie het beste leren en onthouden bij meerkanalige aanbieding (zie bv. Marzano et al. 2008). Daarbij worden in de hersenen verschillende gebieden geprikkeld. Twee belangrijke gebieden zijn de talige kant (linguïstische route) en de visuele kant (non-verbale representatie). De talige kant komt in het onderwijs vaak al meer dan voldoende aan bod: in de klas wordt de leerstof mondeling aangeboden en in hogere leerjaren lezen de leerlingen teksten over bepaalde onderwerpen. De visuele kant komt in het onderwijs minder vaak aan bod terwijl die juist een enorme boost aan het leerproces kan geven (vgl. Duerings et al. 2010). In de serious game Op pad met Haas worden de woorden niet
4
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
alleen auditief aangeboden, maar krijgen die ook grafische ondersteuning: de voorwerpen en de gebruikscontexten worden nadrukkelijk op verschillende manieren in beeld gebracht. Op theoretische gronden mag worden aangenomen dat deze grafische ondersteuning andere gebieden in de hersenen activeert dan de talige aanbieding; te zamen zorgen ze ervoor dat de woorden sneller worden aangeleerd en beter beklijven. Op deze manier levert de game een bijdrage aan het consolideren van woorden oftewel het verankeren van woorden en hun betekenis in het geheugen.
1.2. Eerder onderzoek naar Mijn naam is Haas Niet vaak vindt er onderzoek naar het effect van computer games plaats. Door Van den Berg & Simons (2008) wordt dan ook al snel geconstateerd: “Er valt nog weinig te zeggen over de effectiviteit en efficiëntie van het gebruik van educatieve games”. Er zijn genoeg pleidooien gehouden, vaak idealistisch getint, om meer te werken met games in het onderwijs, maar effectonderzoek of andersoortig empirisch onderzoek ontbreekt nagenoeg geheel. Zo kan het gebeuren dat bv. Broekhof & Cohen de Lara (2007, p. 15) rapporteren: “Na afloop van iedere sessie aan de computer hadden zij een gesprekje met het kind om een indruk te krijgen van het verhaal- en woordbegrip. De onderzoekers hadden ook gesprekken met de leerkrachten over hun indrukken van het effect van de Levende Boeken” (curs. U.S.). Het ontbreken van deugdelijk empirisch onderzoek heeft er ongetwijfeld mee te maken dat games vooral lijken bij te dragen aan het “impliciete leren in rijke contexten” en dat er een grote diversiteit aan vaardigheids-domeinen is waarop effect gemeten zou kunnen worden (vgl. Ruijters 2006). Een gunstige uitzondering hierop vormt de game Op pad met Haas (en de voorversie die Mijn naam is Haas heette). Het effect van deze game is al eerder onderwerp geweest van onderzoek. In het schooljaar 2007-2008 is op verschillende scholen van de stichting Delta in Arnhem de game in de praktijk getest. Op deze scholen was behoefte aan taalstimulering voor taalzwakke kleuters en men wilde graag inzicht in de mogelijkheden van ICT-toepassingen in de klas. Bij de toen gehouden testsessies is gebleken dat deze game door kinderen met veel enthousiasme gespeeld werd. De game bleek erg uitdagend voor kinderen en nodigde uit tot taalgebruik en interactie, zeker als kinderen
Figuur 1. Kleuter speelt Op pad met Haas
5
in tweetallen het spel speelden. Zelfs voor kinderen met weinig taalbeheersing bleek de game gebruiksvriendelijk: zij bleken snel te weten wat de bedoeling is, krijgen voldoende (audiovisuele) feedback en worden voldoende gestimuleerd. Deze observaties waren voor de betrokken partijen aanleiding voor nader onderzoek. Het tweede onderzoek richtte zich op het bestuderen van de taaluitingen van kinderen tijdens het spelen van de game, waarbij zowel de lexicaliteit van de uitingen als de inhoud en vorm van de uitingen zijn onderzocht (Bruggink & Gijsel 2008). De leerkrachten die al bekend waren met de game zagen een duidelijke meerwaarde van het spelconcept van de game ten opzichte van andere software voor kleuters; zij gebruiken de game wekelijks als ondersteuning van de reguliere lessen. Zij gaven onder andere aan dat de game mogelijkheden biedt om de woordenschat¬ontwikkeling bij kinderen te stimuleren en verwachtten meer interactie bij kinderen door de onvoorspelbaarheid van de game. Uit dit tweede onderzoek is gebleken dat de game een positieve werking heeft op de taalstimulering bij kinderen. Dit effect kan geoptimaliseerd worden door kinderen in tweetallen de game te laten spelen. Door de game bovendien te spelen met ondersteuning van de leerkracht kan de taalproductie gericht worden gestimuleerd. Al uit het eerste onderzoek bleek dat uitbreiding van de content noodzakelijk is voor een doeltreffender inzet in het onderwijs; opschaling naar meerdere thema’s die aansluiten bij het curriculum wordt door leerkrachten noodzakelijk geacht. Daarnaast is ook een bredere toepassing naar andere media en buiten het onderwijs essentieel voor effectieve aanpak van het taalprobleem. De voorleesboeken over Haas die sinds 2009 worden uitgebracht, passen in de gewenste uitbreiding.
1.3. Thema’s en selectie van woorden in Mijn naam is Haas Vanaf eind 2009 wordt gewerkt aan de gewenste uitbreiding van de content van Mijn naam is Haas: er is op dit moment een grote online omgeving in ontwikkeling onder de naam Op pad met Haas. Op pad met Haas is een online serious game met acht verschillende thema’s die aansluiten bij onderwerpen waar kinderen thuis en op school dagelijks mee te maken krijgen. Doordat de game online beschikbaar is, kan er op school maar ook thuis mee gespeeld worden, hier zal in de toekomst een aangepaste vorm voor ontwikkeld worden. Voorbeelden van thema’s in het spel zijn Spelen & Creativiteit, Eten & Drinken, Dieren & Planten en Ik & Lichaam. In het nu voorliggend verslag wordt gerapporteerd over een summatief onderzoek naar het effect van Mijn naam is Haas op de woordenschat van de jeugdige gebruikers. De aanname is dat de woordenschat van leerlingen een grotere progressie te zien geeft wanneer ze enkele keren per week de serious game spelen. In paragraaf 1.2 zijn de factoren belicht waarop deze aanname is gebaseerd: •
6
aanbieding in een zinnige context;
• • •
meerkanalige aanbieding; herhaaldelijke aanbieding en mogelijkheid tot actieve participatie.
40% achtten we van onvoldoende belang om op te nemen als doelwoord in de game. De intervallen bevatten niet alle evenveel woorden, maar elk interval bood wel voldoende selectiemogelijkheid (zie kolom Aantal woorden in Tabel 1).
Om uitvoering van het summatieve onderzoek in het najaar van 2010 mogelijk te maken zijn er in het voorjaar 2010 twee thema’s van Op pad met Haas operationeel gemaakt. Het betreft de thema´s Spelen & Creativiteit en Eten & Drinken. Bij de ontwikkeling van de verhaallijnen in de game is bewust aandacht geschonken aan de kwaliteit van het taalaanbod. Daartoe is gebruik gemaakt van de Streeflijst Woordenschat van Schaerlaekens et al. (1999). Deze Streeflijst Woordenschat biedt een overzicht van de passieve woordenschat die Nederlandstalige kinderen zouden moeten hebben bij de overgang van de kleuterschool naar de lagere school. De streeflijst woordenschat voor zesjarigen wordt beschouwd als een valide indicator voor de verwervingsleeftijd van woorden. De woordenlijst geeft aan van welke woorden het verkieslijk is dat een 6-jarige de betekenis kent. Iets preciezer geformuleerd: van ruim 6.000 woorden is door middel van enquêtes onder leerkrachten van groep 1-2 en van groep 3 basisonderwijs nagegaan welke woorden door de leerlingen gekend zouden moeten zijn. Op basis van de enquêtes is per lemma het percentage berekend van het aantal respondenten dat vindt dat de leerling de woordbetekenis zou moeten kennen. Voor de ontwikkeling van de game Op pad met Haas, en in navolging daarvan voor de ontwikkeling van de test ten behoeve van het summatieve onderzoek, is per thema een aantal doelwoorden geselecteerd uit deze lijst. Daarbij hebben we eerst op basis van de percentages de volgende intervallen onderscheiden:
Overigens speelden bij de selectie naast de bekendheid van woorden ook andersoortige criteria een rol: zo moesten de bedenkers van de adventures in de game ook hun goedkeuring hechten aan de geselecteerde doelwoorden. Ook is gekeken naar de mogelijkheden om de woordbetekenis visueel in statische beelden – dus in een plaatje – weer te geven. Woorden waarbij dat lastig leek te gaan worden - zoals doorwerken of geur vielen om die reden af. Uit de resterende woorden zijn vervolgens door de ontwikkelaars van de game per interval woorden gekozen waarvan op intuïtieve gronden verwacht werd dat ze goed zouden passen in een te ontwikkelen verhaallijn. Per thema zijn er ongeveer 50 potentiële doelwoorden gekozen. Daarbij is bewust rekening gehouden met een min of meer evenredige spreiding van de doelwoorden over de genoemde intervallen. Met deze keuze is bij de ontwikkeling van de onderzoeks¬materialen, cq. de te gebruiken passieve woordenschattest rekening gehouden (zie verder paragraaf 2.3).
90 - 100% 80 - 90% 70 - 80% 60 - 70% 50 - 60% 40 - 50% Het aantal potentiële doelwoorden per interval staat weergegeven in Tabel 1. niveau
interval
loopt van
tot
Aantal woorden
1
90 – 81
2
456
455
2
80-71
457
734
278
3
70-61
735
941
207
4
60-51
942
1163
221
5
50-41
1164
1329
165
6
40-31
1330
1471
141
Tabel 1.
Aantal potentiële doelwoorden per interval
De woorden met een percentage boven 90% achtten we bij te veel kinderen al bekend en wilden we om die reden niet opnemen als doelwoord in de game; woorden beneden
Expertisecentrum Nederlands
Figuur 2. Kleuters spelen Op pad met Haas
Onderzoek Op pad met Haas
7
2. Opzet van het onderzoek Er is een groot aantal VVE-programma’s in gebruik, waaronder Piramide, Kaleidoscoop, Startblokken en Puk & Ko. In genoemde programma’s is taal een belangrijk onderdeel, maar er is ook aandacht voor motoriek en sociaal-emotionele ontwikkeling. Daarnaast zijn er VVE-programma’s specifiek voor de taalontwikkeling, waaronder Schatkist en De Taallijn. Het lijkt erop dat van deze op taal gerichte programma’s Schatkist de meest verbreide is. Om die reden is ervoor gekozen om voor het onderzoek de interventie te laten plaatsvinden op scholen waar gebruik gemaakt wordt van Schatkist. Aanvankelijk was het de bedoeling om uit de Streeflijst Woordenschat (Schaerlaekens e.a., 1999) woorden te kiezen voor gebruik in de game die ook in Schatkist voorkomen. Om verschillende redenen bleek dit niet haalbaar: onder andere kent Schatkist nogal veel verschillende modules en dat maakt het lastig om te garanderen dat scholen precies dezelfde doelwoorden zouden aanbieden in de onderzoeksperiode. Bovendien liet vluchtige controle al vrij snel zien dat woorden die wel in Haas worden gebruikt lang niet allemaal voorkomen in de Schatkist-thema’s Herfst en Winter die waarschijnlijk aan de orde zullen komen tijdens de onderzoeksperiode (najaar 2010). Tot slot was het voor de makers van Mijn naam is Haas een onmogelijke taak om de avonturen in de game zo te ontwikkelen dat juist de doelwoorden van Schatkist aan bod zouden komen. Daarom is gekozen voor een iets andere opzet waarbij een groot aantal potentieel bruikbare woorden uit de Streeflijst is aangewezen en waaruit de makers van Mijn naam is Haas een selectie konden maken. Vervolgens is daar een verdere selectie uit gemaakt van 100 woorden die ook in de controleconditie aan de orde moesten kunnen worden gesteld. 2.1. De onderzoeksvraag Bovenstaande overwegingen zijn geconcretiseerd in de volgende onderzoeksopzet: in de experimentele conditie maakt men gebruik van Op pad met Haas als serious game. De leerlingen krijgen gedurende drie weken het thema Spelen & Creativiteit aangeboden en daarna gedurende drie weken het thema Eten & Drinken. Als achtergrond fungeert de methode Schatkist, maar gedurende het onderzoek wordt er voor Schatkist geen gebruik gemaakt van de computer. In de controleconditie maakt men gebruik van het programma Schatkist. Om te borgen dat de leerlingen in de controleconditie dezelfde doelwoorden aangeboden krijgen als de leerlingen in de experimentele conditie, krijgen de leerlingen in de controleconditie daarnaast voorleesverhalen met grote prenten; in de voorleesverhalen komen dezelfde doelwoorden voor als in de twee thema’s van Op pad met Haas. Bij de verhalen hoort een nauwgezette instructie aan de leerkrachten om te borgen dat zij op een verantwoorde manier voorlezen, met interactie en vragen stellen aan de leerlingen. De onderzoeksvraag hierbij luidt: Leidt het gebruik van Op pad met Haas tot een grotere leerprogressie op het gebied van woordenschat dan gebruik van een reguliere methode bij
8
leerlingen van 3 tot 7 jaar, met en zonder taalachterstand? Gebruik van Op pad met Haas is als volgt concreet gemaakt: systematische inzet Op pad met Haas gedurende twee keer per week een sessie door een duo van leerlingen. Het gebruik van een reguliere methode is hier geconcretiseerd als gebruik van Schatkist, aangevuld met systematische inzet van voorleesverhalen en bijbehorende prenten volgens de interactieve methode zoals voorgestaan door het Expertisecentrum Nederlands. 2.2. De onderzoeksopzet Om een kwantitatief onderzoek mogelijk te maken, is er voor de volgende opzet gekozen: 15 scholen wordt gevraagd om deelname aan het onderzoek. Elke school levert twee klassen, één voor de experimentele conditie en één voor de controleconditie. We gaan uit van gemiddeld 16 leerlingen per groep, zodat er zonder uitval 240 leerlingen in elke conditie zitten; met deze aantallen is er een uitval van ongeveer 30% te permitteren zonder dat het onderzoek in ernstige mate aan power gaat inboeten. De deelnemende scholen zijn min of meer evenredig aan de bevolkingsconcentratie verdeeld over Nederland. Per school doen twee groepen mee aan het onderzoek: • de experimentele conditie bestaat uit groep 1A-2A. Deze groep gebruikt de reguliere methode – in dit geval Schatkist – en daarnaast de serious game Op pad met Haas; • de controleconditie bestaat uit groep 1B-2B. Deze groep gebruikt de reguliere methode - in dit geval Schatkist - en daarnaast voorleesprentenboeken met daarin de woorden die ook in de interventiegebonden toets voorkomen. In geen van de klassen is tevoren gebruik gemaakt van Mijn naam is Haas. In de controleconditie wordt ook gedurende de onderzoeksperiode geen gebruik gemaakt van Op pad met Haas. In de experimentele groep wordt de leerkracht gevraagd gegevens te noteren over • de tijdsbesteding aan Op pad met Haas; • de samenstelling van de duo’s van leerlingen die aan Op pad met Haas werken. We bepleiten dat die dezelfde blijft in de experimentele periode en dat de leerlingen van rol wisselen: de ene keer mag leerling A de muis bedienen, de andere keer leerling B; • de rol van de leerkracht daarbij.
is. De voorleesinstructie aan de leerkrachten wordt door de onderzoeker aangeleverd en is samengesteld op basis van de best practice-bevindingen bij het voorlezen aan jonge leerlingen (vgl. bv. Stoep et al. 2004; Damhuis en Litjens 2003). De voorleesinstructies voor de controleconditie zijn te vinden in Bijlage F. De leerkrachten van zowel de experimentele als de controleconditie houden in een gestructureerd logboek bij welke modules (lessen en ankers) van Schatkist aan de orde komen in de onderzoeksperiode. In dat boekje wordt ook genoteerd • in de experimentele conditie: welke leerlingen een duo vormen en hoeveel tijd elk duo met Op pad met Haas aan de gang is; • in de controleconditie: hoeveel tijd er is besteed aan de voorleesverhalen en welke activiteiten er zijn uitgevoerd. Voorafgaande aan, en na afloop van de experimentele periode komen testassistenten op de scholen om de deelnemende leerlingen individueel een interventiegebonden woordenschattoets af te nemen. Gezien de tijdsspanne van bijna 3 maanden tussen beide meetmomenten is het verdedigbaar om tijdens voor- en natoets een identiek meet¬instrument te gebruiken. De resultaten worden handmatig gescoord op scoreformulieren, daarna worden de resultaten in een digitaal databestand gezet ten behoeve van verdere analyse. Tijdens het eerste meetmoment wordt ook de perceptieve woordenschattoets van de TAK (Verhoeven & Vermeer 2001) afgenomen. De woordenschattoets bestaat uit een interventiegebonden taak: de toets bevat woorden die zowel in de game als in de voorleesboeken voorkomen. Het doel van de interventie¬gebonden toets is niet om er een schatting van de omvang van de woordenschat van individuele leerlingen op te baseren, maar alleen om vergelijking van groei in woordenschat tussen de experimentele en controleconditie mogelijk te maken. In de onderzoeksgebonden toets wordt niet met andere woorden gewerkt om bv. de omvang van de woordenschat te meten. Bovenstaande onderzoeksopzet maakt een data-analyse mogelijk volgens ANOVA waarbij de score op de TAK als covariaat wordt gehanteerd met het oog op eventuele verschillen in aanvangsniveau.
Eerst is er een selectie gemaakt uit de beschikbare doelwoorden waarvan duidelijk was dat die zouden worden gebruikt in de twee thema’s van Op pad met Haas. Uit die lijst zijn woorden verwijderd die op voorhand minder geschikt leken voor gebruik in de toets, zoals abstracte begrippen die moeilijk te visualiseren zijn in een statisch plaatje (slurpen, ogenblik). Er resteerden 48 lemmata waarvoor testitems zijn gemaakt. Deze zijn voorgelegd aan de makers van Mijn naam is Haas en aan enkele medewerkers van het Expertisecentrum Nederlands. Naar aanleiding van hun opmerkingen zijn enkele afbeeldingen vervangen en enkele opgaven verwijderd (zie Bijlage A voor een overzicht). Het resultaat, bestaande uit 46 items, is in augustus 2010 kleinschalig gepretest bij 52 leerlingen, verspreid over twee scholen (een school in een grote stad met veel leerlingen met NT2-achtergrond en een plattelandsschool met NT1-leerlingen). De pretestgegevens zijn geanalyseerd met gebruikmaking van het programma TiaPlus (Cito 2008) dat voor onderzoeksdoeleinden vrij toegankelijk is. Op grond van de resultaten zijn opgaven verwijderd • met een p-waarde boven .90 (te eenvoudige opgave) of beneden .10 (te moeilijk); • met een lage Rir (opgaven die kennelijk een andere vaardigheid meten dan de andere opgaven); • met een hoge Rar (opgaven met een alternatief dat té aantrekkelijk is geweest, meestal een teken dat het woord door te veel deelnemers niet gekend wordt). Na itemselectie resulteerde een toets die bestaat uit 28 opgaven met een gemiddelde p-waarde van 70.45 (standaardmeetfout = 2.07), een gemiddelde Rit-waarde van 0.42 en een betrouwbaarheid (Coefficient Alpha) van .79 (standaardfout Alpha = 0.04). Aan de toets werden ten behoeve van het onderzoek drie zeer eenvoudige oefenopgaven toegevoegd waarvan verwacht mag worden dat elke leerling boven 4 jaar die goed maakt. De p-waarden zoals die naar voren kwamen uit de Toets- en Itemanalyse zijn gebruikt om de items in het definitieve instrument te ordenen van eenvoudig naar moeilijk. De resultaten van de Toets- en itemanalyse zijn opgenomen als Bijlage B.
2.3. Ontwikkeling van de interventiegebonden woordenschattoets
In de controlegroep gebruikt men vier voorleesverhalen met de bijbehorende praatplaat. De verhalen zijn anders dan die in de game. De vier voorleesverhalen te zamen waarborgen dat in de controleconditie dezelfde doelwoorden worden aangeboden als in de experimentele conditie. De benodigde materialen - verhalen en platen - worden door Stichting ontSpruit aan de scholen geleverd. De praatplaten worden aangeleverd in een groot formaat, in kleur geprint en gelamineerd. Het gaat hier niet om eenvoudigweg voorlezen, maar om de best werkende voorleesdidactiek die momenteel voorhanden
Voor aanvang van het eigenlijke onderzoek is er een interventiegebonden woordenschattoets ontwikkeld. In samenspraak met de opdrachtgever is een format vastgesteld waarin de opgaven moesten passen: besloten is gebruik te maken van driekeuzevragen waarbij de stimulus bestaat uit • auditief: het woord dat passief gekend moet worden in een eenvoudige zin • visueel: drie antwoordalternatieven die met foto’s staan afgebeeld
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
9
3. Verloop van het onderzoek Verspreid over Nederland zijn er 15 scholen voor primair onderwijs geselecteerd voor deelname aan het onderzoek. Er is naar gestreefd scholen zodanig te kiezen dat er een evenredige spreiding over Nederland tot stand zou komen: we wilden zowel scholen in steden als in landelijke gebieden. Ook wilden we dat de deelnemende scholen varieerden waar de proportie T2leerlingen betreft. Verder moesten de scholen voldoen aan de volgende eisen: • elke school brengt 2 klassen in het onderzoek: * klas A gebruikt de reguliere methode – in dit geval Schatkist – en daarnaast Op pad met Haas; * klas B gebruikt de reguliere methode - in dit geval Schatkist - en daarnaast voorleesverhalen met bijbehorende praatplaten, met daarin de woorden die ook in de interventiegebonden toets voorkomen. • in de controleconditie mogen de scholen Op pad met Haas niet gebruiken in de onderzoeksperiode, dwz vanaf augustus 2010 tot en met december 2011; •
de scholen beschikken voor de experimentele groep over voldoende computers in de klas om het onderzoek te kunnen realiseren. De minimale systeemeisen waren: * Pentium 4 2 ghz of gelijkwaardig * 1 GB intern geheugen * 16-bits geluidskaart * speakers of hoofdtelefoon * beeldscherm * internetverbinding * Besturingssysteem: Windows/Mac OS * *
•
De aanbevolen systeemeisen waren: 2+ ghz Dual Core Processor 1.5 gb intern geheugen
in de experimentele conditie werken leerlingen gedurende 6 weken iedere week twee keer in duo’s aan een sessie van Op pad met Haas. In de controleconditie wordt gewerkt met de reguliere methode (ic. Schatkist) en worden twee keer per week de voorleesverhalen gepresenteerd volgens de door ons aangereikte werkwijze.
Er zijn 15 scholen geselecteerd die aan deze criteria voldeden. De regionale spreiding is afleesbaar aan figuur 1. Als gevolg van technische problemen zijn in september 2010, dus vrijwel direct na de pretest, de scholen in Tilburg en in Spijkenisse uitgevallen; in oktober is vervolgens een school in Waddinxveen gestopt met deelname aan het onderzoek. Twaalf scholen met in totaal 443 leerlingen bleven gedurende de gehele looptijd in het onderzoek. Voor de analyse was het noodzakelijk om te beschikken over gegevens van leerlingen die aan zowel pretest als posttest hebben deelgenomen; door deletie van leerlingen die aan één van beide tests niet hadden meegedaan, bleven uiteindelijk 412 leerlingen in het onderzoek.
10
Figuur 3. Regionale spreiding van de deelnemende scholen
Doordat we met een brede selectie aan onderzoeksscholen waren gestart, kon ondanks deze forse uitval toch een onderzoek met voldoende power worden gerealiseerd (zie verder paragraaf 4). De pretestperiode liep van 28 september tot 8 oktober, daarna startte de interventie-periode. Deze interventieperiode liep officieel tot 26 november, zodat er voor elk van beide thema’s precies drie weken beschikbaar zou zijn met de herfstvakantie ertussenin. Op enkele scholen is vanwege incidentele lesuitval de interventieperiode verlengd. Op grond daarvan is besloten om de posttest af te nemen in de periode tussen 13 en 18 december 2011. 3.1. Logboeken De gang van zaken in de onderzoeksscholen is post hoc gecontroleerd aan de hand van logboekgegevens. Van deze 12 scholen ontvingen we logboeken van 9 scholen. Deze logboeken bleken voor 7 scholen compleet; van 2 scholen ontvingen we alleen de logboeken over de controleconditie.
storingen is het niet steeds op alle deelnemende scholen helemaal gelukt om de kinderen twee keer in de week met Op pad met Haas te laten werken. Mede hierdoor is op een aantal scholen in de experimentele conditie de bestede tijd minder lang geweest dan de bedoeling was. Het omgekeerde is uit de logboeken niet gebleken. Als gevolg hiervan is er minder intensief geoefend met de computergame dan tevoren als wenselijk werd gedefinieerd, namelijk per duo leerlingen twee keer per week een sessie gedurende 6 weken. • werken in duo’s in de experimentele conditie: Aan de deelnemende scholen gevraagd om de leerlingen in duo’s te laten werken aan de sessies van Op pad met Haas: eerder onderzoek suggereerde dat hiermee betere resultaten werden behaald (vgl. Bruggink & Gijsel 2008). Uit de logboeken valt niet te reconstrueren of dit daadwerkelijk is gebeurd; evenmin is duidelijk waar dit systematisch niet is gebeurd. Een aanvankelijk gepland deelonderzoek naar het effect van werken in duo’s is dan ook niet realiseerbaar op basis van de data die beschikbaar gekomen zijn. • bestede tijd in de controleconditie: In de controleconditie werd zeer intensief gewerkt met de voorleesverhalen. In een aantal scholen werd er in de controlegroep zelfs twee keer zoveel tijd besteed aan deze voorleesverhalen als aan het spelen met de game in de experimentele conditie. Zo kreeg in school 6 elk leerlingduo in de experimentele conditie gedurende 6 weken één sessie op de pc; in totaal hebben deze leerlingen daardoor in de experimentele conditie ongeveer 90 minuten met Mijn naam is Haas gewerkt. In de controleconditie bleek in totaal 180 minuten te zijn besteed aan de voorleesverhalen, nabesprekingen en laten navertellen door de leerlingen. In school 7 zien we eenzelfde beeld. Daar werd naar opgave van de leerkrachten in de experimentele conditie gemiddeld 20 minuten per week besteed aan de game; in de controleconditie werden er systematisch twee verhalen voorgelezen en werd daarnaast tijd ingeruimd voor nabespreking en voor het herhalen van woorden uit eerder besproken voorleesverhalen. Als gevolg hiervan was ook op deze school de bestede interventietijd in de controleconditie ruim twee keer zo veel als in de experimentele conditie. Dit beeld was niet alleen zichtbaar op school 6 en 7, maar kwam ook bij school 5 en school 12 naar voren. Op basis van de beschikbare logboekgegevens is per school en per conditie de gemiddelde tijdsbesteding per week berekend. Onderstaande Tabel 2 brengt deze gemiddelden per school en per week voor beide condities in beeld. Voor de gehele interventieperiode is de totale tijdsbesteding per school en per conditie gemiddeld zes keer zo groot, aangezien er gedurende zes weken interventieactiviteiten waren.
school- Experimentele Controlenr. Conditie conditie
Informatiebron
1
20 minuten
20 minuten
Mondelinge informatie achteraf
2
25 minuten
25 minuten
Logboeken
3
?
?
Geen informatie over tijdsbesteding
4
30 minuten
25 minuten
Logboeken
5
20 minuten
40 minuten
Logboeken
6
15 minuten
30 minuten
Logboeken
7
20 minuten
40 minuten
Logboeken
8
?
30 minuten
Alleen logboek van controleconditie
9
20 minuten
20 minuten
Logboeken
10
?
?
Geen informatie over tijdsbesteding
11
20 minuten
25 minuten
Logboeken
12
12 minuten
20 minuten
Logboek van controleconditie en mondelinge navraag achteraf
Tabel 2.
Beschikbare gegevens over tijdsbesteding
Het is denkbaar dat op basis hiervan subcategorieën worden onderscheiden ten behoeve van verdere analyse, bijvoorbeeld scholen waarbij in beide condities ongeveer evenveel tijd is besteed versus scholen waarbij de controleconditie veel meer tijd heeft besteed aan de interventiematerialen. Hiervan is om twee belangrijke redenen afgezien: • ondanks de gerapporteerde verschillen in tijdsbesteding hebben de meeste scholen laten weten dat de leerkrachten en de leerlingen tevreden waren over de interventie, zowel naar inhoud als naar tijdsbesteding. • wanneer de data-analyse gebaseerd wordt op één of meer van bovengenoemde deelselecties zou dat de n zodanig reduceren dat er geen reële kans meer zou zijn om nog significante verschillen tussen groepen te vinden. Om die reden is besloten om van alle 12 scholen die het hele experiment hebben doorlopen, de data in het onderzoek te betrekken.
Uit de gegevens van de scholen die de logboeken compleet hadden aangeleverd en door navraag bij de betreffende scholen, kwamen drie belangrijke bevindingen naar voren: bestede tijd in de experimentele conditie: In de experimentele conditie hadden de scholen in wisselende mate last van technische problemen. Door deze technische
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
11
4. Resultaten Na afloop van experiment bleek dat we bruikbare gegevens verzameld hadden van 412 leerlingen, verspreid over 12 scholen. De verdeling van leerlingen over scholen is weergegeven in Tabel 3. Schoolnummer
Frequentie
Percentage
Voorafgaande aan en na afloop van de interventieperiode is bij de leerlingen de in par. 2.2 beschreven woordenschattoets, bestaande uit 3 oefenitems en 28 echte items afgenomen. De toetsresultaten per conditie staan weergegeven in Tabel 6. Conditie
Gemid- Standaarddelde deviatie
n
Controle
20,53
3,695
205
Experimenteel
21,24
3,755
207
Totaal
20,89
3,738
412
Controle
21,73
3,658
205
Experimenteel
23,04
3,236
207
Totaal
22,39
3,510
412
Cumulatief percentage VOORTOETS
1
43
10,4
10,4
2
34
8,3
18,7
3
27
6,6
25,2
4
29
7,0
32,3
5
45
10,9
43,2
6
26
6,3
49,5
Tabel 6.
7
31
7,5
57,0
8
28
6,8
63,8
9
43
10,4
74,3
Tijdens het eerste toetsmoment is ook de TAK woordenschattoets afgenomen bij de leerlingen; de resultaten daarvan staan beschreven in Tabel 7.
10
37
9,0
83,3
11
30
7,3
90,5
12
39
9,5
100,0
totaal
412
100,0
Tabel 3.
Aantal leerlingen per deelnemende school
Frequentie
Controle
Percentage
Cumulatief percentage
207
50,2
50,2
Experimenteel 205
49,8
100,0
Totaal
100,0
Tabel 4.
412
Verdeling over experimentele en controlegroep
Bijna tweederde van de leerlingen zat in leerjaar 2 (zie Tabel 5); in alle scholen zaten de leerlingen van het eerste en het tweede leerjaar fysiek bij elkaar in één groep. Leerjaar
Frequentie
Percentage
Cumulatief percentage
Leerjaar 1
149
36,2
32,8
Leerjaar 2
263
63,8
100,0
Totaal
412
100,0
Totaal
412
100,0
Tabel 5.
12
Verdeling over experimentele en controlegroep
Toetsscores per conditie op voor- en natoets
n TAKscore
Minimum Maximum Gemid- Standaarddelde deviatie
412 2
88
54,61
16,302
WS
Type III Sum of Squares
df
Mean Square
F
Sig.
Partial Eta Squared
Noncent. Parameter
Observed Power ‡
WS
Lineair
73,592
1
73,592
31,323
.000
.071
31,323
1,000
WS * TAKscore
Lineair
6,520
1
6,520
2,775
.097
.007
2,775
.383
WS * conditie
Lineair
20,066
1
20,066
8,541
.004
.020
8,541
.830
Error (WS)
Lineair
960,917
409
2,349
‡‡
Computed using alpha = ,05
Tabel 8.
Tests of Within-Subjects Contrasts
Uit Tabel 8 blijkt dat er een significante groei is in woordenschat (WS) tussen meetmoment 1 en 2: in beide condities is er een significante groei geconstateerd (effect WS: F = 31,323, df = 1, p = .00). Er lijkt een licht verband tussen toetsscore en score op de TAK, maar dit verband is niet significant (WS * TAKSCORE: F = 2,775; df = 1, p = .09). Het verschil tussen beide proefgroepen bij aanvang was ook niet significant (vergelijk Tabel 6). Belangrijkste bevinding uit Tabel 8 is het verschil in woordenschatgroei tussen beide condities: de interactie tussen woordenschat en conditie blijkt significant te zijn (effect WS * CONDITIE: F = 8,541, df = 1, p = .00). De grootste groei is te vinden in de experimentele conditie en die is significant groter dan in de controleconditie.
Met behulp van SPSS is nagegaan • of er groei is in woordenschat tussen voor- en natoets; • of er significant verschil is in woordenschat tussen de experimentele en controleconditie op voor- en natoets; • of de mate van groei in gemeten woordenschat samenhangt met de score op de TAK tijdens de voortoets.
Het is niet alleen de vraag of verschillen tussen groepen statistisch significant zijn, ze zijn liefst ook betekenisvol. In hoeverre dat het geval is, is niet met het blote oog waarneembaar aan de gevonden resultaten. Op basis van de resultaten kan wel de effectgrootte per conditie worden berekend. De effectgrootte is het verschil tussen de gemiddelden van de twee groepen, gedeeld door de standaarddeviatie van de controlegroep, ofwel
Het gekozen onderzoeksdesign leent zich voor analyse met behulp van het Repeated Measurement General Linear Model. Hiermee kan worden nagegaan • is er verschil in woordenschat tussen meetmoment 1 en meetmoment 2; • is er sprake van interactie tussen TAK-score en gemeten woordenschat; • is er sprake van interactie tussen conditie en gemeten woordenschat.
De gevonden effectgrootten staan samengevat in Tabel 9:
Tabel 7.
Er zaten 207 leerlingen in de controleconditie en 205 leerlingen in de experimentele conditie (zie Tabel 4). Conditie
NATOETS
Variantiebron
Scores op de TAK woordenschattoets
rekenwaarden
Effect-grootte
Tussen tijdstip 1 en 2 voor de controlegroep
21,73 – 20,53 / 3,695
0,32
Tussen tijdstip 1 en 2 voor de experimentele groep
23,04 – 21,24 / 3,755
0,48
Op tijdstip 2 tussen 23,04 – 21,73 / beide groepen 3,658
0,36
Tabel 9.
Effectgrootten per conditie
Volgens Cohen (1969, p. 23) mag bij een gevonden effectgrootte tussen .20 en .50 gesproken worden van een middelmatig effect. Daarbij moet worden opgemerkt dat de effectgrootte bij de experimentele conditie anderhalf keer zo groot is als bij de controleconditie. Hiermee is de effectiviteit van Op pad met Haas aangetoond.
In deze analyse fungeren de scores op de woordenschattoets als afhankelijke variabelen en conditie als onafhankelijke variabele. Om ongelijkheden in de woordenschat voorafgaande aan het experiment zoveel mogelijk te elimineren is de score op de TAKtoets tijdens het eerste meetmoment in deze statistische analyse gebruikt als covariaat. De resultaten van de analyse staan samengevat in Tabel 8.
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
13
5. Discussie Het in najaar 2010 gehouden experiment met Op pad met Haas in de experimentele conditie en andersoortig materiaal met eenzelfde woordaanbod in de controleconditie leidt tot twee belangrijke conclusies: 1 in beide condities is er significante vooruitgang. Dat is een plezierige constatering: het betekent dat taalonderwijs ertoe doet, dat leerlingen in enkele maanden tijd een significante woordenschatuitbreiding te zien geven. 2 de experimentele conditie gaat significant meer vooruit dan de controleconditie. De effectgrootte is zelfs anderhalf keer zo groot als bij de controleconditie. Dit betekent dat we met Op pad met Haas een krachtig en als plezierig ervaren middel hebben om effectief te werken aan de vergroting van de woordenschat van leerlingen van 3 -7 jaar. De gevonden effectgrootte wijst erop dat Op pad met Haas anderhalf keer zo effectief is als de middelen die we in de controleconditie hebben ingezet. Voor die controleconditie hebben we geduchte tegenstanders in het leven geroepen: niet
alleen Schatkist maar ook het voorlezen van verhalen op de manier zoals die naar huidige wetenschappelijke inzichten het meest effectief is. Zo bezien is het gevonden effect van Op pad met Haas zeker bijzonder te noemen. Er zijn bovendien redenen om te verwachten dat het effect van Op pad met Haas in een reële onderwijssetting meer effect zal sorteren dan uit het huidige onderzoek is gebleken: 1. Zoals aangegeven in paragraaf 3 is er op een aantal scholen systematisch minder tijd besteed aan het gebruik van Op pad met Haas dan de bedoeling was. Er is alle reden om te veronderstellen dat het positieve effect op de woordenschat nog groter zou zijn geweest als de tijdsbesteding in de experimentele conditie zou zijn geweest zoals bedoeld. 2. Zoals te verwachten valt in onderzoek naar de effectiviteit van nieuwe technologie, laat die technologie ons wel eens in de steek. Vanwege technische problemen zijn er al in de looptijd van het onderzoek twee scholen afgehaakt. Bij de scholen die wel doorgingen met het onderzoek bleek ook niet steeds alles te lopen zoals tevoren was bedacht. Dit heeft verschillende redenen: geselecteerde scholen die eerst beweerden dat ze aan alle systeemeisen voldeden, bleken later toch niet aan de systeemeisen te voldoen. Bovendien was tevoren aangekondigd dat de scholen de spellen online zouden kunnen spelen; het eerste spel kon echter niet online gespeeld worden en moest worden geïnstalleerd. Dat gaf veel problemen, omdat veel scholen netwerk¬computers hebben. Tot slot raakten leerkrachten en leerlingen gedemotiveerd doordat er technische mankementen optraden bij het spelen of het instellen van het spel in de versie die bij het onderzoek gebruikt was. Het ligt in de verwachting dat een perfect werkende game zonder technologische uitval meer effect zal bewerkstelligen. 3. Er is, zoals gerapporteerd in paragraaf 3, in de experimentele conditie niet steeds gewerkt in duo’s. Eerder onderzoek heeft laten zien dat werken in duo’s leidt tot meer effect. Het is niet goed mogelijk om te achterhalen welke leerlingen wel in duovorm hebben gewerkt en welke niet. Naar het effect van werken in duo’s blijft het daardoor nu gissen, maar op basis van huidige theoretische inzichten mag gesteld worden dat interactie tussen leerlingen wel leidt tot vergroting van effect. Naar analogie zou ook in onderhavig onderzoek een nog groter positief effect verwacht mogen worden als in de experimentele conditie systematisch in vaste duo´s van leerlingen gewerkt zijn. Zeker wanneer in duo’s werken met serious games tot de vaste routine in een klas gaat behoren, zijn daar positieve effecten van te verwachten.
paragraaf 2), maar ook in creatief opzicht. Dit maakte de samenstelling van de woordenlijst erg ingewikkeld. Door het relatieve korte tijdpad voor selectie van doelwoorden en vervolgens de ontwikkeling van de adventures en de opzet van het onderzoek inclusief de gestandaardiseerde toets heeft er vooraf geen degelijke check plaatsgevonden op de aangeboden doelwoorden in de game. Er was meer tijd nodig geweest om dit optimaal uit te voeren voordat het werkelijke onderzoek zou starten. 2. We hebben geen data beschikbaar gekregen op grond waarvan gedifferentieerde uitspraken mogelijk over het effect van Op pad met Haas op de woordenschat bij reguliere leerlingen en bij leerlingen met taalachterstand. Aanvankelijk was het de bedoeling om ook uitspraken te doen over de mate waarin Op pad met Haas specifiek geschikt is voor leerlingen met een T2-achtergrond en/of met taalachterstand. Dit is een belangrijke kwestie: recent onderzoek laat immers zien dat kinderen die met een taalachterstand aan het onderwijs beginnen in de loop der jaren alleen maar verder achterop raken. Bij een effectieve bestrijding van taalachterstand heeft woordenschat¬uitbreiding dan ook prioriteit. Om de achterstand in te halen, is het nodig dat basisschool¬leerlingen hun woordenschat per jaar met minstens 1000 woorden uitbreiden. De bedoeling was om aan de hand van de gewichtenregeling te achterhalen welke thuistaal bij de leerlingen gehanteerd werd. Omdat de gewichtenregeling in 2010 is herzien en bij de gewichtentoekenning niet meer wordt gelet op factoren die voor ons onderzoek interessant zijn, is deze factor komen te vervallen. Het is echter belangrijk om te benadrukken dat de uitspraken over de effectiviteit van Op pad met Haas op basis van dit onderzoek betrekking hebben op gemengde leerling¬populaties: er zijn immers met opzet zeer uiteenlopende scholen geselecteerd, zowel in stedelijk als landelijk gebied en zowel scholen waar het merendeel van de leerlingen een allochtone afkomst heeft als scholen waar met name T1-leerlingen zitten. Er zijn sterke aanwijzingen voor dat er in ons onderzoek zeven gemengde scholen betrokken waren. Deze uitspraak is gebaseerd op foto’s die we beschikbaar hadden van klassensituaties, de websites van de betreffende scholen en van informatie die de communicatiemedewerkster van Stichting ontSpruit over de scholen heeft verzameld. Belangrijk is te constateren dat er vanuit geen van de scholen enig teken is geweest dat het taalaanbod in de educatieve context te moeilijk zou zijn geweest voor leerlingen. Alle betrokkenen konden zonder talig beletsel werken met de serious game. Op basis van deze resultaten kan om die reden wel worden gesteld dat Op pad met Haas effectief is bij zeer uitlopende leerlingpopulaties.
In dit onderzoek zijn enkele zaken anders gelopen dan gewenst. We noemen twee kwesties:
Figuur 4. De game stimuleert actief taalgebruik
1. De lijst met geselecteerde doelwoorden moest voldoen aan erg veel criteria, zowel wetenschappelijke criteria (zie
14
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
15
6. Literatuurlijst
groep 1 tot en met 4 (Handleiding, toetsboeken, scoreboeken, CDRom). Arnhem (Cito), 2001.
Anderson, R. C., W. E. Nagy: The vocabulary conundrum. American Educator 16,4 (1992), 14–18, 44–47. Berg, M. van den, R.J. Simons: Wat weten we over gaming in het PO en het VO? Den Haag (Stichting Kennisnet), 2008. Bruggink, M., M. Gijsel: Onderzoek naar het taalgebruik van taalzwakke kinderen tijdens het spelen van de game Mijn naam is Haas. Nijmegen (Expertisecentrum Nederlands), 2008. Cohen, J.: Statistical power analysis for the behavioral sciences. New York, 1969. Damhuis, R., P. Litjens: Mondelinge Communicatie. Nijmegen (Expertisecentrum Neder¬lands), 2003. Duerings, J., B. van der Linden, U. Schuurs, H. Strating: Op Woordenjacht. Creatief en effectief werken aan woordenschatuitbreiding. Antwerpen, Apeldoorn (Uitgeverij Garant), 2010. Kienstra, M.: Woordenschatontwikkeling. Werkwijzen voor groep 1-4 van de Basis¬¬school. Nijmegen (Expertisecentrum Nederlands), 2003. Marzano, R.J., D.J. Pickering, J.E. Pollock: Wat werkt in de klas. Vlissingen (Bazalt), 2008. Nulft, D. van der, M. Verhallen: Met woorden in de weer. Praktijkboek voor het basis¬onderwijs. Muiderberg (Coutinho), 2002. Randel, J.J., B.A. Morris, C.D. Wetzel & B.V. Whitehill : The effectiveness of games for educational purposes: a review of recent research. Simulation & Gaming 25 (1992), pp. 261-276. [http:// cofc. edu/~seay/cb/findsim.html] Ruijters, M.: Liefde voor leren: over diversiteit van leren en ontwikkelen in en van individuen en organisaties. Deventer (Kluwer), 2006. Stoep, J.: Interactief voorlezen: een goed begin. In: Onderwijskunde in theorie en praktijk. Bijdragen afscheid Cor Aarnoutse. Red. L. Verhoeven en R. Voeten. 2004, p. 94-104. Schaerlaekens, A., D. Kohnstamm, M. Lejaegere, A. de Vries, L. Peeters & I. Zink: Streeflijst woordenschat voor 6-jarigen. Lisse (Swets & Zeitlinger), 1999. Verhoeven, L., A. Vermeer. Variatie in geletterdheid in het Nederlands als tweede taal. Pedagogische Studiën, 77 (2000), 378390.
© 2011 Expertisecentrum Nederlands © 2011 Mijn naam is Haas © 2011 Stichting ontSpruit
Verhoeven, L., A. Vermeer. Taaltoets Alle Kinderen. Diagnostische toets voor de mondelinge vaardigheid Nederlands bij kinderen van
Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm, elektronisch of op welke wijze dan ook, zonder voorafgaande schriftelijke toestemming van de rechthebbenden.
16
Expertisecentrum Nederlands
Onderzoek Op pad met Haas
17