Leestoetsen Engels en Frans onder de loep Ans van Berkel en Evelyn Wiers In het kader van het Masterplan Dyslexie is in 2008 Toetsen en Interventies bij Dyslexie in het Voortgezet Onderwijs verschenen.1 Hierin zijn twee nieuwe woordleestoetsen voor Engels en Frans opgenomen. In het eerste hoofdstuk2 nemen wij deze toetsen kritisch onder de loep. In de volgende twee hoofdstukken doen wij verslag van eigen onderzoek met deze toetsen onder 49 brugklassers en onder een aantal dyslectische leerlingen.
Hoofdstuk 1. Analyse van de leestoetsen Engels en Frans Het doel van de nieuwe leestoetsen Engels en Frans is het meten van de decodeervaardigheid in die talen. Volgens de auteurs is het kunnen decoderen een noodzakelijke voorwaarde om in een vreemde taal te kunnen lezen: ‘Om te kunnen lezen in het Nederlands, Engels of Frans, moet je in staat zijn om de letters, of groepjes letters, van een geschreven woord te koppelen aan de bijbehorende klank om daarmee tot de juiste uitspraak te komen. Het koppelen van klanken aan letters ligt ten grondslag aan het snel en correct kunnen decoderen [...].’ (Kleijnen e.a. 2008, 47). Decodeervaardigheid wordt door de auteurs gedefinieerd als het accuraat en snel uitvoeren van de omzetting van een visuele code in een klankcode. De toetsen houden in dat in één minuut zoveel mogelijk woorden van een kaart met vier verticale woordrijen moeten worden opgelezen. In de toets Engels kunnen maximaal 108 woorden worden gelezen, in die van Frans 100. De totaalscore is het aantal gelezen woorden min het aantal fouten. Met de toetsen kan ook de leessnelheid (aantal woorden per minuut) en de accuratesse (aantal gemaakte fouten) worden gemeten. De toetsen zijn bedoeld voor individueel verdiepingsonderzoek bij die leerlingen die tijdens de screening met toetsen Nederlands zijn uitgevallen. Ze zouden ook ingezet kunnen worden om een vermoeden van dyslexie te onderbouwen. Decoderen in de moedertaal Omdat geschreven taal wordt beschouwd als een weergave van gesproken taal, wordt het omzetten van geschreven in gesproken taal (decoderen, technisch lezen) als een voorwaarde van lezen gezien. Wij kennen deze voorwaarde vooral waar het gaat om het leren lezen in je moedertaal, in dit geval het Nederlands. Dat wil zeggen dat een lezer woorden waarvan hij de betekenis en de gesproken vorm kent, door middel van verklanking kan lezen, kan herkennen. De klankvorm geeft als het ware toegang tot de betekenis van het woord in het geheugen. Wanneer de betekenis van een woord niet bekend is, kan een lezer zo’n woord van papier wel verklanken, zeker als de spelling regelmatig is, maar hij zal het niet kunnen herkennen. Dan gebeurt er iets dat sterk lijkt op het lezen van pseudowoorden, zoals in de Klepel. In die toets gaat het puur om de verklanking, om de techniek van het lezen, niet om de 1
Zie R. Kleijnen, E. Steenbeek-Planting & L. Verhoeven (2008). Toetsen en Interventies bij Dyslexie in het Voortgezet Onderwijs, Nederlands en de Moderne Vreemde Talen. Nijmegen: Expertise Centrum Nederlands. 2 Dit hoofdstuk is met enige aanpassingen ook verschenen in Tijdschrift voor Remedial Teaching, 1, 2011. 1
herkenning van de woorden. Decoderen als sleutel tot het herkennen van woorden in je moedertaal veronderstelt dus niet alleen kennis van de Nederlandse letterklankkoppelingen, maar ook dat de woorden bekend zijn. Verklanken is niet de enige manier om woorden te herkennen. Zodra een lezer een woord een aantal keren heeft gedecodeerd, zijn in het geheugen de specifieke kenmerken ervan opgeslagen (Reitsma 1983, Share & Shalev 2004). Dat is de basis voor de directe woordherkenning.3 Woorden die op een voor het Nederlands uitzonderlijke manier gespeld worden, zoals veel leenwoorden, kunnen maar ten dele gelezen worden met behulp van de Nederlandse teken-klankkoppelingsregels. Het lijkt logisch te veronderstellen dat een lezer, zodra hij geleerd heeft dat een woord als fauteuil de geschreven vorm is van /fotuij/, dit woord niet meer probeert te verklanken, maar zal lezen door directe woordherkenning. Decoderen in een vreemde taal Net zoals hierboven voor de moedertaal zouden we ook voor een vreemde taal het volgende uitgangspunt willen formuleren: decoderen – in de zin van het koppelen van klanken aan letters – als sleutel tot het herkennen van woorden in een vreemde taal veronderstelt dat de lezer kennis heeft van de letter-klankkoppelingen van de vreemde taal én dat de woorden bekend zijn. Zijn de letter-klankkoppelingen niet bekend, dan is niet duidelijk wat gemeten wordt. Zijn de woorden niet bekend, dan wordt de woordleestoets een toets van pseudowoorden, en wordt alleen de techniek van verklanking gemeten. In het vreemdetalenonderwijs wordt gewoonlijk niet geoefend met technisch lezen. Er worden wel af en toe hardopleesbeurten gegeven, waarbij optredende fouten worden gecorrigeerd. Maar anders dan bij het leren lezen in de moedertaal, wordt er geen systematische aandacht besteed aan de letter-klankkoppelingen. Als de kennis ontbreekt die nodig is om decodeervaardigheid te ontwikkelen, wat is dan te verwachten van een toets die die vaardigheid meet? In het vreemdetalenonderwijs gaat men ervan uit dat je in een vreemde taal niet meer hoeft te leren lezen, omdat je dat in je moedertaal al hebt geleerd. Betekent dat dat je kennis van de Nederlandse letter-klankkoppelingen kunt gebruiken bij het verklanken van de vreemde taal? Dat zou voor een belangrijk deel kunnen kloppen voor de medeklinkers, want die komen in talen met een alfabetisch schrift grotendeels overeen. Maar waar zou een leerling de kennis over de verklanking van klinkerletters vandaan moeten halen? Omdat met name in het Engels de relatie tussen letters en klanken vaak meerduidig is, is het vooral in deze taal lastig om een woord correct te verklanken wanneer het woord onbekend is (vergelijk shave-have, move-love, speak-break). Dat geldt eens te meer wanneer ondersteuning vanuit een context ontbreekt, zoals het geval is in een toets met losse woorden. Hieruit kan een eis voor een woordleestoets worden afgeleid. Als we het lezen van woorden in een vreemde taal willen meten, dan moet het gaan om bekende woorden. Het is trouwens in een vreemde taal ook mogelijk dat woorden herkend worden die niet correct verklankt zijn. Wanneer de leerling denkt dat /briek/ het Engelse woord voor pauze is, en hij zou het bij het lezen ook zo decoderen, wordt het woord toch herkend. Als een leerling het Franse woord haut als /haut/ uitspreekt en zo ook verklankt bij het lezen, dan betekent dat niet automatisch dat hij niet weet dat het woord hoog betekent. Dit moet voor ieder een bekende ervaring zijn: woorden in een 3
In de huidige leesmodellen gaat men ervan uit dat beide routes niet strikt gescheiden zijn maar samenwerken. Zie voor een heldere uiteenzetting over het leesproces Schijf 2009, hoofdstuk 1.
2
vreemde taal kunnen herkennen zonder dat je precies weet hoe je ze moet uitspreken. Wij hebben ons afgevraagd wat voor zin het eigenlijk heeft om in een vreemde taal decodeervaardigheid te meten. De daartoe benodigde, voor de taal specifieke, kennis van letter-klankkoppelingen wordt niet aangeleerd, en kennelijk kun je ook zonder, als je de vaardigheid in je moedertaal verworven hebt. Hierboven werd erop gewezen dat verklanking niet de enige mogelijkheid is om woorden te herkennen. Daarnaast kennen we de directe herkenning, die voor het lezen van leenwoorden een logische mogelijkheid lijkt. Wij gaan ervan uit dat leerlingen in de brugklas niet of nog onvoldoende over kennis van tekenklankkoppelingen in het Engels of Frans beschikken. We verwachten daarom niet dat decoderen in een vreemde taal net zo’n grote rol kan spelen als bij het leren lezen in het Nederlands. Wij veronderstellen dat leerlingen in een vreemde taal leren lezen zoals ze Engelse en Franse leenwoorden in het Nederlands hebben leren lezen. Engelse en Franse woorden waarvan de betekenis en uitspraak bekend zijn, worden door de leerlingen direct herkend wanneer ze ze een aantal keren in geschreven vorm zijn tegengekomen. Woordenschat In de vreemdetalendidactiek gaat het zelden over het belang van decodeervaardigheid voor het lezen (Kwakernaak 2009). Het is de woordenschat die als de belangrijkste voorwaarde voor de ontwikkeling van leesvaardigheid in een vreemde taal wordt beschouwd. De lezer moet over een woordenschat van een zekere omvang en frequentie beschikken. Taalwetenschappers gaan ervan uit dat een leeswoordenschat van rond 2000 meest frequente woorden een minimumvereiste is. Die 2000 woorden bieden het raamwerk voor elke tekst in de betreffende vreemde taal (Nation 2001). Dat aantal zou in de onderbouw van het voortgezet onderwijs aangeleerd moeten worden (van Berkel 2005). Uit dit gegeven kan wederom een eis voor een woordleestoets worden afgeleid. Als er dan al decodeervaardigheid gemeten wordt, dan zouden het bij uitstek frequente woorden moeten zijn die getoetst worden, want de vlotte herkenning van dergelijke woorden levert een forse bijdrage aan het lezen. Het heeft, zeker in de brugklas, weinig zin om minder frequente woorden te onderzoeken. De kans dat de leerling die bij het ‘echte’ lezen tegenkomt en daarover zal struikelen, is immers gering. Voorwaarden Hierboven zijn twee voorwaarden genoemd waaraan de woordkeuze in een decodeertoets voor een vreemde taal zou moeten voldoen: Het moet gaan om bekende woorden. De woorden moeten gekozen zijn uit de 2000 meest frequente. Aan deze voorwaarden is bij de ontwikkeling van de nieuwe toetsen aandacht besteed. De keuze van de woorden is volgens de auteurs namelijk gebaseerd op een analyse van veel voorkomende woorden in lesmethodes en op frequentielijsten (Kleijnen e.a. 2008, 39). Hieronder bespreken wij in hoeverre de toetsen aan de genoemde voorwaarden voldoen. Komen de woorden inderdaad voor in leergangen en gaat het om frequente woorden? Verder gaan we in op uitsluitingscriteria die een rol hebben gespeeld bij de woordkeuze van de toetsen en staan we stil bij een van de toetstechnische aspecten uit de handleiding.
3
Vergelijking van de toetswoorden met de woorden uit brugklasleergangen Wij zijn van een aantal veel gebruikte leergangen Engels en Frans nagegaan, hoeveel van de woorden uit de leestoetsen níét in de brugklasdelen voorkomen. Daarvoor hebben we gebruikgemaakt van de woordenlijsten achter in de leergang, dat zijn de woorden die in de loop van de brugklas geleerd moeten worden. Wij zijn daarbij soepel te werk gegaan. Als niet precies het toetswoord (bv. sudden of bain), maar wel een afgeleid woord voorkwam (bv. suddenly of salle de bains), hebben we dat als voorkomend beschouwd. Voor het Engels zijn de woordenlijsten van de leergangen Stepping Stones, New Interface, Worldwide en All right bekeken, en voor het Frans Franconville, Carte Orange, Grandes Lignes en d’Accord. Er zijn analyses gemaakt van de delen voor elk niveau dat voorhanden is (zie de tabellen 1 en 2). In onze analyse van de leergangen Engels is rekening gehouden met de voorkennis die leerlingen vanuit de basisschool mogelijk hebben meegebracht. Daarom hebben we hoogfrequente woorden als go, and, up, you, by die niet in de leergang voorkomen, als bekend verondersteld.4 In totaal gaat het om 21 woorden. In tabel 1 wordt aangegeven hoeveel van de overige 87 toetswoorden níét in de betreffende leergangen voorkomen. vmbo-bk vmbo-kgt havo/vwo Worldwide 57 54 51 New Interface 78 72 72 All right 58 57 56 Stepping Stones 76 74 62 Tabel 1. Engels: aantal woorden uit woordleestoets (108 min 21 hoogfrequente woorden) dat niet in brugklasleergangen voorkomt. vmbo/kgt havo/vwo Franconville 71 57 Grandes Lignes 63 66 Carte Orange 55 52 d’Accord 39 39 Tabel 2. Frans: aantal woorden uit woordleestoets (100 woorden) dat niet in brugklasleergangen voorkomt.5
Uit de tabellen blijkt dat veel woorden uit de toetsen in de ene of andere leergang niet worden aangeboden. In onze analyse zijn wij uitgegaan van de ideale situatie, dat aan het eind van het schooljaar het hele leerboekdeel is doorgewerkt. Dat is zeker niet altijd het geval. Het beeld is nog minder rooskleurig wanneer de toetsen halverwege het schooljaar worden afgenomen. Dan hebben de leerlingen immers nog niet alle in de leergang voorkomende woorden kunnen leren. In de handleiding bij de toetsen zijn ook de resultaten van het normeringsonderzoek gepubliceerd. Onder de noemer ‘leessnelheid’ is een overzicht te vinden van het aantal woorden dat tijdens dit onderzoek per minuut gelezen is, zonder dat het aantal fouten daarvan is afgetrokken. Ook zijn op grond van het aantal gelezen woorden niveaugroepen gemaakt. Met behulp van deze informatie is het mogelijk na te gaan, 4
Veel is daar ook weer niet van te verwachten: 69% van de Engelse toetswoorden wordt niet aangetroffen in de EIBO-lijst, dat is een lijst waarvan wordt aangenomen dat de woorden op de basisschool aan bod zijn gekomen. 5 Alle Franse leergangen voor de brugklas onderscheiden twee niveaus: havo/vwo en vmbo of vmbogt/havo. In Kleijnen e.a. wordt deze indeling in twee niveaus ‘havo/vwo’ en ‘vmbo-kg/t’ genoemd. Wij hebben ons bij dit gebruik aangesloten.
4
hoeveel van de per niveaugroep gelezen woorden níét in de leergangen voorkomen. Wij hebben alleen naar het tweede afnamemoment gekeken, omdat ons eigen onderzoek aan het eind van het schooljaar heeft plaatsgevonden. Bovendien beperken wij ons bij wijze van voorbeeld tot de marktleiders per taal, Stepping Stones en Grandes Lignes. Met die leergangen hebben immers de meeste leerlingen te maken. In tabel 3 staan de gegevens van Stepping Stones, in tabel 4 van Grandes Lignes. woorden gelezen
woorden niet in leergang
woorden gelezen
woorden niet in leergang
woorden gelezen
woorden niet in leergang
percentage vmbo-bk vmbo-kgt havo/vwo leerlingen 10 ≤ 48 19 ≤ 56 26 ≤ 62 22 15 49-55 26 57-61 30 63-66 26 25 56-62 30 62-66 35 67-73 33 25 63-68 36 67-72 41 74-77 36 25 ≥ 69 ≥ 37 ≥ 73 ≥ 42 ≥ 78 ≥ 37 Tabel 3. Aantal gelezen Engelse woorden per leesniveau (afnamemoment juni) en het maximumaantal woorden daarvan dat niet in de leergang Stepping Stones voorkomt. woorden gelezen
woorden niet in leergang
woorden gelezen
woorden niet in leergang
percentage vmbo/kgt havo/vwo leerlingen 10 ≤ 40 23 ≤ 44 27 15 41-45 27 45-52 34 25 46-55 31 53-61 36 25 56-62 31 62-67 40 25 ≥ 63 ≥ 32 ≥ 68 ≥ 41 Tabel 4. Aantal gelezen Franse woorden per leesniveau (afnamemoment juni) en het maximumaantal woorden daarvan dat niet in de leergang Grandes Lignes voorkomt.
De conclusie die uit de tabellen naar voren komt, lijkt ons duidelijk. Of de leerling nu een snelle of langzame lezer is, in het Engels of in het Frans, hij zal heel wat woorden tegenkomen die hij nog nooit in de leergang gezien heeft en waarvan hij de betekenis en uitspraak waarschijnlijk niet kent. Voeg daarbij dat hij ook niet getraind is in decoderen, en de vraag dringt zich op wat de woordleestoetsen Engels en Frans eigenlijk meten. Frequentieanalyse van de woorden uit de toetsen Met behulp van de website www.lextutor.ca/vp is de frequentie van de woorden uit de Engelse en de Franse leestoets onderzocht. De uitkomst van deze analyses is te vinden in tabel 5. Hieruit blijkt dat van de Engelse woorden 71% tot de meest frequente 2000 woorden behoort en in het Frans 66%. Dat betekent dat in elke toets rond een derde van de woorden niet voldoet aan het frequentiecriterium. Of leerlingen woorden als amazement, educationalist of allegiance in het Engels, of baignoire, vignoble of distraction in het Frans nu wel of niet zullen kunnen ontsleutelen, maakt voor het lezen van teksten niet veel uit. De kans is gering dat zij die woorden tegenkomen.
5
Engels (108 woorden) Frans (100 woorden) woorden 1-1000 52% 46% woorden 1001-2000 19% 20% Tabel 5: Frequentie van de woorden in de Engelse en Franse leestoets.
Volgens de handleiding bij de toetsen (Kleijnen e.a. 2008, 39) begint elke leeskaart met korte, hoogfrequente woorden die geleidelijk aan langer en minder frequent worden. Hoewel niet duidelijk is wat met de lengte van een woord wordt bedoeld (aantal letters? aantal geschreven lettergrepen? aantal klanken? aantal gesproken klankgrepen?) en het lengtecriterium ook niet altijd lijkt te kloppen (het Engelse scarf bijvoorbeeld is woord 58 en beautiful woord 40; het Franse rien is woord 59 en poitrine woord 40) willen we ons hier richten op de frequentie van de woorden. Wanneer we de toets per rij bekijken, blijkt dat in de Engelse toets de eerste 55 woorden (de eerste twee rijen) alle tot de 2000 meest frequente behoren. In de derde rij zijn 17 van de 27 woorden laagfrequent, in de vierde rij zijn dat 14 van de 27 woorden. In de Franse toets komen in de eerste rij 4 woorden voor die niet tot de 2000 meest frequente behoren, in de tweede rij zijn dat er 5, in de derde rij 8 en in de vierde rij 17. Wat ons betreft voldoen dus alleen de eerste twee rijen van de Engelse toets aan het frequentiecriterium. Het gaat in de woordleestoetsen om vervolgonderzoek van leerlingen die mogelijk een leesprobleem hebben, dat zijn de 25% zwakste lezers. Uit de volgende twee tabellen, waarin de frequentie van de woorden is afgezet tegen de gegevens over het aantal gelezen woorden, is af te lezen in hoeverre deze groep met minder frequente woorden te maken krijgt. woorden gelezen
laagfrequente woorden
woorden gelezen
laagfrequente woorden
woorden gelezen
laagfrequente woorden
percentage vmbo-bk vmbo-kgt havo/vwo leerlingen 10 ≤ 48 0 ≤ 56 1 ≤ 62 5 15 49-55 0 57-61 4 63-66 8 25 56-62 5 62-66 8 67-73 11 25 63-68 9 67-72 10 74-77 14 25 ≥ 69 10-31 ≥ 73 11-31 ≥ 78 15-31 Tabel 6. Engels: frequentie van de woorden afgezet tegen het aantal gelezen woorden. woorden gelezen
laagfrequente woorden
woorden gelezen
laagfrequente woorden
percentage vmbo/kgt havo/vwo leerlingen 10 ≤ 40 6 ≤ 44 7 15 41-45 7 45-52 9 25 46-55 10 53-61 10 25 56-62 10 62-67 14 25 ≥ 63 11-34 ≥ 68 15-34 Tabel 7: Frans: frequentie van de woorden afgezet tegen het aantal gelezen woorden.
Alleen de 25% van de leerlingen uit het vmbo-bk en de 10% van de leerlingen uit het vmbo-kgt die van de Engelse toets de minste woorden gelezen hebben, blijken één of geen laagfrequente woorden tegengekomen te zijn. In alle andere gevallen komen
6
ook onder de woorden die door de 25% langzame lezers zijn gelezen, laagfrequente woorden voor. Analyse van de toetswoorden op grond van uitsluitingscriteria Bij de ontwikkeling van de toetsen is rekening gehouden met een aantal uitsluitingscriteria (Kleijnen e.a. 2008, 36). Het gaat om woorden die verwarring kunnen geven of die op de Nederlandse manier correct uit te spreken zijn. In beide gevallen wordt niet zuiver de decodeervaardigheid in de vreemde taal gemeten. De uitsluitingscriteria zijn: 1. Homografen met het Nederlands (Engels: glad6, Frans: hier). Dit zijn dus geschreven vormen die toevallig zowel in het Nederlands als in de vreemde taal bestaan. 2. Woorden die op de Nederlandse manier correct uit te spreken zijn (Engels: milk, Frans: le). 3. Leenwoorden in het Engels en Frans die worden uitgesproken volgens de brontaal (Engels: café au lait, Frans: software). 4. Engelse en Franse leenwoorden in het Nederlands (Engels: computer, Frans: cadeau). Wij hebben de woorden van de toetsen gecontroleerd op deze criteria. Bovendien hebben wij twee criteria toegevoegd, omdat de betreffende woorden ook tot verwarring kunnen leiden: 5. Een geschreven vorm bestaat toevallig zowel in het Frans als Engels (but). 6. Woorden die zowel in het Frans als in het Engels of ook in het Nederlands voorkomen, met (ongeveer) dezelfde betekenis, maar een andere uitspraak (table, urgent). Uit de analyse blijkt dat in de Engelse leestoets aan criterium 1 en 3 is voldaan. Wel zijn er negen woorden waarvan men zich af kan vragen of zij niet correct uit te spreken zijn volgens Nederlandse regels (criterium 2). Wanneer we een Nederlandse uitspraak van
in up en sudden (wat veel kinderen doen) accepteren, zijn dergelijke woorden in het Nederlands correct uit te spreken. Hetzelfde geldt voor een Nederlandse uitspraak van en in from, of van in fast, after en scarf. Als je aan het einde van een woord /ie/ accepteert, dan hoort ook hurry bij dit rijtje. En wie zou een niet-perfecte uitspraak van no fout rekenen? Ook aan criterium 4 wordt niet altijd voldaan. Als we vermelding in het Groene en/of Witte Boekje als uitgangspunt aanhouden, zijn zeven van de toetswoorden te beschouwen als Engelse leenwoorden in het Nederlands: go, down, heavy, hurry, performance, minor en entertainment. Bovendien zijn er daarnaast veel woorden die deel kunnen uitmaken van leenwoorden, zoals boy (vergelijk de leenwoorden playboy en cowboy), work (workshop), car (carport), watch (stopwatch), play (playback). De door ons toegevoegde criteria leveren de volgende informatie. Er komt één woord voor dat toevallig zowel in het Frans als Engels bestaat (car). Er zijn elf woorden die zowel in het Engels als het Frans voorkomen, maar die in beide talen anders worden uitgesproken. Het gaat om table, original, certain, bandage, performance, situation, successive, exercices, protection, attractive en urgent, dat in het Nederlands nog
6
De voorbeelden bij de eerste vier criteria zijn afkomstig uit de genoemde publicatie.
7
weer anders wordt uitgesproken. Al met al zijn er minstens 26 van de 108 Engelse woorden die niet aan de uitsluitingscriteria voldoen. Uit de analyse van de Franse leestoets blijkt dat van de zes criteria alleen het derde criterium is aangehouden. Er komen drie homografen met het Nederlands voor: reine (vgl. in het reine komen), pont en rien (naam Rien). Op de instructie-cd wordt de slot <e> vaak als doffe klinker uitgesproken. Op die manier kunnen woorden zoals lune volgens Nederlandse regels correct worden verklankt. Het gaat in totaal om vijf woorden: vite, lune, plume, parole, utile. Leenwoorden in het Nederlands zijn in de Franse toets wel degelijk opgenomen: bureau en officier. Verder blijken er twee geschreven vormen te zijn gekozen die toevallig zowel in het Frans als Engels bestaan: but en chat. En er zijn vijf woorden die zowel in het Frans als het Engels voorkomen, maar met een andere uitspraak: journal, signature, acceptable, interrogation, insupportable. In totaal blijken zeventien woorden uit de toets Frans niet in overeenstemming met de uitsluitingscriteria. De resultaten van de analyses tot nu toe, die alle de woordkeuze betreffen, geven geen rooskleurig beeld van de toetsen. We vroegen ons af of er door de leerlingen uit het normeringsonderzoek niet veel fouten gemaakt moeten zijn, fouten die niet alleen aan de ontbrekende decodeervaardigheid van de leerlingen te wijten zouden zijn, maar zeker ook aan de samenstelling van de toets. Van de aantallen gemaakte fouten wordt in bijlage 5 van de handleiding (Kleijnen e.a. 2008, 121 e.v.) een overzicht gegeven, ingedeeld van hoog naar laag in percentages van de leerlingen. In tabel 8 geven we voor het afnamemoment juni de aantallen fouten weer. Engels Frans percentage vmbo-bk vmbo-kgt havo/vwo vmbo-kgt leerlingen 10 ≥ 22 ≥ 21 ≥ 18 ≥ 42 15 16-21 17-20 13-17 33-41 25 12-15 13-16 9-12 23-32 25 9-11 9-12 6-8 16-22 25 ≤ 8 ≤ 8 ≤ 5 ≤ 15 Tabel 8. Aantallen fouten Engels en Frans (afnamemoment juni).
havo/vwo ≥ 30 23-29 16-22 10-15 ≤ 9
Er kunnen kennelijk in één minuut heel veel fouten worden gemaakt. Maar of dat er veel meer zijn dan in andere vergelijkbare taken, valt moeilijk te zeggen, omdat het hier om nieuwsoortige toetsen gaat. De enige gegevens waarmee we de aantallen gemaakte fouten op de woordleestoetsen zouden kunnen vergelijken, komen uit het brugklasonderzoek van Schijf (2009). Aan het begin van het schooljaar kregen 689 brugklassers van verschillende opleidingsniveaus onder meer een Een-Minuut-Test voorgelegd met Engelse leenwoorden. De gemiddelde score op deze test was 61, van de woorden was 7.2% fout gelezen (Schijf 2009, 84). Omgerekend werden gemiddeld 65.7 woorden gelezen, waarvan gemiddeld 4.7 woorden fout. Omdat de toetsen inhoudelijk niet hetzelfde zijn, en het in het geval van de leenwoorden om een toets aan het begin van het schooljaar gaat, moeten we voorzichtig zijn met een vergelijking. Toch lijkt het zo te zijn dat, vergeleken met de resultaten van Schijf, de foutenaantallen op de woordleestoetsen wel erg hoog zijn. Lokale meetnauwkeurigheid In hoofdstuk 3 van de handleiding wordt een aantal psychometrische kenmerken van de toetsen besproken. Omdat de gegevens over de lokale meetnauwkeurigheid vragen oproepen, willen we dit aspect van de betrouwbaarheid van de toetsen aan
8
de orde stellen. Lokale meetnauwkeurigheid houdt in dat een leerling die op een bepaald niveau presteert, door de toetsen ook daadwerkelijk als zodanig wordt geclassificeerd. Ligt de waarde onder de 50%, dan zegt de classificering nog minder dan het opgooien van een muntje: dan heb je tenminste nog 50% kans om in de juiste scoregroep te belanden. Voor de normering is gebruikgemaakt van een verdeling in vijf niveaus: het A-, B- en C-niveau betreft steeds 25% van de leerlingen, waarbij A het hoogste niveau is. Het E- en D-niveau betreffen samen eveneens 25% van de leerlingen, waarbij het Eniveau verwijst naar de 10% zwakste leerlingen. Omdat de toetsen bedoeld zijn voor verdiepingsonderzoek van zwakke lezers, is het uitermate belangrijk dat juist aan zulke leerlingen het juiste niveau wordt toegewezen. Met andere woorden: het mag niet zo zijn dat een E-lezer op de Engelse of de Franse toets als C-lezer uit de bus komt, of omgekeerd. In de handleiding wordt de bespreking van de lokale meetnauwkeurigheid beperkt tot E-lezers op de Engelse toets (Kleijnen e.a. 2008, 43). Voor alle brugklastypen, zowel op het eerste als tweede meetmoment, geldt dat rond 70% van de E-lezers als Elezer wordt geclassificeerd, en tussen 11.3% en 16.2% als D-lezer. Dit wordt als positief resultaat gezien: zwakke lezers worden grotendeels als slechte lezers (E) of risicolezers (D) in het Engels aangemerkt. Letten we echter op de resultaten voor de D-lezers, dan is het beeld minder rooskleurig. D-lezers van het vmbo-kgt en het havo/vwo in juni en december, laten waarden zien die onder 50% liggen (48.5%, 47.0%, 45.2%, 43.4%). De woordleestoets Engels lijkt daarom voor het inschalen als D-leerling niet zoveel zin te hebben. De – niet in de handleiding besproken – resultaten voor het Frans zijn voor de Eleerlingen minder positief. De kans dat een E-leerling in deze taal inderdaad als Elezer wordt aangemerkt, varieert voor de twee meetmomenten en de verschillende brugklastypen tussen 46.1% en 51.7%. Ook als we de waarden van de als D-leerling ingeschatte E-leerlingen toevoegen, blijven de waarden tamelijk laag. Ze variëren van 56.3% tot 67.1 %. Ook voor de inschaling van de D-leerlingen lijkt de Franse toets weinig zin te hebben: het gaat om percentages die variëren van 26.9% tot 36.6%. Bovendien blijken C-leerlingen veelvuldig als E- of D-leerling ingeschat te kunnen worden, de percentages variëren van 69.3% tot 58%. Een en ander lijkt voor een juiste toewijzing van begeleiding niet echt handig. De conclusie moet luiden dat de Franse toets voor het inschalen van zwakke leerlingen niet zoveel zin lijkt te hebben. Als voorbeeld van het voorgaande laten we, vooruitlopend op het verslag van ons onderzoek in de volgende hoofdstukken, in twee tabellen hieronder zien hoe de onderzochte brugklasleerlingen werden ingeschaald op de Engelse en Franse toets. Aan het brugklasonderzoek namen 49 leerlingen deel, waaronder 6 leerlingen met dyslexie. De tabellen geven het afnamemoment juni weer voor vmbo-kgt: tabel 9 de resultaten van alle 49 leerlingen, tabel 10 van de 6 dyslectische leerlingen. niveau Engels, aantal leerlingen Frans, aantal leerlingen E 5 6 D 2 11 C 11 19 B 12 8 A 19 5 Tabel 9. Leesniveaus Engels en Frans van 49 brugklassers (vmbo-kgt).
9
Uitgaande van rond 25% van de leerlingen per niveau (niveau E en D samen 25%), blijken er in het Engels wel 10% E-lezers te zijn, maar nauwelijks D-lezers. Aan de andere kant zijn er wel erg veel heel goede lezers. Het beeld bij Frans is geheel anders. Wederom rond 10% E-lezers, erg veel C-lezers, en wel erg weinig A- en Blezers. Gelet op het doel van de toetsen zijn de uitkomsten van de E- en D-lezers het meest van belang. Zijn er werkelijk zoveel risicolezers in het Frans en zo weinig in het Engels? Zou dat niet veel meer aan de toetsen liggen dan aan de leerlingen? We hebben ons ook afgevraagd of zich onder de E- en D-lezers in ieder geval de zes dyslectische leerlingen bevonden. Uit tabel 10 blijkt dat dat wel in het Frans het geval is, maar niet in het Engels. Drie van de zes dyslectische leerlingen worden in het Engels zelfs als A-lezers aangemerkt. niveau Engels, aantal leerlingen Frans, aantal leerlingen E 2 D 1 3 C 1 1 B 1 A 3 Tabel 10. Leesniveaus van de zes dyslectische leerlingen.
Conclusie bespreking van de twee woordleestoetsen, vraagstellingen Onze beoordeling van de nieuwe toetsen is uiterst kritisch. Wij vragen ons af wat de toetsen nu eigenlijk meten, omdat we ervan uitgaan dat de leerlingen niet over kennis van de teken-klankkoppelingregels in het Engels en Frans (kunnen) beschikken. Wij hebben gewezen op het feit dat de woorden bekend zouden moeten zijn, en wij vragen ons af of de woorden wat dat betreft wel goed gekozen zijn. Ook zijn wij onaangenaam verrast door het gegeven dat risicoleerlingen slechts ten dele kans hebben om inderdaad als risicoleerling uit de bus te komen. De eerste twee punten hebben we nader onderzocht door de toetsen af te nemen in twee brugklassen en bij 25 dyslectische leerlingen van verschillende leerjaren in het VO. In dat onderzoek wordt ook de vraag gesteld, of er voor het meten van technische leesvaardigheid in een vreemde taal geen betere alternatieven te bedenken zijn. In de volgende twee hoofdstukken wordt hiervan verslag gedaan. Literatuur Berkel, A.J. van (2005). Woordjes leren in een vreemde taal (Engels). Tijdschrift voor Remedial Teaching. Themanummer Dyslexie, januari, 30-35. Kleijnen, R., E. Steenbeek-Planting & L. Verhoeven (2008). Toetsen en Interventies bij Dyslexie in het Voortgezet Onderwijs, Nederlands en de Moderne Vreemde Talen. Nijmegen: Expertise Centrum Nederlands. Kwakernaak, E. (2009). Didactiek van het vreemdetalenonderwijs. Bussum: Coutinho. Nation, P. (2001). Learning Vocabulary in Another Language. Cambridge University Press. Reitsma, P. (1983). Phonemic and graphemic codes in learning to read. Academisch proefschrift, Vrije Universiteit Amsterdam. Schijf, G.M. (2009). Lees- en spellingvaardigheden van brugklassers. Academisch proefschrift, Universiteit van Amsterdam. Share, D.L. & C. Shalev (2004). Self-teaching in normal and disabled readers. Reading and Writing: An Interdisciplinary Journal, 17, 769-800.
10
