PISA Programme for International Student Assessment
PISA in focus: handboek
Vakgroep Onderwijskunde
PISA Programme for International Student Assessment
PISA in focus: handboek
Vakgroep Onderwijskunde
UNIVERSITEIT GENT Vakgroep Onderwijskunde
IN L E I D I N G
Handboek PISA - INLEIDING
0.0
5
Inleiding
PISA (Programme for International Student Assessment) is een sterk ontwikkeld instrumentarium om internationaal de resultaten van onderwijssystemen te onderzoeken. Om de drie jaar worden de kennis en vaardigheden van leerlingen die bijna het einde van hun leerplichtige leeftijd bereikt hebben, getest. Op die manier krijgen de deelnemende landen vaste criteria en regelmatige updates over hoe hun leerlingen volgens die criteria leren. Na verloop van tijd zullen de landen de effecten van hun onderwijsvernieuwingen kunnen zien en kunnen ze veranderingen in hun leerlingprestaties vergelijken met de internationale benchmarks. De eerste cyclus van dit OESO-onderzoek werd uitgevoerd in 2000 in 32 landen. De tweede ronde volgde in 2003 en werd in 41 landen afgenomen. Aan de derde cyclus, die in 2006 plaatsvond, namen reeds 57 landen deel en in 2009 participeerden 75 landen. De jongste cyclus van 2012 werd in 98 landen afgenomen. De geografische spreiding van de deelnemende landen toont duidelijk dat het PISAonderzoek door steeds meer landen en werelddelen gebruikt wordt bij de evaluatie van hun onderwijssysteem.
OESO-landen (34)
Figuur 0.1: Overzicht van de landen die deelnamen aan PISA2009
Partnerlanden (niet OESO-landen) (31)
Op onderwijskundig vlak is PISA het grootste vergelijkend onderzoek ooit uitgevoerd. Aan de laatste PISA-cyclus in 2012 namen over alle landen ongeveer 470.000 leerlingen deel.
0.1
Hoe werkt PISA?
In elke cyclus worden dezelfde drie kennisdomeinen onderzocht (leesvaardigheid, wiskundige geletterdheid en wetenschappelijke geletterdheid). In elke cyclus ligt de nadruk op één van deze domeinen en worden de andere in mindere mate bevraagd. Zo was de focus van PISA2000 leesvaardigheid, bij PISA2003 stond het domein wiskundige geletterdheid centraal en in PISA2006 was wetenschappelijke geletterdheid het hoofddomein. In PISA2009 herbegon deze opvolging en was het hoofddomein opnieuw leesvaardigheid en in 2012 was dat opnieuw wiskundige geletterdheid. In PISA2015 zal de focus liggen op wetenschappelijke geletterdheid. PISA2000
PISA2003
PISA2006
PISA2009
PISA2012
Leesvaardigheid
Wiskundige geletterdheid (& probleemoplossend vermogen)
Wetenschappelijke geletterdheid
Leesvaardigheid (& digitale leesvaardigheid)
Wiskundige geletterdheid (& Computer-based Mathematics)
Handboek PISA - INLEIDING
6
Het PISA onderzoek richt zich op 15-jarigen, ongeacht in welke onderwijsvorm of leerjaar deze les volgen. De geselecteerde leerlingen worden in hun school getest. Gedurende twee uur vullen ze een testboekje in met cognitieve testvragen. Hierin worden aan de hand van verschillende soorten vragen (open vragen, meerkeuzevragen,…) gegevens over de drie kennisdomeinen verzameld. Daarna vullen alle leerlingen ook een achtergrondvragenlijst over zichzelf, hun leergewoontes, attitudes en hun school in. Ook de directies van de deelnemende scholen vullen een vragenlijst in over hun school. De informatie uit die vragenlijsten wordt gebruikt om verschillen in prestaties te helpen verklaren. De vragen uit de PISA-testboekjes overschrijden het louter kennisniveau en zijn niet gebaseerd op de curricula van de deelnemende onderwijssystemen. PISA heeft immers de bedoeling om te kijken in welke mate leerlingen hetgeen ze leerden op school daadwerkelijk kunnen toepassen in contexten die ze in het dagelijkse leven of op de werkvloer zullen tegenkomen. In het bijzonder wordt onderzocht in welke mate leerlingen begrippen en concepten verstaan, processen beheersen en aangeleerde vaardigheden in verschillende situaties kunnen toepassen. Aangezien PISA de vaardigheden van leerlingen test in min of meer reële situaties worden alle vragen aangeboden in een bepaalde context. Dat kan een tekst zijn, een tekening, een grafiek, enz. Bij elke context volgen één of meerdere vragen of opdrachten. Nadat het onderzoek in alle landen is afgelopen krijgen alle vragen een moeilijkheidsgraad toegekend. Die maakt het mogelijk om de scores te berekenen die nadien in alle rapporten worden getoond.
0.2
PISA in Vlaanderen
Vlaanderen nam vanaf 2000, de eerste fase, deel aan het PISA-onderzoek. De deelname wordt gefinancierd door het Vlaams Ministerie voor Onderwijs en Vorming en uitgevoerd door de Vakgroep Onderwijskunde van de Universiteit Gent. De Vlaamse steekproef is volledig representatief naar net, onderwijsvorm en studierichting en ook het BUSO-onderwijs wordt er expliciet in opgenomen. Iedere cyclus worden in totaal ongeveer 5000 leerlingen bevraagd, verspreid over ongeveer 160 verschillende scholen. Hoewel er op basis van PISA-resultaten geen uitspraken kunnen worden gedaan over de kwaliteit en/of effectiviteit van scholen, krijgen alle Vlaamse PISA-scholen een feedbackrapport naar aanleiding van hun deelname. Daarin worden hun resultaten gesitueerd binnen de pool van alle deelnemende scholen en vergeleken met 5 scholen waarin eenzelfde leerlingpopulatie werd getest. Op die manier krijgt men zicht op hoe de eigen 15-jarigen op het moment van de testafname presteerden op de wiskunde, wetenschappen- en leesvragen in vergelijking met dezelfde groep in de andere scholen.
0.3
Waarom dit handboek?
Na afloop van elke PISA-cyclus blijven na het verschijnen van het eerste Vlaamse PISA-rapport steeds dezelfde vragen opduiken: • • •
Welke vaardigheden hebben Vlaamse leerlingen goed onder de knie en waar is nog verbetering mogelijk? In welke mate hangt de studiekeuze samen met de prestatie van de leerlingen? Wat is het prestatieverschil in de verschillende onderwijsvormen en studierichtingen? Welke vragen gebruikt PISA om vaardigheden te testen en kunnen scholen over die vragen beschikken om zowel de Vlaamse als de eigen resultaten beter te kunnen inschatten?
Handboek PISA - INLEIDING
7
Met dit handboek willen we een antwoord geven op bovenstaande vragen voor de domeinen wiskundige geletterdheid, wetenschappelijke geletterdheid en leesvaardigheid. De eerste drie hoofdstukken van dit handboek gaan zo gedetailleerd mogelijk in op de wiskunde-, wetenschappen- en leesprestatie van de Vlaamse 15-jarigen. Eerst worden de domeinen en de constructie van de rapporteringsschalen uitgelegd. Vervolgens worden de complexe geletterdheidsbegrippen besproken volgens hun subdomeinen en onderverdelingen die enerzijds de geteste kennisgebieden en anderzijds de geteste vaardigheden weerspiegelen. Deze bespreking gebeurt op itemniveau (vraag per vraag afzonderlijk), waarbij telkens twee voorbeelden van PISA-vragen worden getoond en toegelicht. Om de Vlaamse resultaten te plaatsen, wordt bij elke onderverdeling een vergelijking gemaakt met de Nederlandse, Finse en Duitse resultaten en met het gemiddelde overheen alle deelnemende OESO-landen. Omdat het niet mogelijk is om op een overzichtelijke manier alle landen die aan het onderzoek deelnamen in de figuren op te nemen, richten we ons op enkele interessante (Europese) vergelijkingspunten: •
•
• •
0.4
Nederland omdat dit samen met Vlaanderen de enige deelnemer is waar de PISA-test in het Nederlands wordt afgenomen. Verder zorgt de opdeling in opleidingstypes voor een soortgelijke stratificatie binnen het onderwijssysteem en behoort Nederland net als Vlaanderen tot de ‘top 10’-landen voor wiskundige geletterdheid. Duitsland omdat dit net als Nederland een buurland is met een gelijkaardige stratificatie van het onderwijssysteem. Ook in Duitsland worden leerlingen onderverdeeld in verschillende schooltypes en richtingen en spreken we dus van een ‘tracked system’. Finland door zijn voorbeeldfunctie op het vlak van de combinatie van hoge prestaties en een hoge mate van gelijkheid tussen de leerlingen. Het OESO-gemiddelde als internationale vergelijkingsbasis.
Hoe dit handboek gebruiken
Het handboek is opgedeeld in twee delen. In het eerste gedeelte dat nu voor u ligt, worden de hoofddomeinen van de PISA cycli van 2003, 2006 en 2009 in detail besproken. De hoofddomeinen in die cycli zijn respectievelijk wiskundige geletterdheid, wetenschappelijke geletterdheid en leesvaardigheid. We trachten een beeld te schetsen van hoe goed Vlaamse 15-jarigen volgens PISA op deze domeinen presteren. De Vlaamse prestaties vergelijken we vervolgens met die van de betekenisvolle referentielanden. De bedoeling van dit eerste gedeelte van het handboek is enerzijds de sterktes en zwaktes binnen de vaardigheden van Vlaamse leerlingen te bestuderen en anderzijds de samenhang tussen hun studiekeuze en hun prestaties op de PISA-testen weer te geven. De verschillende hoofdstukken in dit eerste deel zijn telkens op een gelijkaardige manier opgebouwd. Eerst wordt beschreven hoe PISA het betreffende domein definieert en indeelt, hoe de schalen geconstrueerd worden en op welke vaardigheidsniveaus de vragen zich situeren. Vervolgens worden de Vlaamse prestaties per subschaal in internationaal perspectief geplaatst. Daarna proberen we een verklaring te geven voor de Vlaamse prestatie en tot slot bespreken we de verschillen tussen leerlingen. Het tweede deel van dit handboek bestaat uit een losbladige map waarin alle vrijgegeven items zijn opgenomen. Per vraag geven we de codeersleutel en de bespreking van de Vlaamse prestaties in internationaal perspectief. Dit deel heeft als doel een idee te geven van welk soort vragen gebruikt worden in het PISA-onderzoek om de kennis en vaardigheden van leerlingen te bevragen. Het kan handig zijn de losbladige map met vrijgegeven items bij de hand te houden bij het bestuderen van het eerste deel van het handboek aangezien in het tweede deel meerdere vragen concreet zijn uitgewerkt.
8
Handboek PISA - INLEIDING
De chronologische volgorde wordt in beide delen gerespecteerd. Wiskundige geletterdheid, wetenschappelijke geletterdheid en leesvaardigheid volgen elkaar op in zowel het eerste gedeelte als het losbladige deel. De bespreking van wiskundige geletterdheid is gebaseerd op data van 2003, voor wetenschappelijke geletterdheid werd beroep gedaan op gegevens van 2006 en voor leesvaardigheid dateren de resultaten van 2009. We kozen ervoor om telkens te rapporteren over het hoofddomein van elke cyclus, omdat het hoofddomein het meest in de diepte wordt bevraagd en de resultaten een grondig overzicht geven van de verschillende vaardigheden binnen dat kennisdomein. In 2012 werd wiskundige geletterdheid opnieuw als hoofddomein gemeten binnen het PISA-project. De data waren op het moment van publicatie van dit handboek nog niet gekend, waardoor we ons baseren op de data van 2003. Dit is inmiddels tien jaar geleden. Hierdoor is sommige informatie mogelijk gedateerd en niet meer (volledig) van toepassing op de hedendaagse situatie. Daarnaast merken we ook binnen het Vlaamse onderwijskundige landschap bepaalde verschuivingen op in vergelijking met een tiental jaar geleden. Zo worden bijvoorbeeld bepaalde studierichtingen (zoals Latijn-wiskunde) niet meer in dezelfde mate aangeboden worden in de tweede graad waardoor we voor hen geen betrouwbare gemiddelde prestatie op de PISA-schalen meer kunnen berekenen. Voorzichtigheid is dus geboden bij het interpreteren van de resultaten. Voor resultaten die deze publicatie niet haalden, verwijzen we naar eerdere PISA-rapporten (zie referentielijst in bijlage).
UNIVERSITEIT GENT Vakgroep Onderwijskunde
W IS KU N DIGE G E L E T T E R D H E I D
Handboek PISA - WISKUNDE
11
1. WISKUNDIGE GELETTERDHEID 1.1
‘Wiskunde’ volgens PISA
1.1.1 Definitie en indeling van het domein PISA verstaat onder wiskundige geletterdheid alle vaardigheden die leerlingen gebruiken om wiskundige problemen te analyseren, te communiceren, te interpreteren en op te lossen. Het begrip overschrijdt dus het louter oplossen van traditionele wiskundeoefeningen en wordt gedefinieerd als: ‘het vermogen om de rol van wiskunde in het dagelijkse leven in te schatten, om goed gefundeerde beslissingen te nemen en om wiskunde te gebruiken op manieren die tegemoet komen aan de noden van het leven van een persoon als constructieve, betrokken en denkende burger’. De PISA-definitie is ruimer dan het uitvoeren van mechanische wiskundige operaties en onderzoekt de bekwaamheid om wiskundige kennis en vaardigheden te kunnen toepassen in levensechte situaties. Om dit te testen, ontwikkelde PISA haar eigen itembank bestaande uit 84 vragen. Binnen deze itembank kunnen vier contexten en drie competentieclusters onderscheiden worden. De vier contexten worden bij de rapportage van de resultaten meegenomen als de vier subschalen van wiskundige geletterdheid en verwijzen naar de kennisdomeinen die in de PISA-vragen vervat zitten. Hoewel PISA niet focust op de wiskunde die leerlingen krijgen binnen het schoolcurriculum, kan deze indeling in contexten wel vertaald worden naar wiskundige disciplines die in het wiskundeonderwijs aan bod komen: • • • •
Vorm en ruimte: alle vragen die peilen naar ruimtelijke en geometrische fenomenen en verbanden (~ MEETKUNDE) Relaties en verandering: alle vragen die peilen naar functionele relaties en afhankelijkheid tussen variabelen (~ ALGEBRA) Hoeveelheid: alle vragen die peilen naar kwantitatieve relaties, patronen en numerieke verschijnselen (~ GETALLENLEER) Onzekerheid: alle vragen die peilen naar fenomenen uit de statistiek en kansberekening (~ STATISTIEK)
De drie competentieclusters verwijzen naar de wiskundige processen die nodig zijn om de vraag tot een goed einde te brengen: • • •
Reproductiecluster: het uitvoeren van routineprocedures en toepassen van elementaire wiskundige kennis; Verbindingencluster: het leggen van verbanden tussen diverse representatievormen en het maken van interpretaties; Reflectiecluster: het generaliseren, redeneren, abstraheren, reflecteren en bewijzen.
Verder kunnen de PISA-vragen ook ingedeeld worden volgens een aantal situaties, variërend van situaties in de persoonlijke sfeer over de schoolse en beroepsmatige sfeer tot situaties binnen de publieke en de wetenschappelijke sfeer. Voor een meer gedetailleerde beschrijving van bovenstaande indelingen zie ‘PISA 2003 Assessment Framework: Mathematics, Reading, Science and Problem Solving Knowledge and Skills’ (OECD, 2003).
Handboek PISA - WISKUNDE
12
1.1.2 Schaalconstructie Aangezien het niet mogelijk is om alle leerlingen de 84 wiskundevragen te laten oplossen, werden deze bij de PISA2003 bevraging ingedeeld in zeven clusters die elk een half uur invultijd in beslag nemen. De vragen bij de overige domeinen (leesvaardigheid, wetenschappelijke geletterdheid en probleem oplossen) werden op dezelfde manier ingedeeld. Elke leerling kreeg uiteindelijk een testboekje voorgeschoteld bestaande uit vier verschillende clusters – en dus met twee uur invultijd. De roterende samenstelling van de boekjes, waarbij elke cluster telkens op een andere plaats in een testboekje verscheen, zorgde ervoor dat elke wiskundevraag even vaak voorkwam en op alle mogelijke plaatsen binnen een boekje. De relatieve vaardigheid van een leerling kan geschat worden aan de hand van de proportie vragen die hij/zij juist beantwoordde op de test. Om de prestatie van een leerling te bepalen wordt niet alleen de proportie correct beantwoorde vragen in rekening gebracht, maar ook de moeilijkheid van de vragen. De relatieve moeilijkheid van een vraag in de test kan geschat worden aan de hand van de proportie geteste leerlingen die de vraag correct beantwoordde. Op basis van deze schattingen wordt het mogelijk om een continue schaal te construeren die het concept wiskundige geletterdheid weerspiegelt. Op deze schaal kunnen zowel de individuele leerlingen als de vragen worden geplaatst (zie figuur 1.1). Dergelijke techniek wordt IRT (Item Response Theorie) genoemd en een beschrijving van dit model dat PISA gebruikt, is terug te vinden in het technisch rapport (‘PISA2003 Technical report’, OECD, 2005). Van zodra de verschillende vragen op de schaal werden geplaatst en hun moeilijkheid werd vastgelegd, kan de prestatie van de leerlingen bepaald worden door hen een score te geven op basis van de moeilijkste taak waarvan men verwacht dat de leerlingen ze correct zullen beantwoorden. Dit wil niet zeggen dat leerlingen de vragen met een moeilijkheidsgraad op of onder hun positie op de schaal altijd correct zullen oplossen en nooit moeilijkere vragen tot een goed einde zullen brengen. Zoals de figuur 1.1 laat zien, gebeurt de rangschikking op basis van verwachtingen. Van leerlingen wordt verwacht dat ze de vragen onder hun vaardigheidsniveau zullen kunnen oplossen, terwijl ze vragen met een hogere moeilijkheidsgraad waarschijnlijk niet tot een goed einde zullen brengen. Om een interpretatie van de score van de leerlingen te vereenvoudigen worden alle domeinen binnen PISA op dezelfde manier geschaald. Het gemiddelde overheen alle OESO-landen wordt gelijkgeschakeld met 500 en een standaardafwijking van 100. Ongeveer twee derde van alle deelnemende leerlingen overheen de OESO-landen zal op die manier een score tussen de 400 en de 600 punten hebben. Schaal wisk. geletterdheid
Item VI Items met een relatief hoge moeilijkheidsgraad
Leerling A met een relatief hoog vaardigheidsniveau
We verwachten dat leerling A er zal in slagen om items I tot en met V correct te beantwoorden en waarschijnlijk item VI ook
Item V
Item IV Items met een gemiddelde moeilijkheids-graad
Item III
Leerling B met een gemiddeld vaardigheidsniveau
We verwachten dat leerling B er zal in slagen om items I en II correct te beantwoorden en waarschijnlijk item III ook. Leerling B zal er niet in slagen om items V en VI te beantwoorden en waarschijnlijk item IV ook niet
We verwachten dat leerling C er niet zal in slagen om items II tot en met VI correct te beantwoorden en waarschijnlijk item I ook niet
Item II Items met een relatief lage moeilijkheidsgraad
Item I Leerling C met een relatief laag vaardigheidsniveau
Figuur 1.1: Constructie van de PISA wiskundeschaal
Handboek PISA - WISKUNDE
13
1.1.3 Vaardigheidsniveaus PISA deelt de scores van de leerlingen per domein verder op in vaardigheidsniveaus. Deze onderverdeling met stijgende moeilijkheidsgraad weerspiegelt de competenties die leerlingen aanwenden om de problemen bij het domein aan te pakken. Het domein wiskundige geletterdheid wordt onderverdeeld in zes niveaus. Niveau 1 is het laagste vaardigheidsniveau en bevat de laagste scores (en de gemakkelijkste taken); niveau 6 is het hoogste niveau en bevat de hoogste scores (en dus de moeilijkste taken). De indeling van de zes vaardigheidsniveaus bij wiskundige geletterdheid en een overzicht van het percentage Vlaamse leerlingen dat op elk niveau presteert worden getoond in figuur 1.2. Uit de figuur kunt u afleiden dat leerlingen die gemiddeld minder dan 358 punten behalen, onder niveau 1 presteren. Deze leerlingen zijn misschien wel in staat om wiskundige bewerkingen uit te voeren, maar beschikken niet over de wiskundige vaardigheden om de eenvoudigste PISA-taken tot een goed einde te brengen. Een beschrijving van de vaardigheden van de leerlingen per vaardigheidsniveau van wiskundige geletterdheid is terug te vinden in de eerste Vlaamse brochure bij PISA2003 (De Meyer et al, 2004). Vlaanderen Niveau 6
meer dan 668 punten
12%
Niveau 5
607 tot 668 punten
22%
Niveau 4
545 tot 606 punten
23%
Niveau 3
483 tot 544 punten
Niveau 2
421 tot 482 punten
Niveau 1
358 tot 420 punten
Onder niveau 1
minder dan 358 punten
19% 13% 7% 5%
Figuur 1.2: Percentage Vlaamse leerlingen per vaardigheidsniveau voor wiskundige geletterdheid
Zoals te zien in figuur 1.2 presteert één derde van de Vlaamse PISA-leerlingen op de hoogste 2 niveaus van wiskundige geletterdheid. Dit is het hoogste percentage van alle deelnemende landen. Enkel in Hongkong-China presteerden ook meer dan 30% van de leerlingen (30,7%) gemiddeld op die niveaus; overheen de OESO-landen lag dit percentage op 15%. Aan de andere kant van de schaal wordt het tweede niveau van wiskundige geletterdheid internationaal gebruikt als ‘benchmark’: vanaf dit niveau passen leerlingen echt wiskundige vaardigheden toe bij het oplossen van problemen. In een gemiddeld OESO-land presteert meer dan twee derde van de leerlingen (79%) op dit niveau of hoger. In Vlaanderen stijgt dit percentage tot bijna 90 procent. Deze resultaten tonen aan dat in Vlaanderen een grote groep leerlingen heel hoog presteert op de PISA wiskunde vragen. Maar wat betekent dit precies? • • •
Presteren onze Vlaamse leerlingen zo goed in alle wiskundige kennisdomeinen of wordt het resultaat vooral veroorzaakt door een uitzonderlijke prestatie in één bepaald gebied? Beantwoorden Vlaamse leerlingen de wiskundevragen op een andere manier dan hun leeftijdsgenoten in de andere landen? Is er een bepaald type vraag of vraagstelling waar onze Vlaamse leerlingen beter op presteren in vergelijking met andere landen?
Om de goede Vlaamse wiskundeprestatie beter te begrijpen en een antwoord te vinden op de bovenvermelde vragen is het nodig om in detail te kijken naar wat de PISA-vragen precies inhouden en hoe Vlaamse leerlingen met dit type vragen omgaan.
14
Handboek PISA - WISKUNDE
1.1.4 PISA-vragen per vaardigheidsniveau en onderverdeling Het PISA-raamwerk voor wiskundige geletterdheid wordt gedomineerd door twee dimensies. Zoals hierboven vermeld, onderscheiden we de contexten waarin een vraag wordt aangeboden (~ de wiskundige kennisdomeinen waarbinnen een vraag wordt gesteld) en daarnaast de vaardigheden die de leerlingen moeten toepassen om de vragen op te lossen (~ de PISA competentieclusters). Alle 84 PISA-vragen bij het domein wiskundige geletterdheid kunnen opgedeeld worden volgens deze beide dimensies. Verder kunnen ze ook gerangschikt worden volgens hun moeilijkheidsgraad, wat onderstaande figuur 1.3 oplevert. De 4 kolommen stellen de contexten voor waarbinnen een vraag wordt aangeboden. In het tweede deel van het handboek wordt telkens dezelfde benaming en nummering gebruikt als bij dit gedeelte, links bovenaan het item. De kleuren waarin de namen van de vragen werden genoteerd, verwijzen naar de competentieclusters en dus naar de vaardigheden die leerlingen moeten aanwenden bij het oplossen ervan. Vragen in het blauw behoren tot de reproductiecluster, die in het groen tot de verbindingencluster en de rode maken tenslotte deel uit van de reflectiecluster. Per context werden de vragen gerangschikt volgens oplopende moeilijkheidsgraad. De vragen die onderaan in de grafiek afgebeeld staan, zijn steeds de eenvoudigste vragen en vragen die bovenaan in de grafiek afgebeeld staan, zijn de moeilijkste vragen bij die context. Op de schaal aan de linkerkant kan de score worden afgelezen. De naam die vermeld staat bij het label in de figuur verwijst naar het nummer van de vraag, zoals toegekend in PISA. Ditzelfde nummer vindt u terug telkens wanneer in dit handboek of in het tweede gedeelte van dit handboek een voorbeeld gegeven wordt van een item. De code vindt u dan terug rechts bovenaan de vraag. Ongeveer de helft van de wiskundevragen (N = 39) hoort bij de competentiecluster ‘Verbindingen’, 26 bij de reproductiecluster en 19 bij de reflectiecluster. Uit figuur 1.3 blijkt duidelijk dat de vragen bij de reproductiecluster het eenvoudigst zijn (en dus een beroep doen op de meer eenvoudige wiskundige processen). De reflectiecluster bevat de moeilijkste vragen. Van de 19 vragen bij de reflectiecluster bevindt bijna de helft zich op de hoogste twee vaardigheid-/moeilijkheidsniveaus (N=9). Zowel de meest eenvoudige als de moeilijkste PISA wiskundevraag behoren tot de context ‘Relaties en verandering’ (~ algebra). Bij de moeilijkste vraag (M046Q02) hoort een score van 801 punten (ook wel de drempelwaarde van de vraag genoemd; vaardigheidsniveau 6); bij de gemakkelijkste (M302Q01) daarentegen één van 262 scorepunten (onder vaardigheidsniveau 1). De verdeling van de 84 vragen overheen de subschalen is zeer gelijklopend: de contexten ‘Vorm en ruimte’ en ‘Onzekerheid’ bestaan elk uit 20 vragen en de contexten ‘Relaties en verandering’ en ‘Hoeveelheid’ uit 22. In de volgende hoofdstukken wordt per context getoond hoe PISA deze operationaliseert en vervolgens hoe Vlaamse leerlingen de vragen erbij oplossen. Hierbij wordt steeds dezelfde aanpak gevolgd: eerst worden twee voorbeelden getoond van testvragen bij die context (één eenvoudige en één moeilijke) met enige uitleg en de vermelding van het percentage Vlaamse leerlingen dat die vraag correct beantwoordde. Vervolgens wordt de Vlaamse prestatie op de context internationaal geduid en toegelicht – zowel de gemiddelde prestatie, de prestaties volgens vaardigheidsniveau als de prestaties op vraagniveau. Eenzelfde oefening wordt gemaakt per competentiecluster waarna, ter afronding, een overzicht wordt gegeven van de sterktes en zwakten van de Vlaamse leerlingengroep op het PISA-domein ‘wiskundige geletterdheid’.
250
300
350
400
450
500
550
600
650
700
750
800
850
M555Q02 M598Q01
M406Q01
M462Q01
Vorm en ruimte
M033Q01 M547Q01
M145Q01 M447Q01
M305Q01
M273Q01
M144Q04 M034Q01
M464Q01 M144Q02 M833Q01
M406Q03 M406Q02
M144Q03
M144Q01
M266Q01
M302Q01
M302Q02
M704Q01
M155Q01 M446Q01
M124Q01 M828QQ1 M150Q03 M571Q01 M402Q01 M150Q02
M810Q03
M704Q02
M124Q03 M155Q03
M446Q02
Relaties en verandering
M150Q01
M155Q02 M155Q04
M192Q01
M402Q02
♦Reproductie
M302Q03
M484Q01 M806Q01 M810Q01 M474Q01
M520Q03 M411Q01
M442Q02
♦Verbindingen
Hoeveelheid
M800Q01
M413Q01
M413Q02
M810Q02
M559Q01 M520Q01 M496Q02
M603Q02 M413Q03 M520Q02 M603Q01 M564Q01 M496Q01
M828Q03
♦ Reflectie
M510Q01
M564Q02 M509Q01 M420Q01
M702Q01
Onzekerheid
M423Q01
M438Q01
M421Q01
M828Q02
M803Q01 M513Q01 M421Q03 M408Q01 M438Q02 M468Q01
M421Q02 M179Q01
M411Q02 M505Q01 M467Q01
M710Q01
Handboek PISA - WISKUNDE 15
Figuur 1.3: Verdeling van de 84 wiskunde-items volgens moeilijkheidsgraad, context en competentiecluster
Handboek PISA - WISKUNDE
16
1.2
‘Vorm & Ruimte’ volgens PISA
1.2.1 Operationalisering van ‘PISA meetkunde’ De PISA-subschaal ‘Vorm en ruimte’ heeft betrekking op ruimtelijke en geometrische fenomenen en verbanden en sluit dus het nauwst aan bij het leerdomein meetkunde. De vragen bij dit domein verwachten dat leerlingen: • • •
gelijkenissen en verschillen ontdekken bij het analyseren van (geometrische) vormen; verschillende voorstellingswijzen van die vormen herkennen; de eigenschappen van voorwerpen en hun relatieve posities begrijpen.
Om een idee te geven van hoe PISA deze context ondervraagt, worden hieronder de gemakkelijkste en moeilijkste vrijgegeven vraag bij deze schaal getoond en kort besproken. De meest eenvoudige meetkundige PISA-vraag ‘M547Q01 – Trap’ verwacht van leerlingen dat ze de correcte getallen uit de opgave delen en op die manier het juiste getal (18) bekomen. Bij het uitvoeren van deze bewerking zijn leerlingen, zoals bij alle PISA-vragen, vrij om al dan niet een rekenmachine te gebruiken. Het enige wat PISA wil nagaan, is of leerlingen weten welke getallen ze moeten gebruiken en welke berekening ze moeten uitvoeren om tot een correct antwoord te komen.
TRAP
M547Q01
Hieronder zie je de figuur van een trap met 14 treden met een totale hoogte van 252 cm:
Totale hoogte 252 cm
Totale diepte 400 cm
Wat is de hoogte van elk van de 14 treden? Hoogte: ................................................... cm.
Volledig correct antwoord: 421 scorepunten (begin niveau 2) Code 1: 18 cm Percentage correcte antwoorden: OESO-leerlingen: 78,04% Vlaamse leerlingen: 86,19% Dergelijke berekeningen mogen voor leerlingen van 15 jaar in principe geen enkel probleem vormen en uit het hoog percentage correcte antwoorden overheen de landen (OESO-gemiddelde = 78%) blijkt dit gemiddeld ook niet het geval.
Handboek PISA - WISKUNDE
17
De moeilijkste vrijgegeven meetkundige PISA-opgave (dit is niet de moeilijkste van alle vragen, maar wel de moeilijkste vrijgegeven vraag) ‘M266Q01 – Timmerman’ is van een totaal ander kaliber. Deze opgave bestaat uit vier verschillende vragen en van zodra één van de vier deelvragen foutief wordt beoordeeld, worden geen punten toegekend. In PISA wordt een dergelijk type vraag een ‘complexe meerkeuzevraag’ genoemd.
TIMMERMAN
M266Q01
Een timmerman heeft 32 meter planken en wil daarmee een rand om een bloemperk maken. Hij overweegt de volgende ontwerpen voor het bloemperk. A
B
6m
6m
10 m
10 m
C
D
6m
6m
10 m
10 m
Omcirkel ‘ja’ of ‘neen’ voor elk ontwerp om aan te geven of het bloemperk wel of niet met 32 meter planken gemaakt kan worden. Ontwerp bloemperk Ontwerp A Ontwerp B Ontwerp C Ontwerp D
Kan bij dit ontwerp het bloemperk worden gemaakt met 32 meter planken? Ja / Neen Ja / Neen Ja / Neen Ja / Neen
Volledig correct antwoord: 687 scorepunten (niveau 6) Code 1: Ja, Neen, Ja, Ja in die volgorde Percentage correcte antwoorden: OESO-leerlingen: 19,95% Vlaamse leerlingen: 28,59%
Handboek PISA - WISKUNDE
18
Het formaat van dit item maakt deze vraag zo moeilijk. Op zich kan men verwachten dat de grote meerderheid van de 15-jarigen zeker twee en misschien zelfs drie van de deelvragen zonder problemen kan oplossen, maar zoals blijkt uit de percentages correcte antwoorden bij deze vraag (overheen de OESOlanden is dit net gelijk aan 20% en voor Vlaanderen net geen 30%) is alle vier de deelvragen tot een goed einde brengen voor de meeste leerlingen net te veel gevraagd. De drempelwaarde van deze vraag ligt op een score van 687 punten en bevindt zich dus in het hoogste vaardigheidsniveau.
1.2.2 Gemiddelde Vlaamse ‘meetkunde’ prestatie in internationaal perspectief Met een gemiddelde score van 551 bekleedt Vlaanderen de vierde positie in de rangschikking volgens gemiddelde prestatie op de subschaal ‘Vorm en ruimte’. Enkel 3 Aziatische landen halen een gemiddelde score die hoger ligt, maar door de standaardfouten op de meting verschillen hun prestaties niet significant van de Vlaamse. Anders geformuleerd, geen enkel land scoort significant beter dan Vlaanderen op de PISA meetkundevragen. Daarenboven scoort Vlaanderen voor deze subschaal gemiddeld significant beter dan alle Europese landen uit de ‘top 10’: ‘Vorm en ruimte’ Landen
Gem.
St. Fout
Hongkong - China Japan Korea VLAANDEREN Zwitserland Finland Liechtenstein Macao – China Nederland Australië Canada Duitsland OESO-gem.
558 553 552 551 540 539 538 528 526 521 518 500 496
(4.8) (4.3) (3.8) (2.4) (3.5) (2.0) (4.6) (3.3) (2.9) (2.3) (1.8) (3.3) (0.6)
■ Landen die niet significant verschillend van Vlaanderen presteren ■ Landen die significant lager dan Vlaanderen presteren
Tabel 1.1: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele toplanden op de PISA ‘Vorm en ruimte’ subschaal
Vooral het verschil met Nederland springt op dit subdomein in het oog. Daar waar op de overkoepelende schaal voor wiskundige geletterdheid het verschil tussen Vlaanderen en Nederland 15 scorepunten bedraagt (De Meyer et al, 2004), loopt het verschil op de subschaal ‘Vorm en ruimte’ op tot 25 punten. In vergelijking met de noorderburen scoren Vlaamse leerlingen dus aanzienlijk beter op vragen die aansluiten bij het leerdomein ‘meetkunde’. Wanneer de landen uit de vorige figuur gerangschikt worden volgens het percentage leerlingen dat de internationale benchmark bij de meetkunde subschaal (= vaardigheidsniveau 2) haalt, dan staat Hongkong niet langer op de eerste plaats. Finland neemt nu de eerste plaats in.
Handboek PISA - WISKUNDE
19
In Finland haalt slechts ongeveer 10% van de leerlingen het tweede niveau op de subschaal ‘Vorm en ruimte’ niet. In Vlaanderen bedraagt dit percentage net 12%, wat de percentages van de Aziatische landen benadert. Ook wat het percentage leerlingen dat gemiddeld op de hoogste twee vaardigheidsniveaus scoort betreft, leunt de Vlaamse situatie voor deze subschaal nauw aan bij die van de Aziatische toplanden. Ongeveer één derde van de leerlingen in de Aziatische toplanden en in Vlaanderen bereikt dit niveau. In de Europese vergelijkingslanden ligt dit percentage onmiddellijk een pak lager: in Finland haalt 23% van de leerlingen de hoogste niveaus en in een gemiddeld OESO-land is dit slechts 16%. Niveau 1
< Niveau 1
Niveau 2
Finland
2,5 7,3
Hong Kong - China
Niveau 3
17,0
Niveau 4
Niveau 5
25,5
Niveau 6
24,6
15,2
7,9
4,1
7,0
13,2
Japan
4,2
7,4
13,9
20,0
21,9
18,2
14,3
VLAANDEREN
4,6
7,6
14,3
19,1
21,8
18,8
13,8
Korea
4,8
8,4
14,7
Liechtenstein
5,7
8,1
14,9
Macao-China
4,0
9,8
17,6
Nederland
3,7
10,1
18,6
Zwitserland
5,4
8,6
Canada
4,7
Australië
6,1
10,7 10,8
Duitsland
11,1
13,3
OESO-gem.
10,6
14,2
15,7 20,4
18,7
21,5
19,7
19,9
21,5 24,5
16,5
21,9 21,4
25,0 23,0
18,6
21,2 21,5
16,0
23,2
24,9 21,4
15,6
16,5
23,2
18,4
20,4
19,9
10,1
13,7
7,2
14,6
6,2
15,9 21,4
12,1
21,2 18,4 17,2
11,7
13,2 11,4
6,0
10,4
5,8
5,6 7,3
Figuur 1.4: Verdeling van de leerlingen over vaardigheidsniveaus – ‘Vorm en ruimte’ subschaal
De bovenstaande tabel en figuur tonen duidelijk aan dat de scores van de landen die het best presteren op de PISA ‘meetkunde’ subschaal toe te schrijven zijn aan het hoge percentage leerlingen dat in die landen op de hoogste 2 vaardigheidsniveaus presteert.
Handboek PISA - WISKUNDE
20
1.2.3 Vlaamse ‘Vorm en ruimte’ prestaties per PISA-vraag in internationaal perspectief De figuren uit het vorige hoofdstuk toonden duidelijk dat de Vlaamse leerlingen in 2003 een topprestatie leverden voor wiskunde subschaal ‘Vorm en ruimte’. In wat volgt zullen we de prestaties op de afzonderlijke vragen bij de PISA ‘meetkunde’ subschaal bekijken. Op die manier kunnen we nagaan op welk soort vragen de Vlaamse leerlingen vooral goed scoren. Voor deze analyses op itemniveau worden de referentielanden die besproken werden in hoofdstuk 0.3 van deze brochure als vergelijkingsbasis genomen. In de onderstaande figuur staan alle – dus ook niet-vrijgegeven - items/vragen binnen de subschaal ‘Vorm en ruimte’, gerangschikt volgens stijgende moeilijkheidsgraad. De punten in de grafiek weerspiegelen per vraag het percentage leerlingen dat een correct antwoord gaf in de respectievelijke landen. ‘Vorm en ruimte’ OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
M4 62 3
1
Q0
1
2
Q0
06
Q0
Q0
1
06
M4
M4
Q0
2
66
Q0
1
1
Q0
64
44
M2
M4
M1
Q0
4
1
Q0
06
33
M4
M8
Q0
1
1
Q0
44
34
M1
M0
Q0
1
2
Q0
1
Q0
Q0
1
1
73
55
Q0
3
Q0
44
98
45
05
M2
M5
M3
M1
M5
M1
Q0
1
1
Q0
47
44
M4
M1
Q0
33
47
M0
M5
Figuur 1.5: Percentage correcte antwoorden op de vragen bij de subschaal ‘Vorm en ruimte’
Uit figuur 1.5 blijkt dat Vlaanderen voor heel wat PISA meetkundevragen het hoogste percentage correcte antwoorden laat optekenen. Bij de items uit de laagste drie vaardigheidsniveaus (de eerste 10 items) is het verschil met de andere geplotte landen nog betrekkelijk klein (< 10%) en vertonen de geplotte lijnen in grote mate eenzelfde verloop. De enige uitzondering hierbij is het item M598Q01, waar het verschil met de prestatie van Nederland ook al 11% bedraagt. Bij de moeilijkere items begint de Vlaamse lijn zich te onderscheiden van die van de andere landen. Van alle 20 vragen bij de subschaal ‘Vorm en ruimte’ bevinden er zich 8 op het vijfde en zesde vaardigheidsniveau (zie figuur 1.5, de 8 items vanaf M833Q01). Bij zeven van die acht vragen behaalt Vlaanderen het hoogste percentage correcte antwoorden. Opmerkelijk is het grote verschil in percentage correct tussen Vlaanderen en de andere afgebeelde landen dat verschijnt bij de moeilijkste meetkundevragen (namelijk bij de laatste 3 vragen die zich op vaardigheidsniveau 6 bevinden). Wanneer in het bijzonder gekeken wordt naar de kenmerken van de meetkundevragen waar de Vlaamse prestatie opmerkelijk hoger is dan die van de andere landen (verschil > 10%) dan valt op dat al deze opgaven een zeer wiskundige benadering en/of vraagstelling gebruiken en een hoog wiskundig inzicht impliceren. Drie van deze vragen waar Vlaanderen het uitzonderlijk goed op doet, behoren tot dezelfde
Handboek PISA - WISKUNDE
21
unit en bouwen met andere woorden voort op dezelfde opgave. Vermits deze unit niet vrijgegeven is, mogen we hem niet tonen, maar we kunnen wel meegeven dat alle drie de vragen bij de opgave een hoog wiskundig redeneringniveau verwachten. Leerlingen moeten niet enkel een aantal meetkundige berekeningen uitvoeren om de vragen tot een goed einde te brengen, ze moeten de uitkomst ook toelichten. Vlaamse leerlingen doen het uitzonderlijk goed op dergelijke open vragen waarbij (meetkundige) formules en inzichten moeten worden toegepast en toegelicht. Ook de moeilijkste vraag bij deze subschaal (M462Q01) behoort tot een dergelijke categorie, al wordt de uitzonderlijke Vlaamse prestatie hier gedeeltelijk veroorzaakt door de enorme groep Vlaamse leerlingen die een partiële score kreeg op deze vraag. Leerlingen die de vraag niet volledig correct beantwoordden, maar in hun antwoord lieten zien dat ze op de goede weg zaten, kregen hiervoor een score. In Vlaanderen behaalt 62% van de leerlingen die deze vraag beantwoordde een gedeeltelijke score - in vergelijking met bijvoorbeeld 10% in Finland, 13% in Duitsland en 8% in Nederland. In combinatie met de 17% Vlaamse leerlingen die de vraag volledig tot een goed einde bracht (ter vergelijking: 5% in Nederland; 5,5% in Finland en 7,5% in Duitsland) zorgt dit voor het opvallende Vlaamse resultaat op de moeilijkste meetkundige PISA-vraag.
De resultaten op de PISA meetkunde vragen tonen aan dat Vlaamse 15-jarigen zich vooral bij de moeilijkere, meer abstracte meetkundige vragen duidelijk onderscheiden van de prestaties van hun leeftijdsgenoten in andere landen. Vlaamse jongeren laten zich minder afschrikken wanneer er meetkundige formules moeten worden toegepast of wanneer ze hun werkwijze moeten toelichten.
Handboek PISA - WISKUNDE
22
1.3
‘Relaties en verandering’ volgens PISA
1.3.1 Operationalisering van ‘PISA algebra’ De PISA-subschaal ‘Relaties en verandering’ bevraagt onderwerpen die in het Vlaams onderwijs vooral behandeld worden in de lessen algebra. Deze context slaat zowel terug op wiskundige voorstellingen van verandering als op functionele verbanden en afhankelijkheid tussen variabelen. Wiskundige verbanden nemen vaak de vorm aan van vergelijkingen of ongelijkheden, maar ook meer algemene relaties (bijvoorbeeld gelijkwaardigheid, deelbaarheid,…) zijn hierbij relevant. Meer concreet onderzoekt dit subdomein in welke mate leerlingen: • • • •
veranderingen/relaties begrijpen en op een begrijpbare manier kunnen weergeven; verschillende voorstellingen van een bepaald fenomeen (bijvoorbeeld een symbolische voorstelling, grafische, algebraïsche, enz.) met elkaar in verband kunnen brengen; typische veranderingspatronen herkennen wanneer deze zich voordoen; de principes van verandering en relaties kunnen toepassen op de reële wereld.
Om een idee te geven van hoe PISA deze context bevraagt, worden hieronder de gemakkelijkste en moeilijkste vrijgegeven vraag bij deze schaal getoond en kort besproken. De meest eenvoudige, vrijgegeven algebraïsche PISA-vraag ‘M704Q01 – De beste auto’ verwacht dat leerlingen de letters in een formule vervangen door de correcte getallen uit de bijhorende tabel en vervolgens de formule (voornamelijk een som) uitwerken. Deze vraag heeft een drempelwaarde van 447 scorepunten en bevindt zich daarmee op het tweede vaardigheidsniveau. Overheen de OESO-landen heeft slechts een minderheid van de leerlingen problemen om deze eenvoudige formule uit te werken en geeft bijna drie vierden van de leerlingen (73%) het juiste antwoord (15). Zoals bij alle PISA-opgaven zijn de leerlingen ook nu vrij om een rekenmachine te gebruiken bij het uitwerken van de berekeningen. Het is opvallend dat bij deze vraag het percentage correcte antwoorden voor meisjes 74,5% bedraagt terwijl dat voor jongens op 71,3% ligt. Dit is één van de weinige PISA-wiskundevragen waarop meisjes het in PISA gemiddeld beter doen dan de jongens!
Handboek PISA - WISKUNDE
23
M704Q01
DE BESTE AUTO
Een autoblad gebruikt een beoordelingssysteem voor nieuwe auto's en kent de prijs van ‘Auto van het Jaar ’ toe aan de auto met de hoogste totaalscore. Er zijn vijf nieuwe auto’s getest. In de onderstaande tabel staan de toegekende waarderingscijfers. Auto
Veiligheid
Brandstofverbruik
Ontwerp
Interieur
Ca M2 Sp N1 KK
(V) 3 2 3 1 3
(B) 1 2 1 3 2
(O) 2 2 3 3 3
(I) 3 2 2 3 2
De punten hebben de volgende betekenis: 3 punten = Uitstekend 2 punten = Goed 1 punt = Redelijk Om de totaalscore van een auto te berekenen, past het autoblad de volgende formule toe, die een gewogen som is van de afzonderlijke waarderingscijfers: Totaalscore = (3 x V) + B + O + I Bereken de totaalscore voor auto ‘Ca’. Noteer je antwoord hieronder. Totaalscore voor ‘Ca ’: ..............................
Volledig correct antwoord: 447 scorepunten (niveau 2) Code 1: 15 (punten) Percentage correcte antwoorden: OESO-leerlingen: 72,91% Vlaamse leerlingen: 88,86% De moeilijkste vrijgegeven algebraïsche PISA-vraag hoort bij de opgave ‘Lopen’ (M124Q03) en verwacht dat leerlingen, vertrekkende van een gegeven formule, de loopsnelheid van een persoon in zowel meter per minuut als kilometer per uur berekenen. Om een volledig correct antwoord te geven, moeten de leerlingen de correcte snelheid in beide eenheden noteren. Leerlingen die een correcte aanzet of een gedeeltelijk correct antwoord geven, krijgen voor hun poging een gedeeltelijke score toegekend die vervolgens verrekend wordt in het totale percentage correcte antwoorden bij de vraag. De moeilijkheid van de vraag zit niet enkel in het gebruik van een formele algebraïsche uitdrukking, maar ook in het uitvoeren van een reeks opeenvolgende berekeningen. Deze berekeningen zijn wel met elkaar verbonden, maar verwachten een verschillend begrip omtrent het omzetten van formules en eenheden.
24
LOPEN
Handboek PISA - WISKUNDE
M124Q03
De afbeelding toont de voetafdrukken van een wandelende man.
De paslengte P is de afstand tussen de achterkanten van de twee opeenvolgende voetafdrukken. n Voor mannen geeft de f ormule 140 bij benadering de verhouding weer P tussen n en P, waarbij n = aantal stappen per minuut, en P = paslengte in meters. Bernard weet dat zijn paslengte 0,80 meter is. De formule kan toegepast worden op het lopen van Bernard. Bereken Bernards loopsnelheid in meters per minuut en in kilometers per uur. Schrijf je berekening op.
Volledig correct antwoord: 723 scorepunten (niveau 6) Het aantal stappen per minuut dat bij de opgegeven paslengte hoort, wordt correct berekend (= 112 stappen per minuut). Op basis van het aantal stappen per minuut wordt de loopsnelheid in meters per minuut berekend (= 112 x 0,8 meter = 89,6 meters/minuut). Tenslotte wordt de uitgekomensnelheid correct omgerekend naar kilometers per uur (= 5,38 km/uur) Leerlingen die niet alle stappen tot een goed einde brengen of enkele kleine rekenfouten maken in berekeningen, krijgen een partiële score.
Percentage correcte antwoorden (met verrekening van de leerlingen die een partiële score kregen): OESO-leerlingen: 20,62% Vlaamse leerlingen: 47,74%
Leerlingen die deze moeilijke algebraïsche PISA-vraag volledig correct beantwoorden (dus de 2 snelheden correct berekenen), presteren op het hoogste vaardigheidsniveau en krijgen hiervoor een score van 723 punten toegekend. In Vlaanderen slaagt 23% van de ondervraagde leerlingen in deze opdracht in vergelijking met 15% in Nederland, 14% in Finland en 10% in Duitsland. Wanneer het percentage leerlingen dat deze vraag gedeeltelijk correct beantwoordt hierbij wordt verrekend dan stijgt het percentage correcte antwoorden in Vlaanderen tot bijna 50%.
Handboek PISA - WISKUNDE
25
1.3.2 Gemiddelde Vlaamse ‘Relaties en verandering’ prestatie in internationaal perspectief Met een gemiddelde score van 562 neemt Vlaanderen de koppositie in bij de rangschikking volgens gemiddelde prestatie op de subschaal ‘Relaties en verandering’. Dit domein is daarmee de enige wiskundige PISA-subschaal waarbij Vlaanderen een absolute koppositie inneemt. Het scoreverschil met de eerste achtervolger Nederland bedraagt 11 punten en is statistisch significant. Het is trouwens opvallend dat de landen die op de meetkundige PISA-subschaal ‘Vorm en ruimte’ het best scoorden (de drie Aziatische landen Hongkong - China, Japan en Korea) op deze subschaal wat terugzakken en dat een land als Nederland, dat het net minder goed deed op de meetkunde subschaal de tweede positie inneemt voor ‘Relaties en verandering’. ‘Relaties en verandering’ Landen
Gem.
St. Fout
VLAANDEREN Nederland Korea Finland Hongkong - China Liechtenstein Canada Japan Australië Zwitserland Macao – China Duitsland OESO-gem.
562 551 548 543 540 540 537 536 525 523 519 507 499
(2.4) (3.1) (3.5) (2.2) (4.7) (3.7) (1.9) (4.3) (2.3) (3.7) (3.5) (3.7) (0.7)
■ Landen die niet significant verschillend van Vlaanderen presteren ■ Landen die significant lager dan Vlaanderen presteren
Tabel 1.2: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele toplanden op de PISA ‘Relaties en verandering’ subschaal
Wanneer de landen uit de vorige figuur gerangschikt worden volgens de verdeling van de leerlingen overheen de vaardigheidsniveaus, dan springt opnieuw het Nederlandse resultaat in het oog. Het percentage Nederlandse leerlingen dat het tweede vaardigheidsniveau op de algebra subschaal ‘Relaties en verandering’ niet haalt, bedraagt minder dan 10%. Hiermee doen ze het beter dan Finland en Korea waar dit percentage net wel de 10% drempel bereikt. Vlaanderen bekleedt met een percentage van bijna 12% leerlingen die de internationale benchmark niet bereikt een vijfde positie in de rangschikking (zie figuur 1.6). We zien opnieuw dat de landen die de hoogste gemiddelde prestatie behalen bij de subschaal het hoogste percentage leerlingen in de hoogste vaardigheidsniveaus tellen. In Nederland overschrijdt het percentage leerlingen op vaardigheidsniveaus 5 en 6 net de 30%, in Vlaanderen loopt dit op tot 38%. Met 17% van de leerlingen die op het allerhoogste niveau van de algebra subschaal presteert, steekt Vlaanderen op dit criterium met kop en schouders boven de andere landen uit.
Handboek PISA - WISKUNDE
26
Niveau 1
< Niveau 1
Nederland
Niveau 2
Niveau 3
Niveau 4
7,2
16,4
22,7
Finland
2,7
7,0
16,1
24,5
Korea
3,0
7,0
15,7
Canada
2,9
7,6
1,4
4,7
VLAANDEREN Hong Kong - China
5,6
7,0 8,0
14,5
Australië
4,8
9,5
4,6
10,0
15,1
20,7
Japan
6,4
8,5
15,7
20,6
Macao - China
5,2 7,6
Zwitserland
12,2 10,1
Duitsland
9,5
12,6
OESO-gem.
10,2
13,0
18,2 17,3 18,5 19,8
20,6 22,0
9,8
18,6
18,6
10,5
16,4
11,3
19,6 18,5
5,7
13,8
21,6 20,9
6,5
14,0
22,9
21,1
23,4
17,1
21,2
20,5
21,3
7,3
15,6
24,4
23,8
18,5
10,9
17,5
23,0
Liechtenstein
8,9
16,7
23,6
21,0
20,6
11,3
19,2
24,1
24,9 16,6
Niveau 6
21,8
22,3
17,2 12,5
Niveau 5
8,8
13,9 13,2 11,1
6,1 5,3
Figuur 1.6: Verdeling van de leerlingen over vaardigheidsniveau – ‘Relaties en verandering’ subschaal
De prestatie van Vlaamse leerlingen op de PISA ‘algebra’ schaal is opmerkelijk. In geen enkel ander land kunnen 15-jarigen in dezelfde mate moeilijke problemen van algebraïsche aard aanpakken.
1.3.3 Vlaamse ‘Relaties en verandering’ prestaties per PISA-vraag in internationaal perspectief Bij figuur 1.7 met percentages correcte antwoorden op alle items/vragen bij de subschaal ‘Relaties en verandering’ verlopen de lijnen van de geplotte landen grilliger dan bij dezelfde figuur (1.5) voor de meetkunde subschaal ‘Vorm en ruimte’. In figuur 1.7 werden de vragen die bij het PISA algebra domein horen opnieuw gerangschikt volgens oplopende moeilijkheidsgraad. Vlaanderen laat voor heel wat algebra vragen het hoogste percentage correcte vragen noteren, maar voor de rest vertoont de Vlaamse lijn vooral een zeer gelijkaardig verloop met de lijn van Nederland. Vlaamse en Nederlandse leerlingen ‘pieken’ met andere woorden op dezelfde algebraïsche vragen (bijvoorbeeld M150Q03) en ervaren ook voor dezelfde vragen meer moeite bij het oplossen (bijvoorbeeld M402Q02). Bij de gemakkelijkste 10 algebra items (= de items op vaardigheidsniveaus 3 of lager) volgt de Vlaamse lijn in grote mate de vorm van de lijn die het gemiddelde overheen de OESO-landen voorstelt (~ de dikkere blauwe lijn). De hogere positie van de rode lijn toont wel aan dat Vlaamse leerlingen het met enkele vragen in verhouding veel gemakkelijker hebben dan hun leeftijdsgenoten in de andere landen. Een voorbeeld hiervan is de vrijgegeven vraag bij ‘De beste auto’ (M704Q01). In Vlaanderen stijgt het percentage correcte antwoorden bij deze vraag tot bijna 90%. Vlaamse leerlingen zijn met andere woorden zeer bedreven in het correct aflezen en gebruiken van gegevens (getallen) uit een tabel.
Handboek PISA - WISKUNDE
27
‘Relaties en verandering’ % correcte antwoorden
OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
M4 3
2
Q0
3
2
Q0
Q0
24
55
Q0
2
46
M1
M1
3
3
1
Q0
04
02
Q0
Q0
1
1
Q0
02
10
M7
M4
M8
M3
Q0
24
92
M1
M1
3
Q0
Q0
1
28
50
1
Q0
Q0
2
4
2
Q0
1
Q0
Q0
1
02
71
M8
M1
M5
M4
55
Q0
Q0
55
55
50
M1
M1
M1
M1
1
1
1
2
Q0
Q0
50
46
M1
M4
04
Q0
Q0
02
02
M7
M3
M3
Figuur 1.7: Percentage correcte antwoorden op de vragen bij de subschaal ‘Relaties en verandering’
De ‘Relaties en verandering’ vragen waarin zowel Vlaamse als Nederlandse leerlingen uitblinken, bevragen de vaardigheid om niet zo voor de hand liggende informatie in een figuur en/of grafiek terug te vinden of te verklaren. Zowel M155Q02 als M150Q03 zijn voorbeelden van dergelijke vragen. Wanneer leerlingen heel eenvoudige gegevens moeten terugvinden in een figuur of grafiek, dan zijn de verschillen tussen de landen niet zo groot (bijvoorbeeld M150Q02). Van zodra echter de gezochte informatie niet in het oog springt of van zodra een uitleg bij de informatie uit een figuur moet worden gegeven, valt het percentage correcte antwoorden in de andere landen terug in vergelijking met Vlaanderen en Nederland (bijvoorbeeld M124Q01). Net zoals bij de itemfiguur bij de meetkundige PISA-subschaal ‘Vorm en ruimte’ (zie figuur 1.5) ligt de Vlaamse lijn bij de ‘algebra’ figuur 1.7 bij de moeilijkere vragen boven de lijnen van de andere landen. Vlaamse leerlingen antwoorden dus voor de context ‘Relaties en verandering’ beter op de moeilijkste vragen, maar het verschil is ditmaal minder uitgesproken. Het verschil met de prestaties in Nederland bedraagt hier maximum 16%. Bij alle vragen van de subschaal ‘Relaties en verandering’ die zich op vaardigheidsniveau 5 of 6 bevinden, haalt Vlaanderen het hoogste percentage correcte antwoorden (zie figuur 1.7, de 8 laatste items in de grafiek - vanaf M124Q01). Dit is een prestatie die voor geen enkele andere subschaal wordt herhaald en die onmiddellijk de 38% Vlaamse leerlingen op de twee hoogste vaardigheidsniveaus bij deze algebra subschaal verklaart. De resultaten op de vragen bij de PISA ‘algebra’ subschaal tonen aan dat Vlaamse 15-jarigen het in vergelijking met hun leeftijdsgenoten gemakkelijker hebben om meer complexe informatie uit een grafiek of tabel te halen, om een figuur of grafiek te verklaren en om zelf een algebraische formule te ontwikkelen op basis van een aantal gegevens. Kortom, in vergelijking met hun leeftijdsgenoten in andere landen slagen meer Vlaamse 15-jarigen er in om vragen die een beroep doen op algebraïsche vaardigheden van hogere moeilijkheidsniveaus tot een goed einde te brengen.
Handboek PISA - WISKUNDE
28
1.4
‘Hoeveelheid’ volgens PISA
1.4.1 Operationalisering van ‘PISA getallenleer’ De PISA-subschaal ‘Hoeveelheid’ peilt naar de wiskundige vaardigheden die thuishoren op het domein van de klassieke getallenleer. Voorbeelden hiervan zijn: • begrijpen van relatieve afmetingen; • herkennen van numerieke patronen; • gebruiken van getallen om hoeveelheden en meetbare kenmerken van voorwerpen weer te geven. Deze subschaal heeft zowel te maken met getallen als met hoeveelheden en meer bepaald met het verwerken en begrijpen van verschillende voorstellingswijzen van getallen, het maken van schattingen en het begrijpen van bewerkingen. Voor de meest eenvoudige vrijgegeven vraag (‘Wisselkoers’ vraag 1) bij de subschaal ‘Hoeveelheid’ zijn weinig wiskundige vaardigheden nodig om ze op te lossen. Op deze eenvoudige ‘getallenleer’ vraag doen de Vlaamse leerlingen het bijzonder goed.
WISSELKOERS Mei-Ling uit Singapore bereidt zich voor op een verblijf van drie maanden in Zuid-Afrika in het kader van een uitwisselingsprogramma voor studenten. Ze moet Singapore dollars (SGD) wisselen in Zuid Afrikaanse rands (ZAR).
Vraag 1: WISSELKOERS
M413Q01
Mei-Ling ontdekte dat de wisselkoers van de Singapore dollar en de Zuid-Afrikaanse rand de volgende is: 1 SGD = 4,2 ZAR Tegen deze wisselkoers wisselde Mei-Ling 3000 Singapore dollars voor Zuid-Afrikaanse rand. Hoeveel Zuid-Afrikaanse rand kreeg Mei-Ling? Antwoord: .................................................. Volledig correct antwoord: 406 scorepunten (niveau 1) Code 1: 12 600 ZAR (eenheid niet vereist). Percentage correcte antwoorden: OESO-leerlingen: 79.7% Vlaamse leerlingen: 90%
Handboek PISA - WISKUNDE
29
Vlaamse leerlingen weten dus zeer goed dat van hen verwacht wordt om het te wisselen bedrag te vermenigvuldigen met de wisselkoers en brengen dit product bijna steeds tot een goed einde. Hierbij dienen we wel op te merken dat dit niet betekent dat Vlaamse leerlingen zonder problemen de getallen uit de opgave kunnen vermenigvuldigen. Het PISA-onderzoek laat leerlingen toe om een rekenmachine te gebruiken tijdens de test en de vraag in de leerlingenvragenlijst die peilt naar dit gebruik toont aan dat ze dit ook doen. We kunnen met andere woorden enkel concluderen dat Vlaamse 15-jarigen weten welke (eenvoudige) berekening ze moeten uitvoeren om de opgave te beantwoorden en ze voeren dit goed uit, al dan niet met behulp van een rekenmachine. De moeilijkste ‘getallenleer’ vraag hoort bij dezelfde opgave (‘Wisselkoers’ vraag 3). Met een drempelscore van 586 situeert deze vraag zich op het vierde vaardigheidsniveau. Vragen op dit vaardigheidsniveau worden gemiddeld door 40% van alle OESO leerlingen correct beantwoord.
Vraag 3: WISSELKOERS
M413Q03
Tijdens die 3 maanden was de wisselkoers gewijzigd van 4,2 in 4,0 ZAR per SGD. Was het in Mei-Lings voordeel dat de wisselkoers 4,0 ZAR bedroeg in plaats van 4,2 ZAR toen ze haar Zuid-Afrikaanse rands terugwisselde in Singapore dollars? Licht je antwoord toe. Volledig correct antwoord: 586 scorepunten (niveau 4) Code 1: 'Ja', met een juiste uitleg die impliceert de leerlingen weten dat Mei-Ling door de lagere wisselkoers meer Singapore dollars zal krijgen voor haar Zuid-Afrikaanse rands. Percentage correcte antwoorden: OESO-leerlingen: 40.3% Vlaamse leerlingen: 61.7%
Deze open vraag situeert zich in de publieke context. Wat het wiskundig aspect van de vraag betreft, wordt er verwacht van de leerlingen dat ze procedurele kennis in verband met numerieke operaties toepassen: vermenigvuldigen en delen. Dit maakt dat deze vraag behoort tot de subschaal ‘Hoeveelheid’ of het wiskundige domein ‘getallenleer’. De vaardigheden die nodig zijn bij deze vraag zijn niet alledaags: reflectie over het concept ‘wisselkoers’ en de consequenties ervan in specifieke situaties is vereist. Het mathematische achter deze vraag is van een relatief hoog niveau, maar alle nodige informatie wordt expliciet gegeven. Niet alleen het identificeren van de relevante wiskunde, maar ook het vertalen van het probleem naar een wiskundige operatie vergt wat van de leerling. De vaardigheden die nodig zijn om deze vraag op te lossen kunnen omschreven worden als flexibel redeneren en reflecteren: nadenken en redeneren, argumenteren in combinatie met probleem oplossen en communiceren. Deze vraag wordt dan ook ingedeeld onder de competentie ‘reflectie’.
1.4.2 Gemiddelde Vlaamse ‘Hoeveelheid’ prestatie in internationaal perspectief De subschaal ‘Hoeveelheid’ is de tweede subschaal bij wiskundige geletterdheid waarop Vlaanderen de hoogste gemiddelde score behaalt. In tegenstelling tot bij de subschaal ‘Relaties en verandering’ is het verschil met de prestaties van de nummers twee en drie in de rangschikking echter niet statistisch significant. Anders geformuleerd, Vlaanderen deelt samen met Finland en Hongkong-China de koppositie voor wat prestaties op het domein getallenleer betreft.
Handboek PISA - WISKUNDE
30
‘Hoeveelheid’ Landen
Gem.
St. Fout
VLAANDEREN Finland Hongkong-China Korea Liechtenstein Macao-China Zwitserland Nederland Canada Japan Australië Duitsland OESO-gemid.
551 549 545 537 534 533 533 528 528 527 517 514 501
2.0 1.8 4.2 3.0 4.1 3.0 3.1 3.1 1.8 3.8 2.1 3.4 0.6
■ Landen die niet significant verschillend van Vlaanderen presteren ■ Landen die significant lager dan Vlaanderen presteren
Tabel 1.3: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele toplanden op de PISA ‘Hoeveelheid’ subschaal
Bij de rangschikking van de landen volgens de verdeling van de leerlingen overheen de vaardigheidsniveaus, zakt Vlaanderen voor de subschaal ‘Hoeveelheid’ terug naar een vijfde positie. Niveau 1
< Niveau 1
Finland
1,4
5,0
Niveau 2
2,6
7,2
17,0
Macao-China
2,4
8,1
17,8
Hong Kong China
4,1
7,0
13,7
VLAANDEREN
4,9
6,6
12,9
Liechtenstein
4
7,6
Canada
3,8
8,8
4,2
8,6
Nederland
4,1
10,1
Japan
5,7
9,2
Australië Duitsland OESO
5,5 8,5 8,8
11,0 10,4 12,5
16,5 18,1 16,0 18,3 16,6 19,0 17,5 20,1
Niveau 4
21,5
23,0 23,1 24,3 22,0 23,7
5,1
15,6
9,2
21,2
11,6
24,8
24,6 21,9 23,6 22,4 22,0 19,9
6,0
17,1
23,7
25,2 24,2
7,0 6,4
18,7
25,8 23,6
24,1
17,9
25,3
25,8
Niveau 6
15,6
26,0
25,2
19,2
Niveau 5
27,3
26,9
14,6
Korea
Zwitserland
Niveau 3
6,0
14,4 15,7
6,7
15,9
6,7
15,1
6,7
12,5 14,1 11,0
5,2 5,5 4,0
Figuur 1.8: Verdeling van de leerlingen over de vaardigheidsniveaus – ‘Hoeveelheid’ subschaal
Binnen de groep leerlingen die het tweede vaardigheidsniveau niet haalt, valt in Vlaanderen vooral de 5% leerlingen die onder het eerste niveau scoort op. In alle hoger gerangschikte landen ligt dit percentage lager. In Finland bedraagt dit percentage slechts 1.4%. Het is dan ook opvallend dat zowel Vlaanderen als Hongkong-China hun hoge gemiddelde prestatie op dit subdomein in de eerste plaats te danken hebben aan hun grote percentages leerlingen die op de hoogste twee niveaus presteren (respectievelijk 27.9% voor Hongkong en 32.8% voor Vlaanderen). Finland daarentegen combineert een hoog percentage goed presterende leerlingen (24.9% op de hoogste twee vaardigheidsniveaus) met een laag percentage slecht presterende leerlingen, wat hun hoge gemiddelde prestatie nog benijdenswaardiger maakt.
Handboek PISA - WISKUNDE
31
Ook voor de PISA-subschaal ‘getallenleer’ bekleden de Vlaamse 15-jarigen een toppositie. Die toppositie wordt gedeeld met Finland en Hongkong-China. Het is opvallend dat de koppositie van Vlaanderen vooral verklaard wordt door het hoge percentage leerlingen dat op de hoogste twee niveaus presteert. Daartegenover staat dat een relatief hoog percentage van de leerlingen het eerste vaardigheidsniveau niet haalt.
1.4.3 Vlaamse ‘Hoeveelheid’ prestaties per PISA-vraag in internationaal perspectief De figuur met de verdeling van de leerlingen over de vaardigheidsniveaus hierboven doet vermoeden dat Finland de beste prestatie zal laten optekenen voor wat betreft het percentage correcte antwoorden op de meest gemakkelijke vragen/items bij het domein ‘Hoeveelheid’. Vermits daar slechts 6.4% van de leerlingen het tweede vaardigheidsniveau niet haalt, moeten heel wat leerlingen de vragen die onder of net tot deze moeilijkheidsgraad behoren, correct kunnen beantwoorden. Figuur 1.9, waarin de 22 items/vragen van de subschaal ‘Hoeveelheid’ gerangschikt werden volgens stijgende moeilijkheidsgraad, laat inderdaad zien dat op drie van de vier meest eenvoudige ‘getallenleer’ vragen de Finse leerlingen het hoogste percentage correcte antwoorden geven. De enige uitzondering laat zich optekenen voor het op één na gemakkelijkste item (M413Q01), waarop bijna 90% van de Vlaamse leerlingen een correct antwoord geeft in vergelijking met ongeveer 82% in de overige geplotte landen. In tegenstelling tot de figuren bij de andere subschalen springt het Vlaamse percentage correcte antwoorden bij de moeilijkste ‘Hoeveelheid’ vragen niet zo in het oog. Enkel bij de vier moeilijkste vragen behaalt Vlaanderen duidelijk een hoger percentage correcte antwoorden dan de andere geplotte landen. De belangrijkste verklaring hiervoor is te vinden bij de gemiddelde moeilijkheidsgraad van de vragen bij de subschaal ‘Hoeveelheid’. In vergelijking met de andere subschalen heeft de subschaal ‘Hoeveelheid’ minder echt moeilijke vragen. De moeilijkste vraag (M828Q03) bevindt zich met een drempelwaarde van 629 punten op het vijfde vaardigheidsniveau. Aangezien Vlaamse leerlingen zich vooral onderscheiden op de vragen bij niveaus 5 en 6, krijgen ze voor deze subschaal hiertoe minder de kans. Opvallend is dat de twee moeilijke getallenleer vragen (M603Q01 en M520Q02) waarop leerlingen in andere landen gemiddeld beter scoren dan de Vlaamse, meerkeuze vragen zijn. Aangezien er bij de antwoorden op meerkeuze vragen in Vlaanderen niet meer ontbrekende antwoorden voorkomen dan in de andere landen (wat zou kunnen wijzen op minder gokgedrag en dus een kleinere kans op goede antwoorden door het gissen), lijken Vlaamse leerlingen in het algemeen minder goed om te springen met dit soort vragen dan hun leeftijdsgenoten in andere landen. Het tegenovergestelde geldt voor de open vragen: bij alle subschalen ligt in Vlaanderen het percentage ontbrekende antwoorden bij de moeilijkere, open vragen aanzienlijk lager dan in overige landen. Vlaamse 15-jarigen beginnen met andere woorden vlugger een (moeilijke) open vraag op te lossen. Of dit het gevolg is van een grotere zelfzekerheid betreffende het correct oplossen van moeilijke wiskundevragen of daarentegen komt doordat leerlingen in het Vlaamse onderwijs meer gewoon zijn om dit soort vragen te krijgen, is op basis van de PISA-data niet te achterhalen. Ook bij de ‘Hoeveelheid’ subschaal zijn de vier moeilijkste vragen, waar Vlaamse leerlingen beter op scoren dan hun leeftijdsgenoten in andere landen, open vragen. Opvallend is ook dat de twee vragen waarvan de percentages correcte antwoorden in Vlaanderen meer dan 15% hoger liggen dan die in het
Handboek PISA - WISKUNDE
32
tweede gerangschikte land (M442Q02 en M620Q03) naar soortgelijke vaardigheden peilen. De opgaven verwachten van de leerlingen een vorm van gecodeerd rekenen – het toepassen van een bepaalde code op een cijfer of cijferreeks – waarna ze de uitkomst van hun codeerwerk moeten noteren. Meer dan 60% van de Vlaamse leerlingen brengt dergelijke opgaven tot een goed einde, terwijl dit in de overige landen minder dan de helft is. Figuur 1.9 met het percentage correcte antwoorden per vraag bij de subschaal ‘Hoeveelheid’ toont aan dat er bij deze subschaal minder verschillen zijn tussen de landen dan bij de overige wiskundige subdomeinen. De lijnen van de landen vertonen in grote mate hetzelfde verloop. Het verschil tussen het percentage correcte antwoorden in het hoogst geplotte land en dat overheen de OESO–landen bedraagt gemiddeld slechts 15%. 96 correcte antwoorden
OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
3 Q0 28 M8 2 Q0 03 M6 3 Q0 13 M4 2 Q0 42 M4 2 Q0 20 M5 1 Q0 03 M6 1 Q0 10 M5 3 Q0 20 M5 1 Q0 64 M5 1 Q0 11 M4 1 Q0 96 M4 1 Q0 59 M5 1 Q0 84 M4 1 Q0 20 M5 1 Q0 06 M8 2 Q0 96 M4 1 Q0 10 M8 2 Q0 10 M8 1 Q0 74 M4 2 Q0 13 M4 1 Q0 13 M4 1 Q0 00 M8
Figuur 1.9: Percentage correcte antwoorden op de vragen bij de subschaal ‘Hoeveelheid’
Binnen het domein ‘Hoeveelheid’ blijken Vlaamse leerlingen het bijzonder goed te doen bij opgaven waarbij ze een aantal (al dan niet concreet beschreven) bewerkingen achtereenvolgens moeten uitvoeren. Ze laten zich met andere woorden minder dan hun leeftijdsgenoten in de overige landen afschrikken door wiskundige problemen die meer vragen dan het uitvoeren van een simpele hoofdbewerking (optellen, aftrekken, vermenigvuldigen en delen). De Vlaamse 15-jarigen laten zich minder afschrikken door een open vraag dan leerlingen in andere landen en ondernemen vlugger een poging om de vraag in te vullen.
Handboek PISA - WISKUNDE
1.5
33
‘Onzekerheid’ volgens PISA
1.5.1 Operationalisering van ‘PISA statistiek’ De vierde subschaal bij wiskundige geletterdheid, namelijk ‘Onzekerheid’, bevraagt twee domeinen waar Vlaamse 15-jarigen minder vertrouwd mee zijn, namelijk de beginselen van statistiek en kansberekening. In tegenstelling tot de domeinen getallenleer, algebra en meetkunde wordt het domein statistiek nog niet afzonderlijk vermeld in de vakgebonden eindtermen wiskunde voor de eerste graad van het secundair onderwijs. Vlaamse leerlingen worden dus pas in de tweede graad echt geconfronteerd met statistische notaties en interpretaties. Ondanks dit gegeven behalen Vlaamse leerlingen ook op de vragen bij de subschaal ‘Onzekerheid’ zeer goede prestaties. De vragen peilen naar: • • •
begrijpen van experimenten; terugvinden en interpreteren van gegevens ongeacht de manier waarop deze worden aangeboden; gebruiken van statistische bewerkingen en terminologie (bijvoorbeeld het gemiddelde en de mediaan)
De meest eenvoudige vrijgegeven vraag (M438Q01 – Export) wordt hieronder afgebeeld. Het is een voorbeeld van een vraag waarbij de interpretatie van grafieken centraal staat. Nadat de leerlingen, op basis van de concrete vraag, de relevante grafiek geselecteerd hebben, moeten ze de juiste informatie in de grafiek lokaliseren. Deze vraag situeert zich op het tweede vaardigheidsniveau en wordt goed beantwoord door de overgrote meerderheid van de Vlaamse leerlingen: 93% van de leerlingen beantwoordt deze vraag correct.
Handboek PISA - WISKUNDE
34
M438Q01 EXPORT In de onderstaande grafische figuren vind je informatie over de export van Zedland, een land dat de zed als munteenheid gebruikt. Totale jaarlijkse export van Zedland in miljoenen zed, 1996-2000
Exportverdeling van Zedland in 2000
42,6
45 37,9
40 35 30
25,4
Overige 21%
Katoen 26%
27,1
25 20,4 20 Wol 5% Tabak 7% Vruchtensap 9%
15 10 5 0 1996
1997
1998
1999
2000
Vlees 14%
Rijst 13%
Thee 5%
Jaar
Wat was het totaalbedrag (in miljoenen zed) van de export van Zedland in 1998? Volledig correct antwoord : 427 scorepunten (niveau 2) Code 1: 27,1 miljoen zed of 27 100 000 zed of 27,1 (eenheid niet vereist). Afrondingen tot 27 mogen ook aanvaard worden. Percentage correcte antwoorden: OESO-leerlingen: 78.7% Vlaamse leerlingen: 92.7%
Ook bij de moeilijkste vraag is een interpretatie van een grafiek noodzakelijk. Bij deze open vraag wordt een grafiek getoond die afgeleid werd van een bestaande grafiek die een misleidende boodschap weergeeft. Vaak gebruiken de ontwerpers van grafieken hun vaardigheden om de data zo te presenteren dat ze een vooraf bepaalde boodschap ondersteunen. Deze grafiek is daar een voorbeeld van. Er wordt gevraagd aan de leerlingen om na te gaan of de bewering overeenkomt met de gegevens in de grafiek. De vaardigheden redeneren en interpreteren zijn noodzakelijk om dit item op te lossen. De leerlingen moeten ook in staat zijn om hun observatie te communiceren aan de hand van een gepaste argumentatie die gebaseerd is op wiskundig inzicht. Ze moeten gegevens kritisch bekijken, wat maakt dat deze vraag zich op een hoger vaardigheidsniveau bevindt dan de vraag hierboven afgebeeld.
Handboek PISA - WISKUNDE
BEROVINGEN
35
M179Q01
Een televisieverslaggever toonde deze grafiek en zei: ‘De grafiek laat zien dat er een enorme toename is in het aantal berovingen tussen 1998 en 1999.’
Vind je de uitspraak van de verslaggever een redelijke interpretatie van de grafiek? Leg uit waarom je dat vindt.
Volledig correct antwoord: 694 scorepunten (niveau 6) Een antwoord dat zegt dat de interpretatie niet redelijk én verwijst naar het feit dat slechts een klein deel van de grafiek wordt getoond of correcte argumenten bevat in termen van verhouding of percentage stijging. Ook antwoorden die impliceren dat trend data nodig zijn om een correct oordeel te kunnen vormen, mogen als volledig correct worden gescoord. Antwoorden die wel aangeven dat de interpretatie niet redelijk is, maar geen volledige verklaring of fouten in de verklaring bevatten, krijgen een partiële score. Percentage correcte antwoorden (met verrekening van de leerlingen die een partiële score kregen): OESO-leerlingen: 29.5% Vlaamse leerlingen: 48.3%
Handboek PISA - WISKUNDE
36
1.5.2 Gemiddelde Vlaamse ‘Onzekerheid’ prestatie in internationaal perspectief In de rangschikking volgens gemiddelde score staat Hongkong-China op de eerste plaats, maar hun score verschilt niet significant van de Vlaamse. Ook de Nederlandse en Finse gemiddeldes verschillen statistisch niet van de Vlaamse. We kunnen zeggen dat Vlaanderen voor het domein ‘Onzekerheid’ tot de ‘kopgroep van vier landen’ behoort. In zes van de ‘top 10 landen voor wiskundige geletterdheid’ bedraagt het percentage leerlingen dat voor de subschaal ‘Onzekerheid’ het tweede vaardigheidsniveau niet haalt minder dan 10%. In Vlaanderen bereikt echter 11.2% van de 15-jarigen dit niveau niet, waardoor we slechts een zevende plaats in de internationale rangschikking behalen. ‘Onzekerheid’ Landen
Gem.
St. Fout
Hongkong-China VLAANDEREN Nederland Finland Canada Korea Macao-China Australië Japan Liechtenstein Zwitserland OESO-gem. Duitsland
558 551 549 545 542 538 532 531 528 523 517 502 493
4.6 2.3 3.0 2.1 1.8 3.0 3.2 2.2 3.9 3.7 3.3 0.6 3.3
■ Landen die niet significant verschillend van Vlaanderen presteren ■ Landen die significant lager dan Vlaanderen presteren
Tabel 1.4: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele toplanden op de PISA ‘Onzekerheid’ subschaal
Net zoals bij de subschaal ‘Vorm en ruimte’ laat Hongkong-China het hoogste percentage leerlingen in de hoogste twee niveaus neertekenen (33%) en Vlaanderen het tweede hoogste (31.9%). In alle andere landen bedraagt dit percentage minder dan 30%. Voor zowel Vlaanderen als Hongkong-China zijn de hoge gemiddelde prestaties op de subschaal ‘Onzekerheid’ dus opnieuw een logisch gevolg van de grote groep hoogpresteerders. In Nederland en Finland daarentegen zal de hoge gemiddelde prestatie grotendeels te danken zijn aan de kleine groep laagpresteerders (voor beiden landen minder dan 8%).
Handboek PISA - WISKUNDE
Niveau 1
37
< Niveau 1
Niveau 2
Niveau 3
Niveau 4
Niveau 5
Niveau 6
Finland
1,6
5,5
Nederland
1,0
6,7
17,0
23,4
Canada
2,0
6,4
16,5
25,6
26,3
16,4
Korea
2,2 7,2
17,3
25,0
25,7
15,7
Hongkong - China
3,3 6,3
Macao-China
2,5 7,2
VLAANDEREN
3,6 7,6
15,4
12,5
27,2
14,6
16,4
23,2
19,3
18,9
27,0 19,1
24,8
9,5 6,8 6,7
21,1
27,4 19,2
6,8
12,7
23,5 23,1
14,9 20,1
5,4 11,8
Australië
4,1
9,0
17,5
23,8
23,0
15,1
7,4
Japan
4,9
9,1
17,5
23,7
23,5
14,8
6,6
Liechtenstein
5,2
9,5
18,4
23,0
23,8
14,9
5,1
10,7
19,1
Zwitserland
6,3
OESO-gem.
13,3
Duitsland
8,7
7,4 15,2
24,0
21,5
23,8
21,8
22,6
21,2 19,2 19,0
12,9 10,6 9,7
5,8 4,2 2,9
Figuur 1.10: Verdeling van de leerlingen over de vaardigheidsniveaus – ‘Onzekerheid’ subschaal
Vlaanderen behoort tot de toplanden voor de subschaal ‘statistiek’. Deze topprestatie wordt echter, net zoals voor de subschaal ‘getallenleer’, veroorzaakt door de grote groep hoogpresteerders in Vlaanderen. Daarentegen is de groep laagpresteerders relatief groot in Vlaanderen.
Handboek PISA - WISKUNDE
38
1.5.3 Vlaamse ‘Onzekerheid’ prestatie per PISA-vraag in internationaal perspectief Figuur 1.11 met het percentage correcte antwoorden voor alle vragen bij het subdomein ‘Onzekerheid’ toont duidelijk aan dat de Vlaamse prestaties op dit vlak niet zo opzienbarend zijn als voor de andere domeinen. Bij 11 van de 20 vragen geven Vlaamse leerlingen nog steeds het hoogste percentage correcte antwoorden, maar het verschil met de andere landen is meestal kleiner dan 5%. Ook bij de moeilijkste vragen zijn er met andere woorden deze keer minder Vlaamse ‘piekprestaties’. % correcte antwoorden
OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
M4
M1
M8
21
79 Q0
Q0
1
2
1
1
Q0
1
1
Q0
Q0
3
Q0
10
03
M7
Q0
1
13
02
21
2
Q0
Q0
2
2
Q0
1
1
Q0
08
M5
M7
M4
M4
64
38
M5
M4
Q0
Q0
1
11
09
M4
M5
Q0
1
1
Q0
Q0
68
05
67
M4
M5
M4
2
1
1
Q0
Q0
1
Q0
20
28
M4
M8
Q0
21
38
23
M4
M4
M4
Figuur 1.11: Percentage correcte antwoorden op de vragen bij de subschaal ‘Onzekerheid’
Zoals bij de subschaal ‘Relaties en verandering’ vertonen de Vlaamse en Nederlandse lijn ook bij ‘Onzekerheid’ grotendeels hetzelfde verloop. Bij de meest eenvoudige vragen is er sowieso weinig verschil in het antwoordpatroon van de verschillende landen. Wanneer men de antwoordpercentages bij de 5 meest eenvoudige vragen in de figuur 1.11 bekijkt, dan blijkt enkel de Duitse lijn zich voor één item afwijkend te gedragen. Dit bewijst dat de 15-jarigen in de geplotte landen in gelijke mate eenvoudige statistische bewerkingen (bijvoorbeeld het berekenen van een gemiddelde) kunnen uitvoeren of basisinformatie in een grafiek kunnen aflezen (cfr. vrijgegeven item M438Q01 - export). Vanaf de vragen van het vierde vaardigheidsniveau en hoger (vanaf item M067Q01) verlopen de lijnen grilliger en bestaan er dus grote verschillen tussen de landen. Voor Vlaanderen valt hierbij vooral de hoge prestatie voor het item M513Q01 ) op: waar in de andere geplotte landen maximaal 43% van de leerlingen deze vraag correct beantwoorden, ligt dit percentage in Vlaanderen op 65%. Deze vrijgegeven vraag is ook te vinden in het tweede deel van het handboek met de vrijgegeven items. Leerlingen krijgen bij deze vraag een grafiek met de resultaten op een test en het gemiddelde van twee groepen leerlingen. Vervolgens wordt meegedeeld dat de leerkracht op basis van de (gemiddelde) resultaten besluit dat groep B beter presteert dan groep A. Daar groep A niet akkoord gaat met die uitspraak, moeten de leerlingen op basis van de grafiek argumenten aangeven die de leerlingen van groep A kunnen gebruiken om hun gelijk te krijgen. Opnieuw is het dus opvallend hoeveel Vlaamse leerlingen erin slagen om dergelijke argumentatie op te bouwen.
Handboek PISA - WISKUNDE
39
De resultaten tonen dat Vlaamse leerlingen wiskundige gegevens op een kritische manier kunnen benaderen en hanteren. Hoewel in Vlaanderen statistische onderwerpen volgens het leerplan pas vanaf de tweede graad van het secundair onderwijs expliciet moeten behandeld worden in de wiskundelessen, presteert de groep Vlaamse 15-jarigen voor deze wiskundige context op hetzelfde niveau als hun leeftijdsgenoten in de toplanden Nederland, Finland en Hongkong-China.
1.6
Naar een verklaring voor de Vlaamse prestatie voor wiskunde
1.6.1 Scores per wiskundig subdomein Dat Vlaanderen van alle PISA-landen de hoogste gemiddelde score haalt op wiskundige geletterdheid is geen gevolg van een (al dan niet toevallige) uitblinker op één van de wiskundige subdomeinen. Op alle PISA subschalen eindigt Vlaanderen bij de groep ‘toppresteerders’. De meest opmerkelijke prestatie levert Vlaanderen op het PISA-subdomein ‘Relaties en verandering’, wat het meest aansluit bij het leerdomein van de algebra. Geen enkel ander land behaalt een gemiddelde score van eenzelfde niveau, zelfs niet de eerste achtervolger, onze noorderbuur Nederland. Opmerkelijk is wel dat Vlaamse en Nederlandse 15-jarigen binnen dit subdomein uitblinken in hetzelfde type vragen, namelijk vragen om niet zo voor de hand liggende informatie in een figuur of grafiek terug te vinden. Op 15 jaar slagen Vlaamse leerlingen er dus in om de schema’s, figuren, tabellen en diagrammen waarop het PISA-onderzoek een beroep doet functioneel te gebruiken - waarmee ze aantonen dat ze de Vlaamse eindterm wiskunde van de eerste graad van het secundair onderwijs hieromtrent goed bereiken. % correcte antwoorden
OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
Vorm en ruimte
Relaties en verandering
Figuur 1.12: Percentage correct beantwoorde vragen per PISA subdomein
Hoeveelheid
Onzekerheid
40
Handboek PISA - WISKUNDE
Het tweede subdomein waarop Vlaanderen de hoogste gemiddelde score haalt, is dat van de getallenleer of, anders geformuleerd, de PISA-subschaal ‘Hoeveelheid’. Doordat Vlaamse leerlingen beter antwoorden op vragen die verder gaan dan het uitvoeren van simpele hoofdbewerkingen, presteren ze ook voor dit domein beter dan de leerlingen in de meeste andere landen. Zowel voor ‘Onzekerheid’ (~ statistiek en kansberekening) als voor ‘Vorm en ruimte’ (~ meetkunde) haalt Hongkong – China de hoogste gemiddelde score. Voor beide domeinen is het puntenverschil met Vlaanderen echter zo klein dat we nog steeds op hetzelfde niveau presteren. Voor het subdomein ‘Onzekerheid’ is dit een hele prestatie omdat in Vlaanderen statistische onderwerpen pas vanaf de tweede graad van het secundair onderwijs expliciet in de eindtermen worden vermeld. De PISA-resultaten tonen echter aan dat op 15 jaar de meeste Vlaamse leerlingen reeds voldoende vertrouwd zijn met statistische gegevens en (grafische) voorstellingen om een opmerkelijke prestatie neer te zetten. Voor de subschaal ‘Vorm en ruimte’ is Vlaanderen tenslotte het enige Europese land dat de prestaties van de Aziatische landen evenaart. In vergelijking met hun Europese leeftijdsgenoten blijken Vlaamse 15-jarigen het vooral goed te doen op de meer abstracte meetkundevragen en op vragen die een hoog wiskundig redeneringvermogen impliceren.
1.6.2 Verdeling over de vaardigheidsniveaus Ook voor wat de verdeling van de leerlingen overheen de vaardigheidsniveaus betreft, vertoont Vlaanderen op alle PISA-subschalen dezelfde tendens. Op alle subschalen behaalt meer dan 30% van de Vlaamse leerlingen de hoogste twee vaardigheidsniveaus. Dit is een prestatie die door geen enkel ander land wordt geëvenaard en impliceert dat voor alle wiskundige contexten een grote groep Vlaamse 15-jarigen vragen van de hoogste moeilijkheidsgraad kan beantwoorden. Helaas geldt tevens de opmerking dat voor alle subschalen meer dan 11% van de Vlaamse leerlingen op de laagste vaardigheidsniveaus blijft hangen. Deze groep haalt het tweede niveau, dat beschouwd wordt als het minimumniveau om wiskunde actief te kunnen gebruiken, niet. Op dit vlak is de Finse situatie benijdenswaardig: zij slagen erin om voor alle PISA-domeinen hun percentage laagpresteerders tot een minimum te beperken. Hun hoge gemiddelde prestaties vloeien met andere woorden voort uit de combinatie ‘kleine groep laagpresteerders, grote middengroep’, terwijl in Vlaanderen de hoge gemiddelde prestaties veroorzaakt worden door de grote groep hoogpresteerders, maar er tegelijk een veel groter verschil is tussen de sterke en zwakke leerlingen. In tegenstelling tot Vlaanderen slaagt Nederland er wel in om voor de twee wiskunde domeinen waarop ze bijzonder goed scoren (‘Relaties & verandering’ en ‘Onzekerheid’) het percentage leerlingen dat niveau 2 niet haalt te beperken.
1.6.3 Scores per type vraag voor wiskunde Ook de observatie dat Vlaamse leerlingen zich vooral onderscheiden op de moeilijkere wiskunde vragen komt niet als een verrassing aangezien het de grote groep hoogpresteerders is die voor de hoge Vlaamse wiskundescores zorgt. Bij drie van de vier PISA-subschalen behalen de Vlaamse 15-jarigen voor de gemakkelijke vragen een percentage correcte antwoorden dat niet afwijkt van datzelfde percentage in de andere landen, terwijl het percentage correcte antwoorden voor de moeilijkere vragen in Vlaanderen wel aanzienlijk hoger ligt. De enige uitzondering op deze vaststelling is terug te vinden bij het domein van de kansberekening (de subschaal ‘Onzekerheid’), waar Vlaanderen slechts op één vraag uit het vijfde vaardigheidsniveau aanzienlijk hoger presteert dan de andere landen (Figuur 1.11). Het hoge Vlaamse percentage correcte antwoorden bij de vragen met een hoge moeilijkheidsgraad wordt door twee andere bevindingen versterkt.
Handboek PISA - WISKUNDE
41
Ten eerste blijkt uit de analyse op vraagniveau dat Vlaamse leerlingen meer bereid zijn om open en abstractere, meer wiskundig geformuleerde vragen te beantwoorden dan 15-jarigen in andere landen. Vlaamse leerlingen beginnen met andere woorden veel vlugger aan het oplossen van de moeilijke vragen, waar leerlingen in andere landen ze vlugger overslaan. Hierdoor ligt niet alleen het percentage ontbrekende antwoorden bij open (en meestal moeilijkere) vragen hoger in de andere landen (zie figuur 1.12) , maar tegelijk hebben Vlaamse leerlingen meer kans om nog een gedeeltelijke score te krijgen voor de aangevatte oplossing. % correcte antwoorden
OESO-gem
Vlaanderen
Nederland
Duitsland
Finland
100 90 80 70 60 50 40 30 20 10 0
2 Q0 46 M4 1 Q0 62 M4 3 Q0 24 M1 3 Q0 55 M1 1 Q0 79 M1 3 Q0 06 M4 2 Q0 06 M4 2 Q0 04 M7 1 Q0 06 M4 3 Q0 10 M8 3 Q0 02 M3 1 Q0 13 M5 1 Q0 02 M7 1 Q0 24 M1 1 Q0 28 M8 3 Q0 13 M4 3 Q0 50 M1 1 Q0 05 M5 2 Q0 55 M1 1 Q0 21 M4 1 Q0 55 M1
Figuur 1.13: Percentage correct beantwoorde vragen voor de open vragen
Wanneer de bovenstaande vergelijking wordt uitgebreid over alle vraagtypes die in de wiskundige PISA-testen worden opgenomen, dan krijgen we informatie voor 5 antwoordformaten. De meerkeuzeen complexe meerkeuzevragen behoren tot dezelfde familie. Bij de gewone meerkeuzevragen gebruikt PISA vier of vijf antwoordalternatieven waaruit een leerling het juiste antwoord moeten selecteren. De complexe meerkeuzevragen bestaan uit een aantal beweringen (variërend van twee tot vier) waarbij leerlingen per bewering één van de twee keuzemogelijkheden (ja/neen, waar/niet waar, juist/fout) moeten aanduiden. Bij dit soort vragen geven leerlingen pas een correct antwoord wanneer ze alle beweringen juist beoordelen. De korte antwoord en open vragen zijn twee varianten op open vragen. Bij de korte antwoord vragen volstaat het om bijvoorbeeld één getal in te vullen of om te antwoorden met één woord of uitdrukking. De andere open vragen vereisen een uitgebreider schriftelijk antwoord en peilen vaak naar het verduidelijken van een redenering of het geven van een verklaring. Bij de gesloten vragen is het antwoordformaat tenslotte ingebouwd in de vraag. Hier moeten leerlingen bijvoorbeeld verschillende afbeeldingen rangschikken volgens grootte, volgens toenemende oppervlakte, e.d.m. De Vlaamse antwoordpatronen volgen in grote mate dezelfde lijn als die in de andere landen (figuur 1.14). Overheen de OESO-landen worden bij wiskundige geletterdheid de meeste correcte antwoorden gegeven op de gesloten vragen, daarna volgen de multiple choice en korte antwoord-vragen die in de meeste landen in dezelfde mate correct beantwoord worden. Tenslotte blijken de complexe meerkeuzevragen nog iets moeilijker voor 15-jarigen en beantwoorden ze de open vragen het minst goed. Opmerkelijk aan het Vlaamse antwoordpatroon is zoals hierboven reeds gezegd het hoge percentage correcte antwoorden bij de twee categorieën open vragen. In geen enkel ander land beantwoorden leerlingen meer dan de helft van de uitgebreide open vragen correct; in Vlaanderen bedraagt dit percentage 56%. Dit percentage is zelfs hoger dan het percentage correct opgeloste complexe meerkeuzevragen, waaruit blijkt dat Vlaamse 15-jarigen voor wiskundige geletterdheid het meeste moeite hebben
Handboek PISA - WISKUNDE
42
met dit antwoordtype. Daarnaast bedraagt het percentage correcte antwoorden op de korte antwoordvragen in Vlaanderen 71% wat in dezelfde orde van grootte ligt als dat bij de gesloten vragen. Ook dit wordt in geen enkel ander land geëvenaard. Vlaanderen
% correcte antwoorden
Nederland
Duitsland
Finland
OESO-gem
100 90 80 70 60 50 40 30 20 10 0 Meerkeuzevraag
Complexe Meerkeuze
Kort antwoord
Open vraag
Gesloten vraag
Figuur 1.14: Percentage correcte antwoorden per type vraag
Naast een samenhang met vraagtype blijkt er een correlatie tussen de moeilijkheidsgraad van de items en de competenties die leerlingen moeten aanwenden om ze op te lossen. Heel wat van de gemakkelijke PISA-wiskundevragen zijn reproductievragen, terwijl er bij de moeilijke vragen meer reflectievragen tussen zitten. Nu blijken Vlaamse 15-jarigen heel wat bedrevener in het reflecteren op wiskundige vragen en problemen dan hun leeftijdsgenoten in andere landen. Figuur 1.15 toont dat de leerlingen in de drie Europese landen uit de PISA top 10 van wiskundige geletterdheid ongeveer hetzelfde percentage van de reproductievragen tot een goed einde brengen. Bij de vragen bij de verbindingencluster ontstaat er een eerste kloof van 7% tussen Vlaanderen en Finland/Nederland, die vervolgens toeneemt tot een verschil van 11% bij het percentage correcte antwoorden op de reflectievragen. Waar onze noorderburen ons bij het PISA-domein leesvaardigheid overtreffen in reflectieopdrachten (zie brochure ‘Wereldwijd leren op 15 – de eerste resultaten van PISA2000), overtreffen de Vlaamse leerlingen de Nederlandse leerlingen voor wiskundige reflectieopdrachten. % correcte antw.
OESO-gem
Vlaanderen
Nederland
Duitsland
100 90 80 70 60 50 40 30 20 10 0
Reproductie
Verbindingen
Figuur 1.15: Percentage correct beantwoorde vragen per PISA competentiecluster
Reflectie
Finland
Handboek PISA - WISKUNDE
43
De hoge Vlaamse prestatie op de (moeilijkere) reflectievragen impliceren dat Vlaamse 15-jarigen heel bedreven zijn in het kritisch benaderen van wiskundige opgaven, in het communiceren van de eigen aanpak en in het toepassen van probleemoplossende vaardigheden. Dit zijn niet toevallig vaardigheden en attitudes die in de Vlaamse vakgebonden eindtermen wiskunde expliciet benadrukt worden. Ook het aanpakken van de open vragen kan gedeeltelijk vanuit deze optiek worden verklaard. In de eindtermen wiskunde van de eerste graad secundair onderwijs staat reeds dat leerlingen zelfstandigheid en doorzettingsvermogen moeten ontwikkelen bij de aanpak van problemen. Het niet zomaar opgeven bij het zien van een moeilijkere of abstractere opgave is een mooi voorbeeld van dergelijk doorzettingsvermogen.
1.7
Verschillen tussen leerlingen voor wiskunde
1.7.1 Verschillen tussen leerlingen internationaal De informatie uit de vorige hoofdstukken van deze publicatie toonde reeds grote verschillen binnen de Vlaamse leerlingengroep. In Vlaanderen slaagt meer dan 30% van de 15-jarige leerlingen er in om wiskundevragen van de hoogste moeilijkheidsniveaus op te lossen, maar tegelijk bereikt 11% van hen het vooropgestelde minimumniveau niet. Een manier om dergelijke verschillen visueel voor te stellen, is door middel van spreidingstabellen. In deze figuren worden per land of leerlingengroep de scores van de topleerlingen afgebeeld in vergelijking met de scores van de zwakste groep. De onderstaande figuur toont de spreiding van de wiskundescores binnen de 10 landen met de hoogste gemiddelde prestatie voor wiskundige geletterdheid aangevuld met de gegevens van Vlaanderen, Duitsland en het gemiddelde overheen de OESO-landen. De spreiding wordt uitgedrukt in percentielen en de balken in de figuur gaan van percentiel 5 tot percentiel 95: 95 90 85 80 75 70 65 60 55 50 45 40 35 30 25 20 15 10 5
Tien procent van de leerlingen heeft een score lager dan percentiel 10 en nog eens 10% van de leerlingen hebben een score hoger dan percentiel 90. Percentiel 50 komt overeen met de mediaan (de score van de middelste leerlingen als alle leerlingen gerangschikt staan volgens hun score). In dit stuk wordt verder echter niet meer verwezen naar die mediaan. Middelste De totale lengte van de blokjes in de onderstaande figuur weerspiegelen de 50% van de scores voor wiskundige geletterdheid waartussen 90% van de leerlingen van leerlingen een land presteert. Dit komt neer op het verschil tussen het punt waarboven de 5% sterkste leerlingen presteren en het punt waaronder de 5% zwakste leerlingen presteren; of het verschil tussen percentiel 95 en percentiel 5 (zie de figuur hiernaast). Analoog presteert de helft van de leerlingen van een land tussen percentiel 25 en percentiel 75. Het zwarte blokje rond waarde 50 stelt het 95% betrouwbaarheidsinterval rond het gemiddelde voor. De landen in de figuur werden gerangschikt volgens hun gemiddelde prestatie voor wiskundige geletterdheid.
Handboek PISA - WISKUNDE
44
750 700 650 600 550 500 450 400 350 300 250 VLAANDEREN
HongkongChina
Finland
Korea
Nederland
Liechtenstein
Japan
Canada
Macao-China
Zwitserland
Australië
Duitsland
OESO-gem.
200
Figuur 1.16: Spreiding van de scores voor wiskundige geletterdheid overheen de percentielen internationale vergelijking
Van alle hierboven geplotte balken is de Vlaamse de langste. Het verschil tussen de best scorende en slechts scorende 5% 15-jarigen bedraagt in Vlaanderen 347 punten. Enkel in Duitsland komt het verschil tussen de sterkste en zwakste leerlingen in de buurt van de Vlaamse resultaten: het scoreverschil bedraagt daar 338 punten. Ter vergelijking: overheen de OESO-landen presteren de 5% zwakste leerlingen gemiddeld 328 punten onder de 5% sterkste leerlingen, terwijl in het land met de kleinste spreiding, namelijk Finland, het verschil op 274 punten uitkomt. Figuur 1.16 toont eveneens dat de groep best presterende Vlaamse leerlingen het hoogste gemiddelde laat neertekenen: in geen enkel ander land overstijgt de balk de 700-lijn. De slechtst presterende 15-jarigen in Vlaanderen presteren daarentegen op hetzelfde niveau als de zwakst presterende leerlingen in Liechtenstein, Japan, Zwitserland en Australië. Het grote verschil tussen sterke en zwakke leerlingen wordt in Vlaanderen met andere woorden opnieuw in de hand gewerkt door de uitzonderlijke prestatie van de topgroep.
1.7.2 Onderwijsvorm en studierichting De grote verschillen binnen de Vlaamse leerlingengroep worden voor een deel veroorzaakt door de manier waarop het Vlaams onderwijs is georganiseerd. Door leerlingen te groeperen in onderwijsvormen en binnen die onderwijsvormen in studierichtingen die allemaal een ander lessenpakket krijgen, worden verschillen tussen leerlingen als het ware gestimuleerd. Doordat het PISA-onderzoek werkt op basis van een toevalssteekproef waarbij 15-jarigen uit de deelnemende scholen ‘at random’ (dit wil zeggen niet op basis van de klas of studierichting waarin ze les volgen) worden geselecteerd, kunnen de verschillen overheen de onderwijsvormen en studierichting meer in detail worden bestudeerd. De verdeling van de Vlaamse PISA-leerlingen overheen de onderwijsvormen wordt weergegeven in figuur 1.17. De grootste groep van de Vlaamse PISA-leerlingen volgt les in het algemeen secundair onderwijs (44%). Vervolgens zit 30% in het technisch of kunstsecundair onderwijs en een kleine 20% in het beroepssecundair. Ook 15-jarigen uit het deeltijds beroeps (DBSO) en buitengewoon secundair onderwijs (BUSO) ontsnapten niet aan het PISA-onderzoek, al is de grootte van deze twee groepen eerder beperkt. Tenslotte namen ook 103 leerlingen uit de eerste graad deel, die samen eveneens 2% van de steekproef uitmaakten.
Handboek PISA - WISKUNDE
45
Dergelijke verdeling weerspiegelt in grote mate de reële verdeling van 15-jarigen overheen de onderwijsvormen. De kleine afwijkingen die zich alsnog voordoen (in het bijzonder de iets te kleine vertegenwoordiging van 15-jarigen uit de eerste graad) worden door de PISA-wegingsfactoren gecorrigeerd, waardoor de steekproef representatief is voor de Vlaamse onderwijssituatie. DBSO 1,4%
BUSO 2,5% 1ste graad 2,0%
BSO 19,3% ASO 44,4%
KSO 1,0% TSO 29,4%
Figuur 1.17: Verdeling van de PISA leerlingen over de onderwijsvormen (Vlaamse PISA steekproef 2003)
Wanneer we de gemiddelde prestatie van de leerlingen volgens de onderwijsvormen waarin ze les volgen, vergelijken dan wordt reeds een deel van de grote spreiding op Vlaams niveau duidelijk: het verschil tussen de gemiddelde prestatie van de 15-jarige ASO-leerlingen en die uit het BSO bedraagt reeds 176 scorepunten (zie tabel 1.5). Daar waar de leerlingen uit het algemeen secundair onderwijs gemiddeld op het vijfde vaardigheidsniveau van wiskundige geletterdheid presteren, bereiken de leerlingen uit het beroepsonderwijs gemiddeld slechts het tweede niveau. Dit heeft natuurlijk alles te maken met de hoeveelheid wiskunde die deze leerlingen al dan niet krijgen in hun lessenpakket, maar het blijft wel een groot verschil (zeker aangezien het tweede niveau als een minimumniveau wordt beschouwd). Uitgaande van de grote verschillen tussen de gemiddelde prestaties overheen de onderwijsvormen, kan in een volgende stap gekeken worden naar de spreiding van de resultaten van de leerlingen binnen elke groep. Figuur 1.18 herneemt spreidingsfiguur 1.16 voor Vlaanderen en plaatst er de spreidingsfiguren binnen de verschillende onderwijsvormen naast. De zwarte blokjes in het midden stellen opnieuw het 95% betrouwbaarheidsinterval rond het gemiddelde voor. De grootte van die zwarte vlakken toont onmiddellijk voor welke groep de gegevens minder nauwkeurig zijn: hoe kleiner het aantal respondenten per groep, hoe groter de standaardfout op de berekeningen en hoe groter de schommelingen. Onderwijsvorm 1ste graad ASO TSO KSO BSO DBSO BUSO
Prestatie voor wiskunde 413 (9.9) 624 (2.1) 546 (2.8) 551 (10.5) 448 (4.0) 407 (13.0) 329 (9.7)
Tabel 1.5: Gemiddelde prestatie voor wiskundige geletterdheid per onderwijsvorm
Handboek PISA - WISKUNDE
46
750 700 650 600 550 500 450 400 350 300
BUSO
DBSO
BSO
TSO
ASO
VLAANDEREN
200
KSO
250
Figuur 1.18: Spreiding van de scores voor wiskundige geletterdheid binnen de Vlaamse onderwijsvormen
Figuur 1.18 toont duidelijk hoe de kloof van 347 punten tussen de 5% best en de 5% minst presterende leerlingen op Vlaams niveau binnen de onderwijsvormen terugvalt tot een verschil van ongeveer 230 scorepunten. Dergelijke verschillen zorgen er wel nog steeds voor dat de balken van de meeste onderwijsvormen elkaar overlappen. Hierdoor kunnen we geen uitspraken doen in de zin van ‘ASO-leerlingen presteren beter dan TSO-leerlingen, die op hun beurt beter scoren dan BSO-leerlingen’. Integendeel, de 10% best presterende leerlingen uit het BSO bevinden zich nog steeds op hetzelfde niveau als de minst presterende groep ASO-leerlingen. Hoewel het grote verschil in de gemiddelde prestaties van de leerlingen TUSSEN de verschillende onderwijsvormen deed vermoeden dat er duidelijke verschillen in prestatie zouden bestaan, blijkt dit na het bekijken van de verschillen BINNEN de groepen niet langer mogelijk. Het Vlaamse onderwijssysteem groepeert leerlingen wel in onderwijsvormen, maar de prestatieverschillen binnen die onderwijsvormen zijn nog steeds aanzienlijk.
De enige groep leerlingen die onder het niveau van de ASO, TSO en KSO-leerlingen presteert, zijn de leerlingen uit het buitengewoon onderwijs (BUSO). Aangezien op Belgisch niveau meer dan 5% van de 15-jarigen in deze onderwijsvorm les volgt, zijn we ook in Vlaanderen verplicht om hen in het PISA-onderzoek op te nemen. Deze leerlingen krijgen een ander, korter testboekje met daarin enkel de meest eenvoudige PISA-vragen, maar die zijn nog steeds niet aangepast aan de mogelijkheden van deze leerlingengroep. Een andere manier om de prestaties van leerlingen in de verschillende onderwijsvormen met elkaar te vergelijken, is door te kijken naar de verdeling van de leerlingen overheen de vaardigheidsniveaus. Aangezien ASO-leerlingen gemiddeld op het vijfde niveau van wiskundige geletterdheid presteren, is het niet verwonderlijk dat bij deze groep de grote meerderheid (62%) de hoogste twee niveaus bereikt. Het is echter minstens even interessant om te kijken naar welke groepen leerlingen het benchmark niveau 2 niet halen – zij zouden immers niet in staat zijn om hun wiskundige kennis actief aan te wenden (figuur 1.19).
Handboek PISA - WISKUNDE
Niveau 1 BUSO
DBSO
BSO
< Niveau 1
47
Niveau 2
Niveau 3
26.7
69.0
10.3
0.4 3
ASO
Vlaanderen
35,9
3.8 7,0
TSO
Niveau 6
6.6 13,0
2,3
6,7 0,8
24,0
41,3
33,2
14,8
10,1
4.8
12,2 6,8
23,2
22.3
KSO
Niveau 5
4,3
23.1
33.8
Niveau 4
31,2
30,6
36,9
26,0
18,7
22,5
13,6
16,4
2,3
3,5
24,8
21,9
12,4
Figuur 1.19: Verdeling van de leerlingen over de vaardigheidsniveaus per onderwijsvorm
De 11.4% Vlaamse leerlingen die het tweede vaardigheidsniveau niet bereikt, volgen voornamelijk les in het BSO, DBSO en BUSO - niet verwonderlijk de onderwijsvormen waarin wiskunde (meestal) niet als afzonderlijk vak wordt gegeven. In het kunst en technisch secundair onderwijs blijft een kleine 4% van de leerlingen hangen bij het eerste niveau en in het ASO bereiken nagenoeg alle leerlingen (99.7%) het internationaal vooropgestelde minimumniveau. Binnen de onderwijsvorm waar de meerderheid van de leerlingen het tweede vaardigheidsniveau van wiskundige geletterdheid niet haalt, valt wel een opvallende prestatie op subschaalniveau op te merken. Hoewel leerlingen uit het buitengewoon secundair onderwijs (BUSO) voor drie van de vier subschalen bij wiskundige geletterdheid gemiddeld op het eerste vaardigheidsniveau presteren, behalen ze voor de subschaal ‘Hoeveelheid’ een score van 450 punten. Hiermee bevinden ze zich midden in vaardigheidsniveau 2 en presteren ze significant beter dan de leerlingen uit het deeltijds beroepsonderwijs (DBSO). Op deze subschaal haalt hun score zelfs hetzelfde niveau als deze van hun leeftijdsgenoten in het beroepsonderwijs (BSO). Anders geformuleerd, voor getallenleer halen leerlingen uit het Vlaamse BUSO-onderwijs gemiddeld de niveau 2-benchmark, terwijl ze daar voor de andere subdomeinen niet in slagen. Let wel: BUSO-leerlingen krijgen eenvoudigere boekjes. Om een idee te krijgen of de Vlaamse verschillen tussen leerlingen uit diverse onderwijsvormen eerder uitzonderlijk dan wel normaal zijn, wordt op de volgende 2 pagina’s een vergelijking gemaakt met onze noorderburen. Vlaanderen en Nederland gebruiken niet alleen dezelfde Nederlandstalige basisversie van de PISA-instrumenten, ze behalen allebei ook een zeer hoge gemiddelde prestatie voor wiskundige geletterdheid ondanks hun ‘selectieve’ onderwijssysteem.
Handboek PISA - WISKUNDE
48
Net zoals in Vlaanderen, kunnen in Nederland verschillende onderwijstypes worden onderscheiden: vwo
Voorbereidend Wetenschappelijk Onderwijs: deel van het algemeen voortgezet onderwijs dat de leerlingen voorbereidt op de universiteit of op het hoger beroepsonderwijs georganiseerd aan de hogescholen (duur: 6 jaar).
havo
Hoger Algemeen Voortgezet Onderwijs: deel van het algemeen voortgezet onderwijs dat de leerlingen voorbereidt op het hoger beroepsonderwijs georganiseerd aan de hogescholen, maar waarna de leerlingen ook kunnen doorstromen naar de laatste jaren van het vwo (duur: 5 jaar).
vmbo
Voorbereidend Middelbaar BeroepsOnderwijs: beroepsgericht onderwijs waarbinnen de leerlingen kunnen kiezen tussen 4 leerwegen: 1) TL = theoretische leerweg 2) GL =gemengde leerweg 3) KB=kaderberoepsgerichte leerweg 4) BB=basisberoepsgerichte leerweg
pro
}
bereiden de leerlingen voor op middenkader en vakopleidingen in het middelbaar (secundair) beroepsonderwijs (mbo) (duur: 4 jaar) bereidt de leerlingen voor op basisberoepsopleidingen in het middelbaar beroepsonderwijs (mbo) (duur: 4 jaar)
Praktijkonderwijs: onderwijs gericht op leerlingen die niet in staat zijn om een diploma van voorbereidend middelbaar onderwijs te behalen.
Door de verschillen in onderwijsorganisatie is het niet mogelijk om de Vlaamse en Nederlandse schooltypes rechtstreeks met elkaar te vergelijken, maar enige groepering maakt een basisvergelijking wel mogelijk. Wanneer in het Nederlandse systeem de twee types van het algemeen voortgezet onderwijs worden samengenomen (vwo en havo), dan kunnen we dat vergelijken met het Vlaamse ASO en KSO. Binnen het Nederlandse vmbo zijn de theoretische en gemengde leerwegen vergelijkbaar met het Vlaamse TSO en de kaderberoepsgerichte en basisberoepsgerichte leerwegen kunnen naast het Vlaamse BSO en DBSO worden geplaatst. Tenslotte hebben beide landen het buitengewoon secundair onderwijs (Vlaanderen) en het praktijkonderwijs (Nederland) als restgroep.
Handboek PISA - WISKUNDE
49
In figuur 1.16 werd reeds duidelijk dat in Nederland het verschil tussen de 5% best en de 5% minst presterende leerlingen kleiner is dan in Vlaanderen. Daar waar in Vlaanderen de kloof bijna 350 scorepunten bedraagt, is dit voor Nederland net geen 300 punten. Diezelfde trend vinden we terug op niveau van de onderwijsvormen: in Nederland is de spreiding binnen de groep leerlingen die in hetzelfde onderwijstype les volgen kleiner dan in Vlaanderen. Gemiddeld zullen binnen de Nederlandse onderwijstypes de beste presteerders 187 punten hoger scoren dan de laagste; in Vlaanderen ligt dit gemiddelde op 230 scorepunten. Figuur 1.20 geeft de spreidingstabellen voor Nederland en de verschillende onderwijstypesweer.
750 700 650 600 550 500 450 400 350 300 250
PRO
VMBO - bb
VMBO - kb
VMBO - gl+tl
HAVO
VWO
NEDERLAND
200
Figuur 1.20: Spreiding van de scores voor wiskundige geletterdheid binnen de Nederlandse onderwijstypen
In vergelijking met de Vlaamse spreidingsbalken op niveau van de onderwijsvormen, beginnen de Nederlandse figuren onderaan een stuk hoger, terwijl ze bovenaan op ongeveer dezelfde hoogte eindigen als de Vlaamse equivalenten. Binnen de Nederlandse onderwijstypen doen de zwakste leerlingen het dus beter dan diezelfde groep in de Vlaamse onderwijsvormen. Het Nederlandse onderwijssysteem slaagt er in om binnen hun onderwijstypen de zwakste leerlingen tot een hogere gemiddelde prestatie te brengen dan in het Vlaamse systeem het geval is. Hierdoor hebben ze een kleinere spreiding binnen hun leerlingengroepen.
Handboek PISA - WISKUNDE
50
De kleinere Nederlandse spreiding wordt bevestigd in figuur 1.21. De verdeling van de leerlingen overheen de vaardigheidsniveaus toont dat in Nederland binnen de diverse onderwijstypes een veel kleiner percentage leerlingen het tweede niveau niet haalt dan in Vlaanderen: Niveau 1
praktijkond.
vmbo - bb
vmbo - kb
< Niveau 1
Niveau 2
Niveau 3
Niveau 4
34.7
34.8
6.5
1.4
vmbo - gl en tl
41,8
11.8
4
2.6
8.4
23,0
1,2
10
32,7
45,7
22,0
18,0
10,7
30,8
40,3
15,9
vwo
4
36,8
38,7
16,5
havo
Nederland
20,7
38,1
0.3 3
Niveau 6
6
24,5
26.7
Niveau 5
22,6
0,7
8,5
27,8
18,2
7,3
Figuur 1.21: Spreiding van de leerlingen over de vaardigheidsniveaus per onderwijstype
Net zoals in Vlaanderen, volgen de Nederlandse leerlingen die het tweede vaardigheidsniveau niet halen voornamelijk les in de basis- en kaderberoepsgerichte leerwegen van het voorbereidend middelbaar beroepsonderwijs en in het praktijkonderwijs. Hun percentages zijn echter veel kleiner dan de Vlaamse: terwijl in Vlaanderen ruim 95% van de 15-jarigen in het buitengewoon onderwijs (BUSO) het benchmark niveau niet bereikt, slaagt bijna één derde van de Nederlandse leerlingen in het praktijkonderwijs daar wel in. Dezelfde vaststelling bij leerlingen uit het beroepsonderwijs: in Vlaanderen haalt één derde van de leerlingen uit het beroepssecundair onderwijs (BSO) en 57% van de leerlingen uit het deeltijds beroepsonderwijs (DBSO) het tweede vaardigheidsniveau niet, terwijl dit in Nederland respectievelijk 13.2% (kaderberoepsgerichte leerweg) en 33.2% (basisberoepsgerichte leerweg) van de leerlingen bedraagt. Opvallend is wel dat overheen de volledige Nederlandse leerlingengroep ongeveer hetzelfde percentage leerlingen (11.0%) niveau 2 niet haalt als in Vlaanderen (11.4%). In vergelijking met Nederland volgen in Vlaanderen minder leerlingen les in de zwakkere onderwijsvormen, waardoor er in verhouding evenveel leerlingen op de laagste niveaus presteren. Doordat in Vlaanderen slechts 23% van de 15-jarigen in het BSO, DBSO of BUSO les volgt in vergelijking met 34% in de Nederlandse overeenkomstige onderwijstypen, blijft het percentage leerlingen dat het tweede vaardigheidsniveau voor wiskundige geletterdheid niet bereikt in de beide landen ongeveer gelijk. Tegelijk zorgt het groot percentage, hoogpresterende Vlaamse ASO-leerlingen ervoor dat in vergelijking met Nederland een groter deel van de Vlaamse leerlingen de hoogste 2 vaardigheidsniveaus behaalt (34.4% van de leerlingen bereikt in Vlaanderen niveau 5 of 6 in vergelijking met 25.5% in Nederland). In Vlaanderen volgt 44% van de PISA-leerlingen les in het ASO en deze groep haalt een gemiddelde prestatie voor wiskundige geletterdheid van 624 punten. In Nederland zit 20% van de 15-jarige PISA-leerlingen in het vwo en 19% in het havo. De gemiddelde prestatie voor wiskundige geletterdheid bedraagt voor de vwo-leerlingen 638 en voor de havo-leerlingen 594.
Handboek PISA - WISKUNDE
51
In vergelijking met onze noorderburen volgt in Vlaanderen een groter deel van de 15-jarigen les in de sterkere onderwijsvormen, wat de hoge Vlaamse gemiddelde prestatie voor wiskunde en het grote percentage leerlingen op de hoogste vaardigheidsniveaus gedeeltelijk verklaart. Tegelijk is het prestatieverschil binnen de Vlaamse leerlingengroep echter groter dan in Nederland, zelfs wanneer de onderwijsvormen/onderwijstypen in rekening worden gebracht.
Een deel van de prestatieverschillen binnen de Vlaamse onderwijsvormen wordt natuurlijk verklaard door de diversiteit aan studierichtingen binnen elke onderwijsvorm. Afhankelijk van de studierichting die ze volgen, hebben leerlingen meer, minder of zelfs geen wiskunde in hun lessenpakket, wat hun gemiddelde score voor wiskundige geletterdheid zal beïnvloeden. Figuur 1.22 geeft een overzicht van de gemiddelde prestaties van de Vlaamse leerlingen volgens de studierichting waarin ze les volgen. Enkel die studierichtingen waarin voldoende PISA-leerlingen les volgen om statistische uitspraken te doen, werden aan de figuur toegevoegd. De figuur toont duidelijk hoe de prestaties van de studierichtingen uit het ASO en TSO elkaar overlappen: leerlingen uit de TSO-studierichtingen met een zwaarder wiskundeprogramma (bijvoorbeeld Industriële wetenschappen) halen voor wiskundige geletterdheid een gemiddelde prestatie die de prestaties van de ASO-studierichtingen evenaart of zelfs overtreft. Vervolgens toont de figuur dat er een kloof bestaat tussen studierichtingen uit het technisch en het beroepsonderwijs, maar aangezien deze laatsten meestal wiskunde niet als afzonderlijk vak hebben in hun lessenpakket, valt dit enigszins te verwachten.
Handboek PISA - WISKUNDE
52
Resultaten per studierichting voor wiskundige geletterdheid A LAT / WISK (659) 650 640
A GR / LAT (643) A ECON /WISK (636)
A MOD TAL / WISK (635)
630 620
T
INDUS WET (623)
610 600 590 580
A SPORTWET (602) T
ELEKTRIC. (591)
T
TECHN WET (578)
A LAT / MOD TAL (603)
A MENSW /MOD (597) A ECON/MOD TAL (593)
T
ELEKTROM (578)
570 560
A
ECON (564)
550 T
HANDEL (545)
540 530
T
HOUTTECH (530)
520
T
HANDEL/TALEN (521)
T
BIO-ESTH (511)
510
T T
ELEKTROTECHN(537)
T
SOC & TECH (526)
MECH TECH (541)
500 490 480 470 460 450
B METAALBEW (467) B KANTOOR (450) B VERKOOP (444)
440 430
B EL INSTAL (448) B
B BOUW (449)
VERZORG (441)
B HOUT (430)
420 410
B HAARTOOI (411)
400 390 380 370 360 350
ASO
TSO
Figuur 1.22: Resultaten per studierichting voor wiskundige geletterdheid
BSO
UNIVERSITEIT GENT Vakgroep Onderwijskunde
WETENS C HAP P E L I J K E G E L E T T E R D H EID
Handboek PISA - WETENSCHAPPEN
55
2. WETENSCHAPPELIJKE GELETTERDHEID 2.1
‘Wetenschappen’ volgens PISA
2.1.1 Definitie en indeling van het domein Binnen PISA wordt er heel bewust voor de term ‘wetenschappelijke geletterdheid’ geopteerd en niet voor de term ‘wetenschappen’ om de nadruk te leggen op de functionele vaardigheden en kennis die mensen ertoe in staat stellen om actief te functioneren in de maatschappij. PISA definieert wetenschappelijke geletterdheid als: ‘De vaardigheid van een individu om wetenschappelijke kennis te gebruiken om vragen te identificeren, nieuwe kennis te verwerven, wetenschappelijke fenomenen te verklaren en wetenschappelijke bewijzen te gebruiken om conclusies te trekken in verband met wetenschappelijke onderwerpen, de specifieke kenmerken van wetenschap als een vorm van menselijke kennis en onderzoek te begrijpen, in te zien hoe wetenschap en technologie onze materiële, intellectuele en culturele omgeving beïnvloeden en de bereidwilligheid om zich als denkende burger verbonden te voelen met wetenschappelijke onderwerpen en ideeën.’ Actieve participatie houdt meer in dan uitvoerend werk of het louter reproduceren van schoolse kennis, het betekent voorbereid zijn om beslissingen te nemen en mee te denken in het hele proces. Zo zullen de leerlingen bij de meer complexe PISA-opgaven van wetenschappelijke geletterdheid moeten reflecteren en evalueren. De PISA itembank om dit te testen bestaat uit 108 wetenschapsvragen. De PISA vragen bestaan uit vragen die te situeren zijn binnen twee verschillende kennisdomeinen, die verder onderverdeeld worden in een zestal specifiekere wetenschappelijke kennisdomeinen. Binnen de wetenschappelijke kennisdomeinen worden er verschillende vaardigheden gedefinieerd die getest worden binnen drie verschillende contexten. Om wetenschappelijke vragen op te lossen, moeten leerlingen over wetenschappelijke vaardigheden beschikken. PISA onderscheidt drie wetenschappelijke vaardigheden: • Wetenschappelijke onderwerpen aanduiden: 䡩 herkennen van onderwerpen die wetenschappelijk onderzocht kunnen worden 䡩 aanduiden van sleutelwoorden om wetenschappelijke informatie te vinden 䡩 herkennen van hoofdkenmerken van wetenschappelijk onderzoek • Fenomenen wetenschappelijk verklaren: 䡩 gebruiken van wetenschappelijke kennis in specifieke situaties 䡩 wetenschappelijk beschrijven of interpreteren van fenomenen en voorspellen van verandering 䡩 aanduiden van passende beschrijvingen, verklaringen en voorspellingen • Wetenschappelijke bewijzen gebruiken: 䡩 interpreteren van wetenschappelijke bewijzen, conclusies trekken en erover communiceren 䡩 aanduiden van de bewijzen en redeneringen die aan de basis liggen van conclusies 䡩 reflecteren over de maatschappelijke gevolgen van wetenschappelijke en technologische ontwikkelingen
Handboek PISA - WETENSCHAPPEN
56
Om wetenschappelijke vaardigheden te ontwikkelen is kennis (begrip van de natuurlijke wereld op basis van wetenschappelijke kennis) nodig. PISA deelt wetenschappelijke kennis op in twee soorten kennis of ook wel de kennisdomeinen genoemd. Binnen deze twee kennisdomeinen worden er diverse categorieën vastgelegd. Hoewel PISA niet focust op de wetenschappen die leerlingen krijgen binnen het schoolcurriculum, kan deze specifieke indeling naar kennisdomeinen voor een stuk vertaald worden naar wetenschappelijke disciplines die in het wetenschapsonderwijs aan bod komen: •
•
Wetenschappelijke kennis 䡩 Fysische systemen (~FYSICA) 䡩 Levende systemen (~BIOLOGIE) 䡩 De aarde en het heelal (~AARDRIJKSKUNDE) Technologische systemen (~TECHNIEK, TECHNOLOGIE,…) 䡩 Kennis over de wetenschap 䡩 Wetenschappelijk onderzoek 䡩 Wetenschappelijke verklaringen
De contexten waarbinnen deze wetenschappelijke kennis en vaardigheden worden getest variëren van de persoonlijke, de sociale/maatschappelijke en de globale context. Voor meer informatie over deze aspecten verwijzen we naar ‘Assessing Scientific, Reading and Mathematical Literacy’ (OECD, 2006). Wetenschappelijk geletterdheidsonderzoek binnen PISA onderzoekt dus of leerlingen: Wetenschappelijke kennis kunnen gebruiken om vragen te identificeren, nieuwe kennis te verwerven, wetenschappelijke fenomenen uit te leggen en bewijsmateriaal kunnen gebruiken om conclusies te trekken in verband met wetenschappelijke onderwerpen De specifieke kenmerken van wetenschappen als een vorm van menselijke kennis en onderzoek kunnen begrijpen Kunnen inzien hoe wetenschap en technologie ons materieel, intellectueel en cultureel milieu beïnvloeden Zich als denkende burger verbonden voelen met wetenschappelijke onderwerpen en begrippen van de wetenschap
2.1.2 Schaalconstructie Niet elke leerling krijgt alle 108 wetenschapsvragen voorgeschoteld, maar een leerling krijgt een selectie (of ook wel cluster) van vragen. Ongeveer een derde van de vragen zijn meerkeuzevragen (35%); nog een derde van de vragen complexe meerkeuzevragen (27%). Het overige deel van de vragen zijn open antwoordvragen (antwoord met toelichting) (33%) en een kleine minderheid (5%) van de vragen gesloten antwoord vragen (antwoord dat bestaat uit één of enkele woorden of een getal). Voor een voorbeeld van elk van dit soort vragen wordt er verwezen naar handboek ‘vrijgegeven items’. Voor de wetenschapsvragen worden er 7 clusters van vragen ontwikkeld, die elk ongeveer een half uur tijd vragen om in te vullen. Van de vragen voor de domeinen wiskundige geletterdheid en leesvaardigheid worden op dezelfde manier clusters ontwikkeld. Omdat dit in 2006 niet de hoofddomeinen waren, waren er minder clusters dan voor het hoofddomein, wetenschappelijke geletterdheid. Op basis van deze clusters kunnen testboekjes samengesteld worden die bestaan uit 4 verschillende clusters en die dus ongeveer 2 uur in beslag nemen om in te vullen. Zo werden er 13 verschillende
Handboek PISA - WETENSCHAPPEN
57
testboekjes ontwikkeld. De toewijzing van testboekje per leerling wordt steeds volledig gerandomiseerd of met andere woorden, gebeurt willekeurig. Iedere cluster van vragen komt evenveel voor over de verschillende versies waarbij ervoor gezorgd wordt dat elke cluster evenveel vooraan, achteraan of in het midden van een versie voorkomt. De proportie juist beantwoorde vragen bepaalt de relatieve vaardigheid van een leerling. Daarnaast speelt ook de relatieve moeilijkheid van een vraag een rol bij het bepalen van het vaardigheidsniveau van een leerling. Deze moeilijkheidsgraad kan geschat worden door na te gaan welke proportie leerlingen een welbepaalde vraag juist heeft beantwoord. Op basis van deze gegevens kan het vaardigheidsniveau van een leerling bepaald worden op een continue schaal die het concept wetenschappelijke geletterdheid weerspiegelt. Op deze schaal kunnen zowel de individuele leerlingen als de vragen worden geplaatst. Aan de hand van deze techniek kan er per vaardigheidsniveau bepaald worden welke items leerlingen die op dat welbepaald niveau presteren naar alle waarschijnlijkheid wel of niet kunnen beantwoorden. Of met andere woorden welke items die leerlingen gemakkelijk zullen kunnen oplossen en met welke items ze naar alle waarschijnlijkheid moeite zullen hebben (zie ook figuur 2.1 ). Dat betekent niet dat leerlingen de vragen met een moeilijkheidsgraad op of onder hun positie op de schaal altijd correct zullen oplossen of dat ze nooit moeilijker items juist zullen hebben. Het gaat over een verwachting, zoals ook aangegeven wordt op de figuur. Om vergelijkingen over landen mogelijk te maken, worden de scores van alle landen op eenzelfde manier geschaald. De gemiddelde score van de deelnemende leerlingen uit de OESO-landen wordt gelijk geschakeld met 500. Een vraag met exact een gemiddelde moeilijkheid heeft dan een drempelwaarde van 500. Hoe moeilijker een vraag, hoe hoger de drempelwaarde. De standaardafwijking overheen alle OESO-landen wordt gelijk gesteld aan 100, wat inhoudt dat twee derde van alle deelnemende leerlingen in de OESO-landen een score tussen de 400 en 600 punten heeft. Schaal wet. geletterdheid
Item VI
Leerling A met een relatief hoogvaardigheidsniveau
We verwachten dat leerling A er zal in slagen om items I tot en met V correct te beantwoorden en waarschijnlijk item VI ook
Leerling B met een gemiddeld vaardigheidsniveau
We verwachten dat leerling B er zal in slagen om items I en II correct te beantwoorden en waarschijnlijk item III ook. Leerling B zal er niet in slagen om items V en VI te beantwoorden en waarschijnlijk item IV ook niet.
Leerling C met een relatief laagvaardigheidsniveau
We verwachten dat leerling C er zal in slagen om items II tot en met VI correct te beantwoorden en waarschijnlijk item I ook niet
Items met een relatief hoge moeilijkheidsgraad
Item V
Items met een gemiddelde moeilijkheidsgraad
Item IV Item III
Item II Items met een relatief lage moeilijkheidsgraad
Item I
Figuur 2.1: Constructie van de PISA wetenschapsschaal
58
Handboek PISA - WETENSCHAPPEN
2.1.3 Vaardigheidsniveaus De scores van de leerlingen voor wetenschappelijke geletterdheid kunnen onderverdeeld worden in 6 oplopende vaardigheidsniveaus. Niveau 1 is het laagste niveau waarin de laagste scores onderverdeeld worden, niveau 6 is het hoogste niveau en herbergt de hoogste scores. Op basis van de PISA data kan iedere leerling een vaardigheidsniveau toegewezen krijgen. Een leerling die onderverdeeld wordt in het derde vaardigheidsniveau kan minstens de helft van de vragen bij dit niveau goed oplossen. Een leerling die onder niveau 1 presteert, heeft misschien wel wetenschappelijke kennis opgebouwd, maar is niet in staat om de meest eenvoudige PISA-vragen tot een goed einde te brengen. Voor een gedetailleerde beschrijving van de vaardigheidsniveaus verwijzen we naar de eerste Vlaamse brochure over de PISA2006 data (De Meyer, 2007). De tabel hieronder toont de 6 vaardigheidsniveaus voor wetenschappelijke geletterdheid met daarbij het percentage Vlaamse leerlingen dat op elk niveau presteert. Vlaanderen 11% 29% 29% 18% 9% 3%
Figuur 2.2: Percentage Vlaamse leerlingen per vaardigheidsniveau voor wetenschappelijke geletterdheid
Met een gemiddelde van 12% van de Vlaamse leerlingen die op de twee hoogste vaardigheidsniveaus presteren voor wetenschappen, doen onze Vlaamse leerlingen het niet slecht ten opzichte van het internationaal gemiddelde of ten opzichte van andere landen. Over alle OESO landen scoort 9% van de leerlingen op de twee hoogste niveaus. Finland scoort met 20.9% van de leerlingen op de hoogste niveaus het hoogst van alle landen. Van onze buurlanden scoren Nederland (13.2%), het Verenigd Koninkrijk (13.8%) en Duitsland (11,8%) op eenzelfde niveau als Vlaanderen. Het tweede niveau wordt internationaal als ‘benchmark’ gebruikt. Vanaf niveau 2 passen leerlingen echt wetenschappelijke vaardigheden toe bij het oplossen van een wetenschappelijk probleem. In Vlaanderen presteert 88% van de leerlingen op dit niveau of hoger ten opzichte van een OESO gemiddelde van 80.7%. Voor Nederland ligt het percentage in dezelfde orde van grootte als voor Vlaanderen (87%), terwijl er in Finland een beduidend hoger percentage op of boven niveau 2 scoort (95.9%). Deze percentages kunnen uitgezet en vergeleken worden van land tot land, maar wat betekenen deze resultaten? Hoe moeten deze resultaten geïnterpreteerd worden? Welke aspecten van wetenschappelijke geletterdheid hebben de Vlaamse leerlingen goed onder knie? Waar is nog werk aan de winkel? Zijn er mogelijke factoren die de prestaties kunnen verklaren? Hieronder wordt op basis van de PISA 2006 data een antwoord geformuleerd op deze vragen.
Handboek PISA - WETENSCHAPPEN
59
2.1.4 PISA wetenschapsvragen per vaardigheidsniveau en onderverdeling De 108 wetenschapsvragen in PISA2006 kunnen opgedeeld worden volgens de vaardigheid en het kennisdomein. Daarenboven kunnen ze uitgezet worden volgens het vaardigheidsniveau (of ook wel de moeilijkheidsgraad). Iets minder dan de helft (49%) van de vragen (N=53) hoort bij de groep ‘Fenomenen wetenschappelijk verklaren’, daarnaast zijn er 31 (29%) vragen binnen de groep ‘Wetenschappelijke bewijzen gebruiken’ en tenslotte 24 (22%) vragen voor ‘Wetenschappelijke onderwerpen aanduiden’. Verder in deze brochure zal er een voorbeeld getoond worden van één of meerdere testvragen uit alle categorieën, maar eerst zetten we alle vragen uit op een grafiek volgens de moeilijkheidsgraad. Vragen onderaan op de figuur zijn de gemakkelijkste vragen en vragen bovenaan op de figuur zijn moeilijke vragen. Tenslotte worden de vragen aangeduid in een verschillende kleur. Deze kleur verwijst naar het kennisdomein, zoals aangegeven boven de figuur. De ‘label’naam die vermeld staat bij de punten in de figuur verwijst naar het nummer dat het item kreeg binnen PISA. Ditzelfde nummer kan teruggevonden worden telkens wanneer in dit handboek of in het tweede deel van het handboek (nl. de vrijgegeven items) een voorbeeld van een item gegeven wordt. U vindt dit nummer dan steeds rechts bovenaan de vraag. Het eerste wat opvalt in figuur 2.3 is dat de kennisdomeinen in belangrijke mate overlappen met de wetenschappelijke vaardigheden. Zo horen alle vragen die het kennisdomein ‘Wetenschappelijk Onderzoek’ bevragen onder de wetenschappelijke vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’. De vaardigheid ‘Wetenschappelijke bewijzen gebruiken’ bestaat voor het grootste gedeelte uit vragen uit het kennisdomein ‘Wetenschappelijke verklaringen’. De derde en laatste wetenschappelijke vaardigheid namelijk ‘Fenomenen wetenschappelijk verklaren’ wordt samengesteld uit vragen over fysische systemen, levende systemen, de aarde en het heelal en technologische systemen, gelijkmatig verdeeld over de verschillende moeilijkheidsniveaus. Er zijn slechts twee vragen die onder moeilijkheidsniveau 2 liggen. Die twee gemakkelijkste vragen zijn beiden vragen onder de vaardigheid ‘Fenomenen wetenschappelijk verklaren’; meer bepaald over het kennisdomein fysische systemen, met een drempelscore van respectievelijk 324 en 329. De twee moeilijkste vragen (respectievelijk drempelscore 725 en 724) behoren tot het kennisdomein ‘Wetenschappelijke verklaringen’ en ‘Levende systemen’. In de volgende hoofdstukken worden de verschillende wetenschappelijke vaardigheden besproken. Voor elke vaardigheid wordt de definitie van de vaardigheid uitgewerkt en wordt er een voorbeeld gegeven van een moeilijk en een gemakkelijk item dat bij de vaardigheid hoort. Verder wordt de gemiddelde Vlaamse prestatie per vaardigheid geschetst in internationaal perspectief waarbij de prestatie op elke afzonderlijke vraag binnen de vaardigheid van naderbij bekeken wordt.
Handboek PISA - WETENSCHAPPEN
60
Wet. Onderzoek
Aarde en heelal
Wet. Verklaringen
Tech. Systemen
Levende Systemen
Fysische Systemen
850,0
800,0
750,0
S527Q01
S465Q01
S458Q01 S114Q05
700,0
S326Q04
S519Q03
S425Q04
650,0
S408Q03 S131Q04
S524Q07 S447Q05 600,0
S304Q03a S495Q01 S425Q02 S114Q04
550,0
S478Q02
500,0
S495Q02
S466Q05 S458Q02 S524Q06 S428Q01
S269Q04 S413Q06
S495Q05 S438Q03 S447Q02 S447Q04
S413Q04 S416Q01 S519Q01 S304Q01 S131Q02 S514Q04 S114Q03 S326Q01 S465Q01 S326Q02
S495Q04 S415Q08 S485Q05 S326Q03
S413Q05 450,0
S408Q05 S498Q03 S498Q02 S213Q01
S485Q03
S426Q07
S408Q04 S493Q01 S268Q06 S527Q04 S437Q04 S485Q02 S477Q04 S269Q01 S421Q03
S521Q02 S456Q02 S527Q03 S476Q03 S408Q01 S465Q02 S304Q02
S438Q02 S425Q05 S268Q01
S428Q03
S447Q03 S508Q02
S493Q05 S514Q03
S268Q02 S465Q04 S421Q01 S510Q04 S425Q03 S269Q03 S478Q01 S428Q05 S437Q03 S519Q02 S304Q03b S510Q01
S415Q07 S446Q01 S508Q03 S466Q07
S426Q03 S437Q01 S477Q03 S415Q02
400,0
S478Q03 S476Q01 S476Q02 S477Q02 S437Q06 S426Q05 S213Q02 S493Q03
350,0
S514Q02
S438Q01 S521Q06 S256Q01
300,0
250,0
Wetenschappelijke bewijzen gebruiken
Wetenschappelijke onderwerpen aanduiden
Fenomenen wetenschappelijk verklaren
Figuur 2.3: Verdeling van de wetenschapsvragen volgens moeilijkheidsgraad, vaardigheid en kennisdomein
Handboek PISA - WETENSCHAPPEN
2.2
61
De wetenschappelijke vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’ volgens PISA
2.2.1 Definitie en indeling van de vaardigheid Het is belangrijk om wetenschappelijke onderwerpen en inhouden te kunnen onderscheiden van andere onderwerpen. Bij de wetenschappelijke vaardigheid ‘wetenschappelijke onderwerpen aanduiden’ moeten leerlingen vragen herkennen die wetenschappelijk onderzocht kunnen worden in een gegeven situatie. Ze moeten ook sleutelwoorden identificeren om te kunnen zoeken naar wetenschappelijke informatie rond een bepaald onderwerp. Daarnaast moeten de leerlingen elementen van wetenschappelijk onderzoek herkennen zoals bijvoorbeeld: welke zaken vergeleken moeten worden, welke variabelen er veranderen of welke variabelen onder controle gehouden werden, welke extra informatie er nog nodig is of welke actie er moet ondernomen worden zodat relevante data kunnen verzameld worden. Wetenschappelijke onderwerpen aanduiden Wetenschappelijke onderwerpen en inhouden kunnen onderscheiden Sleutelwoorden identificeren om wetenschappelijke informatie op te zoeken Elementen uit wetenschappelijk onderzoek herkennen Om een idee te geven van wat de gemakkelijke versus de moeilijke vragen bij deze wetenschappelijke vaardigheid inhouden, worden hieronder de gemakkelijkste (S508Q03 – niveau 2) en de moeilijkste vrijgegeven vraag (S485Q05.2 – niveau 6) bij deze schaal getoond en kort besproken. Bij de meest eenvoudige vrijgegeven PISA wetenschapsvraag voor de vaardigheid ‘wetenschappelijke onderwerpen aanduiden’ namelijk ‘S508Q03 – Genetisch Gemodificeerde Gewassen’ (drempelscore 422) wordt er van de leerlingen verwacht dat ze inzien waarom de genetische gemodificeerde maïs getest wordt op verschillende akkers. Met andere woorden, de leerlingen moeten herkennen welke variabelen er nog veranderen en wat de reden daartoe is. Dit zou in principe geen probleem mogen zijn voor 15-jarigen, wat ook blijkt uit het hoog percentage correcte antwoorden voor dit item (OESO-gemiddelde = 71,8%). In Vlaanderen had 81,7% van de leerlingen dit item correct. Dat het hier om een meerkeuzevraag gaat, draagt waarschijnlijk bij tot dit hoog percentage correcte antwoorden: herkennen van het antwoord is op zich al voldoende om deze vraag juist te beantwoorden of de leerling kan door eliminatie van de andere antwoorden komen tot het juiste antwoord. Bij meerkeuzevragen wordt er dus een andere antwoordstrategie gehanteerd als bij open vragen.
Handboek PISA - WETENSCHAPPEN
62
GENETISCH GEMODIFICEERDE GEWASSEN GM MAÏS MOET VERBODEN WORDEN Natuurbeschermingsgroepen eisen een verbod op een nieuwe soort genetisch gemodificeerde (GM) maïs. Deze GM-maïs is ontwikkeld om bestand te zijn tegen een krachtige nieuwe onkruidverdelger die de gewone maïsplanten doodt. Deze nieuwe onkruidverdelger zal bijna al het onkruid doden dat in maïsvelden groeit. De natuurbeschermers zeggen dat het gebruik van de nieuwe onkruidverdelger met de GM -maïs slecht zal zijn voor het milieu, omdat het onkruid voer is voor kleine dieren, in het bijzonder insecten. Voorstanders van het gebruik van de GM -maïs zeggen hierop dat een wetenschappelijk onderzoek heeft aangetoond dat dit niet het geval zal zijn. Hier volgen enkele details over het wetenschappelijk onderzoek dat vernoemd wordt in het bovenstaande artikel: Er werd maïs gezaaid op 200 akkers verspreid over het land. Elke akker werd in twee stukken verdeeld. Op de ene helft werd de genetisch gemodificeerde (GM) maïs, die behandeld werd met de krachtige nieuwe onkruidverdelger, gekweekt en op de andere helft werd de gewone maïs, die met een traditionele onkruidverdelger behandeld werd, gekweekt. Het aantal insecten dat is aangetroffen op de GM-maïs, die behandeld werd met de nieuwe onkruidverdelger, was ongeveer hetzelfde als het aantal insecten op de gewone maïs, die met de traditionele onkruidverdelger werd behandeld.
Vraag 3: GENETISCH GEMODIFICEERDE GEWASSEN
S508Q03
Er werd maïs gezaaid op 200 akkers verspreid over het land. Waarom hebben de wetenschappers meer dan één plaats gebruikt? A B C D
Zodat veel landbouwers het nieuwe GM-maïs konden proberen. Om te kijken hoeveel GM-maïs ze konden kweken. Om zoveel mogelijk land te bedekken met het GM-gewas. Om er verschillende groeiomstandigheden voor maïs bij te betrekken.
Volledig correct antwoord: 422 scorepunten (niveau 2) Code 1: D. Om er verschillende groeiomstandigheden voor maïs bij te betrekken. Percentage correcte antwoorden (met verrekening van de leerlingen die een partiële score kregen): OESO-leerlingen: 71,8% Vlaamse leerlingen: 81,7%
Handboek PISA - WETENSCHAPPEN
63
De moeilijkste vragen voor de subschaal ‘Wetenschappelijke onderwerpen aanduiden’, namelijk vraag S485Q05 – Zure regen is een voorbeeld van een open vraag waarbij de leerlingen zelf een antwoord genereren. Daarenboven moeten de leerlingen bij deze moeilijke vraag in staat zijn om een onderzoeksvraag te koppelen aan een experiment. Ze moeten kunnen inzien welke variabele verandert en met welk doel dit gebeurt. Met andere woorden, de leerlingen moeten een duidelijk inzicht hebben in het opzet van dit experiment. Vlaamse leerlingen zijn minder goed in het herkennen van elementen voor wetenschappelijk onderzoek. Vlaanderen behaalt op deze vraag een percentage correcte antwoorden van om en bij de 32%. Finland scoort met 34% wat hoger. Het OESO-gemiddelde is 28%.
Handboek PISA - WETENSCHAPPEN
64
2.2.2 Gemiddelde Vlaamse prestatie voor ‘Wetenschappelijke onderwerpen aanduiden’ in internationaal perspectief Met een score van 529 behaalt Vlaanderen een zesde positie in de rangschikking voor ‘Wetenschappelijke onderwerpen aanduiden’. Enkel Finland scoort significant hoger dan Vlaanderen. Een zevental landen scoren op hetzelfde niveau als Vlaanderen. Alle andere landen scoren significant lager op deze wetenschappelijke vaardigheid. Voor een uitgebreide tabel met vermelding van alle OESO-landen verwijzen we naar de eerste Vlaamse brochure over de PISA2006 data (De Meyer, 2007) 'Wetenschappelijke onderwerpen aanduiden' Landen
Gem.
St.Fout
Finland Nieuw-Zeeland Australië Nederland Canada VLAANDEREN Hong-Kong China Liechtenstein Japan Korea Slovenië Estland … OESO-gemid.
555 536 535 533 532 529 528 522 522 519 517 516 … 499
2.3 2.9 2.3 3.3 2.3 3.4 3.2 3.7 4.0 3.7 1.4 2.6 … 0.5
Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
Tabel 2.1: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO-gemiddelde voor de PISA vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’
Wanneer de toplanden en de landen die voor deze subschaal op hetzelfde niveau presteren als Vlaanderen gerangschikt worden volgens het percentage leerlingen dat de internationale benchmark haalt, dan staat topland Finland ook hier bovenaan. 5.4% van de Finse leerlingen haalt niveau 2 niet. Dat is een laag percentage in vergelijking met de andere landen. Vlaanderen bekleedt een vierde plaats. 10.6% van de Vlaamse leerlingen haalt niveau 2 niet. Daarmee scoort Vlaanderen in dezelfde orde van grootte als de andere landen waar de gemiddelde prestatie op deze subschaal niet significant afwijkt van die van Vlaanderen. Niveau 1
< Niveau 1
niveau 2
Finland
0,9 4
niveau 3
14,5
niveau 4
2,7 7,8
Australië
2,5 8,1
18,7
2,3 8,4
19,3
2,9
8
18,9
29,3
Canada
19,4
26
Nieuw-Zeeland
3,4
8,9
18,5
25,5
Hong-Kong China
3,7
9,2
18,6
28,3
9,7
19,4
27
5,2
13,5
24,6
26,6
12,6
11,6 2,7
14,2
25,1 25,7 24,9 20
3,1
11,1 1,5
13,6
25,3
28,3
8,7 1,6
26,9
30,5
9
OESO-gemiddelde
26,6
28,5
3,2
4,8
14,5
25,6
30,4
23,2
Nederland
Japan
niveau 6
32,9
30,6
Lichtenstein
VLAANDEREN
niveau 5
12
3,5 4,3 2,5
11,5 2,5 7,1 1,3
Figuur 2.4: Verdeling van de leerlingen over de vaardigheidsniveaus – ‘Wetenschappelijke onderwerpen aanduiden’ subschaal
2,6
Handboek PISA - WETENSCHAPPEN
65
In figuur 2.4 zien we ook dat Nieuw-Zeeland (18.5%), Nederland (17.1%) en Finland (17.1%) een grote groep leerlingen hebben die voor de subschaal ‘Wetenschappelijke onderwerpen aanduiden’ een score behalen op de hoogste niveaus. In Vlaanderen is het percentage leerlingen met prestaties op de hoogste niveaus minder groot (12.6%). Dit is het op één na kleinste aandeel van leerlingen op niveau 5 en 6 voor de subschaal ‘Wetenschappelijke onderwerpen aanduiden’. Alleen in Liechtenstein is dit percentage lager (10.3%). Ook het OESO-gemiddelde ligt met 8.4% lager. Dit kan mede de verklaring zijn voor de bevinding dat Vlaanderen voor deze vaardigheid in de algemene rangschikking ‘maar’ een zesde plaats behaalt. Hoewel het percentage leerlingen dat laag scoort relatief klein is, ligt het percentage leerlingen dat een zeer goede score haalt ook vrij laag, zeker in vergelijking met de andere toplanden. Het relatief laag percentage toppresteerders kan de positie van Vlaanderen ten opzichte van de andere landen ‘benadelen’.
2.2.3 Gemiddelde Vlaamse prestatie voor ‘Wetenschappelijke onderwerpen aanduiden’ per PISA vraag in internationaal perspectief In figuur 2.5 staan de 23 items/vragen van de wetenschappelijke vaardigheid ‘wetenschappelijke onderwerpen aanduiden’ gerangschikt volgens stijgende moeilijkheidsgraad. Sommige vragen kunnen dubbel gescoord worden. Bij die vragen kunnen leerlingen een gedeeltelijk juiste code krijgen of een maximale score. In onderstaande figuren wordt het gemiddelde genomen van het percentage leerlingen dat een score behaalt die verwijst naar een gedeeltelijk juiste score en het percentage leerlingen dat een score behaalt die verwijst naar een maximale score. Vandaar dat het aantal vragen/items in deze figuren soms niet volledig overeenkomt met het aantal vragen dat eerder meegegeven werd in deze publicatie. Op de figuur wordt duidelijk dat kopland Finland voor heel wat vragen het hoogste percentage juiste antwoorden behaalt. Vlaanderen scoort relatief goed voor de items S438Q01 (vaardigheidsniveau 1), S425Q05 (vaardigheidsniveau 2), S447Q03 (vaardigheidsniveau 3) en S498Q02 (vaardigheidsniveau 4). Opvallend bij deze items is dat twee van de vier items (S438Q01 en S425Q05) vragen zijn waarbij gevraagd wordt naar bronnen en zoektermen om gericht wetenschappelijke informatie op te zoeken. Vraag S447Q03 is een vrijgegeven item (hieronder afgebeeld) van een andere orde. Het gaat hier eerder over het herkennen van vragen die wetenschappelijk onderzocht kunnen worden. Dit is ook het geval voor vraag S498Q02, de moeilijkste vraag waarop Vlaamse leerlingen in vergelijking met de andere geplotte landen relatief goed presteren. De items waar Vlaamse leerlingen in vergelijking met de andere landen een laag percentage correcte antwoorden behalen, werden geordend van gemakkelijk (rechts op de figuur) naar moeilijk (links op de figuur): S466Q07 (vaardigheidsniveau 3), S426Q07 (vaardigheidsniveau 3), S498Q3 (vaardigheidsniveau 4), S447Q02 (vaardigheidsniveau 4) en S519Q03 (vaardigheidsniveau 5). Als we kijken naar de moeilijkste items, helemaal rechts op de figuur, dan valt op dat Finland op twee van de drie items/ vragen het hoogste percentage correcte antwoorden behaalt. Vlaanderen scoort op het moeilijkste item (S519Q03) het laagst in vergelijking met de andere afgebeelde landen en zelfs lager dan het OESO-gemiddelde. Jammer genoeg gaat het hier om een niet vrijgegeven item en kan het item dus ook niet weergegeven worden. We kunnen wel meegeven dat, om dit item correct op te lossen, de leerling elementen moet herkennen van wetenschappelijk onderzoek en op basis daarvan een kleine onderzoeksvraag opstellen. Blijkbaar hebben Vlaamse leerlingen het daar moeilijk mee en zijn vooral Nederlandse leerlingen daar sterk in.
Handboek PISA - WETENSCHAPPEN
66
Vlaanderen
Nederland
Duitsland
Finland
OESO-gemiddelde
100 90 80 70 60 50 40 30 20 10 0
S4
S1
S5
S4
S4
S4
85
31
38
98
47
Q0 5
4T
3
3
Q0
2
3T
Q0
5
Q0
Q0
2T
4
1T
4T
8T
3
2T
Q0
Q0
Q0
Q0
Q0
Q0
Q0
2
7T
5
Q0
Q0
1
Q0
Q0
7T
7T
1T
3
1T
Q0
Q0
Q0
Q0
Q0
Q0
Q0
08
98
47
13
95
15
47
08
26
38
25
68
66
15
66
08
38
19
S4
S4
S4
S2
S4
S4
S4
S5
S4
S4
S4
S2
S4
S4
S4
S5
S4
Figuur 2.5: Percentage correcte antwoorden op alle vragen bij de vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’ volgens stijgende moeilijkheidsgraad
Voor de zesde moeilijkste vraag (S447Q02) zien we een gelijkaardig patroon: Vlaanderen scoort het laagste percentage correcte antwoorden, Finland schiet er bovenuit met het hoogste percentage correcte antwoorden. Het verschil met Vlaanderen bedraagt maar liefst 29%. Het gaat om een item, net als het moeilijkste item (S519Q03), waarbij leerlingen elementen van wetenschappelijk onderzoek moeten herkennen, meer bepaald waarbij ze moeten inzien welke factoren vergeleken worden in het onderzoek en waarom. Als we naar de overige items kijken waar onze Vlaamse leerlingen een lager percentage correcte antwoorden behalen, valt op dat het telkens gaat over vragen waarbij, in analogie met vraag S447Q02 en vraag S519Q03, gevraagd wordt naar het herkennen van elementen van wetenschappelijk onderzoek: welke zaken vergeleken moeten worden, welke variabelen er veranderen of welke variabelen onder controle gehouden worden, welke extra informatie er nog nodig is of welke actie er ondernomen moet worden zodat relevante data verzameld kunnen worden.
De Vlaamse leerlingen doen het niet slecht op de subschaal ‘Wetenschappelijke onderwerpen aanduiden’, maar halen vooral een hoog percentage correcte antwoorden op de makkelijkere items. Het is opvallend dat het percentage correcte antwoorden laag ligt voor de moeilijke vragen. Voor de 10 vragen binnen vaardigheidsniveaus 4 en 5, scoort Vlaanderen op drie vragen opvallend laag en lager dan het OESO-gemiddelde.
Handboek PISA - WETENSCHAPPEN
2.3
67
De wetenschappelijke vaardigheid ‘Fenomenen wetenschappelijk verklaren’ volgens PISA
2.3.1 Definitie en indeling van de vaardigheid De vaardigheid ‘Fenomenen wetenschappelijk verklaren’ stuurt aan op het toepassen van wetenschappelijke kennis in een specifieke situatie, alsook het beschrijven en interpreteren van fenomenen op een wetenschappelijke manier, het voorspellen van veranderingen en het aanduiden van passende beschrijvingen, verklaringen en voorspellingen.
Fenomenen wetenschappelijk verklaren Wetenschappelijke kennis toepassen in een specifieke situatie Fenomenen wetenschappelijk beschrijven en interpreteren Correct identificeren van beschrijvingen, verklaringen en voorspellingen
In dit hoofdstuk willen we vooral dieper ingaan op welke vragen de Vlaamse leerlingen goed dan wel minder goed scoren binnen het subdomein ‘fenomenen wetenschappelijk verklaren’. Ongeveer de helft van de items (46%) behoort tot dit subdomein en de vaardigheden die bevraagd worden kunnen direct gekoppeld worden aan de doelstellingen die in schoolse wetenschapsvakken zoals fysica en biologie worden vooropgesteld. Een voorbeeld van een gemakkelijk item dat vrijgegeven werd, is item ‘S213Q02 – Kleding’ met een drempelscore van 399 (vaardigheidsniveau 1). Overheen de OESO-landen beantwoordt meer dan drie vierde van de 15-jarigen (77.6%) dit item correct, in Vlaanderen stijgt dit percentage tot 92.4%. Bij deze vraag wordt verwacht dat leerlingen weten wat de eenheid van elektriciteit is of dat ze door uitsluiting van de overige afleiders bij deze meerkeuzevraag kunnen komen tot het juiste antwoord. Dit item is dus een typische ‘weet’ vraag.
Vraag 2: KLEDING
S213Q02
Welk laboratoriuminstrument zou je nodig hebben om te controleren of de stof elektriciteit geleidt? A B C D
Voltmeter Lichtmeter Micrometer Geluidsmeter Volledig correct antwoord: 399 scorepunten (niveau 1) Code 1:
A. Voltmeter.
Percentage correcte antwoorden: OESO-leerlingen: 77.6% Vlaamse leerlingen: 92.4%
Handboek PISA - WETENSCHAPPEN
68
Bij de moeilijkste vrijgegeven vraag (S114Q05 ‘Broeikaseffect’ met een drempelscore van 709, vaardigheidsniveau 6) wordt verwacht dat leerlingen kunnen aangeven welke factoren, naast de uitstoot van koolstofdioxide (bv. CFK’s, vulkanische erupties, auto uitstoot, aarde die dichter bij de zon komt te liggen…), een invloed kunnen hebben op het broeikaseffect. In Vlaanderen slaagt 24.4% van de leerlingen erin om een juist antwoord te formuleren op deze vraag. Dat is iets beter dan Duitsland (22.6%) of het OESO-gemiddelde (19.2%). Finland doet het met 32.2% beter dan Vlaanderen, net als Nederland met 33.7%. Voor meer informatie over dit item verwijzen we naar het tweede deel van het handboek. BROEIKASEFFECT Lees de teksten en beantwoord de daarop volgende vragen. HET BROEIKASEFFECT: FEIT OF FICTIE? Levende wezens hebben energie nodig om te overleven. De energie die het leven op aarde in stand houdt is afkomstig van de zon, die energie uitstraalt in de ruimte omdat ze zo heet is. Een heel klein gedeelte van deze energie bereikt de aarde. De atmosfeer van de aarde fungeert als een beschermend deken over het oppervlak van onze planeet en voorkomt hierdoor temperatuurschommelingen die zich zouden voordoen in een wereld zonder lucht. Het grootste deel van de energie die de zon uitstraalt, gaat door de atmosfeer van de aarde heen. De aarde absorbeert een deel van deze energie, terwijl een ander deel van deze energie wordt teruggekaatst vanaf het aardoppervlak. Een deel van deze teruggekaatste energie wordt geabsorbeerd door de atmosfeer. Dit heeft tot gevolg dat de gemiddelde temperatuur boven het aardoppervlak hoger is dan wanneer er geen atmosfeer zou zijn. De atmosfeer van de aarde heeft hetzelfde effect als een broeikas, vandaar de term broeikaseffect. Er wordt gezegd dat het broeikaseffect tijdens de twintigste eeuw duidelijker merkbaar is geworden. Het is een feit dat de gemiddelde temperatuur van de atmosfeer van de aarde is gestegen. In kranten en tijdschriften wordt de verhoogde uitstoot van koolstofdioxide vaak beschouwd als de belangrijkste oorzaak van de temperatuurstijging in de twintigste eeuw.
Handboek PISA - WETENSCHAPPEN
69
Een student, André genaamd, is geïnteresseerd in de mogelijke relatie tussen de gemiddelde temperatuur van de atmosfeer van de aarde en de uitstoot van koolstofdioxide op aarde. In een bibliotheek vindt hij de volgende twee grafieken.
20 Uitstoot van koolstofdioxide (in miljarden tonnen per jaar)
K 10
1860
1870
1880
1890
1900
1910
1920
1930
1940
1950
1930
1940
1950
1960
1970
1980
1990
jaren
15,4 Gemiddelde temperatuur van de atmosfeer van de aarde (°C)
K
15,0
14,6 1860
1870
18 80
1890
1900
1910
1920
1960
1970
1980
1990
jaren
André leidt uit deze twee grafieken af dat het vaststaat dat de stijging van de gemiddelde temperatuur van de atmosfeer het gevolg is van de toename van de uitstoot van koolstofdioxide.
Handboek PISA - WETENSCHAPPEN
70
Vraag 3: BROEIKASEFFECT
S114Q05
André blijft bij zijn conclusie dat de stijging van de gemiddelde temperatuur van de atmosfeer van de aarde wordt veroorzaakt door de toename van de uitstoot van koolstofdioxide. Inge is echter van mening dat zijn conclusie voorbarig is. Zij zegt: ‘Vóór jedeze conclusie accepteert, moet je er zeker van zijn dat andere factoren die het broeikaseffect zouden kunnen beïnvloeden constant zijn’ Noem één van de factoren die Inge bedoelt. ................................................................................................................................ ................................................................................................................................ Volledig correct antwoord: 710 scorepunten (niveau 6) Het antwoord vermeldt of een factor die verwijst naar de energie/uitstraling komende van de zon of een factor die verwijst naar een natuurlijke component van de lucht of een potentiële vervuiler. Percentage correcte antwoorden: OESO-leerlingen: 19,2% Vlaamse leerlingen: 24.4%
Handboek PISA - WETENSCHAPPEN
71
2.3.2 Gemiddelde Vlaamse prestatie voor ‘Fenomenen wetenschappelijk verklaren’ in internationaal perspectief Vlaanderen staat met een score van 525 op de achtste plaats en behoort daarmee niet tot de kopgroep (zie tabel 2.2). Finland, Hongkong-China, Taipei-China en Estland scoren significant beter voor dit subdomein dan Vlaanderen. Voor een uitgebreide tabel en extra informatie verwijzen we naar de eerste Vlaamse brochure over PISA2006 data (De Meyer, 2007). 'Fenomenen wetenschappelijk verklaren'
Landen Finland Hongkong-China Taipei-China Estland Canada Tsjechische Rep. Japan VLAANDEREN Slovenië Nieuw-Zeeland Nederland Australië Macao-China Duitsland Hongarije Verenigd Koninkrijk Oostenrijk Liechtenstein … OESO-gemid.
Gem. 566 549 545 541 531 527 527 525 523 522 522 520 520 519 518 517 516 516 … 500
St.Fout 2.0 2.5 3.7 2.6 2.1 3.5 3.1 3.3 1.5 2.8 2.7 2.3 1.2 3.7 2.6 2.3 4.0 4.1 … 0.5
Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
Tabel 2.2: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO gemiddelde voor de PISA vaardigheid ‘Fenomenen wetenschappelijk verklaren’
Handboek PISA - WETENSCHAPPEN
72
3,5 6,5 6,3 8 8,7 8,9 9 10 9,6 10,2 10,5 10,7 10,7 11,5 11,4 14,2 Figuur 2.6: Verdeling van de leerlingen over de vaardigheidsniveaus – ‘Fenomenen wetenschappelijk verklaren’ subschaal
In Vlaanderen scoort 12.8% van de Vlaamse leerlingen onder niveau 2. Dat is op hetzelfde niveau als Nederland (13.1%). Net als voor de vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’ telt Finland het laagste percentage leerlingen dat onder deze benchmark presteert (4%). Estland staat in de rangschikking net onder Finland en dat met een percentage van bijna het dubbele van Finland (7.5%). Het Vlaams percentage ligt in dezelfde orde van grootte als Canada (11.7%) of Slovenië (14.2%). Het percentage leerlingen op de hoogste vaardigheidsniveaus (niveau 5 en 6) ligt in Vlaanderen relatief laag voor ‘Fenomenen wetenschappelijk verklaren’. Met 12.5% scoort Vlaanderen net iets hoger dan het OESO-gemiddelde (9.8%). Finland scoort hier zeer hoog: 22.6% van de Finse leerlingen haalt niveau 5 of 6.
2.3.3 Gemiddelde Vlaamse prestatie voor ‘Fenomenen wetenschappelijk verklaren’ per PISA vraag in internationaal perspectief Net zoals hierboven voor de vaardigheid ‘Wetenschappelijke onderwerpen aanduiden’, wordt in figuur 2.7 het percentage correcte antwoorden voor alle vragen binnen het subdomein ‘Fenomenen wetenschappelijk verklaren’ in dalende lijn weergegeven. In de algemene rangorde behaalt Finland een score die maar liefst 17 punten hoger ligt dan het tweede land in de rangorde namelijk Hongkong-China. We zien dan ook dat Finland – op enkele uitzonderingen niet te na gesproken – steeds het hoogste percentage correcte antwoorden behaalt.
Handboek PISA - WETENSCHAPPEN
73
Figuur 2.7: Percentage correcte antwoorden op alle vragen bij de vaardigheid ‘Fenomenen wetenschappelijk verklaren’ volgens stijgende moeilijkheidsgraad
74
Handboek PISA - WETENSCHAPPEN
Voor de gemakkelijke vragen (onder vaardigheidsniveau 1), meer bepaald de eerste 5 afgebeelde vragen, zien we dat de Vlaamse lijn in grote mate de vorm van de lijn van Finland volgt, maar steeds een paar punten lager. Binnen vaardigheidsniveau 2 en 3 (item S447Q02 tot en met item S408Q04T) zien we een aantal uitschieters naar boven (S426Q03, S485Q02, S269Q01), maar ook naar onder (S476Q02, S527Q04T, S408Q04T) voor Vlaanderen. Opvallend is dat binnen de moeilijke vaardigheidsniveaus 4, 5 en 6 we voornamelijk Vlaamse uitschieters naar boven zien (S514Q03, S425Q03, S413Q06, S408Q03), de ene ferme uitschieter naar onder niet te na gesproken (S268Q02T). Op items S304Q02, S269Q01 (beiden vaardigheidsniveau 3), S425Q03 en S413Q06 (beiden vaardigheidsniveau 4) behalen de Vlaamse studenten een hoger percentage correct beantwoorde vragen dan Finland, onze buurlanden en/of het OESO-gemiddelde. We kunnen geen van deze items afbeelden omdat ze niet vrijgegeven zijn. Bij twee van de vier items moeten de leerlingen voorspellingen aanduiden ( S269Q01 en S413Q06), een ander item berust op het kunnen aanduiden van een verklaring op basis van gegeven informatie (S425Q03). Bij het laatste item (S304Q02) tenslotte moeten leerlingen hun wetenschappelijke kennis toepassen in een specifieke situatie. Er is moeilijk een lijn te trekken over de items waar Vlaamse leerlingen het minder goed doen: S476Q02 (vaardigheidsniveau 2), S527Q04, S437Q03 (beiden vaardigheidsniveau 3), S268Q02 en S326Q04 (beiden vaardigheidsniveau 4). Het valt wel op dat de meerderheid van de items (3 van de 5) waarop de Vlaamse leerlingen minder presteren behoren tot het kennisdomein ‘levende systemen’. De helft (twee van de vier ) hoort bij het kennisdomein ‘fysische systemen’. Bij de items waar de Vlaamse leerlingen beter presteren behoort 1 item van de 4 tot het kennisdomein ‘levende systemen’.
De Vlaamse leerlingen presteren heel wisselend op de verschillende vragen binnen het subdomein ‘Fenomenen wetenschappelijk verklaren’. Op sommige items scoren ze zeer goed, beter dan topland Finland. Op andere items scoren ze zeer laag, lager dan de buurlanden en lager dan het OESO gemiddelde. Het is moeilijk een verklaring te vinden voor deze grote variatie in prestatie, te meer omdat er geen lijn te trekken is in de aard van items waar Vlaamse leerlingen goed dan wel minder goed scoren.
Handboek PISA - WETENSCHAPPEN
75
2.4 De wetenschappelijke vaardigheid ‘Wetenschappelijke bewijzen gebruiken’ volgens PISA 2.4.1 Definitie en indeling van de vaardigheid De wetenschappelijke vaardigheden die bij deze laatste subschaal getest worden, omvatten voornamelijk het interpreteren van wetenschappelijke bewijzen, het maken en communiceren van conclusies en het kunnen aanduiden van veronderstellingen, bewijzen en redeneringen die aan de basis liggen van conclusies. Hier wordt nog een bredere, contextuele invulling aan toegevoegd, namelijk het reflecteren over de maatschappelijke gevolgen van wetenschappelijke en technologische ontwikkelingen. Er wordt dus onder andere gevraagd om bewijzen en conclusies in eigen woorden, door diagrammen of andere presentaties aan een specifiek publiek te tonen.
Wetenschappelijke bewijzen gebruiken Wetenschappelijke bewijzen interpreteren en conclusies communiceren Veronderstellingen, bewijzen en redeneringen aanduiden die aan de basis liggen van conclusies Reflecteren over maatschappelijke gevolgen van wetenschappelijke en technologische ontwikkelingen
Het gemakkelijkste vrijgegeven item is item ‘S485Q03 – Zure regen’ met een drempelscore van 460 (vaardigheidsniveau 2). Om deze vraag juist te kunnen beantwoorden, moeten de leerlingen de gegevens uit de opgave namelijk dat azijn eenzelfde zuurtegraad heeft als zure regen, toepassen op de vraag. Daaruit kunnen ze dan afleiden dat het zuur het marmer zal aantasten net als zure regen. Dit zal er dus toe leiden dat marmer dat een nacht in een zure omgeving gelegen heeft, minder zal wegen dan oorspronkelijk het geval was. Vlaanderen scoort met een percentage correct van 72% niet slecht op dit item. Het OESO-gemiddelde ligt op 66% ten opzichte van het Fins gemiddelde van 78%.
ZURE REGEN Hieronder staat een foto van beelden, kariatiden genaamd, die meer dan 2.500 jaar geleden werden neergezet op de Acropolis van Athene. De beelden zijn gemaakt van een steensoort die marmer heet. Marmer bestaat uit calciumcarbonaat. In 1980 zijn de originele beelden, die waren aangetast door de zure regen, naar binnen gebracht in het museum van de Acropolis en vervangen door kopieën.
Handboek PISA - WETENSCHAPPEN
76
Je kunt het effect van zure regen op marmer nabootsen door stukjes marmer een nacht in azijn te leggen. Azijn en zure regen hebben ongeveer dezelfde zuurtegraad. Wanneer je een stukje marmer in azijn legt, vormen zich gasbellen. Je kunt de massa van het stukje droge marmer bepalen, voor en na het experiment.
Vraag 3: ZURE REGEN
S485Q03
Een stukje marmer heeft een massa van 2,0 gram voordat het een nacht in azijn wordt ondergedompeld. De volgende dag wordt het eruit gehaald en gedroogd. Wat zal de massa van het stukje droge marmer zijn? A B C D
Minder dan 2,0 gram. Precies 2,0 gram. Tussen 2,0 en 2,4 gram. Meer dan 2,4 gram. Volledig correct antwoord: 460 scorepunten (niveau 2) Code 1: A. Minder dan 2,0 gram. Percentage correcte antwoorden: OESO-leerlingen: 66,1% Vlaamse leerlingen: 72,4%
Handboek PISA - WETENSCHAPPEN
77
Het moeilijkste vrijgegeven item voor de vaardigheid ‘Wetenschappelijke bewijzen gebruiken’ is item ‘S114Q4.2 – Broeikaseffect’. Deze vraag staat hieronder afgebeeld en hoort bij de inleiding op vraag S114Q05 hierboven afgebeeld. Dit item heeft een drempelscore van 659 (vaardigheidsniveau 5) en is een item waarbij een correct antwoord vereist dat de leerling een grafiek correct interpreteert en op basis van de gegevens een juiste redenering maakt. In Vlaanderen beantwoordt 28.7% van de geteste leerlingen deze vraag correct ten opzichte van gemiddeld 23% over de OESO-landen.
Vraag 2: BROEIKASEFFECT
S114Q04
Een andere studente, Inge, is het niet eens met de conclusie van André. Ze vergelijkt de twee grafieken en zegt dat bepaalde delen van de grafieken zijn conclusie niet ondersteunen. Geef een voorbeeld van een deel van de grafieken dat de conclusie van André niet ondersteunt. Leg je antwoord uit.
Volledig correct antwoord: 659 scorepunten (niveau 5) Antwoorden die verwijzen naar één bepaald deel van de grafieken waarin de curven niet beiden dalen of beiden klimmen en de bijhorende verklaring geeft, zijn volledig correct. Antwoorden die correcte elementen bevatten, maar niet volledig juist op de vraag antwoorden (bijv. een correcte periode geven zonder uitleg of één jaar vermelden i.p.v. een periode met een aanvaardbare uitleg) krijgen een partiële score. Percentage correcte antwoorden (met verrekening van de leerlingen die een partiële score kregen): OESO-leerlingen: 25.2% Vlaamse leerlingen: 29.15%
Handboek PISA - WETENSCHAPPEN
78
2.4.2 Gemiddelde Vlaamse prestatie voor ‘Wetenschappelijke bewijzen gebruiken’ in internationaal perspectief 'Wetenschappelijke bewijzen gebruiken' Landen Finland Japan Canada Hongkong-China Korea Nieuw-Zeeland Liechtenstein Vlaanderen Taipei-China Australië Estland Nederland Zwitserland Slovenië … OESO gemiddelde
Gem. 567 544 542 542 538 537 535 534 532 531 531 526 519 519 516 … 499
St.Fout 2.3 4.2 2.2 2.7 3.7 3.3 4.3 4.1 3.7 2.4 2.7 3.3 2.9 3.4 1.3 … 0.6
Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
Tabel 2.3: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO gemiddelde voor de PISA vaardigheid ‘Wetenschappelijke bewijzen gebruiken’
Uit tabel 2.3 blijkt dat alleen Finland het significant beter doet dan Vlaanderen voor het subdomein ‘wetenschappelijke bewijzen gebruiken’. Vlaanderen haalt een achtste plaats. Voor meer en uitgebreide informatie verwijzen we naar de eerste Vlaamse PISA2006 brochure (I. De Meyer, 2007).
Figuur 2.8: Verdeling van de leerlingen over de vaardigheidsniveaus – ‘Wetenschappelijke bewijzen gebruiken’ subschaal
Handboek PISA - WETENSCHAPPEN
79
Het is interessant om eens na te gaan wat de verdeling is van de leerlingen over de verschillende vaardigheidsniveaus. In figuur 2.8 staan de landen gerangschikt volgens het percentage leerlingen dat onder vaardigheidsniveau 2 scoort. 13.4% van de Vlaamse leerlingen haalt niveau 2 niet. Daarmee bevindt Vlaanderen zich samen met Liechtenstein (13.6%), Australië (13.3%), Japan (13.3%) en TaipeiChina (13%) in de middenmoot. Finland slaagt er ook voor dit subdomein in om een laag percentage laagpresteerders te halen (5.4%). Dit gaat in Finland samen met een hoog percentage hoogpresteerders: maar liefst 25% van de Finse leerlingen scoren op vaardigheidsniveau 5 of 6. Voor Vlaanderen is dit 17.4%, een stuk hoger dan het OESO-gemiddelde (11.8%).
2.4.3 Gemiddelde Vlaamse prestatie voor ‘Wetenschappelijke bewijzen gebruiken’ per PISA vraag in internationaal perspectief Vlaanderen scoort op enkele items beduidend lager ten opzichte van de andere landen. Dit geldt vooral voor enkele moeilijkere items (vaardigheidsniveau 3 en 4), zoals te zien is in figuur 2.9. Vlaanderen
Nederland
Duitsland
Finland
OESO
120 100 80 60 40 20 0
66
26
58
95
26
24
26
28
13
85
28
14
Q0
Q0
Q0
1
2T
2T
2
Q0
1
6T
Q0
5
3
Q0
3
Q0
Q0
3
Q0
Q0
02
Q0
Q0
1T Q0 27 S5 1 Q0 19 S5 4T Q0 14 S1 4 Q0 25 S4 5 Q0 47 S4 7 Q0 24 S5 3 Q0 95 S4 3A Q0 04 S3 4T Q0 13 S4 1 Q0 65 S4 1 Q0 16 S4 2 Q0 25 S4 1 Q0 04 S3 2T Q0 31 S1 1T Q0 95 S4 4 Q0 14 S5 4B Q0 98 S4 4 Q0 98 S4 2T Q0 78 3T S4 Q0 114 S1 5
S4
S3
S4
S4
S3
S5
S3
S4
S4
S4
S5
S4
Figuur 2.9: Percentage correcte antwoorden op alle vragen bij de vaardigheid ‘Wetenschappelijk bewijzen verklaren’ volgens stijgende moeilijkheidsgraad
Op items S458Q02 (vaardigheidsniveau 3), S413Q04 (vaardigheidsniveau 4) en S527Q01 (vaardigheidsniveau 6) ligt het percentage correcte antwoorden lager voor Vlaanderen ten opzichte van Finland, de buurlanden en/of het OESO-gemiddelde. Bij elk van deze vragen wordt er van de leerlingen verwacht dat ze wetenschappelijke hypotheses opstellen of hypotheses afleiden uit een gegeven experiment. Bovendien gaat het bij deze drie vragen over een complexe meerkeuzevraag. Dit houdt concreet in dat de vraag bestaat uit een drietal deelvragen waarbij de leerlingen pas punten krijgen wanneer ze alle deelvragen correct beantwoorden. Dit specifiek formaat van de vraag kan de reden zijn waarom leerlingen het moeilijker hebben met dit soort vragen. Dit is niet de enige reden, aangezien vragen S524Q06, S445Q02,S514Q04, S478Q02 en S495Q01 ook dergelijke complexe meerkeuzevragen zijn, maar de prestatie voor Vlaanderen op deze vragen niet lager ligt ten opzichte van de andere landen. De reden van de mindere prestatie van de Vlaamse leerlingen kan ook gevonden worden in de aard van de vraag. Bij elk van deze vragen wordt er immers gepeild naar het opstellen van wetenschappelijke hypotheses of naar het afleiden van hypotheses uit een gegeven experiment. Op basis van figuur 2.9 zouden we bijgevolg kunnen afleiden dat Vlaamse leerlingen deze vaardigheid minder beheersen dan de 15-jarigen uit andere landen. Voor S428Q01 (vaardigheidsniveau 3), S514Q04, S425Q02 (beiden vaardigheidsniveau 3), S495Q01T en S524Q07 (beiden vaardigheidsniveau 4) behalen de Vlaamse leerlingen een relatief betere score dan de andere landen die op de figuur geplot staan. Opvallend is dat bij de meerderheid van de items waar Vlaamse leerlingen gemiddeld beter op scoren, verwacht wordt om wetenschappelijke bewijzen te interpreteren. Om deze vragen correct te beantwoorden, moeten de leerlingen in staat zijn om gegevens in een figuur of een tabel te interpreteren. Internationaal zien we dat 15-jarigen het over het algemeen
Handboek PISA - WETENSCHAPPEN
80
moeilijk hebben met dergelijke vragen. Een concreet voorbeeld van een dergelijke vraag werd hierboven gegeven (nl. item S114Q4.2 – Broeikaseffect). De Vlaamse leerlingen scoren voor de vaardigheid ‘Wetenschappelijke bewijzen gebruiken’ vooral op vragen waarbij wetenschappelijke bewijzen geïnterpreteerd moeten worden. Met het opstellen van wetenschappelijke hypotheses of met het afleiden van hypotheses uit een gegeven experiment hebben onze Vlaamse leerlingen het moeilijker in vergelijking met 15-jarigen uit andere landen.
2.5 Naar een verklaring voor de Vlaamse prestaties voor wetenschappen 2.5.1 Scores per vaardigheidsniveau Op basis van de PISA-data en na vergelijking van de Vlaamse prestaties met die van de andere landen, blijkt dat Vlaanderen niet behoort tot de top voor wetenschappen. Hetzelfde geldt voor de Vlaamse prestatie voor de verschillende vaardigheden (Wetenschappelijke onderwerpen aanduiden, fenomenen wetenschappelijk verklaren en wetenschappelijke bewijzen gebruiken). We kunnen stellen dat Vlaanderen het niet slecht doet, aangezien Vlaanderen nog steeds tot de subtopgroep behoort. Op basis van verdere analyse van de PISA-data proberen we in dit hoofdstuk een aantal tendensen te ontdekken. Met welke vragen hebben Vlaamse leerlingen het moeilijker? Is er een lijn te trekken? Een eerste opmerkelijke bevinding is dat de Vlaamse leerlingen het, niet alleen in vergelijking met topland Finland, maar ook in vergelijking met het OESO-gemiddelde en in vergelijking met de buurlanden, minder goed doen voor vragen met betrekking tot de wetenschappelijke vaardigheid ‘Fenomenen wetenschappelijk verklaren’. In figuur 2.10 zien we heel duidelijk dat de curve voor Vlaanderen die het percentage correcte antwoorden per wetenschappelijke vaardigheid afbeeldt, een knik vertoont voor de vaardigheid ‘Fenomenen wetenschappelijk verklaren’. Die knik zien we niet opduiken voor topland Finland, noch voor het OESO-gemiddelde, noch voor de andere afgebeelde landen. Met andere woorden, voor de overige landen afgebeeld in figuur 2.10 loopt de lijn min of meer evenwijdig. Voor Vlaanderen vervalt die evenwijdigheid voor de vaardigheid ‘fenomenen wetenschappelijk verklaren’ en meer bepaald in negatieve zin: Vlaamse leerlingen doen het relatief minder goed voor deze wetenschappelijke vaardigheid. Vlaanderen
Nederland
Duitsland
Finland
OESO
80 75 70 65 60 55 50 45 40
Wet. bewijzen gebruiken
Fenomenen wet. verklaren
Wet. onderwerpen aanduiden
Figuur 2.10: Percentage correcte antwoorden voor de drie geteste wetenschappelijke vaardigheden
Handboek PISA - WETENSCHAPPEN
81
Zoals hierboven in de tekst aangegeven, is het moeilijk om een eenduidige verklaring te vinden voor de mindere prestatie op sommige items binnen de vaardigheid ‘fenomenen wetenschappelijk verklaren’. Op het eerste zicht en na analyse van die items, is er geen lijn te trekken in de specifieke vaardigheden die nodig zijn om deze minder goed bantwoorde items tot een goed einde te brengen. Opmerkelijk is echter wel dat de meerderheid van de items bij de vaardigheid ‘fenomenen wetenschappelijk verklaren’ bestaat uit meerkeuzevragen. In tabel 2.4 staat per vaardigheid aangegeven hoeveel van de voorgelegde vragen meerkeuzevragen zijn en hoeveel andere soorten vragen werden gesteld. Opvallend is dat het percentage meerkeuzevragen het hoogst lag binnen die vaardigheid waar Vlaamse leerlingen net het minst goed presteren. 22 van de 53 vragen, of 41.5% van alle vragen binnen de vaardigheid ‘fenomenen wetenschappelijk verklaren’ zijn meerkeuzevragen, ten opzichte van respectievelijk 36% (9 van de 25) en 22.5% (7 van 31) binnen ‘wetenschappelijke onderwerpen aanduiden’ en ‘wetenschappelijke bewijzen gebruiken’. Zijn onze Vlaamse leerlingen minder vertrouwd en minder behendig in het beantwoorden van meerkeuze vragen? Wetenschappelijke vaardigheid Soort vraag Meerkeuzevraag Complexe meerkeuzevraag Gesloten vraag Open vraag Totaal
Wetenschappelijke Fenomenen onderwerpen aanduiden wetenschappelijk verklaren 9 (36%) 22 (42%)
Wetenschappelijke bewijzen gebruiken
Totaal
7 (23%)
38 (35%)
10 (40%)
11 (21%)
8 (26%)
29 (27%)
0 (0%)
4 (8%)
1 (3%)
5 (5%)
5 (20%)
16 (30%)
15 (48%)
36 (33%)
25 (22%)
53 (49%)
31 (29%)
108 (100%)
Tabel 2.4: Overzicht van het aantal vragen per type vraag en per subschaal voor wetenschappelijkegeletterdheid
2.5.2 Scores per type vraag De PISA wetenschapsvragen bestaan uit vier mogelijke antwoordformaten: meerkeuzevragen, complexe meerkeuzevragen, open antwoordvragen en gesloten antwoordvragen. Meerkeuzevragen zijn vragen waarbij het beste antwoord uit vier antwoordalternatieven gekozen moet worden. Bij de complexe meerkeuzevragen worden een aantal beweringen naar voor geschoven waarbij de leerlingen dan één van de mogelijkheden kunnen aanduiden (ja/nee, waar/niet waar, juist/onjuist,…). Op dergelijke vragen kunnen de leerlingen slechts een volledige correcte score behalen indien ze juist antwoorden op alle beweringen die horen bij de vraag. Als de vraag dus bestaat uit aangeven of een drietal beweringen al dan niet juist zijn, dan moet de leerling, om punten te krijgen, bij alle drie de beweringen correct aangeven of deze juist zijn of niet. Bij de gesloten vragen volstaat het om een kort antwoord te geven, bijvoorbeeld door één getal in te vullen of door te antwoorden met één woord of een korte zin. Open vragen vereisen een uitgebreid schriftelijk antwoord waarbij veelal gevraagd wordt een verklaring of redenering neer te schrijven. Figuur 2.11 toont ons dat meerkeuzevragen over het algemeen het hoogste percentage correcte antwoorden oplevert (OESO-gemiddelde 61%). De verklaring hiervoor is allicht dat het juiste antwoord niet moet gegenereerd worden. Uitsluiting van de foutieve antwoorden kan leiden tot het juiste antwoord, zonder dat de leerling het juiste antwoord echt weet. Daarenboven is er door te gissen een substantiële kans dat de gok resulteert in een juist antwoord.
Handboek PISA - WETENSCHAPPEN
82
Tweede in de rangorde komen de complexe meerkeuzevragen (54,0% correct overheen OESO-landen), gevolgd door de gesloten vragen (46% overheen de OESO-landen). Het laagste percentage correcte antwoorden wordt opgetekend bij de open antwoordvragen, met een percentage correct van 43% overheen de OESO-landen.
Figuur 2.11: Percentage correcte antwoorden per type vraag
Als we in figuur 2.11 de situatie voor Vlaanderen bekijken, dan blijkt dat de verschillende types items zich gedragen zoals dat overheen de OESO-landen het geval is. De lijn voor Vlaanderen loopt min of meer evenwijdig met die van het OESO-gemiddelde en met de lijn van kopland Finland. Voor de gesloten antwoorden scoort Vlaanderen in vergelijking met buurlanden Nederland en Duitsland lang niet slecht (gemiddeld 5% meer correcte antwoorden worden opgetekend voor Vlaanderen). De Vlaamse leerlingen presteren, in vergelijking met de andere landen, niet slechter op meerkeuzevragen en de grafiek ligt daar in de lijn van de verwachtingen.
De hypothese lijkt dus niet op te gaan: de mindere prestatie voor Vlaanderen op de wetenschappelijke vaardigheid ‘Fenomenen wetenschappelijk verklaren’ kan niet verklaard worden door het type vraag. Vlaamse leerlingen doen het in vergelijking met andere landen niet slechter op meerkeuzevragen die vaker voorkomen bij ‘Fenomenen wetenschappelijk verklaren’.
Handboek PISA - WETENSCHAPPEN
83
2.5.3 Scores per kennisdomein Als we de verdeling van de vragen nogmaals onder de loep nemen, valt op dat de meerderheid van de vragen voor de vaardigheid ‘Fenomenen wetenschappelijk verklaren’ bestaat uit vragen binnen het kennisdomein levende systemen (24 van de 53 vragen of 45%; zie ook de tabel 2.5). Hebben de Vlaamse leerlingen het dan lastiger met vragen over de menselijke biologie, de opbouw en structuur van cellen en kenmerken van populaties en ecosystemen, onderwerpen die voornamelijk aan bod komen tijdens de lessen biologie? Meer dan in vergelijking met vragen voor het kennisdomein fysische systemen (vragen met betrekking tot structuren, eigenschappen van stoffen, krachten, bewegingen en omzettingen van energie), zaken die voornamelijk behandeld worden tijdens de lessen fysica en chemie? Wijzen de PISA data uit dat Vlaamse leerlingen meer moeite hebben met vragen rond levende systemen dan vragen die focussen op de energie en de structuren van de aarde, de geschiedenis van de aarde en de plaats van de aarde binnen het heelal (materie die traditioneel behandeld wordt in de lessen aardrijkskunde)? Wetenschappelijke vaardigheid
Kennis over de Wetenschappelijke wetenschap kennis
Wetenschappelijke Fenomenen onderwerpen wetenschappelijk aanduiden verklaren
Totaal
Wetenschappelijke Totaal bewijzen gebruiken
Fysische systemen (~Fysica)
15
2
17 (13%)
Levende systemen (~Biologie)
24
1
25 (23%)
Aarde en heelal (~Aardrijkskunde)
12
Techn. systemen
2
0
12 (11%)
6
8 (7%)
Wet. onderzoek
24
1
25 (23%)
Wet. verklaringen
0
21
21 (19%)
31 (29%)
108
24 (22%)
53 (49%)
Tabel 2.5: Aantal PISA vragen per kennisdomein en per subschaal voor wetenschappelijke geletterdheid
Figuur 2.12 geeft ons een antwoord op die vragen. De ‘Vlaamse’ lijn op de grafiek loopt min of meer gelijk aan die van Nederland. Beide lijnen vertonen heel duidelijk een lager percentage correcte antwoorden voor het kennisdomein ‘levende systemen’ ten opzichte van kopland Finland. Er is ook een knik in de grafiek ten opzichte van het OESO-gemiddelde. Waar het percentage correcte antwoorden voor het kennisdomein ‘fysische systemen’ voor Finland 4% hoger ligt dan voor Vlaanderen, ligt het percentage correcte antwoorden voor ‘levende systemen’ maar liefst 10% hoger voor Finland dan voor Vlaanderen. Ten opzichte van het OESO-gemiddelde scoort Vlaanderen een kleine 8% hoger voor ‘fysische systemen’. Dit verschil krimpt tot 4% voor ‘levende systemen’. Op vragen rond levende systemen presteren Vlaamse leerlingen relatief minder goed. Of met andere woorden, vragen die aansluiten bij thema’s uit de biologie worden door de Vlaamse leerlingen minder vaak goed beantwoord.
Handboek PISA - WETENSCHAPPEN
84
Vlaanderen
Nederland
Duitsland
Finland
OESO
80 75 70 65 60 55 50 45 40 Fysische systemen
Levende systemen
De aarde en het heelal
Kennis over de wetenschap
Figuur 2.12: Percentage correcte antwoorden per kennisdomein
Bovenstaande bevinding verklaart deels de ‘mindere’ prestatie voor de vaardigheid ‘fenomenen wetenschappelijk verklaren’. Aangezien de kennisdomeinen ‘fysische systemen’, ‘levende systemen’ en ‘de aarde en het heelal’ samen clusteren tot het overkoepelende kennisdomein ‘wetenschappelijke kennis’ ligt daarin ook de verklaring voor de, in vergelijking met de andere geplotte landen, relatief lagere prestatie voor dit kennisdomein (zie figuur 2.10).
De Vlaamse leerlingen presteren minder goed op vragen met betrekking tot levende systemen, materie die traditioneel aansluit bij de lessen biologie. Aangezien vragen over levende systemen vooral opgenomen worden in het kennisdomein ‘Fenomenen wetenschappelijk verklaren’ , biedt de mindere prestatie op vragen over levende systemen ook een verklaring voor de mindere prestaties op dit kennisdomein. In Nederland zien we dezelfde tendens.
Handboek PISA - WETENSCHAPPEN
2.6
85
Verschillen tussen leerlingen voor wetenschappen
2.6.1 Onderwijsvorm en studierichting Uiteraard kunnen we niet iedere leerling over dezelfde kam scheren, er bestaan grote verschillen binnen de Vlaamse leerlingengroep. Zo presteert in Vlaanderen 12.3% van de 15-jarigen op de twee hoogste vaardigheidsniveaus (niveau 5 en 6) en behoren ze met andere woorden tot de toppresteerders voor wetenschappen. Een quasi even groot deel van de Vlaamse leerlingen (11.6%) bereikt vaardigheidsniveau 2 niet. Vaardigheidsniveau 2 wordt internationaal vooropgesteld als minimumniveau. Dit betekent niet dat deze leerlingen geen wetenschappelijke kennis hebben, maar dat ze hun wetenschappelijke kennis niet actief kunnen gebruiken. De meerderheid van de Vlaamse jongeren presteert op vaardigheidsniveaus 3 en 4 (57.7%). Deze gegevens geven een idee van de spreiding van de Vlaamse resultaten voor wetenschappen. Die spreidingsgegevens kunnen statistisch uitgezet worden in percentielen en staafdiagrammen waarbij de scores horende bij percentiel 5 tot en met 95 worden uitgezet. 5% van de leerlingen scoort lager dan het vijfde percentiel en percentiel 95 toont de score waarboven slechts 5% van de leerlingen presteert. Dezelfde redenering geldt voor de andere afgebeelde percentielen (10, 25, 50, 75 en 90). Percentiel 50 komt overeen met de mediaan (de score van de middelste leerling als alle leerlingen gerangschikt staan volgens hun score). In dit handboek zullen we het verder vooral hebben over het gemiddelde. 95 90 85 80 75 70 65 60 55 50 45 40 35 30 25 20 15 10 5
Middelste 50% van de leerlingen
De totale lengte van de blokjes in de figuren weerspiegelt de scores waartussen 90% van de leerlingen van een land presteert. Dit komt neer op het verschil tussen het punt waarboven de 5% sterkste leerlingen presteren en het punt waaronder de 5% zwakste leerlingen presteren; of het verschil tussen percentiel 95 en percentiel 5 (zie figuur hiernaast). Analoog presteert de helft van de leerlingen van een land tussen percentiel 25 en percentiel 75. Het zwarte blokje rond waarde 50 stelt het 95% betrouwbaarheidsinterval rond het gemiddelde voor.
Het verschil tussen de zwakste en de sterkste leerling is, net zoals in vorige cycli, het kleinst voor wetenschappelijke geletterdheid, kleiner dus dan voor wiskundige geletterdheid of voor leesvaardigheid. Het verschil in gemiddelde score tussen de leerlingen in percentiel 5 (363 punten) en leerlingen uit percentiel 95 (665) bedraagt 302 punten. Voor wiskundige geletterdheid is dit verschil 20 punten hoger en voor leesvaardigheid 43 punten hoger. In figuur 2.14 staat de spreiding voor wetenschappelijke geletterdheid weergegeven voor de 10 best presterende landen samen met buurland Duitsland en het OESO-gemiddelde. De spreidingsdiagrammen worden gerangschikt volgens stijgende gemiddelde score. Met een verschilscore van 302 punten tussen de 5% best presterende leerlingen en de 5% zwakst presterende leerlingen is de spreiding in Vlaanderen iets kleiner dan het OESO-gemiddelde (312 punten). Of met andere woorden, de spreiding voor Vlaanderen is normaal te noemen. Als we die spreiding vergelijken met andere landen (bijvoorbeeld Nieuw-Zeeland of Japan), dan is de spreiding voor Vlaanderen een stuk kleiner.
Handboek PISA - WETENSCHAPPEN
86
Opvallend is dat van alle afgebeelde (top)landen de prestatie van de sterkste leerlingen (hier gerepresenteerd door percentiel 95) met een score van 665 het laagst ligt voor Vlaanderen. De gemiddelde prestatie van de zwakste leerlingen (percentiel 5) ligt daarentegen in het midden. Wat erop wijst dat de internationaal gemiddelde achtste positie van Vlaanderen voor wetenschappelijke geletterdheid kan tot stand komen door een relatief goede prestatie voor wetenschappen van de minder sterke leerlingen. Of anders gesteld: Vlaanderen slaagt er relatief goed in om voor wetenschappen de kloof tussen zwakke en sterke wetenschapspresteerders klein te houden. Finland doet opmerkelijk beter. De hoge prestaties van de kopgroep gaan samen met een kleine spreiding waarbij de gemiddelde zwakke prestaties eveneens een stuk hoger liggen dan die van de andere landen, wat voor een stuk de Finse koppositie voor wetenschappen verklaart.
Figuur 2.14: Spreiding voor wetenschappelijke geletterdheid
Toch zijn er verschillen tussen leerlingen in Vlaanderen en die worden voor een stuk in de hand gewerkt door de manier waarop het Vlaams onderwijs is georganiseerd. In tegenstelling tot andere landen (bijvoorbeeld Finland) krijgen Vlaamse leerlingen gegroepeerd les, verdeeld over verschillende onderwijsvormen. Binnen die onderwijsvormen zijn ze verdeeld over verschillende studierichtingen die per richting een ander studiepakket aangeboden krijgen. De PISA steekproef wordt zo representatief mogelijk gekozen, dit wil zeggen dat er naar gestreefd wordt dat de steekproef een afspiegeling is van de situatie in een land (bijvoorbeeld aantal leerlingen per studierichting). De PISA steekproef zag er in 2006 uit zoals weergegeven in figuur 2.15. DBSO 1,1%
BUSO 2,7% Eerste graad 1,5%
BSO 19,8% ASO 44,3%
KSO 0,9% TSO 29,7%
De grootste groep van de Vlaamse PISA-leerlingen (44%) volgt les in het algemeen secundair onderwijs (ASO). Een kleine minderheid (0.9%) volgt kunsthumaniora (KSO). Om en bij de 30% van de bevraagde leerlingen zit in het technisch onderwijs (TSO) en nog eens 21% in het beroepssecundair (BSO), waarvan 1% in het deeltijds beroepsonderwijs (DBSO). Er was eveneens een beperkte deelname van leerlingen in het buitengewoon secundair onderwijs (BUSO) en leerlingen van de eerste graad. Figuur 2.15: Verdeling PISA-leerlingen over de onderwijsvormen (Vlaamse PISA steekproef 2006)
Handboek PISA - WETENSCHAPPEN
87
De gemiddelde score voor wetenschappen verschilt enorm tussen de leerlingen in de verschillende onderwijsvormen: ASO leerlingen behalen een gemiddelde van 593 punten, wat meteen 160 punten hoger ligt dan het gemiddelde voor BSO leerlingen (zie tabel 2.6). Ook het verschil tussen de algemene studierichting en de technische richting is betekenisvol. Leerlingen in het TSO behalen een gemiddelde van 525 punten, 68 punten lager dan ASO leerlingen. Als we deze gegevens vertalen naar de vaardigheidsniveaus dan zien we dat leerlingen in het ASO gemiddeld op het vierde vaardigheidsniveau, leerlingen uit het KSO en TSO op het derde vaardigheidsniveau, BSO-leerlingen op het tweede en BUSO en DBSO leerlingen onder het tweede vaardigheidsniveau presteren. Opmerkelijk is allicht dat DBSO-leerlingen lager scoren dan BUSO-leerlingen. Deze bevinding vraagt duiding. Ten eerste dienen we hierbij te vermelden dat leerlingen in het BUSO omwille van mogelijke leerbeperkingen, een aangepast testboekje krijgen. Daarin worden niet alleen minder vragen opgenomen, deze testboekjes bevatten ook een selectie van gemakkelijke vragen. Leerlingen uit de andere onderwijsvormen krijgen deze Prestatie voor VaardigheidsOnderwijsvorm vragen ook voorgeschoteld, maar krijgen wetenschappen niveau meer vragen waaronder ook moeilijke vra422.72 (15.29) 2 1ste graad gen. Dit maakt vergelijking tussen BUSO 593.00 (2.30) 4 ASO leerlingen en de andere groepen mogelijk. 525.19 (2.74) 3 TSO Daarenboven zorgt dit ervoor dat de BUSO 544.52 (12.91) 3 KSO leerlingen niet ontmoedigd raken bij het 433.22 (3.03) 2 BSO invullen van de test. Als we weten dat 338.98 (40.85) 1 DBSO de DBSO leerlingen de ‘gewone’ testboek364.19 (11.18) 1 BUSO jes krijgen, dan ligt een verklaring voor Tabel 2.6: Gemiddelde prestatie per onderwijsvorm voor wetenschappelijke het feit dat BUSO leerlingen hoger scoren geletterdheid voor de hand. Bovendien dient er vermeld te worden dat het verschil in absolute cijfers van 25 misschien veel lijkt, maar de standaardfout in acht genomen kunnen we besluiten dat het niet gaat om een significant verschil. De reden voor de grote standaardfout ligt in het feit dat zowel de groep DBSO-leerlingen (n=32) als de groep BUSO-leerlingen (n=125) relatief klein was. De gemiddelde prestatie voor deze relatief kleine groepen kan dus sterk beïnvloed worden door zwakkere (of sterkere) prestaties van één individuele leerling. Dit wordt ook duidelijk in onderstaande figuur 2.16 waarin de spreiding voor de resultaten binnen elke onderwijsvorm voor wetenschappen op dezelfde manier weergegeven wordt. De zwarte balk in het midden stelt opnieuw het 95% betrouwbaarheidsinterval rond het gemiddelde voor. De grootte van die zwarte balken toont onmiddellijk voor welke groep(en) de gegevens minder nauwkeurig zijn: hoe kleiner het aantal respondenten per groep, hoe groter de standaardfout op de berekeningen en hoe groter de schommelingen, wat zich op de figuren vertaalt in een grotere zwarte balk. Deze schommelingen zijn dus bijzonder groot bij KSO, DBSO en BuSO, net die onderwijsvormen waaruit minder leerlingen getest werden.
Handboek PISA - WETENSCHAPPEN
88
Figuur 2.16: Spreiding van de scores voor wetenschappelijke geletterdheid binnen de Vlaamse onderwijsvormen
Bovenstaande figuur 2.16 toont eveneens aan dat we in feite geen uitspraken kunnen doen in de aard van ‘ASO leerlingen presteren beter dan BSO leerlingen’. Integendeel, de balken van ASO en BSO overlappen elkaar gedeeltelijk, waarbij de 20% best presterende BSO leerlingen zich op hetzelfde niveau bevinden als de minst presterende ASO leerlingen. Hetzelfde gaat op voor vergelijkingen tussen andere onderwijsvormen. TSO leerlingen in het hoogste percentiel presteren op eenzelfde niveau als ASO leerlingen met een gemiddelde score. De verschillen in prestatie tussen de onderwijsvormen die op basis van de gemiddelden groot leken, zijn, na het bekijken van de verschillen binnen een groep, eerder matig. Hoewel het Vlaams onderwijssysteem de leerlingen groepeert in onderwijsvormen, zijn er nog steeds aanzienlijke verschillen binnen de onderwijsvormen.
Een andere manier om de prestaties van leerlingen in de verschillende onderwijsvormen met elkaar te vergelijken, is door te kijken naar de verdeling van de leerlingen overheen de vaardigheidsniveaus zoals in figuur 2.17. We zien nog maar eens hoe selectief het Vlaams onderwijssysteem is. Naarmate 15-jarigen les volgen in een ‘hogere’ ofwel meer theoretische onderwijsvorm, hoe meer de scoreverdeling naar boven opschuift. Niet alleen het gemiddelde ligt hoger per onderwijsvorm, ook de hele verdeling schuift op naar boven. Het percentage leerlingen dat op de hoogste vaardigheidsniveaus presteert, wordt groter in elke volgende onderwijsvorm. Het percentage 15-jarige dat presteert op het laagste vaardigheidsniveau krimpt bij elke volgende onderwijsvorm.
Figuur 2.17: Verdeling van de leerlingen overheen de vaardigheidsniveaus
Handboek PISA - WETENSCHAPPEN
89
De meerderheid van de ASO leerlingen (72.1%) presteert op niveau 4 of hoger voor wetenschappen, terwijl dat percentage slinkt tot 28.7% voor TSO leerlingen. Dit konden we al vermoeden op basis van het gemiddelde. Als we kijken naar de percentages leerlingen die het tweede vaardigheidsniveau niet haalt, wat betekent dat die leerlingen hun wetenschappelijke kennis niet actief kunnen gebruiken, dan zien we dat een aanzienlijk percentage BUSO (77.2%), DBSO (84.6%) en BSO (35.5%) leerlingen dit niveau niet haalt. Dit zijn de drie onderwijsvormen waar de vakken aardrijkskunde, biologie, chemie en fysica geen afzonderlijke plaats krijgen in het curriculum van de leerlingen. In de meeste, zoniet alle ASO richtingen, krijgen leerlingen een uur per week les voor elk van deze vakken (in sommige richtingen meer dan 1 uur per week). In TSO richtingen spenderen de leerlingen minder uren per week aan wetenschappelijke vakken. Ze krijgen over het algemeen wel 1 uur per week aardrijkskunde en daarnaast 1 uur per week natuurwetenschappen, een vak waarin zowel fysische, chemische als biologische thema’s behandeld worden. Afhankelijk van studierichting tot studierichting komen daar nog extra uren bij met vakken zoals toegepaste biologie, toegepaste chemie of een ander wetenschapsgerelateerd vak. BSO, DBSO en BuSO leerlingen krijgen geen afzonderlijke wetenschapsvakken. Wetenschappelijke thema’s kunnen aan bod komen in het vak PAV (Project Algemene Vakken), hoewel de nadruk ligt op functionele taal- en rekenvaardigheid, informatieverwerking, organisatiebekwaamheid en maatschappelijk bewustzijn. De diversiteit aan studierichtingen die samengaan met een specifiek curriculum waarbij meer of minder nadruk ligt op wetenschappen verklaart natuurlijk voor een stuk de prestatieverschillen binnen de Vlaamse onderwijsvormen. Figuur 2.18 geeft een overzicht van de gemiddelde prestaties van de Vlaamse leerlingen volgens de studierichting waarin ze les volgen. Enkel de studierichtingen waarin voldoende PISA-leerlingen les volgen om statistische uitspraken te doen, werden aan de figuur toegevoegd. Daardoor is niet iedere studierichting in onderstaande figuur opgenomen. Opnieuw valt op dat er niet zomaar kan gesteld worden dat alle ASO richtingen beter presteren voor wetenschappen dan de TSO richtingen. Leerlingen uit TSO richtingen met een meer wetenschappelijke invalshoek (bijvoorbeeld de richting technische wetenschappen), scoren gemiddeld hoger dan leerlingen uit ASO richtingen waarin minder wetenschappen aan bod komen (bijvoorbeeld economie). Opvallend is dat de leerlingen uit de verschillende BSO richtingen gemiddeld een lagere score behalen voor wetenschappen. Een mogelijke verklaring daarvoor is dat de leerlingen geen afzonderlijke wetenschapsvakken hebben zoals in de andere onderwijsvormen.
Handboek PISA - WETENSCHAPPEN
90
eid 650 640 630 620
A
610
A
A
600
A
590
T
580
A
570
(593)
A T
A
560
K
550
(545)
K
540
T
530
T
T T
520
T
510
T
(525) T T T
500 T
HANDEL/TALEN (504)
BIO
490 480
T
470 460 440 430
B
B B
450
(433) B B
B B
B
B
420 410 400 390
ASO
KSO
TSO
BSO
380 370
Figuur 2.18: Gemiddelde prestatie per studierichting voor wetenschappelijke geletterdheid
UNIVERSITEIT GENT Vakgroep Onderwijskunde
L E E S VA A R D IG H E I D
Handboek PISA - LEESVAARDIGHEID
93
3. Leesvaardigheid 3.1
‘Leesvaardigheid’ volgens PISA
3.1.1 Definitie en indeling van het domein Leesvaardigheid omvat een brede waaier aan cognitieve vaardigheden: het is niet alleen fundamenteel om de informatie te decoderen, ook begrip en kennis van woorden, grammatica, linguïstische en tekstuele informatie is nodig evenzeer als kennis over de wereld. De definitie voor leesvaardigheid zoals gebruikt in PISA omvat dus meer dan het louter technisch aspect van lezen en meer dan het letterlijk interpreteren van teksten. PISA omschrijft leesvaardigheid als: ‘Het begrijpen van, het gebruiken van, het reflecteren op en het zich inlaten met geschreven teksten zodat iemand zijn doelen kan bereiken, zijn kennis en capaciteiten kan ontwikkelen en kan participeren in de maatschappij’. ‘Begrijpen’ uit de definitie verwijst naar betekenis verlenen aan tekst. Dit kan slaan op de basisvaardigheid om betekenis te geven aan woorden. Maar dat kan ook slaan op de meer complexe taak om de onderliggende betekenis van een argument of verhaal te begrijpen. Vaak wordt de informatie die gegeven wordt in een tekst ‘gebruikt’ voor een taak, met een bepaald doel of om meningen te versterken of veranderen. Soms is daarvoor minimale verwerking nodig, soms is een meer syntactische en structurele verwerking van de tekst nodig. Bij het lezen van een tekst stelt de lezer zich de vraag of wat er staat de informatie verleent waar men naar op zoek is, of de inhoud betrouwbaar is, wat de kwaliteit van de tekst is,… Dit aspect van lezen wordt in de definitie aangeduid met ‘reflecteren’. Om leesvaardigheid te testen in PISA werd een aantal leesitems ontwikkeld aan de hand waarvan de vaardigheden zoals beschreven in de definitie getest worden. Het raamwerk (of het concept) voor leesvaardigheid wordt opgebouwd rond drie centrale dimensies: • • •
Welk soort teksten moeten de leerlingen lezen? (Teksten) Wat is de bedoeling van de lezer en hoe benadert hij/zij de tekst? (Aspecten) Welke bedoeling had de auteur in gedachten toen hij/zij de tekst schreef? (Situatie)
In het bestek van dit handboek zal er niet dieper ingegaan worden op de dimensies ‘Teksten’ en ‘Situatie’. We verwijzen graag naar de brochure ‘PISA. Leesvaardigheid van 15-jarigen in Vlaanderen. De eerste resultaten van PISA 2009’ of naar de internationale brochure ‘PISA 2009 results: What students know and can do. Volume I’ (OECD, 2010). Op de dimensie ‘Aspecten’ wordt wel heel kort ingegaan omdat dit verwijst naar de cognitieve processen die bepalen hoe lezers met tekst omgaan. Binnen het PISA raamwerk voor leesvaardigheid wordt een onderscheid gemaakt tussen 3 aspecten: ‘Toegang en lokaliseren’, ‘Integreren en interpreteren’ en ‘Reflecteren en evalueren’. Deze drie aspecten vormen dan ook de basis voor de subschalen van leesvaardigheid zoals PISA ze hanteert.
Handboek PISA - LEESVAARDIGHEID
94
Toegang en lokaliseren
Integreren en interpreteren
Reflecteren en evalueren
Vaardigheden nodig om informatie uit teksten te vinden, te selecteren en te verzamelen. Soms is dit relatief gemakkelijk omdat de gezochte informatie expliciet vermeld staat in de tekst, soms is dat minder eenvoudig omdat de informatie verspreid staat over de tekst of omdat structureel inzicht in de tekst vereist is om de informatie te vinden. Integratie verwijst naar de vaardigheid van de lezer om de relatie tussen verschillende stukken tekst te begrijpen. In een tekst kan het bijvoorbeeld gaan over de beschrijving van een oorzaak-gevolg relatie. Interpreteren verwijst naar betekenisverlening aan iets wat niet expliciet in de tekst vermeld staat (bv. de connotatie van een tekst). Bij reflecteren gaat het over het inbrengen van eigen (en dus niet vermeld in de tekst) kennis, ideeën en waarden bij het lezen van een tekst. De lezer brengt zijn eigen ervaring en kennis in verband met wat gelezen wordt. Als de lezer een evaluatie koppelt aan de reflectie, spreken we over evalueren.
Figuur 3.1: Overzicht van de verschillende aspecten bij het raamwerk voor leesvaardigheid
Leesvaardigheid zoals gedefinieerd in PISA wordt bestudeerd als: Betekenis verlenen aan korte of langere teksten, zowel letterlijk als impliciet en de bekomen informatie gebruiken. Daarbij zal de lezer moeten uitmaken of de verkregen informatie nuttig/zinvol is voor het te bereiken doel (= reflectie). Zich inlaten met de tekst wordt binnen PISA ook opgenomen en verwijst naar de leesmotivatie.
3.1.2 Schaalconstructie De ontwikkeling van de (leesvaardigheids)vragen wordt gecoördineerd door het internationaal consortium onder leiding van een groep experten in het domein van leesvaardigheid. De verschillende deelnemende landen kunnen iedere PISA cyclus voorstellen voor vragen indienen die dan gereviewed en uitgetest worden. Het ontwikkelingsproces omvat verschillende ‘rondes’ waarbij de deelnemende landen feedback kunnen geven over de voorgestelde vragen, waarna een pilootstudie wordt opgezet en een vooronderzoek waaraan een steekproef van 15-jarigen uit alle landen deelneemt. Dit hele proces wordt iedere cyclus opnieuw doorlopen. Na deze verschillende fases, kwam men in 2009 tot een itempool van meer dan 130 leesvaardigheidsvragen die gebruikt werden in PISA 2009. Net zoals voor wetenschappelijke en wiskundige geletterdheid, krijgt de leerling niet alle 130 vragen, maar een selectie van leesvaardigheidsvragen aangeboden. Een cluster van vragen neemt ongeveer een half uur in beslag om in te vullen. Iedere leerling krijgt tenminste één cluster met een tiental vragen aangeboden. Net zoals bij wetenschappelijke geletterdheid en wiskundige geletterdheid wordt een schaal voor leesvaardigheid ontwikkeld waarop elke vraag een plaats krijgt. De plaats op de schaal reflecteert de moeilijkheid van de vraag. De score van iedere leerling kan eveneens een plaats krijgen op die schaal en
Handboek PISA - LEESVAARDIGHEID
95
dit reflecteert hoe vaardig de leerling is. De schaalconstructie voor leesvaardigheid gebeurt op een gelijkaardige manier als voor wiskundige en wetenschappelijke geletterdheid. Voor meer informatie over de schaalreconstructie voor leesvaardigheid in PISA 2009 verwijzen we naar de technische handleiding (PISA 2009 Technical Report, OECD, 2012).
3.1.3 Vaardigheidsniveaus Net als voor de andere domeinen en net zoals in vorige PISA cycli wordt leesvaardigheid onderverdeeld in opeenvolgende vaardigheidsniveaus. In tegenstelling tot vorige cycli worden zeven (en niet vijf) vaardigheidsniveaus onderscheiden voor leesvaardigheid. Voor PISA 2009 wordt het laagste niveau, namelijk niveau 1, opgesplitst. Ook het hoogste niveau wordt in PISA 2009 verder opgedeeld. Deze wijziging laat toe om zeer sterke zowel als zeer zwakke prestaties nauwkeuriger te beschrijven en te bespreken. Op de laagste vaardigheidsniveaus is de leerling in staat om expliciet aanwezige informatie in een korte en eenvoudige tekst te lokaliseren. Op de hoogste niveaus is de leerling in staat om minder eenvoudige tekst(en) in detail te begrijpen en om te kunnen omgaan met eventuele tegenstrijdige informatie. Voor een volledige beschrijving van de verschillende vaardigheidsniveaus en de vaardigheden per niveau verwijzen we naar de Vlaamse PISA 2009 brochure (PISA. Leesvaardigheid van 15-jarigen in Vlaanderen. De eerste resultaten van PISA 2009). Vlaanderen Meer dan
0.7%
Nederland gemiddelde 1%
Duitsland
Finland
1%
1%
2%
punten –
11.8%
7%
9%
7%
13%
punten 552.9 –
26.9%
21%
24%
23%
31%
punten 480.2 –
27.2%
29%
28%
29%
30%
punten 407.5 –
20.1%
34%
25%
22%
17%
punten 334.6 –
10.3%
13%
9%
13%
3%
punten 262 –
2.7%
4%
3%
4%
1%
0.4%
1%
0.1%
1%
0.3%
625.6
punten dan 262 punten Figuur 3.2: Percentage Vlaamse leerlingen per vaardigheidsniveau voor leesvaardigheid.
96
Handboek PISA - LEESVAARDIGHEID
In Vlaanderen presteert bijna 13% van de leerlingen op de hoogste vaardigheidsniveaus voor leesvaardigheid. Het percentage hoogpresteerders ligt over de OESO-landen, in Nederland en in Duitsland lager. In Finland presteert 15% van de leerlingen op de twee hoogste vaardigheidsniveaus. Vlaanderen combineert de relatief grote groep toppresteerders met 13% leerlingen die presteren onder vaardigheidsniveau 2, het niveau dat internationaal beschouwd wordt als het basisniveau. Vanaf niveau 2 of hoger vertonen leerlingen leesvaardigheden die het hen mogelijk maken om efficiënt en productief aan het dagelijkse leven deel te nemen. In Vlaanderen presteert 87% van de leerlingen op niveau 2 of hoger. Over de OESO-landen ligt dit percentage op 72%, net als in Duitsland. Finland combineert de grote groep toppresteerders (15%), met een zeer kleine groep leerlingen die presteert onder het tweede vaardigheidsniveau (4%) en komt zo tot een percentage van bijna 94% dat presteert op het tweede vaardigheidsniveau of hoger. In wat volgt nemen we de tijd om deze resultaten van naderbij te bekijken.
De Vlaamse leerlingen scoren goed op leesvaardigheid: Meer dan 13% van alle leerlingen behaalt een topprestatie voor leesvaardigheid. Keerzijde van de medaille: een even grote groep haalt het tweede vaardigheidsniveau niet.
3.1.4 PISA leesvaardigheidsvragen per vaardigheidsniveau en onderverdeling De 131 leesvaardigheidsvragen kunnen opgedeeld worden volgens het aspect. Ongeveer de helft van de vragen (67 items of 51%) vallen onder het aspect ‘Integreren en interpreteren’. In 31 (of 24%) vragen worden de vaardigheden die nodig zijn bij het aspect ‘Toegang en lokaliseren’ bevraagd tegenover 33 (of 25%) vragen onder het aspect ‘Reflecteren en evalueren’. In de figuur 3.3 wordt de gemiddelde moeilijkheidsgraad voor ieder item weergegeven. Zowel de vrijgegeven items als de niet vrijgegeven items zijn terug te vinden in de figuur. De vrijgegeven items werden onderlijnd. Het item zoals leerlingen het aangeboden kregen kan teruggevonden worden in het tweede deel van dit handboek. Uiterst links op de figuur staan de vragen voor de subschaal ‘Toegang en lokaliseren’, in het midden de vragen voor de subschaal ‘Integreren en interpreteren’ en uiterst rechts de vragen voor de subschaal ‘Reflecteren en evalueren’. De kleur geeft aan over welk soort vraag het gaat. Op korte antwoord vragen wordt van de leerlingen een kort antwoord gevraagd zoals bijvoorbeeld ja/nee of juist/fout. Op complexe meerkeuzevragen wordt van de leerling gevraagd om bij meerdere stellingen en/of vragen aan te geven of die juist of fout zijn. Het antwoord op dergelijke complexe meerkeuzevragen wordt pas als een juist antwoord geregistreerd als de antwoorden op alle stellingen/ vragen bij een item juist beantwoord werden. Meestal gaat het over een viertal stellingen per item. Bij een gewone meerkeuzevraag kiest de leerling het beste antwoord uit vier mogelijkheden. Bij open vragen zowel als bij korte antwoordvragen genereert de leerling zelf het antwoord op de vraag. Bij een open vraag zal het antwoord uitgebreider zijn en zal het antwoord een uitleg/verklaring nodig hebben.
Handboek PISA - LEESVAARDIGHEID
97
♦ Gesloten vraag ♦ Complexe meerkeuze vraag ♦ Meeerkeuze vraag ♦ Open vraag ♦ Korte antwoord vraag
R466Q02
R460Q01
R445Q06
R445Q04
Toegang en lokaliseren
Integreren en interpreteren
Reflecteren en evalueren
Figuur 3.3: Verdeling van alle leesvaardigheidvragen volgens subschaal, type vraag en moeilijkheidsgraad.
De moeilijkste PISA leesvaardigheidsvraag is een vraag binnen het aspect ‘Toegang en lokaliseren’. Dit toont meteen aan dat vragen bij het aspect ‘Toegang en lokaliseren’ niet noodzakelijk eenvoudige vragen zijn. Bij vragen op het zesde of hoogste vaardigheidsniveau moet de leerling verschillende onafhankelijke stukken informatie uit verschillende plaatsen in de tekst combineren, waarbij de informatie zich situeert in een context waarmee de leerling niet vertrouwd is. In de volgende hoofdstukken zullen de Vlaamse resultaten per aspect besproken en toegelicht worden. De resultaten worden internationaal geduid.
Handboek PISA - LEESVAARDIGHEID
98
In PISA-onderzoek worden verschillende soorten vragen gesteld. Voor het domein leesvaardigheid zijn er vijf mogelijke antwoordformaten: De korte antwoord- en open vragen zijn allebei varianten op open vragen. Bij de korte antwoord vragen volstaat het om bijvoorbeeld één getal in te vullen of om te antwoorden met één woord of uitdrukking. De andere open vragen vereisen een uitgebreider schriftelijk antwoord en peilen vaak naar het verduidelijken van een redenering of het geven van een verklaring. Bij de gesloten vragen is het antwoordformaat ingebouwd in de vraag. Bij meerkeuzevragen dienen leerlingen het beste antwoordalternatief uit een gegeven reeks aan te duiden. Complexe meerkeuzevragen leggen een aantal beweringen voor aan de leerlingen, waarbij zij alle beweringen die bij de vraag horen correct moeten beoordelen om een volledige score te krijgen.
3.2
‘Toegang en lokaliseren’, het eerste aspect van leesvaardigheid volgens PISA
3.2.1 Operationalisering van ‘Toegang en lokaliseren’ Om een tekst te kunnen begrijpen moet de lezer de informatie naar waar hij op zoek is, kunnen vinden, selecteren en verzamelen. Dat is dan ook waar het eerste aspect van leesvaardigheid voor staat. Op de volgende pagina staat het item ‘Commissie voor interne en externe mobiliteit’ dat peilt naar het lokaliseren van informatie. Het gaat om het eenvoudigste vrijgegeven item voor het aspect ‘Toegang en lokaliseren’ waarvan we het % correcte Vlaamse antwoorden kunnen berekenen. Het item bevindt zich op het op één na laagste vaardigheidsniveau, niveau 1a en is vergelijkbaar met de tweede vraag bij de unit “tandenpoetsen” die in deel 2 van deze brochure werd opgenomen en besproken. De unit ‘Commissie voor interne en externe mobiliteit’ werd in PISA2000 gebruikt door alle landen, waardoor het de meest eenvoudige vrijgegeven vraag is waarvoor het percentage correcte antwoorden voor alle OESO-landen kan berekend worden. In het tweede deel van deze brochure werden ook de nog eenvoudigere PISA-vragen opgenomen, maar die vragen werden vooral opgenomen in landen die de ‘easier set’ vragen moesten afnemen. Vermits Vlaanderen in de eerste PISA-cycli voor leesvaardigheid steeds een gemiddelde score behaalde die hoger lag dan het OESO-gemiddelde, behoort Vlaanderen tot de ‘standaard landen’. Deze landen moeten de ‘standard set’ vragen afnemen waardoor we niet exact kunnen bepalen hoe ze zouden scoren op de vragen uit de ‘easier set’. In principe zouden alle leerlingen in ‘standaardlanden’ de vragen uit de ‘easier set’ tot een goed einde moeten brengen en zouden we moeten kunnen uitgaan van een percentage correcte antwoorden van 100%. Om toch een concreter beeld te geven van welke leesvragen onze Vlaamse leerlingen in hun PISA-test terugvinden, hebben we in dit deel geopteerd om voor de eenvoudige vragen terug te grijpen naar gegevens van PISA2000. Enkel na deze cyclus werden eenvoudige leesvragen vrijgegeven die ook door Vlaamse leerlingen werden beantwoord. Het antwoord op de eerste vraag bij de unit “R234 – Commissie voor interne en externe mobiliteit” is op twee verschillende plaatsen letterlijk terug te vinden in de tekst. De eerste antwoordoptie “de afdeling personeelszaken” staat daarenboven heel expliciet achteraan de tekst, wat het nog eenvoudiger maakt om het terug te vinden. Hoewel de aankondiging behoorlijk veel tekst bevat, zorgt de opdeling in paragrafen en het werken met korte vragen aan het begin van elke paragraaf voor een overzichtelijk geheel. Dit draagt ertoe bij dat de informatie nog eenvoudiger te lokaliseren valt en het item dus relatief eenvoudig is.
Handboek PISA - LEESVAARDIGHEID
99
COMMISSIE VOOR INTERNE EN EXTERNE MOBILITEIT
Wat is CIEM? De aorting CIEM staat voor Commissie voor Interne en Externe Mobiliteit, een initiatief van de Afdeling Personeelszaken. Een aantal medewerkers van deze afdeling is werkzaam in CIEM, tezamen met mensen van andere afdelingen en externe loopbaanadviseurs. CIEM ondersteunt medewerkers die naar een andere baan op zoek zijn, binnen of buiten de Universiteit Gent. Wat doet CIEM? CIEM helpt medewerkers die serieus van baan willen veranderen met de volgende activiteiten: • Vacaturebank Na een gesprek met de medewerker worden de gegevens opgenomen in een databank met werkzoekenden en vacatures binnen de Universiteit Gent en andere overheidsinstellingen. • Begeleiding Aan de hand van gesprekken met een loopbaanadviseur worden de mogelijkheden van de medewerker onderzocht. • Cursussen Er worden cursussen georganiseerd (in samenwerking met de afdeling Informatie en Opleiding) over loopbaanplanning en het zoeken van een baan. • Heroriëntatieprojecten CIEM ondersteunt en coördineert projecten om medewerkers te helpen zich op een nieuwe carrière en op nieuwe beroepsperspectieven voor te bereiden. • Bemiddeling CIEM treedt op als bemiddelaar voor medewerkers die met ontslag worden bedreigd als gevolg van reorganisatie, en helpt zo nodig bij het vinden van een andere betrekking.
R234Q01
Wat kost CIEM? De kosten worden vastgesteld in overleg met de afdeling waar u werkzaam bent. Een aantal diensten van CIEM zijn gratis. Ook van uzelf kan een bijdrage worden verlangd, in geld of in tijd. Hoe werkt CIEM? CIEM helpt medewerkers die serieus een andere baan binnen of buiten de universiteit overwegen. Dat proces begint met het indienen van een aanvraag. Een gesprek met een personeelsconsulent kan daarbij ook nuttig zijn. Het spreekt vanzelf dat u eerst met de consulent moet praten over uw wensen en de interne mogelijkheden met betrekking tot uw loopbaan. De consulent is op de hoogte van uw capaciteiten en van de ontwikkelingen binnen uw afdeling. Het contact met CIEM loopt altijd via de personeelsconsulent. Hij of zij neemt uw aanvraag in behandeling, waarna u een uitnodiging ontvangt voor een gesprek met een medewerker van CIEM.
Voor meer informatie De Afdeling Personeelszaken kan u meer informatie geven.
Handboek PISA - LEESVAARDIGHEID
100
‘Gebruik de aankondiging van een Afdeling Personeelszaken op de bladzijde hiervoor om onderstaande vra ag te beantwoorden. Waar kunt u volgens de aankondiging meer informatie krijgen over CIEM? Volledig correct antwoord : 363 scorepunten (niveau 1a) Code 1: Noemt tenminste EEN van de volgende : (1) Bij de Afdeling Personeelszaken (2) Bijeen personeelsconsulent Percentage correcte antwoorden: OESO-leerlingen: 88,4% Vlaamse leerlingen: 93,4% In principe mag het terugvinden van dergelijke expliciet geformuleerde informatie voor leerlingen van 15 jaar geen enkel probleem vormen en uit het hoog percentage correcte antwoorden overheen de landen (OESO-gemiddelde = 88%) blijkt dit ook niet het geval. De moeilijkste vrijgegeven vraag bij het aspect ‘Toegang en lokaliseren’ waarvoor we voor alle landen een percentage correcte antwoorden kunnen berekenen, hoort eveneens bij de unit “Commissie voor interne en externe mobiliteit”. Bij een volledig correct antwoord hoort een gemiddelde score van 655 punten; een score op het op één na hoogste vaardigheidsniveau.
‘Gebruik de aankondiging van een Afdeling Personeelszaken op de bladzijde hiervoor om onderstaande vra ag te beantwoorden. Noem twee manieren waarop CIEM mensen helpt die hun baan zullen verliezen, ten gevolge van reorganisatie. Volledig correct antwoord : 655 scorepunten (niveau 5) Code 1: Noemt BEIDE van de volgende : (1) CIEM treedt op als bemiddelaar voor medewerkers OF bemiddeling. (2) CIEM helpt bij het vinden van een andere betrekking. [Niet acceptabel zijn: “Vacaturebank”, “Begeleiding”, “Cursussen”, of “Heroriëntatie projecten”] Percentage correcte antwoorden: OESO-leerlingen: 33,6% Vlaamse leerlingen: 49,7% De moeilijkheid van de vraag ligt in het feit dat de leerlingen beide manieren (uit een pool van twee) moeten opsommen die in de tekst vermeld staan en dat er geen letterlijke match is tussen de bewoording gebruikt in de vraag en die van de tekst. Eerst moeten leerlingen de link leggen tussen “baan verliezen” uit de vraag en “met ontslag bedreigd worden” uit de tekst en daarna moeten ze uit de zin in de tekst de twee deelaspecten opsommen in hun antwoord. Dit is niet zo eenvoudig omdat de aankondiging op zich heel goed gestructureerd is in paragrafen en puntjes, maar binnen de paragraaf staan de twee manieren niet duidelijk onderscheiden. Daarnaast wordt het terugvinden van de informatie ook nog bemoeilijkt doordat heel wat van de informatie uit de aankondiging op zich (bijvoorbeeld de termen “heroriëntatieprojecten”, “begeleiding”) in aanmerking komt voor een goed antwoord, maar niet als dusdanig aanvaard wordt.
Handboek PISA - LEESVAARDIGHEID
101
Deze moeilijkste ‘lokaliseren’ opdracht wordt internationaal door ongeveer één derde van de 15-jarigen tot een goed einde gebracht, maar in Vlaanderen ligt het percentage correcte antwoorden aanzienlijk hoger. De helft van alle Vlaamse leerlingen bracht deze vraag in 2000 tot een goed einde. Dit ligt in dezelfde orde van grootte als het percentage correcte antwoorden in Finland (52%) en Nederland (48,2%), maar opmerkelijk hoger dan de prestatie in buurland Duitsland waar slechts 27% van de leerlingen een goed antwoord gaf.
3.2.2 Gemiddelde prestatie voor ‘Toegang en lokaliseren’ van de PISA leesvaardigheidsschaal De Vlaamse leerlingen doen het zeer goed op de subschaal ‘Toegang en lokaliseren’. In PISA2009 doet alleen Shanghai-China het significant beter. Vlaanderen scoort op eenzelfde niveau als Korea, Finland, Japan en Hongkong-China. 'Toegang en lokaliseren'
Landen Shanghai-China Korea Vlaanderen Finland Japan Hongkong-China Singapore Nieuw-Zeeland Nederland … OESO-gemid.
Gem. 549 542 537 532 530 530 526 521 519
2.9 3.6 2.7 2.7 3.8 2.7 1.4 2.4 5.1
495
0.5
Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
Tabel 3.1: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO-gemiddelde voor de PISA leesvaardigheidssubschaal ‘Toegang en lokaliseren’.
Ondanks de hoge score van de Vlaamse leerlingen, blijft het belangrijk om na te gaan hoe de prestaties verdeeld zijn. Welk aandeel van de leerlingen haalt het tweede vaardigheidsniveau, dat internationaal als benchmark wordt aangeduid om te kunnen functioneren in de maatschappij niet? Hoe zit het met de toppresteerders? Deze informatie kunnen we visualiseren door middel van een grafiek zoals te zien in figuur 3.4. Meer informatie over de vaardigheden van leerlingen op de verschillende niveaus van de subschaal ‘Toegang en lokaliseren’ staat beschreven in de nationale brochure ‘PISA. Leesvaardigheid van 15-jarigen in Vlaanderen. De eerste resultaten van PISA2009’.
Handboek PISA - LEESVAARDIGHEID
102
Liechtenstein Singapore Japan Canada Nederland Finland VLAANDEREN Hongkong China Shanghai China Korea
10 4 9 3 8 3 9 3 2 10 8 3 2 8 2 7 1 6 1 6
23 18 16 21 21 17 17 17 15 16
28 26 25 30 27 27 25 28 26 30
1 3 4 10 2 11 1 3 14 17 3 12 2 17 5 14 3
25 27 27
8
13 14 25 27
27 27 29 29 30
Figuur 3.4: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Toegang en lokaliseren’, volgens hun percentage leerlingen dat een score behaalt lager dan vaardigheidsniveau 2.
In figuur 3.4 wordt het percentage leerlingen per vaardigheidsniveau weergegeven voor de subschaal ‘Toegang en lokaliseren’ voor de 10 landen die het kleinste percentage leerlingen telt dat een gemiddelde score behaalt lager dan de benchmark (lager dan het tweede vaardigheidsniveau). In Vlaanderen haalt slechts 11% van de leerlingen dit niveau niet. Enkel in de Aziatische landen Hongkong-China, Shanghai-China en Korea ligt dit percentage lager. Als we dezelfde resultaten sorteren volgens het percentage van de leerlingen dat een topprestatie levert (dit zijn scores op vaardigheidsniveau 5 of hoger) (zie figuur 3.5), wordt duidelijk waarom de Vlaamse leerlingen een dergelijk hoog gemiddelde behalen op de subschaal ‘Toegang en lokaliseren’.
21
Nederland Hongkong China
17
Singapore Korea Japan VLAANDEREN Shanghai China
28 28
18 18
Nieuw Zeeland
Finland
27 20
IJsland
16
26 26 30
17 16 17 15
27 25 25 26
11 10 12 13 13 14 14 14 17 17
Figuur 3.5: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Toegang en lokaliseren’, volgens hun percentage leerlingen dat een topprestatie behaalt.
Alleen in Shanghai-China behaalt een hoger percentage van de leerlingen een topprestatie. Vlaanderen komt op de tweede plaats. Dit in combinatie met het laag percentage leerlingen op de onderste vaardigheidsniveaus, levert Vlaanderen een zeer goede prestatie op de subschaal ‘Toegang en lokaliseren’.
Handboek PISA - LEESVAARDIGHEID
103
3.2.3 Gemiddelde Vlaamse prestatie voor ‘Toegang en lokaliseren’ per PISA vraag in een internationaal perspectief. In wat volgt wordt bekeken of er een bepaald soort vragen is waar Vlaamse leerlingen zich in onderscheiden ten opzichte van leerlingen uit andere landen. Nederland, Finland, Duitsland en het OESOgemiddelde worden opnieuw als vergelijkingsbasis genomen. Figuur 3.6 toont de percentages correcte antwoorden bij de subschaal ‘Toegang en lokaliseren’ op alle items die getest werden in het PISA 2009 onderzoek. De vragen werden gerangschikt volgens stijgende moeilijkheidsgraad. Aan de linkerkant van de grafiek bevinden zich dus de makkelijkere items en aan de rechterkant de moeilijkere items. Enkel de ‘standard’ items zijn weergegeven, aangezien Vlaanderen geen ‘easier’ item set toegewezen kreeg en hier dus geen percentage correcte antwoorden voor kan gegeven worden. De punten in de grafiek weerspiegelen per vraag het percentage correcte antwoorden voor de respectievelijke landen. Voor vragen waarbij zowel een gedeeltelijke als een volledige score mogelijk was, werd het gemiddelde van beide percentages correct genomen. Het valt op dat Vlaanderen voor deze subschaal geen enkele keer onder het OESO-gemiddelde scoort en voor enkele items zelfs het hoogste percentage correcte antwoorden behaalt. Deze vragen (R412Q01 – R466Q02 – R083Q03 – R420Q09 – R466Q02 – R104Q02) situeren zich op verschillende vaardigheidsniveaus, waardoor we bijvoorbeeld niet kunnen stellen dat Vlaamse leerlingen het opmerkelijk beter doen op de hogere niveaus. Het valt wel op dat vier van de zes vragen waar Vlaamse leerlingen het goed op doen, gesloten vragen zijn. De andere vragen (R412Q01 & R466Q02) zijn een meerkeuze- en een open vraag (zie ook figuur 3.3).
104
Handboek PISA - LEESVAARDIGHEID
Figuur 3.6: Percentage correcte antwoorden op de vragen bij de subschaal ‘Toegang en lokaliseren’
Handboek PISA - LEESVAARDIGHEID
105
Wanneer we de inhoud van de vraag onder de loep nemen, merken we dat zowel in vragen R412Q01 en R083Q03 als in vragen R420Q09 en R104Q02 – waar de percentages correct voor Vlaanderen duidelijk uitspringen boven het OESO-gemiddelde of de Finse percentages – het gaat om vragen waarin leerlingen informatie uit de tekst moeten halen die weergegeven wordt in een grafische vorm (hetzij een grafiek, een tabel of een taartdiagram). We kunnen op basis van deze gegevens stellen dat de Vlaamse leerlingen goed zijn in het vinden van informatie uit tabellen en grafieken. Een vaardigheid die expliciet vermeld wordt in de eindtermen Nederlands: ‘De leerlingen kunnen schema’s en tabellen voor leeftijdsgenoten lezen’.
Onze Vlaamse leerlingen zijn zeer goed in het vinden van informatie in een geschreven tekst. Ze leveren een topprestatie op deze subschaal voor leesvaardigheid. De hoge prestatie kan verklaard worden door enerzijds een groot deel van de leerlingen die een prestatie levert op het hoogste vaardigheidsniveau, maar anderzijds ook door een laag percentage leerlingen op de laagste vaardigheidsniveaus. Na analyse van de prestatie op de verschillende vragen, kunnen we besluiten dat de Vlaamse leerlingen goed zijn in het terugvinden van informatie die in een grafiek of tabel wordt weergegeven.
Handboek PISA - LEESVAARDIGHEID
106
3.3
De subschaal ‘Integreren en interpreteren’
3.3.1 Definitie en indeling van de vaardigheid Bij het lezen van een tekst is het niet alleen nodig om de informatie in de tekst te vinden (lokaliseren), maar is het ook noodzakelijk om betekenis te verlenen aan de gelezen informatie. De informatie uit verschillende stukken tekst, die zich dichtbij of verder uit elkaar kunnen bevinden, moet daarbij geïntegreerd worden. Met andere woorden er moet een relatie gevonden worden tussen de informatie die zich op verschillende plaatsen bevindt. De relatie kan expliciet vermeld worden (‘De oorzaak van X is Y’), maar kan evengoed een inspanning van de lezer (bv. deductie) vragen. Naast integreren van informatie, moet de informatie ook geïnterpreteerd worden, er moet betekenis verleend worden aan iets wat niet expliciet werd vermeld. Het kan gaan over het ontdekken van een verband of het interpreteren van een connotatie in een stuk tekst. Dit om uiteindelijk onderliggende veronderstellingen of implicaties van een stuk tekst te kunnen aangeven. De eerste vraag bij de unit rond ‘Sportschoenen’ hoort bij de subschaal ‘Integreren en interpreteren’. Het gaat om een relatief eenvoudige vraag waarbij de leerlingen het doel van een tekst moeten kunnen aanduiden. Deze vraag is de eenvoudigste vrijgegeven vraag bij deze subschaal waarvan we het % correcte Vlaamse antwoorden kunnen berekenen. Het item bevindt zich op het op één na laagste vaardigheidsniveau, niveau 1a en is vergelijkbaar met de eerste vraag bij de unit “Tandenpoetsen” die in deel 2 van deze brochure werd opgenomen en besproken. De unit ‘R110 - Sportschoenen’ werd net als de unit ‘Commissie voor interne en externe mobiliteit’ uit de subschaal ‘toegang en lokaliseren’ in PISA2000 bevraagd in alle landen. Het antwoord op de eerste vraag bij deze unit verwacht dat leerlingen de kernboodschap uit een tekst kunnen halen. Leerlingen moeten die boodschap daarenboven niet zelf formuleren, maar kiezen uit vier mogelijke opties, wat de opdracht aanzienlijk gemakkelijker maakt. Daarnaast zijn de ‘artikel lay-out’ en het onderwerp zaken waar 15-jarigen heel vertrouwd mee zijn. Overheen de OESO-landen geeft 86% van de 15-jarigen dan ook een correct antwoord en ook voor Vlaamse leerlingen vormt dergelijke eenvoudige interpretatievraag geen enkel probleem, want ruim 93% kiest het juiste antwoord.
Handboek PISA - LEESVAARDIGHEID
107
VOEL JE LEKKER IN JE SPORTSCHOENEN
R110Q01
Het Sportmedisch Centrum te Lyon (Frankrijk) heeft 14 jaar onderzoek gedaan naar blessures van jonge sportamateurs en professionals. Volgens het onderzoek bestaat de beste oplossing uit preventie … en goede schoenen. Schokken, vallen, slijtage … Achttien procent van de spelers van 8 tot 12 jaar heeft al last van letsel aan de hiel. Het kraakbeen van de enkel van voetballers verdraagt schokken slecht en 25% van de professionele spelers ontdekt dat ze daar een echt zwakke plek hebben. Het kraakbeen van het kwetsbare kniegewricht kan ook onherstelbaar beschadigd raken en als het niet meteen vanaf de kinderjaren wordt behandeld (10-12 jaar), kan er vroegtijdige artrose ontstaan. De heup heeft ook veel te lijden en met name bij vermoeidheid riskeert de speler breuken als gevolg van valpartijen of botsingen. Volgens onderzoek vertonen voetballers die meer dan tien jaar spelen, benige vergroeiingen aan het scheenbeen of aan de hiel.
Dat wordt “de voetballersvoet” genoemd, een misvorming veroorzaakt door schoenen met te soepele zolen en schachten. Beschermen, onder steunen, stabiliseren, dempen Een te stijve schoen hindert de bewegingen. Een te soepele schoen verhoogt de kans op blessures en verstuikingen. Een goede sportschoen moet voldoen aan vier criteria. Ten eerste, van buitenaf beschermen: tegen stoten van de bal of botsingen met een andere speler, oneffenheden in het terrein opvangen en de voet warm en droog houden ondanks vorst en regen. De schoen moet de voet ondersteunen en vooral het enkelgewricht, om verstuikingen, ontstekingen en andere problemen, tot zelfs
aan de knie, te voorkomen. De schoen moet een speler ook voldoende stabiliteit geven, zodat hij niet uitglijdt op natte grond of slipt op een te droog terrein. Tenslotte moet de schoen schokken opvangen, vooral de schokken die volleybalen basketbal spelers, die voortdurend springen, te verwerken krijgen. Droge voeten Om pijnlijke toestanden, zoals blaren, kloven of zelfs schimmelinfecties te voorkomen, moet de schoen verdamping van transpiratievocht mogelijk maken en verhinderen dat vocht van buitenaf de schoen binnendringt. Het ideale materiaal daarvoor is leer. Dat kan waterdicht gemaakt worden om te voorkomen dat de schoen bij de eerste de beste regenbui doorweekt raakt.
Handboek PISA - LEESVAARDIGHEID
108
Gebruik het artikel op de bladzijde hiervoor om onderstaande vragen te beantwoorden. Vraag 1: SPORTSCHOENEN
R403Q01
Wat wil de schrijver van deze tekst aantonen? A B C D
Dat de kwaliteit van veel sportschoenen sterk is verbeterd. Dat je beter geen voetbal kunt spelen als je jonger bent dan 12 jaar. Dat jongeren steeds meer blessures hebben door hun slechte lichamelijke conditie. Dat het heel belangrijk is voor jonge sporters om goede sportschoenen te dragen.
Volledig correct antwoord: 356 scorepunten (niveau 1a) Code 1: D . Dat het heel belangrijk is voor jonge sporters om goede sportschoenen te dragen. Percentage correcte antwoorden: OESO-leerlingen: 86,4% Vlaamse leerlingen: 93,4%
Ook bij vraag drie van het item ‘Theater boven alles’ moeten leerlingen informatie uit de tekst interpreteren en integreren. Het is meteen duidelijk dat het hier gaat over een langer stuk tekst, in een voor 15-jarigen minder vertrouwd formaat. Niet alleen het formaat van de tekst is minder vertrouwd, ook de inhoud van de tekst is dat. Hoewel het gebruikte vocabularium in de tekst niet bijzonder moeilijk is, is de tekst in spreektaal geschreven en de taalkeuze is gemaniëreerd. De discussie die gevoerd wordt in het toneelstuk handelt over een abstract thema. Het is een gesofisticeerde conversatie tussen de karakters over het verband tussen het leven en kunst en de uitdagingen bij het schrijven van een toneelstuk. Naast de niet vertrouwde aard van de informatie, vereist het oplossen van de vraag ook een hoog niveau van interpretatie. De lezer moet alert zijn voor het verschil tussen de personages van het toneelstuk en de acteurs. Er wordt gevraagd wat de personages (en niet de acteurs) aan het doen waren net voor het gordijn opging. Dit kan verwarrend zijn omdat er een shift nodig is tussen de reële wereld in de theatersetting (waarin het doek een belangrijke rol speelt) en de imaginaire wereld van Gal, Turai en Adam die in de eetkamer net hun diner nuttigden vooraleer ze de woonkamer binnenkwamen. Bovendien bevindt het antwoord zich niet op een plaats in de tekst waar je dat zou verwachten. In de vraag wordt verwezen naar ‘voordat het doek opging’, wat typisch verwijst naar het begin van een toneelstuk (of naar de start na een pauze). De informatie is daarentegen halverwege de tekst te vinden. Deze drie belangrijke factoren bepalen de moeilijkheid van de vraag. Deze vraag is dan ook de moeilijkste vrijgegeven vraag bij de subschaal ‘Integreren en interpreteren’. Deze vraag is tevens de op één na moeilijkste vraag over alle subschalen heen. Deze drie belangrijke factoren bepalen de moeilijkheid van de vraag. Deze vraag is dan ook de moeilijkste vrijgegeven vraag bij de subschaal 'Integreren en interpreteren'. Deze vraag is tevens de op één na moeilijkste vraag over alle subschalen heen.
Handboek PISA - LEESVAARDIGHEID
109
THEATER BOVEN ALLES De handelingen vinden plaats in een kasteel aan het strand in Italië. EERSTE BEDRIJF Luxueuze ontvangstzaal in een heel mooi 5 kasteel aan het strand. Deuren links en rechts. Zitkamermeubilair midden op het toneel: een bank, een tafel, twee fauteuils. Op de achtergrond grote ramen. Sterrennacht. Het is donker op het toneel. Als het doek omhoog 10 gaat, horen we mannen luidruchtig praten achter de linkerdeur. De deur gaat open en drie heren in smoking komen op. Een van hen doet meteen het licht aan. Stilzwijgend lopen ze naar het midden en blijven om de tafel staan. 15 Ze gaan tegelijkertijd zitten, Gál in de linker fauteuil, Turai in de rechter en Ádám op de bank in het midden. Zeer lange stilte, bijna ongemakkelijk. Ze rekken zich langdurig uit. Stilte. En dan: GÁL
20
Waar denk je toch aan? TURAI Ik bedenk hoe moeilijk het is om een toneelstuk te beginnen. Om alle 25 hoofdpersonen aan het begin te introduceren, meteen bij aanvang van het stuk. ÁDÁM Ik kan me voorstellen dat dat moeilijk is. TURAI
30
Inderdaad… verschrikkelijk moeilijk! Het stuk begint. Het publiek is stil. De acteurs komen op en de kwelling begint. Het duurt een eeuwigheid, soms wel een kwartier, voordat 35 het publiek ontdekt wie wie is en wie wat doet. GÁL Wat een merkwaardig brein heb je toch! Kan je je vak dan ook nooit uit je hoofd zetten, al 40 was het maar één minuut? TURAI Dat is onmogelijk.
GÁL Er gaat geen half uur voorbij zonder dat 45 je het hebt over theater, acteurs, toneelstukken. Er zijn ook andere dingen in het leven! TURAI Die zijn er niet. Ik ben toneelschrijver, dat 50 is mijn doem. GÁL Je zou niet zo’n slaaf moeten zijn van je werk. TURAI 55 Als je er niet de meester van bent, dan word je er de slaaf van. Er bestaat geen middenweg. Geloof me, het is niet makkelijk om een toneelstuk goed te laten beginnen. Dat is één van de 60 lastigste kwesties van de toneelschikking. Snel de personages voorstellen. Laten we deze scène als voorbeeld nemen, met ons drieën. Drie heren in smoking. Stel dat ze niet binnenkomen in de woonkamer van 65 dit chique kasteel, maar dat ze het toneel opkomen, op het moment dat het toneelstuk begint. Ze zouden moeten praten over allerlei bijzaken voordat men zou kunnen achterhalen wie wij zijn. Zou 70 het niet veel makkelijker zijn als we om te beginnen zouden opstaan om ons voor te stellen? Staat op. Goedenavond. Wij zijn alle drie te gast in dit kasteel. Wij komen net uit de eetzaal waar we voortreffelijk 75 gedineerd en twee flessen champagne gedronken hebben. Ik ben Sándor Turai, ik ben toneelschrijver, ik schrijf al dertig jaar toneelstukken, het is mijn vak. Punt. Jouw beurt 80
GÁL
Staat op. Ik heet Gál, ik ben ook toneelschrijver. Ik schrijf ook toneelstukken, allemaal in samenwerking met deze heer. Wij vormen een beroemd 85 duo toneelschrijvers. Alle aanplakbiljetten van goede blijspelen en
Handboek PISA - LEESVAARDIGHEID
110
operettes vermelden: geschreven door Gál en Turai. Natuurlijk is het ook mijn vak. GÁL et TURAI 90 Samen. En deze jonge man …
ÁDÁM Staat op. Deze jonge man, als u mij toestaat, is Albert Ádám, vijfentwintig jaar oud, componist. Ik heb de muziek geschreven bij 95 de laatste operette van deze vriendelijke heren. Het is mijn eerste muziekstuk voor het toneel. Deze twee oudere engelen hebben mij ontdekt en nu, met hun hulp, hoop ik beroemd te worden. Ze hebben ervoor 100 gezorgd dat ik te gast ben in dit kasteel. Ze hebben een rokkostuum en deze smoking voor me laten maken. Met andere woorden, ik ben nog arm en onbekend. Verder ben ik wees, ik ben door mijn oma opgevoed. Mijn 105 oma is overleden. Ik ben helemaal alleen op de wereld. Ik heb naam noch vermogen. TURAI Maar je bent jong. GÁL 110 En getalenteerd.
ÁDÁM En ik ben verliefd op de soliste. TURAI Dat had je niet moeten zeggen. Daar zou iedere toeschouwer toch wel achter gekomen zijn. Ze gaan alle drie zitten.
120
TURAI Zou dit nou niet de eenvoudigste manier zijn om een toneelstuk te beginnen? GÁL
Als we dit zouden mogen doen, zou het 125 makkelijk zijn om toneelstukken te schrijven. TURAI Geloof me, zo moeilijk is het niet. Het enige wat je moet doen, is denken dat dit 130 allemaal slechts … GÁL Goed, goed, goed, begin nou alsjeblieft niet wéér over theater te praten. Ik heb er genoeg van. Als je wilt, kunnen we het 135 er morgen wel weer over hebben.
Handboek PISA - LEESVAARDIGHEID
111
De tekst ‘Theater boven alles ’is het begin van een toneelstuk van de Hongaarse toneelschrijver Ferenc Molnár. Gebruik ‘Theater boven alles ’op de vorige twee bladzijden om onderstaande vragen te beantwoorden. (Opmerking: de nummering van de regels in de kantlijn van de tekst zal je helpen om de delen te vinden waarop de vragen betrekking hebben.)
Vraag 1: THEATER BOVEN ALLES
R452Q03
Wat waren de personages van het stuk aan het doen net voordat het doek omhoog ging? ................................................................................................................................ Volledig correct antwoord: 730 scorepunten (niveau 6)
Code1: Verwijst naar het diner of de champagne. Mag parafraseren of direct citeren uit de tekst. Percentage correcte antwoorden: OESO-leerlingen: 12.9% Vlaamse leerlingen: 18.9%
Handboek PISA - LEESVAARDIGHEID
112
3.3.2 Gemiddelde prestatie voor ‘Integreren en interpreteren’ van de PISA leesvaardigheidsschaal De gemiddelde prestatie voor de subschaal ‘Integreren en interpreteren’ voor de Vlaamse leerlingen ligt lager dan voor de subschaal ‘Toegang en interpreteren’. Met een gemiddelde score van 515 bekleedt Vlaanderen een achtste positie. Shanghai-China, Korea, Finland, Hongkong-China en Singapore doen het significant beter (zie tabel 3.2). 'Integreren en interpreteren'
Landen
Gem. 558 541 538 530 525 520 517 515 504
Korea Finland Singapore Japan Vlaanderen Nederland …
493
2.5 3.4 2.3 2.2 1.2 3.5 2.4 2.5 5.4 Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
0.5
Tabel 3.2: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO-gemiddelde voor de PISA leesvaardigheidssubschaal ‘Integreren en interpreteren’.
Het percentage leerlingen dat presteert onder het tweede vaardigheidsniveau ligt in Vlaanderen op 15%. Dat is vergelijkbaar met het percentage in Singapore, Japan, Estland en Macao-China (zie figuur 3.7)
Macao China VLAANDEREN Estland Japan Singapore Canada Hongkong China Finland Korea Shanghai China
2 3 2
12 11 12 9 3 10 3 9 2 2 7 1 6 1 5 13
30 21 25 19 19 21 18 17 16 13
34 26
17 25
33 27 26 29 30 30 32 28
21 26 25 25 29 30 32 33
3 12 6 11 13 11 12 14 13 18
Figuur 3.7: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Integreren en interpreteren’, volgens hun percentage leerlingen dat vaardigheidsniveau 2 niet haalt.
Handboek PISA - LEESVAARDIGHEID
113
Met 13% hoogpresteerders (vaardigheidsniveau 5 of hoger) behoort Vlaanderen samen met andere afgebeelde landen (figuur 3.8) tot die groep van landen waarin meer dan 10% van de leerlingen een topprestatie levert.
Australië VLAANDEREN Hongkong China Canada Japan Korea Nieuw Zeeland Finland Singapore Shanghai China
21 21
11 11
28 26
18
7 9 16 11
5
30 21 19
9
29 27 32 20
17
6 10 3
25 30
19 13
26 28
23 25 29 25 26 32 23 30 25 33
11 12 12 11 11 13 13 14 13 18
Figuur 3.8: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Integreren en interpreteren’, volgens hun percentage leerlingen dat een topprestatie behaalt.
114
Handboek PISA - LEESVAARDIGHEID
3.3.3 Gemiddelde Vlaamse prestatie voor ‘Integreren en interpreteren’ per PISA vraag in een internationaal perspectief.
Figuur 3.9: percentage correcte antwoorden op de vragen bij de subschaal ‘Integreren en interpreteren’
Handboek PISA - LEESVAARDIGHEID
115
Figuur 3.9 met de percentages correcte antwoorden op alle vragen bij de subschaal ‘Integreren en interpreteren’ toont een dieptepunt voor alle afgebeelde landen bij vraag R452Q03 (‘Theater boven alles, vraag 3). Dit was dan ook niet alleen de moeilijkste vraag binnen de subschaal ‘Integreren en interpreteren’, maar ook de op één na moeilijkste van alle items voor leesvaardigheid. Vlaanderen scoort voor enkele vragen opvallend goed. Voor vraag R414Q02 (Veiligheid van mobiele telefoons, vraag 2) is Vlaanderen koploper binnen deze subschaal. Vlaamse leerlingen zetten een uitmuntende prestatie neer voor het vormen van een algemeen begrip van een tekst. Ook voor de items R102Q04, R055Q03 en R412Q08 scoort Vlaanderen aan de top van de afgebeelde landen. Deze drie vragen zijn open vragen (zie ook figuur 3.3). Deze vragen hebben ook een moeilijkheidsgraad die zich situeert op niveau 3 of 4. Vlaanderen scoort zwak voor item R111Q01. Dit is een item dat zich situeert op niveau 2 en een breed begrip van een tekst als doelstelling heeft. Het is een meerkeuzevraag die peilt naar het doel van een tekst, naar ruim begrip van de tekst. Meer specifiek moet de leerling het doel van secties in een verklarende tekst kunnen duiden. Bij R102Q04 wordt er gevraagd een conclusie te trekken op basis van informatie in de tekst. Daartegenover staat vraag R055Q02 waarbij opnieuw een interpretatie verwacht wordt van de leerling, maar deze keer op basis van informatie uit de tekst, aangevuld met informatie die niet meteen in de tekst terug te vinden is. Er wordt hier gevraagd om te reflecteren over de inhoud van de tekst. Deze vaardigheid vinden we expliciet terug in de vakgebonden eindtermen voor Nederlands: ‘De leerlingen ontwikkelen een bereidheid om te reflecteren over de inhoud van een tekst’. Bij vraag R412Q08 wordt er eerder dan een reflectie, een interpretatie van de tekst verwacht. Het gaat bij deze vraag over een verklarende tekst waarbij gevraagd wordt een mogelijke tegenstrijdigheid in de tekst aan te duiden. We kunnen besluiten dat Vlaamse leerlingen tot de subtopgroep behoren voor ‘Integreren en interpreteren’. Er valt geen duidelijke lijn te trekken in de items waar de Vlaamse leerlingen het goed op doen binnen deze subschaal. De meerderheid van de vragen waar Vlaanderen goed op presteert zijn open vragen. De vraag waar Vlaanderen een uitmuntende prestatie op levert is echter een meerkeuzevraag.
Handboek PISA - LEESVAARDIGHEID
116
3.4
‘Reflecteren en evalueren’, het derde aspect van leesvaardigheid volgens PISA
3.4.1 Operationalisering van ‘Reflecteren en evalueren’. De PISA-vragen bij de subschaal ‘Reflecteren en evalueren’ verwachten dat leerlingen een beroep doen op kennis, ideeën of waarden buiten de tekst. Bij het reflecteren op een tekst moet de lezer een verband leggen tussen zijn eigen ervaringen en kennis en de tekst. Bij het evalueren van teksten dient de lezer een oordeel te geven dat ofwel gebaseerd is op persoonlijke ervaringen of op meer algemene, al dan niet onderwerpspecifieke, kennis over de wereld. De makkelijkste vrijgegeven vraag bij de subschaal ‘Reflecteren en evalueren’ waarvan voor alle landen het percentage correcte antwoorden kan worden berekend hoort opnieuw bij de unit ‘Sportschoenen’. De vraag bevindt zich in de bovenste regionen op het voorlaatste vaardigheidsniveau, niveau 1a en is vergelijkbaar met vraag vier bij de unit “Tandenpoetsen” die in deel 2 van deze brochure werd opgenomen en besproken. Om een correct antwoord te geven, moeten leerlingen een relatie tussen twee delen van een zin herkennen. Doordat de zin expliciet wordt herhaald in de vraag en de twee delen mooi naast elkaar worden geplaatst wordt het beantwoorden eenvoudiger dan wanneer leerlingen dit rechtstreeks in de tekst zouden moeten doen. Ook het formaat van de meerkeuzevraag maakt de vraag eenvoudiger want leerlingen moeten de relatie niet zelf gaan formuleren maar kunnen kiezen uit vier mogelijkheden. Opnieuw vormt dit soort eenvoudige reflectievragen geen enkel probleem voor leerlingen van 15 jaar: overheen de OESO-landen geeft ongeveer 80% een correct antwoord en in Vlaanderen ligt dit percentage nog 6% hoger.
Handboek PISA - LEESVAARDIGHEID
117
VOEL JE LEKKER IN JE SPORTSCHOENEN
R110Q06
Het Sportmedisch Centrum te Lyon (Frankrijk) heeft 14 jaar onderzoek gedaan naar blessures van jonge sportamateurs en professionals. Volgens het onderzoek bestaat de beste oplossing uit preventie … en goedeschoenen. Schokken, vallen, slijtage … Achttien procent van de spelers van 8 tot 12 jaar heeft al last van letsel aan de hiel. Het kraakbeen van de enkel van voetballers verdraagt schokken slecht en 25% van de professionele spelers ontdekt dat ze daar een echt zwakke plek hebben. Het kraakbeen van het kwetsbare kniegewricht kan ook onherstelbaar beschadigd raken en als het niet meteen vanaf de kinderjaren wordt behandeld (10-12 jaar), kan er vroegtijdige artrose ontstaan. De heup heeft ook veel te lijden en met name bij vermoeidheid riskeert de speler breuken als gevolg van valpartijen of botsingen. Volgens onderzoek vertonen voetballers die meer dan tien jaar spelen, benige vergroeiingen aan het scheenbeen of aan de hiel.
Dat wordt “de voetballersvoet” genoemd, een misvorming veroorzaakt door schoenen met te soepele zolen en schachten. Beschermen, ondersteunen, stabiliseren, dempen Een te stijve schoen hindert de bewegingen. Een te soepele schoen verhoogt de kans op blessures en verstuikingen. Een goede sportschoen moet voldoen aan vier criteria. Ten eerste, van buitenaf beschermen: tegen stoten van de bal of botsingen met een andere speler, oneffenheden in het terrein opvangen en de voet warm en droog houden ondanks vorst en regen. De schoen moet de voet ondersteunen en vooral het enkelgewricht, om verstuikingen, ontstekingen en andere problemen, tot zelfs
aan de knie, te voorkomen. De schoen moet een speler ook voldoende stabiliteit geven, zodat hij niet uitglijdt op natte grond of slipt op een te droog terrein. Tenslotte moet de schoen schokken opvangen, vooral de schokken die volleybal en basketbalspelers, die voortdurend springen, te verwerken krijgen. Droge voeten Om pijnlijke toestanden, zoals blaren, kloven of zelfs schimmelinfecties te voorkomen, moet de schoen verdamping van transpiratievocht mogelijk maken en verhinderen dat vocht van buitenaf de schoen binnendringt. Het ideale materiaal daarvoor is leer. Dat kan waterdicht gemaakt worden om te voorkomen dat de schoen bij de eerste de beste regenbui doorweekt raakt.
Handboek PISA - LEESVAARDIGHEID
118
Gebruik het artikel op de bladzijde hiervoor om onderstaande vragen te beantwoorden. Vraag 6: SPORTSCHOENEN
R403Q01
Bekijk de volgende zin, aan het eind van het artikel. Hij wordt hier in twee gedeelten weergegeven: “Om pijnlijke toestanden, zoals blaren, kloven of zelfs schimmelinfecties te voorkomen, …” “…moet de schoen verdamping van transpiratievocht mogelijk maken en verhinderen dat vocht van buitenaf de schoen binnendringt.”
(eerste deel) (tweede deel)
Wat is de relatie tussen het eerste en het tweede deel van deze zin? Het tweede deel van de zin A B C D
spreekt het eerste deel tegen. herhaalt het eerste deel. illustreert het probleem dat in het eerste deel wordt beschreven. geeft de oplossing voor het probleem dat in het eerste deel wordt beschreven.
Volledig correct antwoord: 402 scorepunten (niveau 1a) Code 1: D. geeft de oplossing voor het probleem dat in het eerste deel wordt beschreven. Percentage correcte antwoorden: OESO-leerlingen: 79,2% Vlaamse leerlingen: 85,8%
De moeilijkste vrijgegeven vraag bij het aspect ‘Reflecteren en evalueren’ is vraag 11 bij ‘Veiligheid van mobiele telefoons’ en bevindt zich bovenaan vaardigheidsniveau 4. Om de vraag correct te beantwoorden moeten de leerlingen het verband herkennen tussen een algemene bewering die niet uit de tekst komt en twee beweringen in een tabel. Ondanks het feit dat deze vraag, net als de meer eenvoudige reflectievraag bij sportschoenen, een meerkeuzevraag is, scoren leerlingen aanzienlijk minder goed voor deze vraag. Leerlingen moeten veel meer elementen meenemen in hun reflectie en de antwoordopties zijn niet zomaar op het zicht te elimineren. Nederland en Finland zijn voor deze vraag koplopers, met respectievelijk 42 en 43% van de leerlingen die de vraag tot een goed einde brengen. Vlaanderen en Duitsland scoren erg gelijk (respectievelijk 37.8 en 37.7%) en nog net iets beter dan het internationale gemiddelde (35.2%).
Handboek PISA - LEESVAARDIGHEID
119
VEILIGHEID VAN MOBIELE TELEFOONS
Zijn mobiele telefoons gevaarlijk? Ja
Hoofdpunt Eind jaren 90 verschenen er tegenstrijdige berichten over de gezondheidsrisico’s van mobiele telefoons.
Hoofdpunt Miljoenen euro’s zijn er nu geïnvesteerd in wetenschappelijk onderzoek om de effecten van mobiele telefoons te onderzoeken.
Nee
1. Radiogolven die afgegeven worden door mobiele telefoons kunnen lichaamsweefsel opwarmen, met schadelijke gevolgen.
Radiogolven zijn niet sterk genoeg om door warmte schade te veroorzaken aan het lichaam.
2. Magnetische velden die veroorzaakt worden door mobiele telefoons kunnen de manier aantasten waarop je lichaamscellen werken.
De magnetische velden zijn ongelooflijk zwak en hebben dus waarschijnlijk geen effect op de cellen in ons lichaam.
3. Mensen die lange gesprekken voeren met mobiele telefoons klagen soms over vermoeidheid, hoofdpijn en concentratieverlies.
Deze effecten zijn in laboratoriumomstandigheden nooit waargenomen en komen misschien door andere factoren in de moderne levensstijl.
4. Gebruikers van mobiele telefoons hebben 2,5 keer zoveel kans om kanker te krijgen in hersengebieden bij het oor die in contact staan met het mobieltje.
Onderzoekers erkennen dat het onduidelijk is of deze toename te maken heeft met het gebruik van mobiele telefoons.
5. Het Internationaal Bureau voor Kankeronderzoek heeft een verband gevonden tussen jeugdkanker en hoogspanningsdraden. Net als mobiele telefoons zenden hoogspanningsdraden ook straling uit.
De straling die door hoogspanningsdraden veroorzaakt wordt, is een ander soort straling met veel meer energie dan die afkomstig van mobiele telefoons.
6. Radiofrequentiegolven die lijken op die in mobiele telefoons veranderden het genenpatroon in draadwormen.
Wormen zijn geen mensen; het is dus helemaal niet zeker dat onze hersencellen op dezelfde manier zullen reageren.
Handboek PISA - LEESVAARDIGHEID
120
Als je een mobiele telefoon gebruiktt… Hoofdpunt Doordat het aantal gebruikers van mobiele telefoons ontzettend hoog is, kunnen zelfs kleine nadelige effecten op de gezondheid grote gevolgen hebben voor de volksgezondheid.
Wel doen
Niet doen
Houd de gesprekken kort.
Gebruik je mobiele telefoon niet als je slechte ontvangst hebt, want dan heeft de telefoon meer energie nodig om met het basisstation te communiceren en worden er dus meer radiogolven uitgezonden.
Houd de telefoon bij je lichaam vandaan als die op stand-by staat.
Koop geen mobiele telefoon met een hoge ‘SAR ’-waarde 1. Dat betekent dat die meer straling uitzendt.
Koop een mobiele telefoon met een lange ‘gesprekstijd ’. Deze is efficiënter en zendt minder krachtige straling uit.
Koop geen beschermende snufjes tenzij ze onafhankelijk getest zijn.
Hoofdpunt In 2000 vond het Stewartrapport (een Engels rapport) geen gezondheidsproblemen die veroorzaakt werden door mobiele telefoons, maar het raadde vooral jongeren wel aan om voorzichtig te zijn totdat er meer onderzoek was gedaan. In een vervolgrapport uit 2004 werd dit bevestigd.
Vraag 4: Veiligheid van mobiele telefoons
R414Q11
‘Het is moeilijk om aan te tonen dat het een met zekerheid het ander heeft veroorzaakt.’ Wat is het verband tussen deze informatie en de uitspraken bij Punt 4 Ja en Nee in de tabel Zijn mobiele telefoons gevaarlijk? A B C D
Dit ondersteunt de bewering onder ‘Ja’, maar bewijst die niet. Dit bewijst de bewering onder ‘Ja’. Dit ondersteunt de bewering onder ‘Nee ’, maar bewijst die niet. Dit laat zien dat de bewering onder ‘Nee ’ fout is.
Volledig correct antwoord: 604 scorepunten (niveau 4) Code 1: C. Dit ondersteunt de bewering onder ‘Nee’, maar bewijst die niet. Percentage correcte antwoorden: OESO-gemiddelde: 35.2% Vlaamse leerlingen: 37.8%
1
SAR (specific absorption rate) is een manier om te meten hoeveel elektromagnetische straling er door lichaamsweefsel wordt opgenomen tijdens het gebruik van een mobiele telefoon.
Handboek PISA - LEESVAARDIGHEID
121
3.4.2 Gemiddelde prestatie voor ‘Reflecteren en evalueren’ van de PISA leesvaardigheidsschaal 'Reflecteren en evalueren'
Landen Shanghai-China Korea Hongkong-China Finland Nieuw-Zeeland Singapore Japan Vlaanderen Nederland … OESO-gem.
Gem. 557 542 540 536 531 529 521 517 510
2.4 3.9 2.5 2.2 2.5 1.1 3.9 2.5 5.0
494
Landen die significant hoger presteren dan Vlaanderen Landen die niet significant verschillend presteren dan Vlaanderen Landen die significant lager presteren dan Vlaanderen
0.5
Tabel 3.3: Overzicht van de gemiddelde prestatie van Vlaanderen en enkele andere toplanden en het OESO-gemiddelde voor de PISA leesvaardigheidssubschaal ‘Reflecteren en evalueren’.
Vlaamse leerlingen scoren gelijkaardig aan de subschaal ‘Integreren en interpreteren’ voor dit derde aspect. Vlaanderen scoort op een gelijkaardig niveau als Japan en Nederland. De Aziatische landen, Finland en ook Nieuw-Zeeland doen het significant beter (zie tabel 3.3) Welk aandeel van de leerlingen behaalt de internationale benchmark voor het aspect ‘Reflecteren en evalueren’ en hoe groot is het aandeel van de toppresteerders? Figuur 3.10 geeft het percentage leerlingen per vaardigheidsniveau weer voor de subschaal ‘Reflecteren en evalueren’ voor de 10 landen die het kleinste percentage leerlingen tellen met een gemiddelde score lager dan de benchmark (het tweede vaardigheidsniveau). In Vlaanderen haalt 14% van de leerlingen dit niveau niet. Vlaanderen staat daarmee internationaal op een gedeelde 10de plaats met Nieuw-Zeeland. In Shangai-China is dit resultaat het laagst, met slechts 5% van de leerlingen die de benchmark niet halen. Korea en Finland hebben respectievelijk 6 en 7% leerlingen die onder niveau 2 presteren. VLAANDEREN Nieuw Zeeland Australië E st lan d Nederland Singapore Canada Hongkong China Finland Korea Shanghai China
3 3 3 3 2 3
10 10 9 10 11 9 2 7 2 6 16 15 14
19 17 19 25 25 18 18 15 17 15 13
27
28 24 27
25 32 29
27 29 30 30 30 28
12 15 13
25 22 24 25 28 32 30 32 33
6 9 14 13 13 13 14 18
Figuur 3.10: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Reflecteren en evalueren’, volgens hun percentage leerlingen dat een score behaalt lager dan vaardigheidsniveau 2.
We krijgen een overzicht van het percentage leerlingen dat niveau 5 of hoger haalt in figuur 3.11. Shanghai-China (21%) en Nieuw-Zeeland (20%) zijn absolute koploper voor wat betreft de toppresteerders. Een vijfde van hun leerlingen scoren op niveau 5 of hoger voor het aspect Reflecteren en evalueren. Vlaanderen gaat met 13% toppresteerders Nederland (10%) en Estland (7%) vooraf.
Handboek PISA - LEESVAARDIGHEID
122
VLAANDEREN
3 10
19
Finland
16
17
Hongkong China
26
15
Australië
3 9
Canada
27
Korea
15
Japan Singapore
19
Nieuw Zeeland
3 10
Shanghai China
14 13
13
32
13
25
13
28
13
32
14
26
25
13
27
25
14
25
15
27 29
15
4 9
12
30
30
18
3 9
27
28 30
30 18 18 17
24 28
38
18
Figuur 3.11: Percentage leerlingen per vaardigheidsniveau voor de subschaal ‘Reflecteren en evalueren’, volgens hun percentage leerlingen dat een topprestatie behaalt.
Handboek PISA - LEESVAARDIGHEID
123
3.4.3 Gemiddelde Vlaamse prestatie voor ‘Reflecteren en evalueren’ per PISA vraag in een internationaal perspectief.
Figuur 3.12: Percentage correcte antwoorden op de vragen bij de subschaal ‘Reflecteren en evalueren’
Handboek PISA - LEESVAARDIGHEID
124
Wat meteen opvalt in figuur 3.12 is de uitschieter voor item R067Q05. Dit is een item waarbij een gedeeltelijke score mogelijk was. In figuur 3.13 werd het gemiddelde genomen van de percentages correct voor een volledige en een gedeeltelijke score. De items waar Vlaanderen goed op scoort zijn de open vragen met een hoge moeilijkheidsgraad, zoals bijvoorbeeld R404Q10A, R442Q05 & R442Q06. In vraag R404Q10B wordt gevraagd om een veronderstelling te maken over op welke manier de informatie in de tekst zou veranderen naargelang de context waarin de informatie wordt toegepast. Bij vragen R442Q05 & R442Q06 gaat het eerder over reflecteren op de gegeven informatie. In R442Q05 wordt er gevraagd na te denken over de vorm van de tekst en het bedoelde effect van een tekst die weergegeven wordt als afsluiter van de tekst. In vraag R442Q06 wordt gevraagd te reflecteren op de inhoud van een tekst. Er wordt een mening geponeerd die schijnbaar tegengesteld is aan de verwachtingen die gecreëerd worden in de tekst. Daarbij wordt gevraagd elementen uit de tekst aan te brengen die deze mening ondersteunen.
Net als voor de subschaal ‘Integreren en interpreteren’ presteren de Vlaamse leerlingen voor de subschaal ‘Reflecteren en evalueren’ op het niveau van de subtopgroep. Opnieuw is het moeilijk te zeggen op welk soort vragen Vlaamse leerlingen goed presteren. Het gaat voornamelijk om vragen waarbij gevraagd wordt naar reflectie; hetzij over de inhoud, hetzij over de vorm van de tekst. We vinden de beschrijving van deze vaardigheid alvast terug in de eindtermen Nederlands: ‘De leerlingen ontwikkelen binnen gepaste situaties een bereidheid om te reflecteren over de inhoud van een tekst’.
3.5
Naar een verklaring voor de Vlaamse prestatie voor leesvaardigheid
3.5.1 Scores per leesvaardigheidsdomein Vlaanderen zette voor leesvaardigheid een prestatie neer die tot de internationale top behoort, al deed zich sinds 2000 wel een lichte daling voor. PISA 2009 onderscheidt 5 subschalen bij leesvaardigheid. In de grafiek hieronder zijn de percentages correcte antwoorden voor de 3 ‘aspect’ subschalen weergegeven.
Figuur 3.13: Percentage correct beantwoorde vragen per PISA-subdomein
Handboek PISA - LEESVAARDIGHEID
125
Voor alle landen weergegeven in de figuur 3.13 zijn de prestaties min of meer gelijklopend voor de subschalen ‘Integreren en interpreteren’ en ‘Reflecteren en evalueren’ maar net iets beter voor laatstgenoemde. Het gemiddelde percentage correcte antwoorden in Vlaanderen is voor deze subschalen nagenoeg gelijk. Vlaanderen heeft voor de subschaal ‘Integreren en interpreteren’ een percentage correct dat hoger ligt dan dat van alle andere afgebeelde landen. In elk van deze landen en gemiddeld overheen de OESO-landen worden de hoogste percentages opgetekend voor de subschaal ‘Toegang en lokaliseren’. In de meeste landen ligt het gemiddeld percentage correcte antwoorden voor het aspect ‘Integreren en interpreteren’ iets lager dan de gemiddelde percentages correcte antwoorden voor het aspect ‘Reflecteren en evalueren’. In Vlaanderen is dit niet het geval: het percentage voor ‘Integreren en interpreteren’ is gelijk aan het percentage correct voor ‘Reflecteren en evalueren’. Het percentage correct voor het aspect ‘Toegang en lokaliseren’ ligt zowel voor Vlaanderen als voor de andere landen hoger dan voor de andere aspecten.
3.5.2 Verdeling over de vaardigheidsniveaus Wanneer we de gemiddelde percentages correcte antwoorden per vraagtype bekijken, zien we dat alle afgebeelde landen best scoren op de gesloten geconstrueerde vragen. Vlaanderen is voor deze vragen koploper met 77% correcte antwoorden. Ook op vragen waar een kort antwoord is vereist, scoort Vlaanderen net iets hoger dan Finland met 64% correcte antwoorden. Wanneer we kijken naar de gemiddelde percentages correcte antwoorden op de open leesvragen, zien we dat Vlaanderen het met 59% erg goed doet en Finland (60%) op de voet volgt, maar geen kloof slaat met de andere afgebeelde landen.
Figuur 3.14: Gemiddeld percentage correcte antwoorden per vraagtype
Alle landen scoren minder goed voor de complexe meerkeuzevragen. Gemiddeld 43% van de Vlaamse leerlingen scoort correct voor deze vragen. Dit percentage is gelijkaardig aan het percentage in Nederland en Duitsland met geen al te grote verschillen ten opzichte van 46% in Finland. Het OESOgemiddelde ligt voor dit soort vragen laag met 36% correcte antwoorden. De ‘gewone’ meerkeuzevragen zijn opvallend makkelijker dan de complexe. Het OESO-gemiddelde van correcte antwoorden verdubbelt hier bijna (63%) en ook in Vlaanderen neemt het percentage correcte antwoorden toe met 25% ten opzichte van de complexe meerkeuzevragen. Finland haalt ook hier het hoogste percentage met 72% correcte antwoorden.
Handboek PISA - LEESVAARDIGHEID
126
3.6
Verschillen tussen leerlingen voor leesvaardigheid
3.6.1 Verschillen tussen leerlingen internationaal 750 700 650 600 550 500 450 400 350 300
Sjanghai-China
Korea
Finland
HongkongChina
Singapore
Japan
Canada
Nieuw-Zeeland
VLAANDEREN
Nederland
Duitsland
200
OESO-gem.
250
Figuur 3.15: Spreiding van de scores voor leesvaardigheid overheen de percentielen – internationale vergelijking
Figuur 3.15 toont de spreiding van de leesvaardigheidsscores. De spreiding wordt uitgedrukt in percentielen en de balken in de figuur gaan van percentiel 5 tot percentiel 95. Bij leesvaardigheid betekent een verschil van 73 scorepunten een verschil van één vaardigheidsniveau. Dit kan geïnterpreteerd worden als een groot verschil in leerlingenprestatie. Het verschil in Vlaanderen van 303 punten tussen de best en slechtst scorende 5% leerlingen is vergelijkbaar met het verschil in een gemiddeld OESO-land (305 punten). De grootste kloof zien we in Nieuw-Zeeland met 334 punten. In Japan en Singapore is het verschil respectievelijk 328 en 319 punten. Nederland houdt het verschil beperkter met 285 punten, in Korea is het verschil het kleinst van alle landen afgebeeld in figuur 3.17, namelijk 258 punten. De prestatie van de groep toppresteerders overschrijdt in geen enkel land de lijn van 700 punten. De beste gemiddelde prestatie behoort tot Nieuw-Zeeland met 678 punten. De Vlaamse kopgroep doet het ook hier goed met 660 punten. De zwakst presterende groep Vlaamse leerlingen behaalt een score (357 punten) die nog steeds beter is dan het OESO-gemiddelde (332 punten) en Duitsland (333 punten), maar minder goed dan Nederland (365 punten). De scores van de hoog- en laagpresteerders liggen in Vlaanderen respectievelijk 23 en 25 punten hoger dan de scores van dezelfde groep leerlingen overheen de OESO-landen. De kleine spreiding van resultaten in Korea wordt voor een stuk verklaard door de gemiddelde zwakke prestatie die hoger ligt dan die van andere landen, namelijk 400 punten. SjanghaiChina doet het nog beter met 417 punten en ook Finland (382 punten) behoort tot de top 3 van de landen afgebeeld in figuur 3.17 voor wat betreft de prestaties van de zwakste groep.
Handboek PISA - LEESVAARDIGHEID
127
3.6.2 Onderwijsvorm en studierichting
Figuur 3.16: Verdeling van de Vlaamse PISA-leerlingen overheen de onderwijsvormen voor leesvaardigheid
De grootste groep leerlingen (42%) die deelnam aan PISA 2009 waarbij leesvaardigheid het hoofddomein was, volgt Algemeen Secundair Onderwijs (ASO). TSO (31%) en BSO (20%) zijn samen goed voor de helft van de Vlaamse steekproef. Een minderheid van de bevraagde leerlingen komt uit het KSO (0.5%), DBSO (0.30%), eerste graad (2.6%) of het Buitengewoon Secundair Onderwijs (BUSO –3.70%). Onderwijsvorm
Prestatie
1ste graad ASO TSO KSO BSO DBSO BUSO
411 (9.2) 593 (2.7) 510 (2.6) 538 (8.7) 431 (2.9) 398 (13.5) 366 (15.6)
Vaardigheidsniveau 2 4 3 3 2 1a 1a
Tabel 3.4: Gemiddelde prestatie van de Vlaamse PISA-leerlingen volgens onderwijsvorm
Wanneer we de gemiddelde prestatie van de leerlingen volgens de onderwijsvormen waarin ze les volgen, vergelijken dan wordt reeds een deel van de grote spreiding op Vlaams niveau duidelijk: het verschil tussen de gemiddelde prestatie van de 15-jarige ASO-leerlingen en die uit het BSO bedraagt reeds 162 scorepunten. Daar waar de leerlingen uit het algemeen secundair onderwijs gemiddeld op het vierde vaardigheidsniveau van leesvaardigheid presteren, bereiken de leerlingen uit het beroepsonderwijs gemiddeld slechts het tweede niveau. Dit wordt uiteraard beïnvloed door de verschillen in lessenpakket, maar het blijft een groot verschil, vooral aangezien het tweede niveau als benchmark wordt genomen. DBSO-leerlingen krijgen geen aangepast testboekje zoals BUSO-leerlingen. Het BUSOboekje bevat een selectie van makkelijkere vragen en duurt slechts één uur in tegenstelling tot de reguliere twee uur. Dit kadert het feit dat leerlingen uit het DBSO op eenzelfde vaardigheidsniveau (1a) presteren als BUSO-leerlingen. Vaardigheidsniveau 1a situeert zich onder de internationale benchmark. BUSO-leerlingen presteren 32 scorepunten onder DBSO-leerlingen, maar dit verschil is niet significant. De standaardfout voor deze twee leerlingengroepen is ook groot, aangezien de steekproef relatief klein was bij zowel de BUSO-leerlingen (n=169) als bij de DBSO-leerlingen (n=12). Dit betekent dat een zwakkere of sterkere prestatie van één individuele leerling een grote invloed kan hebben op de gemiddelde prestatie van de leerlingengroep.
Handboek PISA - LEESVAARDIGHEID
128
Dit wordt ook geïllustreerd in figuur 3.17. Deze figuur toont de spreiding van de resultaten binnen de verschillende onderwijsvormen voor leesvaardigheid. De zwarte balk in het midden stelt opnieuw het 95% betrouwbaarheidsinterval rond het gemiddelde voor. De grootte van die zwarte balken toont onmiddellijk voor welke groep(en) de gegevens minder nauwkeurig zijn: hoe kleiner het aantal respondenten per groep, hoe groter de standaardfout op de berekeningen en hoe groter de schommelingen, wat zich op de figuren vertaalt in een grotere zwarte balk. 750 700 650 600 550 500 450 400 350 300 250 200
BUSO
DBSO
BSO
KSO
ASO
Vlaanderen
100
TSO
150
Figuur 3.17: Spreiding van de Vlaamse resultaten voor leesvaardigheid binnen de onderwijsvormen
Er kunnen dus geen uitspraken gedaan worden over bepaalde leerlingengroepen die het beter doen dan andere, aangezien de figuur duidelijk toont dat de balken overlappen. Dit betekent bijvoorbeeld dat de best presterende BSO-leerlingen zich op hetzelfde vaardigheidsniveau bevinden als de minst presterende ASO-leerlingen. Er zijn bijvoorbeeld ook TSO-leerlingen die een betere prestatie neerzetten dan een leerling uit het ASO. De verschillen in gemiddelde prestatie tussen de onderwijsvormen worden hierdoor gerelativeerd, aangezien het slechts om gemiddeldes gaat en er ook dient gekeken te worden naar de verschillen binnen een groep. Net zoals voor wiskunde en wetenschappen, kan voor leesvaardigheid gekeken worden naar de verdeling van leerlingen overheen de vaardigheidsniveaus (figuur 3.18). niveau 1a niveau 1b
5
26
23
44
10
DBSO BSO
8 3
ASO 1ste graad
2
13
45
2
25
5
KSO
niveau 5
niveau 6
3
44
27
TSO
niveau 4
3 37
50 16
niveau 3
45 61
20 26
2 22 27
47
27
2 3 2
11 4
Figuur 3.18: Verdeling per vaardigheidsniveau volgens onderwijsvorm
Twee derde van de ASO-leerlingen (76%) presteert op niveau 4 of hoger voor leesvaardigheid, in KSO en TSO zakken die percentages naar respectievelijk 31% en 25%. De percentages leerlingen die het tweede vaardigheidsniveau niet halen, zijn opmerkelijk in DBSO (60%) en BSO (34%).'
Handboek PISA - LEESVAARDIGHEID
129
Figuur 3.19 geeft een overzicht van de gemiddelde prestaties van de Vlaamse leerlingen volgens de studierichting waarin ze les volgen. Daaruit blijkt dat leerlingen uit ‘talige’ TSO richtingen zoals bijvoorbeeld Handel-Talen niet hoger scoren dan de eerder ‘wetenschappelijke’ richtingen als Industriële Wetenschappen. Voor de ASO-richtingen geldt het omgekeerde, leerlingen uit de studierichtingen Latijn en Grieks halen gemiddeld een hogere score dan leerlingen uit Wetenschappen, Economie en Sport. 650 640 630
A
620
A
) )
A
(616)
610 600
A A
590
)
(593)
580
A
570
A
) A
560 550
T
T
T
520 510
BIOTECH.WET(547)
K
)
K (538)
(530)
T
530
)
)
540 BIO
)
T
T
)
T
) T
T
)
512)
T
500
T
)
(510)
)
490
T
480 470
)
T T
)
) )
460 B
450
B
440
B
)
)
B )
B
)
B
)
) B
430
(431)
420
B
410
B B
) BAS
)
B
)
)
400 390
ASO
KSO
TSO
380 370
Figuur 3.19: Gemiddelde prestatie per studierichting voor leesvaardigheid
BSO
UNIVERSITEIT GENT Vakgroep Onderwijskunde
C O N C L US I E
Handboek PISA - CONCLUSIE
133
Conclusies/Opmerkingen en aanbevelingen naar aanleiding van dit rapport Met deze publicatie geven we een concreter zicht op de wiskunde-, wetenschappen- en leesvaardigheidprestaties volgens PISA in Vlaanderen. Daarbij worden de Vlaamse prestaties vergeleken met die van betekenisvolle referentielanden, zodat we de Vlaamse resultaten ook in een internationaal perspectief kunnen plaatsen. Een eerste focus van de brochure was het in kaart brengen van de sterktes en zwaktes binnen de vaardigheden van Vlaamse 15-jarigen. Voor wiskundige geletterdheid presteren Vlaamse jongeren traditioneel heel sterk: toen dit domein in 2003 een eerste keer als hoofddomein werd getest, haalde Vlaanderen de hoogste score van alle ‘landen’ die aan PISA deelnemen. Deze prestatie zien we voornamelijk weerspiegeld in de subdomeinen algebra en getallenleer. Voor beide subschalen wordt de Vlaamse toppositie vooral verklaard door het hoge percentage leerlingen (meer dan 1/3) dat op de hoogste twee vaardigheidsniveaus presteert en dus de moeilijkste, meest abstracte vragen bij die subschalen tot een goed einde brengt. De bereidheid om open en/of moeilijkere vragen te proberen oplossen zien we ook terug bij de andere twee wiskunde subschalen (meetkunde en statistiek). Vlaamse leerlingen scoren op dit soort vragen veel beter dan de leerlingen in de andere landen. In het verlengde hiervan presteren Vlaamse leerlingen eveneens goed bij opgaven die vragen naar een reflectie op een wiskundige oefening of berekening. Waar bij vragen naar het reproduceren van wiskundige kennis en vaardigheden Vlaamse leerlingen op hetzelfde niveau presteren als leerlingen uit andere toplanden zoals Finland en Nederland, halen ze bij reflectievragen gemiddeld 11% meer juiste antwoorden. Vlaamse 15-jarigen zijn dus heel bedreven in het kritisch benaderen van wiskundige opgaven, in het communiceren van hun aanpak en in het toepassen van probleemoplossende vaardigheden. Dit zijn vaardigheden en attitudes die in de Vlaamse vakgebonden eindtermen voor wiskunde expliciet benadrukt worden. Voor wetenschappelijke geletterdheid springen de Vlaamse resultaten minder in het oog: elke PISAcyclus is er een groep landen die significant hoger presteert dan Vlaanderen. Nog heel wat meer landen behalen een hogere gemiddelde score, maar door de standaardfout op de meting bevinden ze zich toch op eenzelfde niveau. Wanneer de items bij wetenschappelijke geletterdheid onderverdeeld worden volgens de bevraagde vaardigheden, blijken Vlaamse 15-jarigen het vooral goed te doen bij het aanduiden van wetenschappelijke onderwerpen. Bij vragen naar het herkennen van onderwerpen die wetenschappelijk onderzocht kunnen worden, het aanduiden van sleutelwoorden bij het zoeken naar wetenschappelijke informatie en het herkennen van wetenschappelijk onderzoek halen enkel Finse leerlingen een significant betere prestatie dan de Vlaamse leerlingen. De hoge Vlaamse prestatie bij deze subschaal wordt verklaard door het hoog percentage correcte antwoorden op de makkelijke vragen; het percentage correcte antwoorden op de moeilijke vragen ligt bij deze subschaal opvallend laag. Ook wanneer gevraagd wordt naar het gebruik van wetenschappelijke bewijzen, presteren enkel Finse leerlingen significant beter dan de Vlaamse, maar ditmaal zijn er heel veel landen die op hetzelfde niveau als Vlaanderen presteren. Bij deze subschaal presteren Vlaamse leerlingen vooral goed op vragen waarbij ze bewijzen moeten interpreteren en minder wanneer ze zelf wetenschappelijke hypotheses moeten opstellen of afleiden uit een gegeven experiment. Op de laatste vaardigheids-subschaal binnen wetenschappelijke geletterdheid, namelijk het verklaren van fenomenen op een wetenschappelijke manier, scoren Vlaamse leerlingen gemiddeld het minst goed. Gemiddeld halen vier landen (Finland, Hongkong-China, TaipeiChina en Estland) een significant betere score en opnieuw halen heel wat landen een vergelijkbare prestatie. Vlaamse leerlingen antwoorden onregelmatig op de vragen bij deze subschaal: op sommige vragen scoren ze beter dan de leerlingen in topland Finland, terwijl ze op andere vragen zelfs lager dan het OESO-gemiddelde scoren. Het is niet mogelijk om een lijn te trekken in de aard van de vragen waar Vlaamse leerlingen goed dan wel minder goed scoren – noch het type vraag (meerkeuze, open of gesloten) noch het kennisdomein waarnaar de vragen verwijzen, bieden een eenduidige verklaring. Wel opvallend is dat bij bijna de helft van de complexe meerkeuzevragen het percentage correcte antwoor-
134
Handboek PISA - CONCLUSIE
den in Vlaanderen terugvalt tot op of net onder het OESO-percentage. Vlaamse leerlingen hebben dus meer moeite met dit type vragen, desondanks blijven ze gemiddeld genomen op dit soort vragen wel nog steeds vergelijkbaar scoren als leerlingen in Nederland en Duitsland. Daarnaast presteren Vlaamse leerlingen gemiddeld minder goed op vragen uit het kennisdomein ‘levende systemen’, wat het best aansluit bij de behandelde leerstof in de lessen biologie. Maar ook de vraag waar Vlaamse leerlingen net het best op scoren, behoort tot dit kennisdomein. Er zijn twee vragen bij de subschaal ‘Fenomenen wetenschappelijk verklaren’ waarop Vlaamse leerlingen opmerkelijk goed scoren. Deze vragen zijn allebei te linken aan dezelfde vaardigheden die expliciet in de eindtermen wereldoriëntatie van het lager onderwijs voorkomen. Ook voor wetenschappelijke geletterdheid kunnen we besluiten dat Vlaamse leerlingen bedreven zijn in het oplossen van de vragen die expliciet benadrukt worden in de Vlaamse eindtermen. Vermits overheen de hele itempool bij wetenschappelijke geletterdheid maar voor 6% van de PISA-opgaven een aansluiting kon worden teruggevonden met de Vlaamse eindtermen natuurwetenschappen van de eerste graad (Van Nijlen, e.a. 2006), is het niet verwonderlijk dat de gemiddelde Vlaamse prestatie bij dit domein minder goed is dan voor wiskunde, waar voor meer PISA-vragen een link kan worden gelegd met de eindtermen. Ook voor leesvaardigheid horen de Vlaamse resultaten tot de internationale top, maar net als bij wetenschappelijke geletterdheid zijn er enkele landen, waaronder Finland, die het nog beter doen. Wanneer de vragen bij dit domein onderverdeeld worden naargelang vaardigheden, blijken Vlaamse 15-jarigen het meest bedreven in het selecteren, opzoeken en verzamelen van informatie. Op de subschaal ‘Toegang en lokaliseren’ haalt in PISA2009 slechts één land een significant hoger gemiddelde (Shanghai-China) en presteren Vlaamse leerlingen even goed als hun Finse collega’s. De terugkoppeling naar vraagniveau voor de subschaal ‘Toegang en lokaliseren’ leert dat de Vlaamse leerlingen het vooral zeer goed doen op vragen waarbij informatie uit tabellen of grafieken moet opgezocht worden. Het soort vraag (open, gesloten of meerkeuzevraag) speelt in mindere mate een rol. Wanneer we deze observatie opnieuw terugkoppelen aan de eindtermen, dan merken we op dat het lezen van tabellen en schema’s expliciet opgenomen is in de eindtermen Nederlands van de eerste graad. De PISA-resultaten leren ons dat onze Vlaamse leerlingen goed zijn in deze (lees)vaardigheid en het voor deze specifieke (lees)vaardigheid vaak beter doen dan hun leeftijdgenoten in Nederland, Duitsland of Finland. De Vlaamse 15-jarigen leveren ook een goede prestatie voor wat betreft betekenis verlenen aan de gelezen informatie en het integreren van de informatie. De prestatie op deze subschaal is lager in vergelijking met de prestatie op de subschaal ‘Toegang en lokaliseren’, maar ligt op hetzelfde niveau als voor de subschaal ‘Reflecteren en evalueren’. Voor zowel ‘Integreren en interpreteren’ als voor ‘Reflecteren en evalueren’ behalen enkele Aziatische landen zoals Korea, Hongkong-China en Singapore, maar ook Finland een score die hoger ligt dan de score in Vlaanderen. Het is moeilijk te bepalen voor welke specifieke vaardigheden binnen de subschaal ‘Integreren en interpreteren’ Vlaanderen precies een goede score behaalt. De meerderheid van de vragen waar goed op gescoord wordt, zijn open vragen, hoewel de vraag waar Vlaamse leerlingen uitmuntend op scoren dan weer een meerkeuzevraag is. Bovendien is de vraag waar Vlaanderen in vergelijking met de andere landen een zwakke prestatie levert eveneens een meerkeuzevraag. Ook wat betreft de achterliggende vaardigheden die getoetst worden, is er geen lijn te trekken. Voor de subschaal ‘Reflecteren en evalueren’ merken we op dat het vooral items op het hoogste vaardigheidsniveau zijn waar onze Vlaamse leerlingen een, in vergelijking met andere landen, hoog percentage correcte antwoorden behalen. Het gaat vooral over vragen waarbij gevraagd wordt te reflecteren over de tekst, hetzij over de inhoud, hetzij over de vorm. Opnieuw kunnen we opmerken dat het hier gaat over een vaardigheid die expliciet opgenomen is in de eindtermen Nederlands.
Handboek PISA - CONCLUSIE
135
Een tweede doel van deze brochure is het in kaart brengen van de samenhang tussen de studiekeuze van Vlaamse leerlingen en hun prestatie op de PISA-testen. Elke PISA-cyclus bevestigt voor Vlaanderen de grote kloof tussen de prestaties van de best presterende leerlingen en de leerlingen met de laagste scores. Die kloof is het grootst voor wiskundige geletterdheid: het verschil tussen de 5% best scorende en de 5% slechts scorende Vlaamse leerlingen bedraagt 347 scorepunten; bijna 20 punten meer dan ditzelfde verschil in een gemiddeld OESO-land. Opvallend aan de Vlaamse situatie is dat de best presterende leerlingengroep het hoogste gemiddelde laat optekenen van alle PISA-landen, terwijl de laagst presterende groep op hetzelfde niveau presteert als diezelfde groep in ‘middelmatig’ presterende landen. Deze ongelijkheid laat zich ook optekenen bij de verdeling overheen het vaardigheidsniveau: terwijl een hoog percentage van de Vlaamse leerlingen gemiddeld op de twee hoogste niveaus presteert, haalt nog steeds meer dan 10% van de leerlingen het vooropgestelde basisniveau niet. Een deel van deze verschillen kan verklaard worden door de manier waarop het Vlaamse onderwijs is georganiseerd. Door leerlingen te groeperen in onderwijsvormen en studierichtingen die een ander lessenpakket krijgen, worden verschillen tussen leerlingen ingebouwd. De vergelijking van de prestaties van leerlingen in verschillende onderwijsvormen leert nu dat de Vlaamse verschillen weerspiegeld worden op het niveau van de onderwijsvormen. Het verschil tussen de sterkst en zwakst presterende leerlingen binnen een onderwijsvorm is telkens zo groot dat we niet kunnen zeggen dat leerlingen uit één onderwijsvorm beter presteren dan de leerlingen uit een andere onderwijsvorm. Anders gezegd, het Vlaamse onderwijs groepeert leerlingen wel binnen onderwijsvormen, maar de spreiding binnen die onderwijsvormen is nog steeds aanzienlijk. Bij wiskundige geletterdheid wordt de overlap tussen ASO en TSO nog eens duidelijk bevestigd op het niveau van de studierichtingen. De gemiddelde wiskundeprestatie van de sterke TSO-richtingen (i.h.b. industriële wetenschappen) is beter dan die van de zwakkere ASO-richtingen (zoals bijvoorbeeld economie en menswetenschappen). Dergelijke overlap is er niet bij de gemiddelde prestaties van TSO- en BSO-leerlingen: er is een kloof van meer dan 40 punten tussen de TSO-richting met de laagste wiskundescore en de BSO-richting met de hoogste wiskundeprestatie. Voor de andere PISA-domeinen liggen de resultaten in dezelfde lijn. Bij wetenschappelijke geletterdheid is het puntenverschil tussen de 5% best scorende en de 5% slechts scorende leerlingen het kleinst van de 3 hoofddomeinen, namelijk 302 punten. Op dit domein is de Vlaamse kloof tussen de sterkst en zwakst presterende leerlingen zelfs kleiner dan die overheen de OESO-landen. Dit komt vooral doordat de score van de sterkst presterende leerlingen niet uitzonderlijk hoog is in vergelijking met de scores van diezelfde groep in sommige andere landen of vergeleken met de score van de Vlaamse kopgroep bij wiskunde. De oorzaak ligt zonder twijfel bij het lagere aantal uren wetenschappen in het totale lessenpakket van Vlaamse leerlingen, in combinatie met de kleinere variatiemogelijkheden binnen dat aantal uren overheen de studieopties. Dit weerspiegelt zich vervolgens ook op niveau van de studierichtingen: het prestatieverschil tussen de sterkste en zwakste ASO-studierichtingen bedraagt voor wetenschappelijke geletterdheid 51 punten, terwijl dit voor wiskundige geletterdheid bijvoorbeeld 97 punten is. Ondanks die kleinere spreiding bij de verschillende studierichtingen blijft ook bij wetenschappelijke geletterdheid de spreiding binnen de onderwijsvormen zo groot dat we niet kunnen zeggen dat leerlingen uit een bepaalde onderwijsvorm beter presteren dan leerlingen uit een andere onderwijsvorm. Integendeel, zelfs voor wetenschappelijke geletterdheid bevinden de 20% best presterende BSO-leerlingen zich op hetzelfde niveau als de minst presterende ASO-leerlingen. Voor leesvaardigheid is het Vlaamse puntenverschil tussen de 5% best scorende en de 5% slechts scorende leerlingen (303 punten) nagenoeg gelijk aan het verschil in een gemiddeld OESO-land (305 punten). Overheen de verschillende PISA-cycli verkleinde de Vlaamse kloof van 320 punten in 2000 tot 303 punten in 2009; een vermindering die voornamelijk te wijten is aan de verbeterde prestatie van de laagst presterende Vlaamse leerlingen. Hoewel de spreiding van de scores voor leesvaardigheid dicht aanleunt bij de situatie bij wetenschappelijke geletterdheid, zien we op niveau van de studierichtingen enkele verschillen. Daar waar bij wetenschappen, net als bij wiskunde, de sterkste
136
Handboek PISA - CONCLUSIE
TSO-richtingen gemiddeld beter presteren dan de zwakkere ASO-richtingen, halen voor leesvaardigheid alle ASO-richtingen gemiddeld een hogere score dan de TSO-richtingen. Daarnaast verkleint het verschil tussen de zwakste TSO-richting en de sterkste BSO-richting tot 13 punten. Waar die kloof voor wiskundige geletterdheid 44 punten bedroeg, verkleinde dit tot 28 punten voor wetenschappelijke geletterdheid om voor leesvaardigheid bijna te verdwijnen. Door de kleine verschillen in de gemiddelden van de studierichtingen bij leesvaardigheid lopen hun resultaten nagenoeg in elkaar over wat de overlap van de spreiding binnen de onderwijsvormen, ook voor dit domein, duidelijk bevestigt. De vergelijking met andere landen met een gestratificeerd onderwijssysteem – zoals bijvoorbeeld Nederland en Duitsland – leert ons dat een grote spreiding binnen de resultaten voor een deel inherent is aan een dergelijke organisatie van het onderwijs. De verdere vergelijking met onze noorderburen leert echter ook dat zij er wel in slagen om binnen hun verschillende onderwijstypes hun zwakste wiskundeleerlingen tot een hogere gemiddelde prestatie te brengen dan in het Vlaams systeem het geval is. Hierdoor hebben ze niet alleen een kleinere spreiding binnen hun onderwijsvormen, maar ook overheen hun totale leerlingengroep. Nederlandse onderzoekers verklaren deze kleinere spreiding van de leerprestaties door de relatief grote mate van standaardisatie van het Nederlandse onderwijssysteem (Werfhorst & Mijs, 2007). In tegenstelling tot Vlaanderen kent Nederland een systeem van centrale examens waarbij leerlingen aan het einde van het voortgezet onderwijs (in Vlaanderen het secundair onderwijs) een afsluitend eindexamen moeten afleggen. Hierdoor hebben scholen een duidelijk idee van wat het eindniveau moet zijn voor de verschillende onderwijstrajecten en hebben ze minder autonomie om te beslissen welke inhouden en doelen ze met hun onderwijs nastreven. Een dergelijke beperking van autonomie voor scholen zorgt in combinatie met een systeem van centrale eindexamens niet enkel voor een kleinere spreiding van de resultaten, maar heeft in het algemeen ook een positief effect op de gemiddelde prestatie (Fuchs & Wössmann, 2007). In dit opzicht kan het interessant zijn om de doelen in het Nederlandse onderwijs eens te vergelijken met de Vlaamse eindtermen en na te gaan hoe we zonder centrale examens er naar kunnen streven dat onze zwakste leerlingen de minimumdoelen in de toekomst meer bereiken. Momenteel worden de Vlaamse eindtermen soms heel abstract en ruim geformuleerd (vooral in het BSO) en voor de zwakkere leerlingengroepen kan het misschien net beter zijn om ze concreter, maar daarom niet minder uitdagend, te beschrijven. Voor het derde en laatste doel van deze brochure, namelijk het tonen en duiden van de vragen die PISA gebruikt om vaardigheden en kennis te meten, verwijzen we naar de losbladige map die als deel twee bij deze brochure hoort. Alle vrijgegeven items worden in die map opgenomen, met daarnaast ook de codeersleutel per vraag en een bespreking van hoe de Vlaamse leerlingen die beantwoordden. Wanneer men dit materiaal gebruikt, is het belangrijk om in het achterhoofd te houden dat PISA een uitgebreid internationaal onderzoek is waarbij een internationaal raamwerk gedefinieerd en gehanteerd wordt. Het PISA-onderzoek is ontstaan uit een poging om de kenmerken van de groep jongeren aan het einde van het leerplichtonderwijs in kaart te brengen om vervolgens te kunnen oordelen in welke mate zij voorbereid zijn op de maatschappij en de arbeidsmarkt. De PISA-vragen zijn dus (in tegenstelling tot het TIMSS onderzoek) niet gebaseerd op nationale curricula van landen, maar werden ingebed in realiteitsgebonden contexten die zoveel mogelijk gecontroleerd werden voor culturele vertekeningen. Hierdoor is de map met vrijgegeven items niet geschikt indien men bepaalde aspecten van het Vlaamse curriculum wil testen, maar wel indien men wil kijken in welke mate leerlingen hetgeen ze leerden op school kunnen toepassen. Daarnaast moet men er ook rekening mee houden dat PISA-vragen ontwikkeld werden voor de doelgroep ‘15-jarigen’ en dat die leeftijd in het onderzoek geoperationaliseerd wordt op basis van de geboortedatum van de leerlingen. Zo werden in Vlaanderen bij PISA2003 leerlingen getest die geboren waren in 1990, bij PISA 2006 leerlingen die geboren waren in 1993 en in PISA 2009 leerlingen die geboren waren in 1996. Wanneer Vlaamse leerlingen een ‘normaal’ onderwijstraject doorlopen, dan zitten ze op het moment van de PISA-afname in het vierde jaar van het secundair onderwijs. Dit is echter niet in alle landen het geval. Hoewel alle leerlingen die deelnemen aan PISA allemaal 15 zijn, bestaan er op het moment van deelname toch verschillen tussen de lengte van de schoolloopbaan die ze door-
Handboek PISA - CONCLUSIE
137
liepen, het leerjaar waarin ze les volgen en/of het schoolsysteem waarin ze les volgen. Dit maakt dat er voorzichtig omgesprongen moet worden met enerzijds de internationale verschillen tussen en binnen scholen en anderzijds met het vergelijken van de resultaten van de zelf afgenomen gegevens met de internationale en nationale resultaten. PISA maakt het niet onmogelijk om schoolsystemen efficiënt te vergelijken en educatie wereldwijd te modelleren, maar een grondig inzicht in de verschillende nationale schoolsystemen mag daarbij niet ontbreken! Systemen die werken in andere landen, werken niet noodzakelijk ook bij ons!
Meer informatie? We verwijzen graag naar www.pisa.ugent.be voor meer informatie over PISA in Vlaanderen. Of contacteer ons via
[email protected].
Handboek PISA - CONCLUSIE
139
Referentielijst De Meyer, I., & Van de Poele, L. (2004). Leerstijlen en onderwijsstrategieën in PISA 2000. De Meyer, I., Pauly, J., & Van de Poele, L. (2004). Leren voor de problemen van morgen. De eerste resultaten van PISA 2003. De Meyer, I. (2007). Wetenschappelijke vaardigheden voor de toekomst. De eerste resultaten van PISA 2006. De Meyer, I., & Warlop, N. (2010). Leesvaardigheid van 15-jarigen in Vlaanderen. De eerste resultaten van PISA 2009. FUCHS, T. & WÖSSMANN, L. (2007), What accounts for International Differences in Student Performance? A re-examination using PISA data, Empirical Economics, 32(3), 433464. OECD (2003), Literacy Skills for the World of Tomorrow: Further Results from PISA 2000, PISA, OECD Publishing. OECD (2004), Learning for Tomorrow’s World – First Results from PISA 2003, PISA, OECD Publishing. OECD (2007), PISA 2006 Results: Science Competencies for Tomorrow’s World (Volume I), PISA, OECD Publishing. OECD (2010), PISA 2009 Results: What Students Know and Can Do: Student Performance in Reading, Mathematics and Science (Volume I), PISA, OECD Publishing. Van Nijlen, D. (2006). TIMSS en PISA in relatie tot de Vlaamse eindtermen. KULeuven. Website PISA-onderzoek http://www.pisa.ugent.be
in
Vlaanderen:
WERFHORST, H.G. van de & MIJS, J. (2007), Onderwijsdifferentiatie en ongelijkheid. Nederland in vergelijkend persectief. Rapport in opdracht van het Minsiterie van Onderwijs, Cultuur en Wetenschappen. Amsterdam, Universiteit Amsterdam.
Samenstelling – verantwoordelijk uitgever Universiteit Gent Faculteit Psychologie & Pedagogische Wetenschappen Vakgroep Onderwijskunde H. Dunantlaan 2 9000 Gent Coördinatie Vlaams Ministerie van Onderwijs & Vorming Departement Onderwijs & Vorming Afdeling Strategische Beleidsondersteuning Grafische vormgeving Pattyn Druk Drukkerij Pattyn, Veurne Uitgave Maart, 2013
8