Meten van informatievaardigheden Het toetsen van begrijpend lezen levert inspiratie
Luc Kumps Juni 2013
Inleiding Teken ik de petitie tegen een gsm-mast in de buurt omdat die kankerverwekkend is of moet ik me eerder zorgen maken over mijn eigen mobiele telefoon? Bescherm ik me tegen de zonnestralen of krijg ik dan een tekort aan vitamine D? In de moderne maatschappij zwemmen we in de informatie die ons inzicht kan verschaffen in dergelijke problemen. Met het eindeloze internet binnen handbereik lijkt het nog nooit zo eenvoudig te zijn geweest om een goed geïnformeerde burger te zijn en een leven lang te leren. De informatie die men vindt, is echter zeer divers en soms tegenstrijdig. Men moet erin slagen om al die informatie te integreren, er een synthese van te maken en zo een dieper inzicht te krijgen. Lukt dat niet, dan kan dit zware gevolgen hebben op drie vlakken. Ten eerste op persoonlijk vlak. Wie bijvoorbeeld niet begrijpt dat zonnebaden gevaarlijk is, brengt de eigen gezondheid in gevaar. Ten tweede op maatschappelijk vlak: wie geen dieper inzicht krijgt in maatschappelijke kwesties, kan geen nuttige bijdrage leveren aan de democratische besluitvorming. En ten slotte op onderwijsvlak: wie uit meerdere bronnen geen coherente mentale representatie kan maken, zal op termijn minder leren, binnen en buiten een school. Dit is dramatisch nu een leven lang leren steeds noodzakelijker wordt (Bråten, Britt, Strømsø & Rouet, 2011). Het zoeken en verwerken van informatie in een digitale omgeving vergt meerdere stappen. Eerst moet vanuit een behoefte aan informatie een zoekvraag geformuleerd worden. Hierna moet informatie gezocht, geselecteerd en kritisch beoordeeld worden. Ten slotte dient de informatie verwerkt te worden. Tijdens dit proces heeft men nood aan een verzameling complexe cognitieve informatievaardigheden (Brand-Gruwel, Wopereis & Vermetten, 2005). Soms wordt het informatiezoekproces wat breder gedefinieerd. Voorafgaand aan de informatiezoektocht moet bijvoorbeeld eerst de behoefte aan informatie herkend worden. Na de verwerking van de informatie kan deze aan anderen doorgegeven worden, bijvoorbeeld via een website of e-mail (American Library Association, 2012). In elke definitie van informatievaardigheden staat echter de kennisconstructie centraal. Door de combinatie van de eigen voorkennis met de gevonden informatie bouwen mensen tijdens het informatiezoekproces een mentaal model op. Kortom, zij leren in de digitale wereld. Onderzoekers pleiten dan ook voor meer aandacht voor de benodigde vaardigheden in het onderwijs (Brand-Gruwel, 2012). Vooral voor kinderen die opgroeien in een kansarme omgeving is dit van cruciaal belang. Stanovich (1986) beschreef in een invloedrijk artikel het mattheuseffect in het onderwijs. Een grote woordenschat is cruciaal om goed te kunnen lezen, maar woordenschat wordt zelf ook uitgebreid door veel te lezen. Wie op jonge leeftijd goed kan lezen, ontwikkelt snel een grote woordenschat en behoudt de interesse om te lezen. Hierdoor leest men meer en kan men moeilijker teksten aan, waardoor de woordenschat nog meer aangroeit. Wie aanvankelijk wat meer moeite heeft met het leren lezen, ontwikkelt die woordenschat minder snel omdat men het lezen wat mijdt. Maar de kleinere
1
woordenschat zorgt ervoor dat men minder goed kan lezen. Zo wordt de kloof tussen de sterke en zwakke lezers steeds maar groter: het mattheuseffect. Voor informatievaardigheden dreigt ook een dergelijke kloof te ontstaan. Scholen concentreren zich vooral op zaken waarop de overheid hen afrekent. Maar dat doet de overheid momenteel niet voor de kennis van informatievaardigheden. Daarom zijn scholen niet geneigd om hierin energie te investeren. En dat doen ze zeker niet bij kinderen die moeite ondervinden bij de zaken waar de scholen wel op afgerekend worden. Bovendien aarzelen leerkrachten om huiswerk te geven over informatievaardigheden wanneer ze weten dat hun leerlingen thuis geen toegang hebben tot internet. Bij scholen met vooral kinderen uit welgestelde milieus werkt alles precies omgekeerd. Zij maken tijd vrij om onderricht te geven over informatievaardigheden. En ze durven er huiswerk over geven, wetend dat de meeste leerlingen thuis toegang hebben tot internet. Daarom moet de overheid inzetten op internettoegang voor iedereen in combinatie met aandacht voor informatievaardigheden in het onderwijs (Leu et al., 2009). Wanneer deze vaardigheden aangeleerd worden in het onderwijs, zijn er toetsen nodig voor drie verschillende doelen. Scholen zullen toetsen nodig hebben om de vorderingen van de leerlingen op te volgen en ook om de sterktes en zwaktes van elke leerling te lokaliseren, liefst met formatieve toetsen die het instructieproces sturen (Castelijns, Segers & Struyven, 2011). Daarnaast zal de overheid ook toetsen nodig hebben om de kwaliteit te borgen. Voor deze drie doelen leerlingopvolging, probleemopsporing en kwaliteitsborging - zijn verschillende soorten testen nodig. Men dient erover te waken elke test alleen te gebruiken voor het doel waarvoor hij gemaakt is. Bovendien dient men meer aandacht te schenken aan de validiteit naarmate de consequenties van een testresultaat groter zijn. Zeker testen die de overheid gebruikt om de kwaliteit te borgen, moeten precies datgene meten wat men wil bereiken met het onderwijs. Immers, indien leerkrachten en scholen afgerekend worden op basis van prestaties op dergelijke testen, dan zullen ze zich daarop concentreren (Mansell, James & The Assessment Reform Group, 2009). Het objectief vaststellen van (het gebruik van) informatievaardigheden is echter niet eenvoudig. Ze bestaan immers voor een groot deel uit cognitieve processen. Deze zijn niet rechtstreeks meetbaar. Daarom zochten onderzoekers meetmethodes om deze inwendige processen kwantificeerbaar te maken. Zij lieten de proefpersonen tijdens het zoekproces op internet bijvoorbeeld hardop denken (Brand-Gruwel et al., 2005; Hölscher & Strube, 2000), soms in combinatie met het traceren van oogbewegingen (Gerjets, Kammerer & Werner, 2011). Een belangrijk nadeel van deze meetmethodes is de tijdsinvestering. De uitgetypte uitingen van het hardop denken moeten immers beoordeeld worden door meerdere beoordelaars. Hierdoor werkt men vaak met een kleine groep respondenten. Wegens het arbeidsintensieve karakter zijn de metingen meestal ook van korte duur. Een realistische complexe informatiezoekopdracht neemt echter vaak uren in beslag. Dit verschil in tijdsduur tussen de experimentele omgeving en de alledaagse praktijk roept vragen op bij de ecologische validiteit van de metingen (Wopereis & van Merriënboer, 2011). Bovendien bestaat er bij 2
hardop denken steeds een risico op reactiviteit: het kan de cognitieve processen beïnvloeden die men wil meten (Fox, Ericsson & Best, 2011). Zo bleken de proefpersonen tijdens een zoekproces significant meer te evalueren bij de instructie “Denk hardop terwijl je zoekt, en vermeld de criteria die je gebruikt bij het kiezen van een link uit de zoekresultaten” dan bij “Zeg alles wat je denkt hardop” (Gerjets et al., 2011). Meetmethodes die zo arbeidsintensief zijn en bovendien zeer zorgvuldig moeten toegepast worden, zijn ongeschikt voor gebruik in scholen of door de overheid. Er is nood aan goede instrumenten om informatievaardigheden te meten, die eenvoudig te gebruiken en tijdsefficiënt zijn, het instructieproces kunnen sturen en een hoge validiteit hebben. Misschien kan een ander onderzoeksdomein inspiratie leveren voor een nieuwe generatie meetinstrumenten voor informatievaardigheden? De theorie van de cognitieve processen die een rol spelen bij begrijpend lezen werd de voorbije decennia grondig uitgebouwd. Net als bij informatievaardigheden gaat het hierbij om het opbouwen van een correct en coherent mentaal model op basis van de informatie in de tekst(en) die men leest (Kintsch, 2012; Perfetti & Adlof, 2012). De meeste Nederlandse en Vlaamse scholen gebruiken al geruime tijd testen om de vorderingen van hun leerlingen voor dit domein op te volgen. Bovendien ontstond er in dit onderzoeksdomein de laatste jaren aandacht voor het meten van het begrip van meerdere teksten, die in meerdere of mindere mate conflicterende informatie bevatten (Lawless, Goldman, Gomez, Manning & Braasch, 2012). Kortom, het onderzoeksdomein van tekstbegrip vertoont grote gelijkenissen met belangrijke aspecten van informatievaardigheden en het bereikte al een hoge graad van maturiteit. De centrale vraag in dit artikel is of de ervaring met het meten van tekstbegrip nuttige inzichten kan opleveren voor het testen van informatievaardigheden. Er wordt betoogd dat de huidige theorie van informatievaardigheden – en daardoor ook de meetinstrumenten – nauwelijks aandacht heeft voor het einddoel van het informatiezoekproces: een correcte en coherente kennisrepresentatie. Er wordt ingegaan op het probleem dat dit hiaat oplevert voor de validiteit. Enkele meettechnieken worden besproken waarmee dit aspect gemeten wordt in onderzoek naar begrijpend lezen. Daarna volgen twee inzichten die vermoedelijk ook bij metingen van informatievaardigheden belangrijk zijn wanneer men leerlingen gericht wil helpen in hun leerproces. Ten eerste de aandacht die men moet schenken aan de noodzakelijke voorwaarden vooraleer lezers kunnen beginnen met het begrijpen van een tekst, zoals woordenschat of voldoende voorkennis. Ten tweede het belang om elk deelproces in kaart te brengen en niet alleen een enkele totaalscore op een globale informatievaardigheidsschaal. Uit meetinstrumenten van deelprocessen bij begrijpend lezen worden enkele technieken voorgesteld die nuttig zouden kunnen zijn bij het meten van deelprocessen van informatievaardigheden. Bij al deze aspecten wordt aan de hand van voorbeelden betoogd dat de cognitieve processen, de metingen en de moderatoren bij begrijpend lezen sterke gelijkenis vertonen met deze bij het inzetten van informatievaardigheden. Het artikel sluit dan ook af met een pleidooi om de onderzoeksdomeinen informatievaardigheden en begrijpend lezen samen te voegen. Uit de onderzochte literatuur blijkt trouwens dat dit proces voor een deel al achter de rug is. 3
Kennisconstructie als eindproduct van informatievaardigheden Informatievaardigheden zijn belangrijk, want kennisoverdracht is niet langer het hoofddoel van onderwijs, stellen Brand-Gruwel et al. (2005) in een invloedrijk artikel. Leerlingen moeten hun eigen kennis kunnen construeren, informatie zoeken en verwerken en deze integreren met hun voorkennis. De onderzoekers stelden een cognitief procesmodel op van de stappen die een informatiezoekende doorloopt. Hiervoor gebruikten zij informatie die werd verkregen door proefpersonen hardop te laten denken. Men zou verwachten dat de laatste stap in het theoretisch model bestaat uit het opstellen van een coherente mentale representatie. Brand-Gruwel et al. (2005) stellen echter dat het “eindproduct” afhangt van de taak die men moet uitvoeren, en als voorbeelden van producten noemen zij rapporten, artikelen, brieven en presentaties. In het theoretisch procesmodel is nergens sprake van kennisconstructie. In veel onderzoek naar informatievaardigheden wordt wel de kwaliteit bestudeerd van dergelijke producten, maar niet de kennisconstructie. Zo werd bijvoorbeeld de kwaliteit beoordeeld van een artikel dat de proefpersonen moesten schrijven als resultaat van het oplossen van een informatiezoekprobleem (Brand-Gruwel & Wopereis, 2006). Hierbij werd nagegaan of de informatie in het artikel coherent was en de zoekvraag opgelost werd. Het gaat dus alleen om de integratie van informatie uit verschillende bronnen tot een kort artikel. In een ander onderzoek werd de relevantie beoordeeld van de gebruikte zoektermen en van de gekozen bronnen, van de manier waarop de proefpersonen de informatie klasseerden tijdens het zoekproces en ten slotte van de compleetheid en relevantie van de presentatie die zij produceerden (Gagnière, Betrancourt & Détienne, 2012). Soms beoordelen de onderzoekers het eindproduct op basis van de geformuleerde antwoorden (op de gegeven zoekvragen) die juist of fout zijn (Argelagós & Pifarré, 2012) of in mindere of meerdere mate juist of fout, op een schaal van 0 tot 5 (Gerjets & Hellenthal-Schorr, 2008). Stadtler en Bromme (2008) onderzochten de effectiviteit van een hulpmiddel (met.a.ware) bij instructie van informatievaardigheden. Zij lieten aan een controlegroep en aan een experimentele groep 15 voorgeselecteerde websites lezen over het onderwerp. De opgedane kennis maten zij met een multiple choice test over cholesterol. In al deze onderzoeken ging het alleen om reproductie van feitenkennis, nooit om dieper inzicht of transfer. Deze metingen zijn zeker waardevol om bepaalde vaardigheden apart te meten. Maar de meeste onderzochte literatuur noemt in de inleiding de informatievaardigheden noodzakelijk om te leren in de 21ste eeuw. Wat deze vaardigheden uiteindelijk doen voor de lerenden blijft echter onduidelijk, zowel in de theorie als in het onderzoek (Moje, 2009). Dit hiaat roept vragen op rond de validiteit bij metingen van informatievaardigheden. In de huidige definitie van validiteit moet elke bewering over de betekenis van testscores immers onderbouwd worden met een coherente argumentatie. Men mag bijvoorbeeld niet gewoon beweren dat iemand die hoger scoort op een
4
bepaalde test van informatievaardigheden beter in staat is om kennis te construeren op basis van een internetzoekproces. Een dergelijke claim moet theoretisch en / of empirisch onderbouwd worden. De volgende paragraaf geeft eerst een algemene uiteenzetting over de hedendaagse blik op validiteit. Dit wordt geïllustreerd met een aangepast voorbeeld uit de praktijk van een meting van tekstbegrip. Validiteit Tot ongeveer 1990 sloeg het begrip validiteit op het meetinstrument. Validiteit bestond uit drie onderdelen die men los van elkaar beschouwde. Ten eerste inhoudsvaliditeit. Om deze vast te stellen, moesten experten nagaan of de taken in de test representatief waren voor het domein in kwestie. Ten tweede criteriumvaliditeit. Deze bleek uit een hoge correlatie met andere metingen die als valide werden beschouwd. Ten derde constructvaliditeit. Dit slaat op de mate waarin de operationalisering meet wat de theorie voorspelt, wat men kan nagaan door de correlaties met andere variabelen te analyseren. In een invloedrijk artikel bundelde Messick (1995) deze elementen tot een geünificeerde versie van validiteit. Hij voerde tegelijkertijd een belangrijke wijziging door: ook wat er volgt op een test, namelijk de interpretatie en het gebruik van de testscores, moet opgenomen worden in de validatie van een test. Validiteit was op deze manier geen eigenschap meer van de test maar van de (door de testmaker) voorgestelde interpretatie en het gebruik van de testscores voor een bepaald doel. Waar het aantonen van de validiteit vroeger aan de hand van een enkele empirische studie en een theoretische argumentatie gebeurde, was nu een heel onderzoeksprogramma nodig om de validiteit te bepalen in verschillende contexten, met verschillende doelen of verschillende populaties. CLAIM DUS TENZIJ, BEHALVE
RECHTVAARDIGING
NUANCERING
VERMITS
OMDAT
ONDERBOUWING GEGEVENS
Figuur 1. Onderdelen van de basiscomponenten van het argumentatiemodel van Toulmin (2003).
De meest recente belangrijke stap in deze evolutie was de ontwikkeling van beargumenteerde validiteit (Kane, 2013). De opstellers van een test moeten hierbij twee zaken leveren. In de eerste plaats een logisch opgebouwd coherent netwerk van claims over de interpretatie en het gebruik van de testscores. Kane noemt dit het interpretation / use argument (IUA). In de tweede plaats de validatie van die claims. Het IUA lijkt op een theorie die men tijdens de validatie wetenschappelijk onderbouwt. Het IUA moet zeer rigoureus opgesteld worden volgens het argumentatiemodel van
5
Toulmin (2003). Het is opgebouwd uit ketens aan elkaar gekoppelde redeneringen bestaande uit vijf onderdelen (figuur 1). Vertrekkend vanuit gegevens (score, observatie van gedrag…) poneert men een claim (gevolgtrekking), waarbij deze afleiding ondersteund wordt door een rechtvaardiging voorzien van een onderbouwing. Ten slotte voorziet men een nuancering. De validiteitsargumentatie van de interpretatie en het gebruik van de toetsresultaten bevatten talloze aan elkaar gekoppelde basiscomponenten. Elk aspect van het meetinstrument moet immers met dergelijke argumenten ondersteund worden: de koppeling met de onderliggende theorie, de representativiteit van de taken, het bepalen van scores, de generaliseerbaarheid… Vanaf de start van het ontwikkelen van een nieuwe test wordt het IUA in parallel opgesteld. Dit staat in sterk contrast tot de vroegere visie op validiteit, waar dit aspect meestal pas veel later in het ontwikkelingsproces aan bod kwam (Kane, 2013). Bij het ontwikkelen van de nieuwe versie van de TOEFL – een test van het Engels als vreemde taal – werd bijvoorbeeld uitgegaan van beargumenteerde validiteit. Deze vorm van validatie bleek verschillende voordelen te bieden. In dit validiteitsmodel is er bijvoorbeeld expliciet een plek voorzien voor nuanceringen. Dit voorkomt verkeerde interpretatie of onaangepast gebruik van de test. Niet een construct staat centraal bij de validering, maar de interpretatie en het gebruik van de test. Vooral bij een complex construct dat moeilijk nauwkeurig te definiëren valt, is dit belangrijk. Een ander voordeel is het expliciet maken van de rechtvaardigingen, die anders vaak stilzwijgend aangenomen worden (Chapelle et al., 2010). Figuur 2 toont een hypothetisch voorbeeld van een element in de IUA van een toets van informatievaardigheden. CLAIM: de informatievaardigheden van de student zijn onvoldoende om aan een universiteit te leren uit wetenschappelijke literatuur RECHTVAARDIGING: het maken van een coherente synthese uit meerdere bronnen is cruciaal om te kunnen leren op universitair niveau
TENZIJ, BEHALVE
VERMITS
NUANCERING: het onderwerp van de teksten was zeer technisch en bevatte veel onbekende woordenschat
OMDAT ONDERBOUWING: gebaseerd op ervaringen van docenten tijdens de voorbije jaren
DUS
GEGEVENS: na het lezen van de drie conflicterende teksten was de student niet in staat om een coherente kennisrepresentatie op te bouwen
Figuur 2. De structuur van een validiteitsargument met een nuancering. Aangepast van Chapelle, Enright en Jamieson (2010), p. 12.
In het domein begrijpend lezen is beargumenteerde validiteit een vaak gebruikt uitgangspunt (Van den Broek & Espin, 2012). Een bijkomend voordeel ervan is, dat de opstellers van de test verplicht worden om het doel van de test mee op te nemen in het IUA. Stel bijvoorbeeld dat het doel van een bepaald meetinstrument is om uit te zoeken wie (en wie niet) gebaat zou zijn bij instructie
6
over het evalueren van de betrouwbaarheid van websites. Dan zal de opsteller van de test moeten aantonen dat die instructie nuttig is voor de geselecteerde leerlingen en niet voor de anderen. De afkapscore die gebruikers van de test dienen te hanteren om te beslissen wie de instructie krijgt vormt in dat geval een onderdeel van het IUA dat de testontwerpers opstelden. De validering hiervan kan nog betrekkelijk eenvoudig gebeuren met een klein onderzoek. Indien echter de test bijvoorbeeld als toelatingscriterium moet kunnen fungeren voor bepaalde studies, zal de validering veel zorgvuldiger moeten gebeuren. In dat geval zal men in het IUA en de validering ervan zeer veel aandacht moeten schenken aan eventuele negatieve gevolgen van de interpretatie en het gebruik van de testresultaten, bijvoorbeeld door onterecht studenten te toegang te ontzeggen tot bepaalde studies. Door opname van het doel in het IUA en in de validering ervan door de testopstellers wordt ook voorkomen dat testen misbruikt worden voor doelen waarvoor ze niet voorzien waren, of dat er verkeerde interpretaties aan de scores worden gegeven (Mislevy & Sabatini, 2012). In de onderzochte literatuur over informatievaardigheden werd geen beargumenteerde validiteit aangetroffen. Dit is logisch aangezien het onderzoeksdomein erg jong is en veel onderzoek louter exploratief was. Gezien de complexiteit van het informatiezoekproces, zal het opstellen van validiteitsargumentaties en de validering ervan vermoedelijk veel onderzoekswerk in beslag nemen. In de eerste plaats is onderzoek nodig om de claim te ondersteunen, dat een betere beheersing van informatievaardigheden leidt tot kennisconstructie van hogere kwaliteit. In de volgende paragrafen worden technieken en inzichten uit de meting van tekstbegrip besproken die hiertoe kunnen bijdragen. Eerst worden de moderne inzichten in het begrijpend leesproces kort uiteengezet. Begrijpend lezen Het begrijpen van een tekst komt neer op het verlenen van een betekenis aan de tekst en het opbouwen van een correcte en coherente mentale representatie van de informatie in de tekst, gekoppeld aan de voorkennis die de lezer bezat voor hij de tekst las. In grote lijnen vindt tekstbegrip plaats op twee niveaus. Het eerste niveau is het vormen van de tekstbasis, waarbij de lezer een letterlijke herinnering opbouwt aan de informatie in de tekst. Het tweede niveau is het situatiemodel, waarbij de lezer diepere inzichten verwerft. Een belangrijk proces bij dat laatste is het vormen van inferenties. Dit zijn gevolgtrekkingen die de lezer kan maken door verschillende stukken informatie in de tekst met elkaar te combineren of door informatie uit de tekst te combineren met eigen voorkennis. Stel bijvoorbeeld dat de lezer deze tekst leest: “Jan maakte een wandeling. Hij was zijn paraplu vergeten. Toen hij weer thuis kwam, moest hij droge kleren aantrekken”. In het tekstmodel zou zich dan de informatie “Jan maakte een wandeling” kunnen bevinden. In het situatiemodel zou men “Het regende tijdens Jans wandeling” kunnen aantreffen. Dit laatste staat niet letterlijk in de tekst, het is een inferentie (Kintsch, 2012). Als lezers informatie halen uit meerdere bronnen, wordt het moeilijker om een correct situatiemodel te vormen. Inferenties opstellen wordt bijvoorbeeld moeilijker naarmate de gekoppelde
7
informatie-elementen verder uit elkaar liggen. Bovendien moet men oog te hebben voor veel meer factoren zoals de betrouwbaarheid van de verschillende auteurs, de context waarin de teksten geschreven werden of de aanwezigheid van conflicterende informatie. Als leerlingen willen leren uit tegenstrijdige teksten, dan moeten ze “leren denken als historici en wetenschappers” (Stahl, Hynd, Glynn & Carr, 1996, p. 139). In de theorie werd een laag toegevoegd waarin het proces van tekstbegrip uit meerdere teksten beschreven wordt, bestaande uit twee onderdelen die de lezer mentaal opbouwt. Ten eerste het intertekstmodel of documentenmodel. Dit bevat documentattributen voor elke bron: informatie over auteur (naam, geloofwaardigheid, perspectief van waaruit geschreven werd…), het doel en het doelpubliek, eventuele bias die gedocumenteerd werd in teksten van anderen. Bij boeken staat veel dergelijke informatie in het boek, maar op het internet niet, waardoor het proces in dat geval meer inspanning vergt van de lezer. Het intertekstmodel bevat ook verbanden tussen documentattributen en inhoud van de tekst (bijvoorbeeld "de uitleg dat het allemaal meevalt met de nadelen van GSM-straling, komt van auteur A, die persoonlijk belang heeft bij die stelling") en ook tussen documenten onderling ("bron A gaat akkoord met bron B", "spreekt tegen", "ondersteunt", "ondergraaft"). Naast en met behulp van dit intertekstmodel stelt de lezer het tweede onderdeel op, het situatiesmodel. Dit is de eigen mentale representatie op basis van de gecombineerde informatie uit meerdere teksten (Bråten et al., 2011). Het bovenstaande vertoont grote overeenkomsten met de studie van informatievaardigheden, onder andere op het vlak van het kritisch evalueren van de bronnen of van het integreren en synthetiseren van de informatie. De eerste theoretische modellen van begrijpend lezen werden echter al 35 jaar geleden opgesteld (Kintsch & Van Dijk, 1978) waardoor dit onderzoekdomein al een hogere graad van maturiteit bereikte dan het domein informatievaardigheden. De volgende paragrafen geven een kort overzicht van twee technieken die bij onderzoek naar begrijpend lezen gebruikt worden om de coherentie en correctheid van een opgebouwd mentaal model te meten: het Pathfinder algoritme en zinverificatie. Er worden hierbij enkele voorbeelden gegeven van onderzoek waarbij deze technieken ingezet werden. Vaak betreft het onderzoek naar de invloed van bepaalde moderatoren op de kwaliteit van de kennisconstructie. Het lijkt plausibel dat dezelfde moderatoren een rol spelen bij het inzetten van informatievaardigheden. Niet alleen hoe men metingen uitvoerde, maar ook wat men daarbij mat zou daarom nuttige inzichten kunnen opleveren. Pathfinder De kwaliteit van de mentale representatie na het lezen van een of meer teksten uit zich in de mate van coherentie en correctheid. Deze kenmerken slaan op het mentale netwerk dat een lerende vormt door de kernbegrippen in de informatie met elkaar te verbinden. Onderstaande figuren geven drie voorbeelden van kennisrepresentaties die geconstrueerd zouden kunnen worden op basis van eenzelfde tekst.
8
Koudbloedig
Warmbloedig Hond
Zalm
Walvis
Vis
Zoogdier Longen
Kieuwen
Figuur 3. Correcte en coherente representatie: relaties en hun sterkte stemmen overeen met de gelezen informatie.
Koudbloedig Warmbloedig Walvis Hond Zoogdier
Zalm
Vis
Longen
Kieuwen
Figuur 4. Foutieve maar coherente representatie: een walvis is geen vis, maar alle relaties hebben een coherente sterkte.
Koudbloedig
Warmbloedig Hond
Walvis
Zalm
Vis
Zoogdier Kieuwen
Longen
Figuur 5. Correcte maar niet volledig coherente representatie. Walvis en hond worden ten onrechte beschouwd als niet gerelateerd. Kieuwen en koudbloedig worden bijvoorbeeld ten onrechte beschouwd als sterk gerelateerd. Volle lijnen = sterke relatie. Stippellijnen = zwakke relatie
9
Het Pathfinder algoritme maakt het mogelijk om op een eenvoudige manier deze twee kenmerken te meten. Om het te kunnen inzetten helpt een expert – die het domein in kwestie goed beheerst – bij het opstellen van de test. Deze kiest eerst de belangrijkste concepten uit de tekst(en) die men de lezer wil voorleggen. Voor elke combinatie van twee concepten geeft de expert op een schaal van 1 (helemaal niet gerelateerd) tot 7 (sterk gerelateerd) aan hoe sterk de concepten gerelateerd zijn. Deze informatie gebruikt men op de kwaliteit te meten van het netwerk dat de lezer opbouwt. Hiertoe laat men hem eerst de tekst(en) lezen. Daarna moet de lezer, net als de expert, voor alle combinaties van twee kernbegrippen aangeven in hoeverre deze gerelateerd zijn. De correlatie tussen de inschattingen van de lezers en deze van de expert geeft een beeld van de mate van correctheid van het mentaal model dat de lezers opbouwden. Het Pathfinder algoritme maakt het vervolgens mogelijk om de coherentie te bepalen. Hiertoe vergelijkt het de sterkte van alle paden in het netwerk van een lezer. Stel dat een lezer een sterke relatie aanduidde tussen walvis en zoogdier, en ook tussen hond en zoogdier. Dan is er een coherentieprobleem indien de lezer aangeeft dat er geen enkele relatie bestaat tussen hond en walvis. In een coherente representatie moet er een dergelijke relatie bestaan en moet ze bovendien iets zwakker zijn dan de relaties walvis/zoogdier en hond/zoogdier. Het ‘pad’ tussen walvis en hond doorheen het netwerk is immers iets langer. Het algoritme werd in studies naar tekstbegrip voor verschillende doelen gebruikt. Allereerst werd de invloed op kennisconstructie gemeten voor verschillende versies van eenzelfde tekst (Britton & Gülgöz, 1991). Ozgungor en Guthrie (2004) onderzochten hiermee de invloed van het gebruik van elaboratieve vragen. Guthrie et al. (2004) deden er onderzoek mee naar instructievormen. Stahl et al. (1996) gebruikten het algoritme om na te gaan hoe de coherentie en de correctheid van het mentale model evolueerden na het lezen van een, twee, drie… (met elkaar conflicterende) teksten. Een voordeel van het Pathfinder algoritme is dat de meting weinig tijd neemt. (Guthrie et al., 2004). Zinverificatie Zinverificatie is een testconcept waarbij men na het lezen van een tekst vier soorten zinnen ter beoordeling voorlegt. Voor elke zin moeten de lezers, zonder de gelezen tekst te kunnen raadplegen, aangeven of die zin wel of niet voorkwam in de gelezen teksten. In de oorspronkelijke versie van de zinverificatietest (Royer, Hastings & Hook, 1979) is de eerste soort zin een letterlijke kopie van een zin uit de gelezen tekst. De tweede is een parafrase, waarbij men zoveel mogelijk woorden in een zin uit een tekst vervangt, zonder de betekenis van de originele zin te veranderen. De derde soort is een betekenisveranderende zin, waarbij men een of twee woorden in een originele zin vervangt zodat de betekenis verandert. De vierde soort zin is een afleider, waarbij men een zin opstelt die te maken heeft met het thema van de gelezen tekst maar die informatie bevat die niets te maken heeft met die tekst.
10
Dit soort zinverificatietesten (ZVT) heeft verschillende voordelen. Ten eerste kunnen leerkrachten zelf, op basis van teksten die ze in de klas gebruiken, dergelijke testen opstellen. Dit kan ook in teamverband gebeuren, op basis van een stappenplan dat Royer (2001) opstelde. Ten tweede is de betrouwbaarheid van de testen hoog, weliswaar op voorwaarde dat men de test herhaalt met verschillende teksten. Uit een literatuurstudie (Royer, 2001) bleek bijvoorbeeld dat testen gebaseerd op zes of meer teksten, met telkens 16 testzinnen per tekst, een betrouwbaarheid van .8 tot .9 opleverden. Ook bleek dat men dergelijke testen goed kon gebruiken als leerlingvolgsysteem of om een diagnose te stellen wanneer leerlingen moeilijkheden ondervonden met tekstbegrip. Ten slotte suggereert onderzoek dat leerlingen bijleren door zelf een ZVT op te stellen. Er werden ook complexere versies van de ZVT ontwikkeld. De originele ZVT ging steeds uit van bepaalde zinnen in de gelezen tekst. Hierbij peilt men duidelijk naar de tekstbasis in het model van Kintsch (2012): de letterlijke herinnering van feiten beschreven in de tekst. Varianten van de ZVT kunnen echter ook naar het situatiemodel peilen: de mate van inzicht in de gelezen informatie. Bij de inferentieverificatietest (IVT) schotelt men de proefpersonen zinnen voor waarvan de juistheid bepaald kan worden door informatie uit een of meer zinnen in de gelezen tekst met elkaar in verband te brengen. De combinatie van ZVT en IVT kan belangrijke inzichten verschaffen. Op deze manier onderzochten Wiley en Voss (1999) bijvoorbeeld de rol van de aard van de opdracht die men gaf. Wanneer zij de leerlingen vroegen om een samenvatting te maken van een aantal teksten, scoorden de leerlingen hoog op de ZVT: zij herinnerden zich de tekst letterlijk. Wanneer zij de leerlingen echter om een beargumenteerde opinie vroegen, scoorden ze beter op de IVT: ze verwierven meer inzicht. Wiley en Voss (1999) waarschuwen leerkrachten dat metingen met multiple choice of vragen met korte antwoorden wel eens net die de leerlingen zou kunnen benadelen, die een dieper inzicht verwierven. Er werden varianten ontwikkeld van de IVT om kennisconstructie te meten na het lezen van meerdere bronnen. Bij de intratekst IVT gebruikt men alleen inferenties die gemaakt werden op basis van zinnen in één tekst. Bij de intertekst IVT vertrekt men van zinnen uit twee of meer documenten. Met behulp van de intertekst IVT onderzocht men welke invloed epistemologische overtuigingen hebben op de kennisconstructie wanneer men meerdere bronnen gebruikt (Strømsø, Bråten & Samuelstuen, 2008). Bråten en Strømsø (2009) onderzochten op deze manier de invloed van de aard van de opdracht. Gil, Bråten, Vidal-Abarca en Strømsø (2010) deden vervolgens onderzoek naar de interactie tussen voorkennis en de aard van de opdracht. Hieruit bleek dat alleen leerlingen die voldoende voorkennis over het onderwerp hadden, meer leerden wanneer men hen vroeg om een beargumenteerde opinie dan wanneer ze een samenvatting moesten maken. Bij leerlingen met weinig voorkennis was het omgekeerd. Strømsø, Bråten en Britt (2010) onderzochten de invloed van voorkennis of van aandacht voor de bronattributen van de teksten. De conflictverificatietest (CVT) is een variant die men inzet wanneer de proefpersonen meerdere, soms met elkaar conflicterende teksten lezen. Stadtler, Scharrer, Brummernhenrich en 11
Bromme (2013) gebruikten een CVT waarbij bij elke zin twee vragen werden gesteld. De eerste vraag luidde: “Kwam deze informatie voor in een van de teksten?” De tweede was: “Las je een tekst die informatie bevatte die in tegenspraak was met deze stelling?” Hiervoor moesten de lezers het opgebouwde intertekstmodel raadplegen. Op deze manier kon men vaststellen hoe correct en hoe volledig dat model was. Een mogelijk nadeel van metingen met zinverificatie is de lage betrouwbaarheid. In de hierboven geciteerde onderzoeken rapporteerden de auteurs waarden van Cronbachs alfa tussen .58 (Bråten & Strømsø, 2009) en .68 (Strømsø et al., 2008). De CVT in het onderzoek van Stadtler et al. (2013) vertoonde een iets hogere betrouwbaarheid (α = .73). Sommige auteurs noemden deze lage betrouwbaarheid “aanvaardbaar voor onderzoek”. Hieraan zal echter zeker aandacht geschonken moeten worden wanneer de testen ingezet worden om keuzes te maken bij instructie of om de kwaliteit te borgen. Noodzakelijke voorwaarden Een hoge score op een meetinstrument toont aan dat alle noodzakelijke vaardigheden voldoende beheerst worden. Wanneer de score op een test echter laag is, weet men hooguit dat er voor minstens één vaardigheid bijkomende instructie nodig is. De instructieverantwoordelijke wil weten welke, om de instructie gericht te kunnen aanpassen. De ervaring met begrijpend lezen leert dat twee aspecten hierbij belangrijk zijn. Ten eerste moet men de voorwaarden kennen, die noodzakelijk zijn – maar op zichzelf onvoldoende – om te kunnen beginnen met het inzetten van de vaardigheden van tekstbegrip. Enkele voorwaarden worden in deze paragraaf besproken. Ten tweede moet de meting zo goed mogelijk de deelprocessen in beeld brengen. De volgende paragraaf licht dit nader toe. In staat zijn om woorden te decoderen en een voldoend grote woordenschat en voorkennis zijn voorbeelden van belangrijke voorwaarden voor tekstbegrip. Lezers die problemen hebben met woordherkenning of die een kleine woordenschat hebben, zullen immers nog weinig cognitieve capaciteit beschikbaar hebben om de processen van een hogere orde uit te voeren (Van den Broek & Espin, 2012). Een vergelijking van meetinstrumenten voor begrijpend lezen toonde grote verschillen in het gewicht dat dergelijke factoren hebben in de testresultaten. Bij bepaalde testen bleken de resultaten meer af te hangen van woordherkenning dan van eigenlijk begrijpend lezen, vooral bij jonge lezers. Bij andere bleek redeneervermogen cruciaal, zelfs in die mate dat lezers die goed konden redeneren in staat waren om de vragen van de test te beantwoorden zonder de tekst te lezen, alleen steunend op hun voorkennis (Keenan, Betjemann & Olson, 2008). Begrijpend kunnen lezen van één tekst vormt zelf een van de noodzakelijke voorwaarden voor het begrijpen van meerdere teksten. Hierbij moeten de tekstbasis en het situatiemodel van elke afzonderlijke tekst aangevuld worden met het intertekstmodel. Het begrijpen van meerdere teksten is dan weer noodzakelijk om ook meerdere teksten op internet te begrijpen (Afflerbach & Cho, 2009). Ook hier komt het aspect validiteit weer aan bod: meet de test werkelijk dat wat hij beoogt? Bestaat het risico dat men een zwakte ten onrechte
12
toeschrijft aan wat de test stelt te meten, terwijl de werkelijke oorzaak bij een andere factor ligt, bijvoorbeeld bij een noodzakelijke voorwaarde? Eenzelfde lage totaalscore kan bij een eerste leerling te wijten zijn aan gebrekkige woordherkenning (een noodzakelijke voorwaarde), bij een tweede aan een kleine woordenschat (een andere voorwaarde) en bij een derde aan moeilijkheden bij het vormen van inferenties (een deelproces van tekstbegrip). Bij deze drie leerlingen zijn compleet verschillende ingrepen aangewezen (Perfetti & Adlof, 2012). Onderzoek is nodig om de noodzakelijke voorwaarden voor informatievaardigheden te identificeren. Deelprocessen Een complex cognitief proces als begrijpend lezen of informatie zoeken op internet bestaat uit veel verschillende deelprocessen. Bij zwakke scores moet men onderzoeken in welk(e) deelproces(sen) de lerende tekortschiet. Dat kan een deelproces binnen de noodzakelijke voorwaarden zijn, maar ook een deelproces van een van de componenten op hoger niveau. Figuur 6 toont enkele voorbeelden in deze hiërarchie. Een meting van een dergelijk complex proces moet dan ook de mogelijkheid bieden om te achterhalen bij welke deelproces een eventuele zwakte zich situeert (Rapp, Van den Broek, McMaster, Kendeou & Espin, 2007). Bij begrijpend lezen bestaat een ruime ervaring met het meten van deelprocessen. De volgende alinea’s geven hiervan enkele voorbeelden die vertaalbaar lijken naar een meting van deelprocessen van informatievaardigheden. De rode draad hierbij vormt de mogelijkheid om de resultaten formatief in te zetten. Dit draagt bij tot het beargumenteren van de validiteit van de interpretatie en het gebruik van de testresultaten.
Begrip van meerdere teksten
Herkenning conflicterende informatie
Begrijpend lezen ¦ opbouw tekstbasis en situatiemodel Inferenties
Aandacht voor bronattributen
Noodzakelijke voorwaarden
Monitoren van begrip Woordherkenning
Woordenschat
Voorkennis
Strategieën
Figuur 6. Voorbeelden van enkele noodzakelijke voorwaarden en deelprocessen.
13
Voor het meten van strategieën is zelfrapportering niet geschikt. Proefpersonen bleken niet nauwkeurig te kunnen rapporteren welke strategieën ze “gewoonlijk gebruiken” of “zojuist gebruikten”. Een goed alternatief voor zelfrapportering bleek het geven van voorbeelden van strategieën in combinatie met multiple choice vragen als “Welke van de volgende passages is het meest waarschijnlijke vervolg van de alinea die je net las?”, “Welke van deze samenvattingen is de beste voor deze alinea?” of “Welke van de volgende vragen zouden kunnen beantwoord worden met behulp van deze alinea?” Een dergelijke meting is snel af te nemen. Ze is bovendien goed in te zetten als formatieve toets omdat de zwakke punten onmiddellijk duidelijk worden (Hölscher & Strube, 2000). Men kan ook de leerlingen nota’s laten nemen tijdens het lezen van enkele teksten die tegenstrijdige informatie bevatten. De analyse van deze nota’s kan namelijk aangeven waar het fout loopt wanneer een lezer “leert denken als een historicus”. De instructieverantwoordelijke dient hiertoe de nota’s te beoordelen op drie aspecten. Ten eerste staving: de lezer moet documenten met elkaar vergelijken en daarbij zowel verschillen als overeenkomsten zoeken. Ten tweede aandacht voor de bron: de lezer moet de bronattributen nagaan (auteur, tijdstip, bias) vóór het lezen, om tijdens de kennisconstructie rekening te kunnen houden met de invloed die deze attributen kunnen gehad hebben op de inhoud. Ten derde de context: wanneer en waar werd de tekst geschreven, kan dit een invloed gehad hebben op de inhoud? Vanuit welk perspectief werd de tekst geschreven? Op basis van het ontbreken van sporen van een of meer van deze drie aspecten in de nota’s kan gericht instructie gegeven worden om een zwakte te corrigeren (Stahl et al., 1996). Deze drie deelprocessen vormen ook een onderdeel van informatievaardigheden. Kuhn et al. (1988) ontwikkelden een meetmethode waarmee men kan evalueren hoe diep lezers inzicht verwerven wanneer ze omgaan met conflicterende informatie. Men peilt dan direct zowel als indirect naar de mate van integratie en synthese van de informatie. Bråten, Ferguson, Anmarkrud en Strømsø (2013) pasten dit systeem toe bij een onderzoek naar de leesvaardigheden van leerlingen. Zij lieten de leerlingen verschillende teksten lezen over de invloed van zonlicht op de huid. Zowel de gunstige invloed (productie van vitamine D) als de gevaren (risico op huidkanker) kwamen in die teksten aan bod. Een indirecte vraag luidde “leg de relatie uit tussen de blootstelling van zonlicht, gezondheid en ziekte”. Men gaf een score 0 wanneer er geen of een irrelevant antwoord kwam, score 1 voor een antwoord met slechts één perspectief (ofwel het gunstige effect ofwel het gevaar), score 2 voor één of twee perspectieven met inbegrip van een reden, score 3 voor één of twee perspectieven met een uitgebreide uitleg en score 4 voor het geven van twee perspectieven inclusief een afweging tegen elkaar. Naast deze indirecte vragen waren er ook twee directe: "Er zijn verschillende oogpunten van waaruit men de relatie kan bekijken tussen blootstelling aan zonlicht, gezondheid en ziekte. Beschrijf de belangrijke verschillen" en "Kan meer dan een oogpunt correct zijn? Waarom wel / niet?" Ook hier moesten de antwoorden door een beoordelaar gescoord worden op de diepte van het inzicht. Deze techniek lijkt direct toepasbaar bij bepaalde aspecten van 14
informatievaardigheden. Belangrijk hierbij is opnieuw dat niet alleen wordt nagegaan of het antwoord “Juist of fout” is, maar vooral of er een diep inzicht verworven werd, en zo ja hoe dat bereikt werd (of niet). Kuhn et al. (1988) gebruikten de score als ordinale variabele. Ze deelden hiermee hun proefpersonen op in groepen en gingen na hoe de verdeling tussen de groepen veranderde tijdens de schoolcarrière. Bij oudere leerlingen bleken er relatief meer een hogere niveau van inzicht te bereiken. Rukavina en Daneman (1996) en Bråten et al. (2013) gebruikten de score echter als intervalvariabele in correlatie- en regressieanalyses. Het lijkt twijfelachtig dat dit een aanvaardbaar gebruik is. Een belangrijk deelproces is het stellen van goede vragen. Taboada en Guthrie (2006) en Taboada, Tonks, Wigfield en Guthrie (2009) lieten leerlingen een tekstbundel globaal doornemen. Daarna kregen zij de opdracht om vragen op te schrijven over dit onderwerp. Ze kregen daarbij de instructie "De vragen moeten belangrijk zijn en ze zouden je moeten helpen om meer te leren over het onderwerp. Schrijf zoveel mogelijk goede vragen op". Met behulp van rubrics (een systeem waarmee men complexe vaardigheden kan meten) werden de vragen ingedeeld in vier niveaus. In het laagste niveau zaten vragen over feiten: “Hoeveel weegt een ijsbeer?” Bij het tweede niveau ging het om een eenvoudige beschrijving: “Op welke plekken kan een ijsbeer leven?” Dan kwam een vraag naar complexe verklaringen: “Waarom hebben ijsberen in de zomer een andere kleur?” Op het hoogste scoreniveau zaten de vragen naar een patroon van relaties: “Jagen ijsberen op zeehonden om ze zelf op te eten of om hun kleintjes te voeren?” Hoe hoger het niveau van de vragen die leerlingen stelden, des te hoger bleek achteraf de kwaliteit van de kennis (diepte van het inzicht) te zijn. Goede vragen leren stellen is ook belangrijk bij het aanleren van informatievaardigheden. Gevorderde internetgebruikers blijken immers veel meer tijd te investeren in het definiëren van het probleem dan beginnelingen (Brand-Gruwel et al., 2005). Naar een enkel onderzoeksdomein Begrijpend lezen vormt niet alleen een noodzakelijke voorwaarde om informatievaardig te kunnen worden. Ook de processen die een rol spelen en de bijhorende vaardigheden vertonen grote gelijkenissen. Het lijkt zelfs dat onderzoekswerk dat lang geleden uitgevoerd werd in het kader van begrijpend lezen opnieuw uitgevoerd wordt in het kader van informatievaardigheden. Het procesmodel (figuur 7) van informatievaardigheden (Brand-Gruwel et al., 2005) lijkt bijvoorbeeld zeer sterk op het model (figuur 8) dat Guthrie (1988) opstelde om het informatiezoekproces in (papieren) documenten te omschrijven. Protopsaltis en Bouki (2004, februari) wilden controleren of het model van Guthrie (1988) niet alleen toepasselijk was voor het zoeken van informatie op papier maar ook internet. Daartoe lieten ze proefpersonen hardop denken tijdens het uitvoeren van een zoekopdracht op internet. 76% van de uitingen van informatiezoekers bleken onder te brengen was in een van de componenten van het model van Guthrie. Is dit geen heruitvinding van het wiel? Volgens Leu et al. (2009) is het belangrijk dat leerkrachten, onderzoekers en overheden inzien dat internetvaardigheden in de eerste plaats draaien om tekstbegrip en niet om technologie. Deze
15
REGULERING
Informatieprobleem definiëren
Informatie zoeken
Informatie beoordelen en selecteren
Informatie verwerken
Informatie presenteren
Figuur 7. Procesmodel van Brand-Gruwel et al. (2005) van het zoeken van informatie op internet.
Vraag opsplitsen in deelvragen
NEEN
Onbeantwoorde deelvraag?
EINDE
JA
Kies een ontbeantwoorde deelvraag
Bevat een bron informatie die nuttig lijkt voor een deelvraag?
NEEN
JA
Kies een bron
Bevat een bron informatie die nodig is voor een deelvraag?
NEEN
JA
Sla de informatie op (geheugen of nota’s)
Integreer de informatie met de vragen
NEEN
Doel bereikt? JA
EINDE Figuur 8. Procesmodel van Guthrie (1988) van het zoeken van informatie in documenten. auteurs stellen dat een substantieel deel van de informatievaardigheden identiek is aan vaardigheden die men inzet bij tekstbegrip. Bij andere vaardigheden gaat het om een complexere vorm van vaardigheden van tekstbegrip. Wanneer lezers op internet bijvoorbeeld beslissen om al dan niet een bepaalde hyperlink in de tekst te volgen, dan zetten ze de begrijpend leesstrategie voorspellen in. Dit gebeurt echter veel vaker en op basis van veel minder informatie dan in papieren teksten. Afflerbach 16
en Cho (2009) stellen dat lezers op internet op deze manier aan tekstconstructie doen: vertrekkend vanuit dezelfde informatievraag zullen verschillende lezers uiteindelijk verschillende teksten lezen omdat elke lezer andere links volgde. Volgens Leu et al. (2009) is er ook een categorie vaardigheden, die specifiek ingezet wordt bij lezen op internet. Als belangrijkste voorbeeld noemen zij het kritisch evalueren van de informatie op accuraatheid, betrouwbaarheid, doel van de auteur, enzovoorts. Maar Moje (2009) vraagt zich af of er wel zoiets bestaat als de nieuwe vaardigheden: zijn ze werkelijk verschillend van de oude, of veronderstellen sommigen ten onrechte dat een nieuw medium (internet) een nieuw soort geletterdheid vereist? Ze wijst er kritisch op dat er geen aandacht is voor de uiteindelijke uitkomsten van het inzetten van die vaardigheden. Coiro (2011) stelde een hoge correlatie (r = .60) vast tussen een meting van informatievaardigheden en een meting van tekstbegrip op papier. Volgens haar is het daarom op dit ogenblik onduidelijk of er werkelijk nieuwe vaardigheden nodig zijn of alleen complexere vormen van tekstbegrip. Ook in het internationale PISA 2009 onderzoek (OECD, 2011) was er een hoge correlatie (r = .83) tussen tekstbegrip op papier en informatievaardigheden. Kortom, het is duidelijk dat tekstbegrip en informatievaardigheden steunen op een groot aantal gemeenschappelijke componenten.
Interpreteren van de opdracht
Verzamelen
Evalueren Relevantie en betrouwbaarheid onderzoeken
Toepassen
Analyseren, synthetiseren en integreren
Figuur 9. Model van meervoudig tekstbegrip (Lawless et al., 2012) Ongeacht of er nieuwe vaardigheden nodig zijn bovenop deze die men gebruikt voor begrijpend lezen of niet, lijkt het aangewezen om deze twee onderzoeksdomeinen te integreren. Op die manier wordt voorkomen dat onderzoekers nodeloos dubbel werk verrichten of processen en moderatoren over het hoofd zien die anderen lang geleden reeds onderzochten. Sommige onderzoekers zijn hier al mee gestart. Lawless et al. (2012) beschrijven bijvoorbeeld een uitgebreide
17
testbatterij voor het begrijpen van meerdere teksten, opgesteld op basis van beargumenteerde validiteit. Er is nauwelijks verschil tussen hun model (figuur 9) en procesmodellen van informatievaardigheden. Veel van het hierboven aangehaalde onderzoek naar begrip van meerdere teksten verwijst uitdrukkelijk naar het belang hiervan als een essentiële vaardigheid in de 21ste eeuw. Conclusie In dit literatuuronderzoek stond de vraag centraal of de ervaring met het meten van tekstbegrip nuttige inzichten kan opleveren voor het testen van informatievaardigheden. In eerste instantie viel een belangrijk hiaat op in onderzoek naar informatievaardigheden. Hoewel veel onderzoekers stellen dat kennisconstructie het uiteindelijke doel is van de inzet van informatievaardigheden, bleek dit aspect in de praktijk niet gemeten te worden. Dit vormt een probleem bij het aantonen van de validiteit van de interpretatie en het gebruik van de testen. Het lijkt nuttig om met technieken zoals zinverificatie en het Pathfinder algoritme de constructie te meten van een coherent en correct mentaal model dat opgebouwd wordt tijdens het inzetten van informatievaardigheden. De ervaring met beargumenteerde validiteit bij metingen van tekstbegrip geeft echter ook meer in het algemeen belangrijke aandachtspunten bij de constructie van een test van informatievaardigheden. Wanneer leerlingen zwak scoren op toetsen dan is het cruciaal dat de leerkracht de oorzaak van die zwakte vindt, zodat hij gericht kan ingrijpen. Hiertoe moeten twee aspecten in de toetsen aanwezig zijn. Ten eerste moeten ook de noodzakelijke – maar op zichzelf onvoldoende – voorwaarden gemeten worden om informatievaardig te kunnen worden. Ten tweede moeten de prestaties op de deelprocessen gemeten worden. De ervaring met begrijpend lezen levert ook op deze vlakken bruikbare inzichten en technieken. Er bestaat duidelijk een grote overlapping tussen de onderzoeksdomeinen begrijpend lezen en informatievaardigheden. Minstens een kruisbestuiving maar liefst een volledige integratie lijken aangewezen om snel vooruitgang te kunnen boeken. Het domein informatievaardigheden lijkt geregeld het wiel uit te vinden waarvan men al lang gebruikt maakt in het domein begrijpend lezen. Veel informatievaardigheden zijn immers identiek aan vaardigheden die men inzet bij begrijpend lezen. Andere lijken complexere versies van gelijkaardige vaardigheden bij tekstbegrip. Daarnaast blijven er aspecten die uniek lijken voor informatievaardigheden, zoals de zeer dynamische tekstconstructie die plaatsvindt tijdens het zoekproces. In het algemeen gaat het in beide domeinen echter grotendeels om hetzelfde: op basis van informatie uit een of meerdere bronnen een correcte kennisrepresentatie opbouwen. Een mogelijke tekortkoming van dit onderzoek is dat er alleen werd uitgegaan van bestaande literatuur. Er waren geen contacten met onderzoekers. Daardoor is het beeld mogelijk niet zeer actueel. Wellicht zijn deze zeer actieve onderzoeksdomeinen intussen al verder gevorderd. Een vergelijkbare beperking betreft de theorievorming rond informatievaardigheden. Deze staat nog in de
18
kinderschoenen maar is in volle ontwikkeling. Het is dan ook mogelijk dat door de voortschrijdende inzichten sommige van de opgesomde suggesties niet meer toepasselijk blijken. Dit artikel wil vooral inspiratie leveren aan toekomstige opstellers van meetinstrumenten voor informatievaardigheden. Op het vlak van onderzoek is er duidelijk nog veel werk te verrichten. Theoretische modellen moeten ontwikkeld worden en de validatie van de nieuwe meetinstrumenten zal veel empirisch onderzoek vergen. Het is duidelijk nuttig om bij dit alles over de muur om het eigen onderzoeksdomein te kijken of om bepaalde muren zelfs compleet te slopen. Dit artikel en de opgesomde literatuur vormen daarbij een uitgangspunt.
19
Literatuurlijst
Afflerbach, P. & Cho, B. (2009). Identifying and describing constructively responsive comprehension strategies in new and traditional forms of reading. Handbook of research on reading comprehension, 69-90. American Library Association (Producer). (2012). Assessing Digital Literacy. [Webinar]. Verkregen van http://www.youtube.com/watch?v=6ediJTul0m0 Argelagós, E. & Pifarré, M. (2012). Improving information problem solving skills in secondary education through embedded instruction. Computers in Human Behavior, 28(2), 515-526. doi: 10.1016/j.chb.2011.10.024 Brand-Gruwel, S. (2012). Leren in een digitale wereld:uitdagingen voor het onderwijs. Ongepubliceerde inaugurele rede. Heerlen: Open Universiteit. Brand-Gruwel, S. & Wopereis, I. (2006). Integration of the information problem-solving skill in an educational programme: the effects of learning with authentic tasks. Technology, Instruction, Cognition, and Learning, 4, 243-263. Verkregen van http://dspace.ou.nl/handle/1820/1682 Brand-Gruwel, S., Wopereis, I. & Vermetten, Y. (2005). Information problem solving by experts and novices: analysis of a complex cognitive skill. Computers in Human Behavior, 21, 487-508. doi: 10.1016/j.chb.2004.10.005 Bråten, I., Britt, M. A., Strømsø, H. I. & Rouet, J.-F. (2011). The role of epistemic beliefs in the comprehension of multiple expository texts: toward an integrated model. Educational Psychologist, 46(1), 48-70. doi: 10.1080/00461520.2011.538647 Bråten, I., Ferguson, L. E., Anmarkrud, Ø. & Strømsø, H. I. (2013). Prediction of learning and comprehension when adolescents read multiple texts: the roles of word-level processing, strategic approach, and reading motivation. Reading and Writing, 26(3), 321-348. Bråten, I. & Strømsø, H. I. (2009). Effects of task instruction and personal epistemology on the understanding of multiple texts about climate change. Discourse Processes, 47(1), 1-31. Britton, B. K. & Gülgöz, S. (1991). Using Kintsch's computational model to improve instructional text: effects of repairing inference calls on recall and cognitive structures. Journal of Educational Psychology, 83(3), 329. Broek, P. Van den & Espin, C. A. (2012). Connecting cognitive theory and assessment: measuring individual differences in reading comprehension. School Psychology Review, 41(3), 315-325. Castelijns, J., Segers, M. & Struyven, K. (2011). Evalueren om te leren : toetsen en beoordelen op school. Bussum: Coutinho. Chapelle, C. A., Enright, M. K. & Jamieson, J. (2010). Does an argument-based approach to validity make a difference? Educational Measurement: Issues and Practice, 29(1), 3-13.
20
Coiro, J. (2011). Predicting reading comprehension on the internet: contributions of offline reading skills, online reading skills, and prior knowledge. Journal of Literacy Research, 43(4), 352392. doi: 10.1177/1086296x11421979 Fox, M. C., Ericsson, K. A. & Best, R. (2011). Do procedures for verbal reporting of thinking have to be reactive? A meta-analysis and recommendations for best reporting methods. Psychological Bulletin, 137(2), 316-344. Gagnière, L., Betrancourt, M. & Détienne, F. (2012). When metacognitive prompts help information search in collaborative setting. Revue Européenne de Psychologie Appliquée/European Review of Applied Psychology, 62(2), 73-81. Gerjets, P. & Hellenthal-Schorr, T. (2008). Competent information search in the World Wide Web: development and evaluation of a web training for pupils. Computers in Human Behavior, 24(3), 693-715. doi: 10.1016/j.chb.2007.01.029 Gerjets, P., Kammerer, Y. & Werner, B. (2011). Measuring spontaneous and instructed evaluation processes during Web search: Integrating concurrent thinking-aloud protocols and eyetracking data. Learning and Instruction, 21(2), 220-231. doi: 10.1016/j.learninstruc.2010.02.005 Gil, L., Bråten, I., Vidal-Abarca, E. & Strømsø, H. I. (2010). Summary versus argument tasks when working with multiple documents: which is better for whom? Contemporary Educational Psychology, 35(3), 157-173. Guthrie, J. T. (1988). Locating information in documents: examination of a cognitive model. Reading Research Quarterly, 23(2), 178-199. doi: 10.2307/747801 Guthrie, J. T., Wigfield, A., Barbosa, P., Perencevich, K. C., Taboada, A., Davis, M. H., . . . Tonks, S. (2004). Increasing reading comprehension and engagement through concept-oriented reading instruction. Journal of Educational Psychology, 96(3), 403-423. Hölscher, C. & Strube, G. (2000). Web search behavior of Internet experts and newbies. Computer Networks, 33(1), 337-346. doi: 10.1016/s1389-1286(00)00031-1 Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1-73. doi: 10.1111/jedm.12000 Keenan, J. M., Betjemann, R. S. & Olson, R. K. (2008). Reading comprehension tests vary in the skills they assess: differential dependence on decoding and oral comprehension. Scientific Studies of Reading, 12(3), 281-300. Kintsch, W. (2012). Psychological models of reading comprehension and their implications for assessment. In J. P. Sabatini, T. O'Reilly & E. Albro (Red.), Reaching an understanding: advances in how to assess reading ability (p. 21-38). Lanham, Md.: Rowman & Littlefield Education. Kintsch, W. & Van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85(5), 363-394. 21
Kuhn, D., Amsel, E., O'Loughlin, M., Schauble, L., Leadbeater, B. & Yotive, W. (1988). The development of scientific thinking skills. San Diego, CA: Academic Press. Lawless, K. A., Goldman, S. R., Gomez, K., Manning, F. & Braasch, J. (2012). Assessing multiple source comprehension through evidence centered design. In J. P. Sabatini, T. O'Reilly & E. Albro (Red.), Reaching an Understanding: Innovations in How We View Reading Assessment (p. 3-17). Lanham, MD: Rowman & Littlefield Education. Leu, D. J. J., McVerry, J. G., O'Byrne, W. I., Zawilinski, L., Castek, J. & Hartman, D. K. (2009). The new literacies of online reading comprehension and the irony of no child left behind: students who require our assistance the most, actually receive it the least. In L. M. Morrow, R. Rueda & D. Lapp (Red.), Handbook of research on literacy and diversity. New York: Guilford Press. Mansell, W., James, M. & The Assessment Reform Group. (2009). Assessment in schools. Fit for purpose? A Commentary by the Teaching and Learning Research Programme. London: Economic and Social Research Council, Teaching and Learning Research Programme. Messick, S. (1995). Validity of psychological assessment: validation of inferences from persons' responses and performances as scientific inquiry into score meaning. The American Psychologist, 50, 741-749. Mislevy, R. J. & Sabatini, J. P. (2012). How research on reading and research on assessment are transforming reading assessment (or if they aren't, how they ought to). In J. P. Sabatini, T. O'Reilly & E. Albro (Red.), Reaching an understanding: advances in how to assess reading ability (p. 3-20). Lanham, Md.: Rowman & Littlefield Education. Moje, E. B. (2009). Standpoints: a call for new research on new and multi-literacies. Research in the Teaching of English, 43(4), 348-362. OECD. (2011). PISA 2009 results: students on line: digital technologies and performance (volume VI). Verkregen op 23 juni, 2013, van http://www.oecd.org/pisa/pisaproducts/pisa2009/pisa2009resultsstudentsonlinedigitaltechnolo giesandperformancevolumevi.htm Ozgungor, S. & Guthrie, J. T. (2004). Interactions among elaborative interrogation, knowledge, and interest in the process of constructing knowledge from text. Journal of Educational Psychology, 96(3), 437-443. Perfetti, C. & Adlof, S. M. (2012). Reading comprehension: a conceptual framework from word meaning to text meaning. In J. P. Sabatini, T. O'Reilly & E. Albro (Red.), Reaching an understanding: advances in how to assess reading ability (p. 3-20). Lanham, Md.: Rowman & Littlefield Education. Protopsaltis, A. & Bouki, V. (2004, februari). Cognitive model for Web based hypertext comprehension. Paper gepresenteerd op de IASTED International Conference Web-based Education, Innsbruck, Oostenrijk. 22
Rapp, D. N., Broek, P. Van den, McMaster, K. L., Kendeou, P. & Espin, C. A. (2007). Higher-order comprehension processes in struggling readers: A perspective for research and intervention. Scientific Studies of Reading, 11(4), 289-312. Royer, J. M. (2001). Developing reading and listening comprehension tests based on the sentence verification technique (SVT). Journal of Adolescent & Adult Literacy, 45(1), 30-41. Royer, J. M., Hastings, C. N. & Hook, C. (1979). A sentence verification technique for measuring reading comprehension. Journal of Literacy Research, 11(4), 355-363. Rukavina, I. & Daneman, M. (1996). Integration and its effect on acquiring knowledge about competing scientific theories for text. Journal Of Educational Psychology 88(2), 272-287. doi: 10.1037/0022-0663.88.2.272 Stadtler, M. & Bromme, R. (2008). Effects of the metacognitive computer-tool met.a.ware on the web search of laypersons. Computers in Human Behavior, 24(3), 716-737. doi: 10.1016/j.chb.2007.01.023 Stadtler, M., Scharrer, L., Brummernhenrich, B. & Bromme, R. (2013). Dealing with uncertainty: readers' memory for and use of conflicting information from science texts as function of presentation format and source expertise. Cognition and Instruction, 31(2), 130-150. Stahl, S. A., Hynd, C. R., Glynn, S. M. & Carr, M. (1996). Beyond reading to learn: developing content and disciplinary knowledge through texts. In L. Baker, P. Afflerbach & D. Reinking (Red.), Developing engaged readers in school and home communities (p. 139-163). Mahwah, NJ: Erlbaum. Stanovich, K. E. (1986). Matthew effects in reading: some consequences of individual differences in the acquisition of literacy. Reading Research Quarterly, 360-407. Strømsø, H. I., Bråten, I. & Britt, M. A. (2010). Reading multiple texts about climate change: the relationship between memory for sources and text comprehension. Learning and Instruction, 20(3), 192-204. Strømsø, H. I., Bråten, I. & Samuelstuen, M. S. (2008). Dimensions of topic-specific epistemological beliefs as predictors of multiple text understanding. Learning and Instruction, 18(6), 513-527. Taboada, A. & Guthrie, J. T. (2006). Contributions of student questioning and prior knowledge to construction of knowledge from reading information text. Journal of Literacy Research, 38(1), 1-35. Taboada, A., Tonks, S. M., Wigfield, A. & Guthrie, J. T. (2009). Effects of motivational and cognitive variables on reading comprehension. Reading and Writing, 22(1), 85-106. Toulmin, S. E. (2003). The uses of argument. Cambridge, U.K.; New York: Cambridge University Press. Wiley, J. & Voss, J. (1999). Constructing arguments from multiple sources: tasks that promote understanding and not just memory for text. Journal of Educational Psychology, 91, 301-311.
23
Wopereis, I. G. & van Merriënboer, J. J. (2011). Evaluating text-based information on the World Wide Web. Learning and Instruction, 21(2), 232-237.
24
