3. Vormen van digitale examinering Voorbeelden van digitale examens De mogelijkheden op een rij...6

Staatsexamens NT2 Literatuurstudie Digitalisering van Lezen I en II

Bureau ICE Januari 2009 Suzanne Karsmakers

Inhoudsopgave 1.

Inleiding..................................................................................................................................3

2. 2.1 2.2

Maatschappelijke context van digitalisering.............................................................................4 Computervaardigheid van de doelgroep .................................................................................4 Digitalisering in het NT2-onderwijs..........................................................................................5

3.1 3.2

Vormen van digitale examinering............................................................................................6 Voorbeelden van digitale examens .........................................................................................6 De mogelijkheden op een rij ...................................................................................................6

4.1 4.2 4.3

Effecten van digitalisering op het meten van leesvaardigheid..................................................7 De rol van computervaardigheid .............................................................................................7 De rol van informatieweergave op het beeldscherm ................................................................8 Conclusie ...............................................................................................................................9

3.

4.

5.

Webteksten in de Staatsexamens NT2 Lezen.......................................................................10

6. 6.1 6.2

Conclusies en aanbevelingen ...............................................................................................11 Conclusies ...........................................................................................................................11 Aanbevelingen .....................................................................................................................12

Literatuur ..........................................................................................................................................13

2

1.

Inleiding

De computer is in toenemende mate het middel om te communiceren, zowel in het onderwijs als op de arbeidsmarkt. Onderwijs gaat tegenwoordig gepaard met veel computer- en internetgebruik en lezen vanaf het beeldscherm maakt daar onderdeel van uit. Digitalisering van toetsing en beoordeling lijkt op den duur een logisch gevolg en onvermijdelijk te zijn. Wat betreft de Staatsexamens NT2 Schrijven I en II is gekozen ze voorlopig nog niet te digitaliseren, omdat de overgang van schrijfvaardigheid naar typvaardigheid nu nog te groot is voor tweede taalleerders (Karsmakers, 2007). Wel is besloten de handgeschreven producten binnen onafzienbare tijd te gaan inscannen, zodat ze vanaf het beeldscherm beoordeeld kunnen worden. Dit maakt het sneller verstrekken van examenresultaten aan de kandidaat mogelijk, wat één van de voordelen is van digitalisering van examens (Kirsch, Jamieson, Taylor en Eignor, 1998). Voor de Staatsexamens NT2 Lezen I en II zijn er nog geen ontwikkelingen op het gebied van digitalisering. Dit literatuuronderzoek heeft ten doel de mogelijkheden van de digitalisering voor de vaardigheid lezen te verkennen. De volgende onderzoeksvragen staan centraal: 1. In hoeverre is het maatschappelijk gezien wenselijk om de Staatsexamens NT2 Lezen I en/of II te digitaliseren? 2. In hoeverre is het mogelijk om de Staatsexamens NT2 Lezen I en/of II te digitaliseren? 3. Welke effecten heeft digitalisering op het meten van de leesvaardigheid? 4. In hoeverre dienen webteksten te worden opgenomen in de Staatsexamens NT2 Lezen I/II? Aan de hand van verschillende studies worden bovenstaande vragen beantwoord. Hoofdstuk 2, 3, 4 en 5 gaan respectievelijk in op onderzoeksvraag 1, 2 en 3 en 4. In hoofdstuk 6 worden ten slotte de conclusies en aanbevelingen gepresenteerd.

3

2.

Maatschappelijke context van digitalisering

Om te onderzoeken of het maatschappelijk gezien wenselijkheid is de Staatsexamens NT2 Lezen te digitaliseren, is het van belang de volgende maatschappelijke ontwikkelingen op het gebied van digitalisering te beschrijven: 1. de computervaardigheid van de doelgroep Staatsexamenkandidaten NT2 2. de digitalisering in het NT2-onderwijs Deze onderwerpen zullen respectievelijk in paragraaf 1 en 2 aan bod komen. 2.1

Computervaardigheid van de doelgroep

Een voorwaarde voor het kunnen maken van een digitaal leesexamen is dat kandidaten computervaardig zijn. Hoe vertrouwd zijn tweede taalleerders met computers en met name de doelgroep die zich voorbereidt op de Staatsexamens NT2 programma I en II? Taylor et al. (1998) deden een grootschalig wereldwijd onderzoek naar vertrouwdheid met computers onder TOEFL1-kandidaten, een doelgroep die te vergelijken is met kandidaten van de Staatsexamens NT2. Het onderzoek werd uitgevoerd onder ruim 90.000 respondenten, waarbij een enquête werd afgenomen. Het concept ‘vertrouwdheid’ werd geoperationaliseerd als ‘toegang tot computers’, ‘attitudes ten opzichte van computers’ en ‘ervaring met en gebruik van computers’. Uit het onderzoek kwam naar voren dat 16% weinig, 34% enigszins en 50% zeer vertrouwd was met de computer. Gezien de overeenkomsten in herkomst en sociaal-economische eigenschappen van de TOEFLkandidaten in de Verenigde Staten en de kandidaten van de Staatsexamens NT2 in Nederland, kan worden aangenomen dat ook in Nederland een deel van de kandidaten voor de Staatsexamens NT2 weinig bekend is met de computer. Wel dient rekening te worden gehouden met het feit dat bovenstaand onderzoek bijna 10 jaar geleden is uitgevoerd. Gezien de snelle ontwikkeling van digitalisering in het onderwijs in Nederland – ieder jaar raakt computergebruik meer en meer in het onderwijs geïntegreerd (CEVO, 2007) – zal de computervaardigheid van leerlingen, studenten en potentiële kandidaten van de Staatsexamens NT2 in de afgelopen jaren waarschijnlijk zijn toegenomen. Het aandeel kandidaten dat onbekend is met de computer zal hierdoor nu waarschijnlijk kleiner zijn dan ten tijde van het beschreven onderzoek. Naast de vertrouwdheid van tweede taalleerders met computers dient er te worden gekeken naar hun daadwerkelijke computergebruik. Helaas zijn onderzoeken hiernaar onder deze doelgroep schaars. Daarom worden hieronder enkele studies beschreven die ingaan op het computergebruik van allochtonen in Nederland. Hoewel het hier gaat om tweede en derde generatie migranten, komen ze het dichtst in de buurt bij de doelgroep van de Staatsexamens NT2. Uit een onderzoek van MCA Communicatie (2004) blijkt dat het computergebruik per subgroep verschilt. Ruim de helft van de Turken, 56% van de Marokkanen en 75% van de Surinamers maakte in 2004 in hun vrije tijd gebruik van de computer voor doeleinden als chatten en MSN’en. 90% tot 100% van de jongere Turken, Marokkanen en Surinamers gebruiken het Internet. Ook het Sociaal Cultureel Planbureau deed een studie naar het computergebruik onder allochtonen (Duimel, de Haan en van Ingen, 2007). Hieruit bleek dat allochtonen over het algemeen over minder digitale vaardigheden beschikken dan autochtonen, al blijkt deze achterstand zich niet bij alle etnische groepen voor te doen. Turken en Marokkanen blijken wel minder vaardig met computers – en hebben er thuis ook minder beschikking over, maar Surinamers en Antillianen niet. Deze resultaten illustreren het computergebruik van jonge (kinderen van) migranten. Ze zijn niet zomaar te generaliseren naar de heterogene groep Staatsexamenkandidaten NT2, maar schetsen wel een beeld dat overeenkomt met een deel van de Staatsexamenkandidaten NT2. Uit hetzelfde onderzoek blijkt dat school een belangrijke rol speelt bij het aanleren van digitale vaardigheden. Hierop wordt in de volgende paragraaf ingegaan.

1

Test Of English as a Foreign Language. Deze toets wordt wereldwijd afgenomen onder tweede taalleerders van het Engels. De toets geeft toegang tot middelbaar en hoger Engelstalig onderwijs.

4

2.2

Digitalisering in het NT2-onderwijs

Het inzetten van computers binnen het onderwijs heeft invloed op de computervaardigheid van examenkandidaten. Als een NT2-opleiding computers inzet, stimuleert en vergroot dit het computergebruik van de cursisten en maakt het ze computervaardiger. Hoewel computergebruik in veel secundaire en tertiaire opleidingen geïntegreerd is, geldt dit echter nog niet voor NT2-cursussen. Uit het tabellenboek BVE (2004-2005) dat onderdeel vormt van de ICT Onderwijsmonitor blijkt dat in dat schooljaar 51% van de afdelingen Educatie binnen ROC’s ICT inzetten in het onderwijsprogramma. Ook het aspect toetsing werd onderzocht: in 23% van de ROC’s werd schoolbreed beeldschermafname structureel gebruikt bij toetsing. Bij 33% van de ROC’s stond deze vorm van toetsing nog in de kinderschoenen en bij 45% werd deze vorm van toetsing (nog) niet of nauwelijks gebruikt. Hoewel laatstgenoemde resultaten over toetsing niet specifiek betrekking hebben op de afdelingen Educatie maar ROC-breed zijn, kan op basis van de overige resultaten over het gebruik van ICT binnen de afdelingen Educatie worden geconstateerd dat beeldschermtoetsing ook binnen deze afdelingen (nog) geen gemeengoed was in 2004-2005. Aangezien een deel van de kandidaten van de Staatsexamens NT2 zich via taalcursussen op ROC’s voorbereidt op de Staatsexamens NT2, kan geconcludeerd worden dat lang niet alle kandidaten in hun onderwijstraject hebben leren omgaan met computers, laat staan ervaring hebben opgedaan met digitale toetsing. Iets wat voor het traject dat kandidaten van de Staatsexamens NT2 na hun examen ingaan vaak wel noodzakelijk is. De mbo’s, hogescholen of universiteiten waar zij gaan studeren zullen in veel gevallen eisen aan hun computervaardigheid stellen. Dit geldt ook voor werkgevers. Welke eisen dit zijn, wordt momenteel met een survey onderzocht door Bureau ICE. Digitalisering van het Staatsexamen NT2 zou in lijn zijn met deze ontwikkelingen, maar vooralsnog niet met die in het NT2-onderwijs. Gezien de hierboven beschreven digitale ontwikkelingen kan niet met zekerheid worden gesteld dat digitalisering van de Staatsexamens NT2 Lezen wenselijk is. Er bestaan verschillen tussen de computervaardigheid van kandidaten en computergebruik is nog niet in alle NT2-opleidingen geïntegreerd. Hoewel de situatie kan zijn veranderd sinds de beschreven onderzoeken zijn uitgevoerd, dient bij de keuze voor digitalisering van de Staatsexamen NT2 hoe dan ook rekening te worden gehouden met mogelijke ongelijkheid in toegang tot en bekendheid met de computer. Clariana en Wallace (2002) constateren dat vooral laagopgeleide vrouwen en minderheden minder toegang hebben tot computers en daardoor minder vertrouwd zijn met computers. Het minder computervaardig zijn kan leiden tot minder zelfvertrouwen en veel stress bij taken op de computer, zo blijkt uit een studie van Wolfe en Manalo (2004). Dit kan een negatieve invloed hebben op de resultaten die examenkandidaten op een digitale toets behalen. Voor het volledig kunnen beantwoorden van de onderzoeksvraag of digitalisering van de Staatsexamens NT2 Lezen wenselijk is, wordt in hoofdstuk 4 ingegaan op de effecten van digitalisering op leesvaardigheid en toetsscore. Maar eerst behandelt het volgende hoofdstuk de mogelijkheden voor digitalisering en de reeds bestaande digitale toetsen.

5

3.

Vormen van digitale examinering

In dit hoofdstuk wordt de mogelijkheid tot het digitaliseren van de Staatsexamens NT2 Lezen onderzocht. Hiervoor worden een aantal reeds bestaande digitale examens besproken. 3.1

Voorbeelden van digitale examens

De rol die de computer in het onderwijs en in toetsing speelt worden steeds groter. Zo bestaat er sinds 1 januari 2007 een geheel gedigitaliseerd Inburgeringsexamen waarin tekstdelen van het scherm moeten worden gelezen. Ook wordt er sinds 2000 geëxperimenteerd met digitale examinering van eindexamenvakken op middelbare scholen (vmbo, havo, vwo). Dit geldt alleen voor de vakken economie, wiskunde, natuurkunde, scheikunde, biologie en aardrijkskunde, maar nog niet voor de talen. Het CEVO is wel voornemens ook deze examens te digitaliseren (CEVO, 2007; Kuhlemeier en Sinkeldam, 2003). Bij de centrale examens op middelbare scholen en de pilots in het vmbo wordt gebruik gemaakt van twee verschillende soorten examens: beeldschermexamens en COMPEX-examens2. Bij beeldschermexamens worden de tekst en de bijbehorende items integraal aangeboden op de computer, al dan niet in één of in twee vensters. Deze toetsen worden ook wel Computer Fixed Tests genoemd en zijn een digitale kopie van het papieren origineel (Peak, 2005). De kandidaat leest de tekst vanaf het beeldscherm en beantwoordt de meerkeuzevragen op het beeldscherm met een klik op de muis3. In tegenstelling tot beeldschermexamens worden COMPEX-examens niet volledig op de computer afgenomen. Bij deze examenvorm voert de kandidaat zijn antwoorden in op de computer, maar wordt de rest van het examen – zoals leesteksten – aangeboden op papier. De CEVO, het scholenveld en andere betrokkenen, zoals Cito, IB-groep en de OnderwijsInspectie, zijn het erover eens dat ‘het gebruik van de computer bij een groot aantal centrale examens vakinhoudelijke en vaak ook pedagogische en organisatorische meerwaarde biedt’ (CEVO, 2007:3). Wel moet het digitaliseren van een examen meerwaarde opleveren, waarbij gebruikmaking van de computer een middel is en geen doel. Laatstgenoemde geldt uiteraard ook voor de Staatsexamens NT2. Digitale toetsing zou een middel kunnen zijn om het logistieke proces rondom de afnames te versnellen. 3.2

De mogelijkheden op een rij

Bovenstaande toont aan dat verschillende examens in het Nederlandse onderwijs reeds zijn gedigitaliseerd. Geconcludeerd kan worden dat de mogelijkheid voor digitaliseren van de Staatsexamens NT2 er is. Ook is gebleken dat er verschillende mogelijkheden zijn om een leesexamen te digitaliseren. Hieronder worden ze op een rij gezet: Gehele examen digitaliseren Hierbij worden zowel de teksten als de items op het beeldscherm aangeboden (beeldschermexamens). Ze kunnen simultaan worden aangeboden in één venster (bijvoorbeeld de tekst links en de items rechts) of in twee vensters, waarbij dan wel de tekst dan wel de items oproepbaar zijn via een pop-up-scherm. Examen gedeeltelijk digitaliseren Een andere mogelijkheid is om de Staatsexamens NT2 Lezen gedeeltelijk te digitaliseren. Een keuze kan zijn om de tekst aan te bieden op papier en de items op het beeldscherm (COMPEX-examens) of andersom. Om voor één van bovenstaande mogelijkheden te kunnen kiezen, moet onderzocht worden of digitalisering effecten heeft op leesvaardigheid en welke dit zijn. Op deze onderzoeksvraag wordt in het volgende hoofdstuk ingegaan.

2

COMPEX staat voor Computer Examens. Aangezien de Staatsexamens NT2 Lezen alleen meerkeuzevragen bevatten, wordt in deze literatuurstudie verder niet ingegaan op andere itemsoorten.

3

6

4.

Effecten van digitalisering op het meten van leesvaardigheid

Zijn er verschillen tussen lezen van papier en lezen van het beeldscherm? En zo ja, welke zijn het en welke effecten hebben ze op de afname van een examen en op de toetsscore? Dit hoofdstuk gaat hierop in aan de hand van een aantal studies. Aangezien studies onder tweede taalleerders schaars zijn, wordt ook verwezen naar studies onder andere doelgroepen. Paragraaf 1 bespreekt studies waarin geen effecten werden geconstateerd bij vergelijking van papieren en digitale toetsen, maar die aantonen dat computervaardigheid een cruciale rol speelt bij het al dan niet optreden van afname-effecten. Paragraaf 2 behandelt vervolgens de studies waarin effecten werden gevonden en paragraaf 3 gaat in op de conclusies met betrekking tot computervaardigheid en effecten van digitalisering. 4.1

De rol van computervaardigheid

Niet in alle studies worden er effecten gevonden bij de vergelijking van toetsscores op papieren versus digitale leestoetsen, maar laten wel zien dat computervaardigheid een bepalende factor is als het gaat om het al dan niet optreden van effecten. Zo deed Yessis (2000) in Sawaki (2001) onderzoek naar het effect van de afnamevorm op toetsresultaten onder tweede taalleerders op een Amerikaanse universiteit. De onderzoekspopulatie bestond uit ‘undergraduate’ en ‘graduate’ studenten, van wie er 44 iedere week een leestoets op de computer deden, terwijl er 9 dezelfde toets op papier maakten. De verschillen die gevonden werden in tekstbegrip (toetsscore) waren niet significant. Clariana en Wallace (2002) geven aan dat vooral hoger opgeleide tweede taalleerders profijt hebben van digitale toetsen, omdat zij vaker dan lager opgeleiden toegang hebben tot computers en daardoor computervaardiger zijn. Dit verklaart mogelijk waarom er in de studie van Yessis (2000) onder universitaire studenten geen significante verschillen werden gevonden tussen de verschillende afnamevormen. Uit een onderzoek van Kirsch et al. (1998) onder een representatieve steekproef van ruim 1100 TOEFL-kandidaten naar de relatie tussen bekendheid met computers en scores op digitale toetsen4, komt wel een klein significant verschil tussen de scores op digitale en papieren toetsen naar voren. Computervaardige kandidaten behaalden significant hogere toetsscores op een digitale TOEFL-toets dan niet of minder computervaardige kandidaten. In de tweede fase van dit onderzoek werd dit verschil echter opgeheven. Eenzelfde groep kandidaten volgde als voorbereiding op de TOEFL-toets een online-computertraining, speciaal ontwikkeld voor dit onderzoek. Na het volgen hiervan bleek er geen significant verschil meer te zijn tussen de scores op de papieren en digitale toets tussen computervaardige en minder computervaardige proefpersonen. Het eerdere gebrek aan computervaardigheid bij sommige kandidaten was dankzij deze computertraining zo bijgespijkerd, dat het geen invloed meer had op de toetsscore. Geconcludeerd kan worden dat als er al een verband is tussen computervaardigheid en afnamevorm bij tweede taalleerders, het effect dat dit verband teweegbrengt weggenomen kan worden door middel van het oefenen met computertoetsen. Uit deze paragraaf blijkt dat er geen verschillen in score op papieren en digitale toetsen optreden als kandidaten computervaardig zijn. Dit is veelal het geval bij hoogopgeleiden. Voor minder computervaardige kandidaten geldt dat wanneer zij vooraf aan de toets getraind worden in computervaardigheid, er geen afname-effect optreedt en de toetsscores op een computertoets en een papieren toets gelijk zijn. Geconcludeerd kan worden dat bij een digitale afname van de Staatsexamens NT2 Lezen alle kandidaten voldoende computervaardig moeten zijn en anders de mogelijkheid moeten krijgen een voorbereidende computertraining te volgen. In bovenstaande studies is niet duidelijk hoe lang de leesteksten waren en of ze simultaan met de items werden gepresenteerd op het beeldscherm. Hier wordt in de volgende paragraaf aandacht aan besteed.

4

De toets bestond uit luister- , schrijf- en leesvaardigheidsitems.

7

4.2

De rol van informatieweergave op het beeldscherm

Uit het merendeel van de studies die papieren en digitale leestoetsen vergelijken, blijkt dat het digitaal afnemen van leestoetsen bij kandidaten een negatief effect heeft op leesvaardigheid en tekstbegrip en daarmee op toetstijd en toetsscore. Zo deden Kerr en Symons (2006) onderzoek naar in hoeverre presentatie van tekst op het computerbeeldscherm invloed heeft op leessnelheid, tekstbegrip en het onthouden en terugvinden van informatie. Dit onderzoek werd gedaan bij 60 kinderen met een gemiddelde leeftijd van 10,7 jaar. De kinderen kregen twee informele teksten te lezen. Het ene deel van elke tekst lazen ze van het beeldscherm en het andere deel van papier. Vervolgens werd hen gevraagd verschillende vragen te beantwoorden over de teksten. Een deel van de vragen betrof specifieke inhoudsvragen en het andere deel betrof globale begripsvragen. Uit het onderzoek bleek ten eerste dat de kinderen de tekst van het beeldscherm langzamer lazen dan van papier. Volgens Kerr en Symons is dit in overeenstemming met de resultaten van voorgaande studies naar leessnelheid bij volwassenen (Sawaki (2001) en Dillon (1992)). Ten tweede konden de kinderen de informatie van papier beter onthouden en navertellen dan die van het beeldscherm. Ten derde bleek dat er hoger gescoord werd op de begripsvragen die gesteld werden over het gedeelte dat gelezen was van papier. De oorzaak van deze nadelige consequenties van digitalisering blijkt in alle onderzoeken het verschil in navigatie te zijn tussen papieren en digitale toetsen. Het verschil in navigatie tussen papieren en digitale leestoetsen blijkt effect te hebben op de toetsscore. Dit heeft te maken met de maximale hoeveelheid informatie die op een beeldscherm kan worden aangeboden. Deze maximale hoeveelheid bedraagt op een beeldscherm eenderde van de hoeveelheid die op een A4-vel papier weergegeven kan worden. De hoeveelheid informatie die op een beeldscherm past is namelijk ongeveer drie keer minder dan de informatie die op een A4-formaat papier past. Lezen vanaf het beeldscherm vereist dus meer interactiviteit met de tekst. Bij lezen op papier bestaat deze uit het fysiek omslaan van pagina’s, terwijl bij lezen van een langere tekst van het beeldscherm met een muisklik of door te scrollen genavigeerd moet worden (Clariana en Wallace, 2002). In het geval van een leestoets waarbij zowel tekst als items op de computer worden aangeboden (Computer Fixed Tests of beeldschermexamens) komt daar een extra handeling bij, namelijk het navigeren van items naar tekst en andersom op één of twee schermen. De extra cognitieve last en tijd die dit kost, kan volgens Clariana en Wallace weer van invloed zijn op het antwoordgedrag van de student en daarmee op de toetsscore. Peak (2005) bevestigt dat digitale toetsing effect kan hebben op de toetsscore. In haar onderzoek, waarbij examenkandidaten op het scherm door te tekst moesten navigeren met een scrollbalk om de vragen te kunnen beantwoorden, waren de verschillen met kandidaten die de tekst en items tegelijkertijd aangeboden kregen op papier significant (Bridgeman et al., 2003; Choi en Tinkler, 2002 in Peak, 2005). Ook Piolat, Roussey en Thunin (1997) die een studie uitvoerden naar lezen op een beeldscherm en de invloed van navigeren door de digitale tekst op tekstbegrip, bevestigen bovenstaande bevindingen. De proefpersonen in hun onderzoek kregen de opdracht een tekst te lezen en enkele delen van de tekst te reviseren. In de ene conditie werd de tekst aangeboden met een scrollbalk en in de andere conditie werd de tekst in een pagina-voor-pagina opzet gepresenteerd. Met deze bladerfunctie is het mogelijk om van de ene pagina naar de andere te gaan zonder daarbij door de hele tekst te moeten scrollen, zoals bij de scrollversie het geval was. Uit het onderzoek bleek dat beide manieren van navigeren tot minder tekstbegrip leidden dan wanneer de tekst in zijn geheel op het beeldscherm paste. Wel was de pagina-voor-paginamanier favoriet bij de proefpersonen en werd er op de taken hoger gescoord dan bij de ‘scrolltoets’. De onderzoekers zochten de verklaring voor dit verschil in het feit dat de pagina-voor-paginamethode meer lijkt op de navigatie die toegepast wordt bij de traditionele manier van lezen. Maar waarom leidt dergelijke navigatie bij digitale leestoetsen tot een lagere toetsscore? Peak (2005) speculeert in haar studie dat de leesstrategie van de student anders is bij het lezen vanaf een beeldscherm als de tekst en items niet tegelijkertijd worden aangeboden dan bij lezen vanaf papier. De kandidaat moet door het scrollen zijn informatie anders organiseren dan hij zou doen bij een papieren toets. Zo kan hij bepaalde passages bijvoorbeeld niet meer onderstrepen. Peak gaat hier in haar onderzoek niet verder op in, maar blijft bij een aanname. Min, Yu, Spenkelink en Vos (2004) doen dit wel. Bij digitale toetsen die meerdere schermen (windows) bevatten waardoor de informatie overlapt en niet tegelijkertijd beschikbaar is, is er volgens hen een te grote cognitieve last waardoor de examenkandidaat de informatie niet opslaat in het werkgeheugen en vervolgens niet goed verwerkt.

8

De mentale representatie van de tekst die kandidaat maakt, waarbij hij onder andere onthoudt waar bepaalde informatie in een tekst te vinden is, wordt door scrollen of digitaal bladeren bij een tekst langer dan één scherm in de weg gestaan. Om een goede interactieve leeromgeving of toets te maken en daarbij de kandidaat de mogelijkheid te geven een probleem op te lossen, is alle informatie tegelijkertijd nodig en moet deze evenwijdig aan elkaar op het scherm worden aangeboden. Dit wordt door Min et al. (2004) de Parallel Instruction Theory (PI) genoemd. Dit betekent dat de instructies en opdrachten tegelijkertijd met de informatie die verwerkt moet worden zichtbaar moet zijn op het beeldscherm. Daar voegen zij aan toe dat het ook betekent dat de informatie met een zeer simpele handeling bereikbaar moet zijn. Door de informatie op een dergelijke simultane manier te presenteren, zullen de verschillen tussen papieren en digitale toetsen volgens hen verdwijnen. Peak (2005) bevestigt de Parralel Instruction Theory. Uit haar onderzoek naar de gelijktijdige presentatie van teksten en items in digitale toetsen kwam naar voren dat wanneer alle informatie om een item te beantwoorden (bijvoorbeeld een tekst) samen met het item op het beeldscherm pasten, er geen significante verschillen in de resultaten op de papieren toets en de digitale variant waren (Bridgeman, Lennon en Jackenthal, 2001; Choi en Tinkler, 2002; Hetter, Segall en Bloxom, 1994 in Peak 2005). Ook Piolat, Roussey en Thunin (1997) concluderen in hun onderzoek naar lezen vanaf het beeldscherm dat het lezen van een digitale tekst niet tot minder begrip leidt bij de lezer zolang de tekst even lang is als het scherm groot is. Peak (2005) voorspelt dat naarmate leerlingen vertrouwder raken met lezen vanaf de computer en er geavanceerdere computertoepassingen worden ontwikkeld die het begrip van de lezer vergroten bijvoorbeeld de mogelijkheid om tekst te markeren -, de verschillen tussen scores op papieren en digitale extensieve leestoetsen zullen verdwijnen. Dit lijkt aannemelijk wanneer dit in de lijn der ontwikkelingen wordt geplaatst. Eerdere effecten van digitale teksten op leesvaardigheid zijn door de digitale ontwikkelingen in de maatschappij inmiddels weggenomen. Zo vormt de beeldschermresolutie vandaag de dag geen obstakel meer bij het afnemen van digitale toetsen (Choi, 2003 in Peak, 2005). Ook is het breedbeeld-computerscherm geïntroduceerd, wat wellicht mogelijkheden biedt om meer informatie tegelijkertijd aan te bieden. Uit deze paragraaf blijkt dat er in veel onderzoeken een afname-effect optreedt bij digitale leestoetsen als de teksten langer zijn dan het beeldscherm groot is en als niet alle informatie tegelijkertijd beschikbaar is voor de kandidaat. Passen de tekst en items samen wel in hun geheel op het beeldscherm, dan treedt dit effect niet op. 4.3

Conclusie

Uit dit hoofdstuk kan geconcludeerd worden dat het digitaal afnemen van leestoetsen weinig verschilt van een papieren leestoets, zolang de teksten die kandidaten moeten lezen in de toets niet meer dan één beeldscherm beslaan en de items tegelijkertijd met de leestekst op het beeldscherm worden aangeboden. Alle informatie moet dus op het beeldscherm te zien zijn door de kandidaat. Met betrekking tot tweede taalleerders kan worden geconcludeerd dat wanneer zij voldoende computervaardig zijn - bijvoorbeeld door een voorbereidende computertraining te volgen, er geen significante verschillen meer zijn tussen de afname van papieren en een digitale leestoets. Voorwaarde is ook hier dat de tekst en items tegelijkertijd moeten worden aangeboden op het scherm. Past de tekst niet in zijn geheel op een beeldscherm en/of worden de tekst en de items niet tegelijkertijd zichtbaar voor de kandidaat, dan is er wel een effect, namelijk minder tekstbegrip. De Staatsexamens NT2 Lezen bevatten ook teksten die niet in zijn geheel op een beeldscherm passen, tenzij er grotere beeldschermen ingezet gaan worden waar de teksten wel op passen. Als dit niet het geval is, heeft digitalisering tot gevolg dat de kandidaat door de tekst moet scrollen of dat er een pagina digitaal ‘omgeslagen’ moet worden, wat negatieve effecten kan hebben op de toetsscores.

9

5.

Webteksten in de Staatsexamens NT2 Lezen

In dit hoofdstuk wordt ingegaan op de vierde onderzoeksvraag: In hoeverre dienen webteksten te worden opgenomen in de Staatsexamens NT2 Lezen? De wijdverbreide beschikbaarheid van computers zorgt ervoor dat het concept ‘geletterdheid’ ruimer is geworden (Reinking et al., 1998 in Matthews, 2000). Maar bevindingen in een studie van Dillon (1992) impliceren dat er meerdere vormen van geletterdheid zijn ontstaan. Hij stelt dat lezen van papier wezenlijk verschilt van lezen van een beeldscherm en dat met een digitale toets een andere vorm van geletterdheid gemeten wordt dan met een papieren toets. Topping en McKenna (1999) in Matthews (2000) onderscheiden de begrippen ‘computer literacy’ (om kunnen gaan met het toetsenbord en vertrouwdheid met specifieke computerapplicaties) en ‘electronic literacy’ (lezen vanaf het beeldscherm in plaats van ‘traditionele’ geletterdheid, namelijk lezen op papier). Wellicht is alleen leesvaardigheid op papier niet voldoende om een digitale leestoets even goed te kunnen maken als een papieren toets, maar zijn daar ook computer- en electronische geletterdheid voor nodig. Vervolgens kan men zich afvragen of nieuwe vormen van geletterdheid opgenomen moeten worden in de Staatsexamens NT2 Lezen als die gedigitaliseerd zouden worden. Volstaat de huidige vorm van toetsing, waarbij informatieve, instructieve, persuasieve en beschouwende teksten in de vorm van brochures, colums, studieteksten en andere ‘papieren’ bronnen moeten worden gelezen? Of moeten ook nieuwere vormen van lezen, zoals het gericht zoeken van informatie in een webtekst worden getoetst? In de huidige Staatsexamens NT2 Lezen I en II beslaan de teksten één tot twee pagina’s. Deze teksten zijn lineair opgebouwd, met de bedoeling dat de tekst van begin tot eind gelezen wordt. Op Internet echter hebben teksten vaak hyperlinks, waarop doorgeklikt kan worden naar een andere website voor meer informatie. Computergebruikers lezen teksten op Internet vaak met het doel om snel informatie te vinden, waarbij ze niet meer lineair lezen, maar al navigerend ‘scannen’ naar de informatie waarnaar ze op zoek zijn. Met hyperlinks wordt de lezer in staat gesteld om efficiënt naar relevante plaatsen in de tekst te gaan, maar tevens blijft de mogelijkheid bestaan om de tekst lineair te lezen (Van Driel, 1999). Studie en werk gaan tegenwoordig vaak gepaard met het zoeken van informatie op Internet. Het extensief kunnen lezen van webteksten is dus een vaardigheid die de meeste studenten en werknemers moeten beheersen. In sommige taalmethoden, zoals Touchdown 2nd edition voor havo/vwo van ThiemeMeulenhoff, worden leerlingen in de opdrachten en in de toetsing regelmatig verwezen naar het Internet en andere digitale informatiebronnen. Geconcludeerd kan worden dat het toetsen van electronische geletterdheid met webteksten naast het toetsen met papieren bronnen gezien de digitale ontwikkelingen in de maatschappij relevant lijkt te zijn voor de Staatsexamens NT2 Lezen.

10

6.

Conclusies en aanbevelingen

In deze literatuurstudie stonden vier onderzoeksvragen centraal, die in hoofdstuk 2, 3, 4 en 5 zijn besproken: 1. In hoeverre is het maatschappelijk gezien wenselijk om de Staatsexamens NT2 Lezen I en/of II te digitaliseren? 2. In hoeverre is het mogelijk om de Staatsexamens NT2 Lezen I en/of II te digitaliseren? 3. Welke effecten heeft digitalisering op het meten van de leesvaardigheid? 4. In hoeverre dienen webteksten te worden opgenomen in de Staatsexamen NT2 Lezen? Op basis van deze literatuurstudie komen de volgende conclusies naar voren: 6.1

Conclusies

Wenselijkheid tot digitalisering Hoewel de digitale ontwikkelingen in de maatschappij snel gaan, bestaan er verschillen tussen de computervaardigheid van kandidaten en komen zij tijdens hun cursus Nederlands en/of thuis lang niet altijd in aanraking met de computer, laat staan met digitaal onderwijs en/of digitale toetsing. Dit geldt vooral voor laagopgeleide tweede taalleerders en met name vrouwen. Bij de keuze voor digitalisering van de Staatsexamens NT2 Lezen dient dan ook rekening te worden gehouden met mogelijke ongelijkheid in toegang tot en bekendheid met de computer, aangezien dit een negatief effect kan hebben op de resultaten bij de afname van een digitale toets. Mogelijkheid tot digitalisering Er zijn verschillende mogelijkheden om de Staatsexamens NT2 Lezen I en II te digitaliseren. Zo kunnen zowel tekst als items op de computer worden aangeboden in één of in twee schermen (tekst in het ene scherm, items in het andere). Ook kan gekozen worden om de tekst aan te bieden op papier en de items op de computer. Effecten van digitalisering op leesvaardigheid Het digitaal afnemen van leestoetsen verschilt weinig van een papieren leestoets, zolang de teksten die kandidaten moeten lezen in de toets niet meer dan één beeldscherm beslaan en de items tegelijkertijd met de leestekst op het beeldscherm worden aangeboden. Alle informatie moet dus op het beeldscherm te zien zijn door de kandidaat. Past de tekst niet in zijn geheel op het beeldscherm en/of zijn de tekst en de items niet tegelijkertijd zichtbaar voor de kandidaat, dan is er wel een effect, namelijk minder tekstbegrip. De Staatsexamens NT2 Lezen bevatten ook teksten die niet in hun geheel op een beeldscherm passen. Digitalisering van deze huidige lange leesteksten zou tot gevolg hebben dat de kandidaat door de tekst moet scrollen of dat er een pagina digitaal ‘omgeslagen’ moet worden, wat negatieve effecten kan hebben op de toetsscores. Een belangrijke interveniërende variabele blijkt de computervaardigheid van de kandidaat: wanneer deze onvoldoende is, heeft dat negatieve gevolgen voor de toetsscore. De computervaardigheid dient dus voldoende ontwikkeld te zijn. Webteksten in de Staatsexamens NT2 Lezen Met de komst van Internet en hyperlinks op webpagina´s is er een nieuwe vorm van geletterdheid ontstaan, waarbij informatie navigerend gescand wordt in plaats van slechts lineair gelezen. Het toetsen van deze nieuwe vorm van geletterdheid via webteksten naast het toetsen met papieren bronnen lijkt gezien de digitale ontwikkelingen in de maatschappij relevant voor de Staatsexamens NT2 Lezen. Studie en werk gaan tegenwoordig vaak gepaard met het zoeken van informatie op Internet en ook in andere toetsen worden Internetteksten betrokken.

11

6.2

Aanbevelingen

Uit de conclusies komen de volgende aanbevelingen naar voren: Aanbevolen afnamevorm Aanbevolen wordt de Staatsexamens NT2 Lezen I en II gedeeltelijk te digitaliseren, dat wil zeggen: de leesteksten op papier aanbieden en de bijbehorende items op de computer. Op deze manier zijn zowel de tekst als de items tegelijk zichtbaar voor de kandidaat. Daarnaast wordt het presenteren van een tekst die niet in zijn geheel op het beeldscherm past, voorkomen. Voor het beantwoorden van de items is slechts een minimale computervaardigheid van de kandidaat (muisvaardigheid) vereist en praktisch gezien kunnen de digitale scores sneller automatisch worden verwerkt. De digitalisering van de Staatsexamens NT2 lezen I en II kan als sturend gezien worden voor het onderwijstraject in NT2-cursussen. Dat wil zeggen dat als leesvaardigheid digitaal wordt getoetst het onderwijs ook meer digitale vormen van leesonderwijs zal kunnen of moeten gaan aanbieden. De afname van deels gedigitaliseerde Staatsexamens NT2 Lezen kan een stimulans vormen voor NT2opleidingen om hun onderwijs meer te gaan digitaliseren. Voordeel is dat daarmee de computervaardigheid van de kandidaat in het onderwijsproces reeds vergroot wordt. Het in de toekomst volledig digitaliseren van de Staatsexamens NT2 Lezen I en II - dus het digitaal aanbieden van zowel teksten als items - wordt alleen aanbevolen als de teksten en items kunnen worden aangeboden op beeldschermen, die zo groot zijn dat de teksten en de bijbehorende items samen volledig op het scherm passen. Aanbevolen pilots Alvorens over te gaan op de deels gedigitaliseerde Staatsexamens NT2 Lezen I en II zou er een oefensessie ontwikkeld moeten worden waarin kandidaten kunnen oefenen met het gebruik van de computer en de muis en het beantwoorden van items op de computer. Deze oefensessie zouden in de vorm van een pilot naast of in plaats van de huidige proefexamens kunnen plaatsvinden. De pilot dient ertoe te voorkomen dat kandidaten vanwege weinig ervaring met de computer slechter zouden scoren op de deels digitale toets dan wanneer zij de volledig papieren equivalent zouden maken. Verder dient vooraf onderzocht te worden of de huidige toetstijd gehandhaafd kan worden of niet. De kans is aanwezig dat het beantwoorden van items op de computer meer tijd vergt dan wanneer kandidaten ze op papier zouden beantwoorden. Het onderzoeken hiervan zou in een pilot kunnen plaatsvinden. Ten slotte wordt aanbevolen met nieuwe vormen van electronische geletterdheid, zoals het lezen van webteksten, in een digitale pilotvariant van de Staatsexamens NT2 Lezen I en II te experimenteren. Naast het lineair kunnen lezen van verschillende soorten papieren bronnen, wordt van Internetgebruikers verwacht dat zij al scannend snel en selectief informatie kunnen vinden in een nietlineaire opgebouwde tekst.

12

Literatuur CEVO (2007). De computer bij de centrale examens. Beleid voor de komende jaren. Uitgave CEVO: Utrecht. Chalhoub-Deville, M. en C. Deville (1999). Computer adaptive testing in second language contexts. Annual review of Applied Linguistics, 19, 273-299. Clariana R. en P. Wallace (2002). Paper-based versus computer-based assessment: key factors associated with the test mode effect. British journal of educational technology, 33 (5), 593-602. Dillon, A. (1992). Reading from paper versus screens: A critical review of the empirical literature. Ergonomics, 35 (10), 1297-1326. Driel, van H. (1999). Internet en Communicatie. Rotterdam: Media Business Press. ICT Onderwijsmonitor (2004-2005). Tabellenboek BVE. IVA :Tilburg en ITS: Nijmegen. http://www.ict-onderwijsmonitor.nl. Gedownload op 20 juli 2008. Duimel, M., de Haan, J. en E. van Ingen (2007). Achterstand en afstand. Digitale vaardigheden van lager opgeleiden, ouderen, allochtonen en inactieven. Sociaal en Cultureel Planbureau: Den Haag. Karsmakers, S. (2007). Staatsexamens NT2 Literatuurstudie. Digitalisering van schrijven I en II. Bureau ICE: Lienden. Kerr, M. en S. Symons (2006). Computerized presentation of text: Effects on children’s reading of informational material. Reading en Writing, 19, 1-19. Kirsch, I., Jamieson, J., Taylor, C. en D. Eignor (1998). The relationship between computer familiarity and performance on computer-based TOEFL test tasks. Educational Testing Service Princeton, New Jersey. Kuhlemeier, H. en R. Sinkeldam (2003). Het functioneren van de experimentele beeldschermexamens voor de basisberoepsgerichte leerweg. Citogroep: Arnhem. Matthews, M. (2000). Electronic literacy and the limited English proficient student. Reading online. http://www.readingonline.org/electronic/matthews/index.html. Gedownload op 16 juli 2008. MCA Communicatie (2004). Computer- en internetgebruik onder Marokkanen, Turken en Surinamers. Tabellenrapport MVA-metingen 2004. Utrecht: MCA Communicatie. Min, R., Yu, T., Spenkelink, G. en H. Vos (2004). A comparison of parallelism in interface designs for computer-based learning environments. Enschede: Universiteit Twente. http://users.edte.utwente.nl/min. Gedownload op 25 juli 2008. Peak, P. (2005). Recent Trends in Comparability Studies. Pearson Educational Measurement, research report 05-05, 1-34. www.pearsonmeasurement.com/research/TrendsCompStudies_rr0505. Gedownload op 16 augustus 2008. Piolat, A., Roussey, Y. en O. Thunin (1997). Effects of screen presentation on text reading and revising. International Journal of Computer studies, 47, 565-589. Sawaki, Y. (2001). Comparability of conventional and computerized test of reading in second language. Language learning en Technology, 5, 2001.

13

Ingen, van E., Haan, de J. en M. Duimel (2007). Achterstand en afstand. Digitale vaardigheden van lager opgeleiden, ouderen, allochtonen en inactieven. Den Haag: Sociaal en Cultureel Planbureau. http://www.scp.nl/publicaties/persberichten/9789037703160.shtml. Gedownload op 22 augustus 2008. Taylor, C., Jamieson, J., Eignor, D. en I. Kirsch (1998). Computer familiarity among TOEFL examinees. Educational Testing Service Princeton, New Jersey. Wolfe E. en J. Manalo (2004). Composition medium comparability in a direct writing assessment of non-native English speakers. Language Learning en Technology, 81, 53-65.

14