Verslag afname experimentele IMEX-examens 2004

Verslag afname experimentele IMEX-examens 2004 Project Computers en Examens (Compex) Gerard Boeijen en Mark Martinot

Bijdragen per vak: H. Boertien en G. Limpens G. Boeijen J. Brûens L. Knoben B. van Erp Taalman Kip B. Kneepkens M. Lieverse N. Dieteren P. Smeets M. Heideveld

(wiskunde A1 en A1,2 vwo) (natuurkunde 1,2 vwo) (biologie 1,2 vwo) (economie 1 havo) (aardrijkskunde havo) (natuurkunde 1,2 havo ) (biologie havo) (economie vmbo gl+tl) (natuur- en scheikunde 1 vmbo gl+tl) (biologie vmbo gl+tl)

© Stichting Cito Instituut voor Toetsontwikkeling Arnhem (2004)

1

Inhoudsopgave 1

Inleiding

5

1.1. 1.2 1.3 1.4

5 6 7 8

Achtergrond Constructie van de IMEX-examens Techniek Rooster en aantal deelnemende scholen en leerlingen per vak

Evaluaties per vak 2

Aardrijkskunde Havo 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10

3

4

5

Opzet van het experiment Deelnemers aan het experiment Beschrijving van het examen Productie van het examen Afname van het examen Correctie Normering Evaluatie van docenten en kandidaten Bevindingen Uitslag van de leerlingenvragenlijst

9 9 9 9 9 9 10 10 10 10 11

Biologie Havo

14

3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10

14 14 14 15 15 15 15 16 16 17


Natuurkunde 1,2 Havo

19

4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10

19 19 19 20 20 20 20 21 21 22


Economie 1 Havo

24

5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10

24 24 24 25 25 25 25 25 26 26

Opzet van het experiment Deelnemers aan het experiment Beschrijving van het examen Productie van het examen Afname van het examen Correctie Normering Evaluatie van docenten/systeembeheerders en leerlingen Bevindingen Uitslag van de leerlingenvragenlijst

2

6

7

8

9

10

Wiskunde A1 en A1,2 VWO

29

6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10

29 29 29 29 30 30 30 31 32 32


Natuurkunde 1,2 VWO

37

7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 7.10

37 37 37 38 38 38 38 38 39 39


Biologie 1,2 VWO

42

8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10

42 42 42 43 43 43 43 43 44 44


Economie VMBO GL + TL

47

9.1 9.2 9.3 9.4 9.5 9.6 9.7 9.8 9.9

47 47 47 48 50 50 51 51 52

Opzet van het experiment Deelnemers aan het experiment Productie van het examen Beschrijving van het examen Afname van het examen Resultaten en Normering Evaluatie van docenten en systeembeheerders Evaluatie door leerlingen Uitslag van de leerlingenvragenlijst

Natuur- en Scheikunde 1 VMBO GL + TL

55

10.1 10.2 10.3 10.4 10.5 10.6 10.7 10.8 10.9 10.10

55 55 55 56 56 57 57 57 57 58


3

11

12

Biologie VMBO GL + TL

60

11.1 11.2 11.3 11.4 11.5 11.6 11.7 11.8 11.9 11.10

60 60 60 61 61 61 61 61 61 62


Conclusies en aanbevelingen

64

12.1 12.2 12.3

64 64 65

Reacties van coördinatoren, docenten en systeembeheerders Reacties van leerlingen Aandachtspunten en voorgestelde verbeteringen voor 2005

Bijlagen Bijlage 1: Minimale systeemeisen Bijlage 2: Overzicht van programma’s en software in de IMEX-examens 2004 Bijlage 3: Aanbiedingsbrief Bijlage 4: Formulier met aandachtspunten voor waarnemers tijdens Compex-examens Bijlage 5: Uitslag leerlingenvragenlijst Bijlage 6: Uitslag vragenlijst systeembeheerders Bijlage 7: Uitslag vragenlijst voor docenten Bijlage 8: Uitslag vragenlijst voor contactpersonen Bijlage 9: Deelnemende scholen met aantallen leerlingen per vak

68 69 70 72 73 75 78 82 84

4

1

Inleiding

In het kader van het project Compex (Computers en Examens) werkt de Citogroep in nauwe samenwerking met Cevo en de scholen aan het ontwikkelen en uittesten van experimentele ICT-examens, als voorbereiding op de landelijke introductie. Voor de centraal schriftelijke examens vwo, havo en vmbo (theoretische en gemengde leerweg) is ingezet op het gebruik van bestaande programmatuur bij delen van examens (of mogelijk het examen als geheel) en het presenteren van uitgangsmateriaal op de computer. De vragen worden op papier gepresenteerd. Video, audio en animaties, in één woord: multimedia, maken heel andere vragen mogelijk dan de presentatie op papier. De inzet van vakspecifieke software biedt extra mogelijkheden. De computer wordt gebruikt om de bewerkingen uit te voeren waarmee de vragen beantwoord kunnen worden. De mogelijkheden om vaardigheden te toetsen worden aanzienlijk vergroot. De antwoorden worden tot slot op papier opgeschreven en op de gebruikelijke wijze beoordeeld. Deze vorm van computer-examens wordt aangeduid met de naam IMEX (ICT en multimedia in examens). In deze notitie wordt verslag gedaan van de experimentele IMEX-examens die in 2004 zijn afgenomen. Naast zorg voor de veranderingen die ICT-examens met zich mee kunnen brengen, is er bij de betrokken scholen een sterk besef van de noodzaak van het gebruik van ICT in scholen. De nieuwe mogelijkheden die ICT biedt, ook in het kader van het centraal examen, bieden een aanlokkelijk perspectief. De inzet van de computer in het centraal examen is een stap die als vanzelf volgt op de ontwikkelingen ten aanzien van ICT- toepassingen in de maatschappij. De leerlingen groeien op met de computer. Ze zijn gewend om informatie te vinden op internet, om met moderne communicatiemiddelen om te gaan, om werkstukken te maken met een tekstverwerker, en gebruik te maken van geavanceerde visuele en auditieve presentaties. De leerlingen van het voortgezet onderwijs zullen bij hun verdere studie en in hun beroep werken met specialistische programmatuur. In examenprogramma’s is opgenomen dat leerlingen met een groot aantal ICT- toepassingen moeten kunnen omgaan. Aansluiten bij de leefwereld van de leerling en bij de eisen die gesteld worden in de examenprogramma’s betekent o.a. dat de computer gebruikt gaat worden bij de afsluitende examens Het afnemen van examens met behulp van computers kan een belangrijke impuls geven aan de ontwikkelingen van het gebruik van ICT in het onderwijs. Als ICT een zinvol onderdeel uitmaakt van de centrale examens zal ook de motivatie van de scholen om de leerlingen te laten werken met ICT toenemen. En daardoor wordt er weer meer gebruik gemaakt van ICT waardoor het doen van investeringen in ICT aantrekkelijker wordt.

1.1 Achtergrond Het project Compex heeft tot doel meer ervaring op te doen met de toepassing van ICT in de centrale examens. ICT kan op diverse manieren worden toegepast in de examens. In het kader van de Compexprojecten worden twee vormen nader verkend, te weten 'IMEX' (Ict en Multimedia in het EXamen) en 'CBT' (Computer Based Test). In geval van een 'IMEX' gaat het om de inzet van de computer als hulpmiddel bij examens op papier, bijv. voor het afspelen van multimediabestanden en/of het werken met vakspecifieke software. Bij slechts een deel van de opgaven van het examen moet de leerling gebruik maken van de computer. Het overige deel van het examen is gelijk aan het regulier centraal schriftelijk examen. In geval van een 'CBT' gaat het om een examen dat geheel via het beeldscherm aan de leerling wordt aangeboden. De computer wordt hier dus ingezet ter vervanging van het papieren examen. Het project sluit aan bij het beleid van de Cevo op het terrein van ICT en examens, zoals beschreven in de notities van Kreeft (Kreeft, 2001; Kreeft, 2002; Kreeft, 2003). In dit verslag wordt ingegaan op de IMEX-examens 2004. De experimenten met de IMEX-examens lopen tot en met 2005. De IMEX-examens van de jaren 2002 en 2003 zijn beschreven in de notities van Boeijen en Martinot (Boeijen & Martinot 2002,.Boeijen & Martinot 2003). Een van de uitgangspunten bij deze experimenten is dat een IMEX-examen wordt aangeboden voor elk profiel (vwo/havo), en voor elke sector in elke leerweg (vmbo). Het gaat dan in totaal om 11 examens. In onderstaand overzicht is per opleidingstype aangegeven om welke vakken het gaat. De keuzes voor de vakken waarbij de computer wordt ingezet, zijn gemaakt vanuit diverse overwegingen, o.a., welk vak biedt de beste mogelijkheden voor ICT-toepassingen, welk vak in een profiel of sector is het meest geschikt op dit moment, welke leerlingen zijn het meest gediend met computertoetsen, etc. Bijlage 1 bevat een overzicht van de gebruikte software per vak.

5

Overzicht vakken met experimentele examens met ICT en multimedia (IMEX) havo vwo vmbo gl +tl Profiel Cultuur en Maatschappij Economie 1 Wiskunde A1 Economie en maatschappij Aardrijkskunde Wiskunde A1,2 Natuur en Gezondheid Biologie Biologie 1,2 Natuur en Techniek Natuurkunde 1,2 Natuurkunde 1,2 Sector Techniek Natuur- en scheikunde 1 Zorg en Welzijn + Landbouw Biologie Economie Economie

Bij de ontwikkeling van de examens zijn de volgende toetsdeskundigen van de Citogroep betrokken geweest. Toetsdeskundigen Unit VO examen mei 2004 Vak vakmedewerker(s) wiskunde A1 en A1,2 vwo H. Boertien en G. Limpens natuurkunde 1,2 vwo G. Boeijen biologie 1,2 vwo J. Brûens economie 1 havo L. Knoben aardrijkskunde havo B. van Erp Taalman Kip natuurkunde 1,2 havo B. Kneepkens biologie havo M. Lieverse economie vmbo gl+tl N. Dieteren natuur- en scheikunde 1 vmbo gl+tl P. Smeets biologie vmbo gl+tl M. Heideveld

1.2 Constructie van de IMEX-examens Zodra de constructie van computerexamens begint, moet er weer een heel stuk nieuwe ervaring opgebouwd worden. Bij het construeren van de opgaven komt veel creativiteit kijken, maar ook ervaring. Op welke manier formuleer je een vraag zo dat de vraag de beoogde doelstelling toetst, dat de vraag maar voor een uitleg vatbaar is. En hoe zorg je dat het examen als geheel niet te moeilijk is. Toetsdeskundigen van de Citogroep en leden van de Cevo spelen daar een grote rol bij. Een paar aspecten die daarbij een rol spelen zijn: de constructeur moet overzicht hebben over wat er mogelijk is met de programmatuur, het vinden van materiaal (video, websites, animaties, programmatuur) vereist dat de constructeur zelf intensief met de mogelijke programmatuur en uitgangsmaterialen bekend is, de opdracht moet de vakdoelstellingen toetsen op het juiste niveau, hoe efficiënt is het gebruik van examentijd in een opgave waarbij de computer wordt gebruikt, wat voegt het gebruik van de computer toe enz. In het Compex - project blijkt dat deze kennis opgebouwd moet worden. Examens aanbieden, reacties van leerlingen en docenten verzamelen en leerlingen observeren bij het maken van een examen zijn methodes om deze kennis te verzamelen. Docenten verwachten inhoudelijke meerwaarde wanneer de computer betrokken wordt bij de examinering. Je gaat immers iets nieuws aan omdat het een verbetering is. Die meerwaarde is ook de reden dat scholen en hun docenten mee willen doen met experimenten. Maar over meerwaarde kan verschillend gedacht worden. De ene constructiegroep slaagt er de eerste keer ook beter in om meerwaarde te bieden dan de andere. Het opbouwen van nieuwe ervaring kost tijd. Zo’n examen wordt door docenten en leerlingen natuurlijk kritisch bekeken. Men stelt zich al snel een aantal vragen en er zijn veel reacties. Een aantal reacties op een rij: • Het lezen vanaf het scherm van grotere teksten waarbij gescrold moet worden, wordt niet door iedereen als prettig ervaren. In het algemeen blijkt dat docenten en leerlingen computergebruik bij examens pas zinvol vinden wanneer examens duidelijk op een andere manier aangeboden worden, wanneer video en audio en uitdagende programmatuur gebruikt worden, wanneer de mogelijkheden om eindtermen te toetsen vergroot worden, wanneer de examens dichter bij de dagelijkse realiteit blijven. Meerwaarde voor vmbo leerlingen zit bij computerexamens ook in het heel gericht aanbieden van één vraag met het bijbehorende uitgangsmateriaal op één scherm en daarna de volgende vraag op een volgend scherm. Het ziet er naar uit dat dit de examens beter structureert dan een papieren examen. • Veel leerlingen vinden een examen op de computer aantrekkelijk. De sfeer is vaak iets meer ontspannen tijdens het examen. De mogelijkheid om alles wat je doet zonder dat het tot geknoei leidt te corrigeren draagt daar misschien toe bij. Een probleem is dat de verwachtingen ten aanzien van computergebruik vaak hooggespannen zijn. Een algemene gedachte is dat er zo verschrikkelijk veel kan met de computer. Denk maar aan computerspelletjes en de animaties daarin. Bedacht moet worden dat een examensituatie niet een spelletje is en dat derhalve slechts kleine stapjes vooruit gemaakt kunnen worden. Het gaat tenslotte om de toekomst van de leerlingen.

6

1.3 Techniek De software en de hardware moeten tijdens het examen probleemloos functioneren. Dit is een eis die terecht gesteld mag worden, als je de computer gaat gebruiken bij examens. Ook op dit terrein moet veel ervaring opgebouwd worden, bij de leveranciers van de examens en bij degenen die de examens afnemen. Het gebruik van algemeen gebruikte standaard programmatuur als Word, Excel en Internet Explorer roept weinig problemen op. Wanneer deze programmatuur in het gewone gebruik goed functioneert, moet dat ook tijdens examens kunnen. Het gebruik van programma’s die van diverse leveranciers komen moet goed uitgetest worden, op verschillende configuraties, in alle omstandigheden die zich tijdens een examen voor kunnen doen. De Citogroep heeft hiervoor een speciaal testlaboratorium ingericht, waar diverse configuraties opgesteld zijn. Het uitvoerig uittesten voorafgaande aan gebruik in de examens, buiten de examensituatie, is een absolute must. In het kader van het Compex-project wordt hiervoor een vaste procedure gehanteerd: eerst een interne technische test, daarna een test op verschillende scholen buiten de examens. Om het aantal testsituaties en het aantal condities waaraan programmatuur moet voldoen enigszins in te perken heeft de Citogroep in overleg met de Cevo minimum systeemeisen geformuleerd (zie bijlage 1). Om het voor de leerlingen en de scholen zo makkelijk mogelijk te maken en de kans op problemen tijdens het examen te verkleinen worden de toepassingen in een menuschil gegoten. Vanuit deze menuschil worden de programma’s gestart op aanwijzing van de instructie in het examen. Een voorbeeld van het getoonde openingsscherm voor het vak natuurkunde 1,2 havo in het examen 2004 is te zien in de figuur. Deze techniek biedt ook de mogelijkheid om van tevoren de programma’s te (laten) installeren op de scholen en voor de examensituatie een aantal instellingen te laten maken door de systeembeheerder. Deze instellingen hebben tot doel er voor te zorgen dat de examenresultaten die er eventueel moeten worden opgeslagen op een veilige manier op het netwerk worden weggeschreven en gebackupt. Daartoe is dit jaar voor het eerst gebruik gemaakt van door de Citogroep ontwikkelde software voor een veilige opslag van resultaten en de back-up ervan op het netwerk. Het openingsscherm bij die vakken waarbij resultaten moeten worden opgeslagen is dan ook een inlogscherm. De door de leerling ingevoerde gegevens worden door het programma uitgelezen en gebruikt om de resultaten van een logbestand en een identificatie bestand te voorzien. Daardoor wordt optimale veiligheid ten aanzien van het niet verloren gaan van de bestanden gegarandeerd. Examens worden afgenomen op scholen. De inrichting van netwerken en PC’s is een zaak van de school zelf. De technische kennis ten aanzien van de computerinfrastructuur is aanwezig bij systeembeheerders en ICT coördinatoren. De reële situatie is dat binnen een school meestal verschillende lokalen met PC’s zijn die op verschillende momenten aangeschaft zijn en derhalve ook een verschillende inrichting kennen. De examens maken veel gebruik van multimedia. Derhalve is er voor gekozen om te werken met een lokale installatie in een cliënt – server omgeving. Dit betekent dat deze examens vooralsnog niet kunnen worden afgenomen in een terminal – server omgeving. De scholen moeten zich bij de aanschaf en inrichting van hun netwerk configuratie terdege realiseren dat een terminal – server omgeving niet geschikt is om rijke multimedia toepassingen te hanteren en dus ook deze examens niet. Samenvattend is het zo dat een school (systeembeheerder, ICT- coördinator, examensecretaris en vakdocenten) vooraf goed moeten nadenken hoe ze de computerafname willen organiseren.

7

1.4

Rooster en aantal deelnemende scholen en leerlingen per vak

Hieronder is het examenrooster voor de IMEX examens 2004 weergegeven. Rooster Compex vakken 2004 datum vmbo GL/TL 24 mei 25 mei

havo

vwo biologie 13.30 – 16.30 uur

natuurkunde 1,2 13.30 – 16.30 uur

26 mei biologie 13.30 – 15.30 uur

natuurkunde 1,2 13.30 – 16.30 uur

27 mei natuur- en scheikunde 1 13.30 – 15.30 uur 28 mei

economie 1 13.30 – 16.00 uur

01 jun economie 09.00 uur – 11.00 uur

wiskunde A1 en A1,2 13.30 – 16.00 uur

02 jun

Biologie 13.30 – 16.30 uur

03 jun

Aardrijkskunde 09.00 – 11.30 uur

In 2004 hebben in totaal 51 scholen deelgenomen aan de IMEX-examens. Hieronder is aangegeven om hoeveel leerlingen per vak het gaat. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen. Overzicht aantal deelnemende leerlingen per vak biologie nat. 1.2 Tot. aantal leerlingen vwo 246 158

wisk A1 70

wisk A1.2 128 nat. 1.2 227

Tot. aantal leerlingen havo

aard.k 314

biologie 522

econ. 1 521

Tot. aantal leerlingen vmbo

biologie 588

economie 552

nask1 494

Bij nagenoeg alle vakken is het aantal deelnemende leerlingen voldoende groot om nader onderzoek te verrichten naar de psychometrische kwaliteit van de ICT-opgaven. Hiervan zal in een aparte notitie verslag worden gedaan.

8

Evaluaties per vak 2

Aardrijkskunde havo

2.1 Opzet van het experiment De opgaven voor het experimentele ICT- examen voor Aardrijkskunde HAVO 2004 worden op papier aangeboden. Een aantal Compex-vragen worden op papier beantwoord. De meeste antwoorden bestaan uit digitale producten die de leerlingen in een speciale examenmap opslaan. Het informatieaanbod en de te gebruiken programmatuur staat op de computer. Het ICT- deel van het examen betreft bijna 30% van de opgaven, met ongeveer 35% van de scorepunten. De benodigde software wordt op een cd-rom geleverd en lokaal geïnstalleerd. Deze keuze houdt verband met het gebruik van nogal omvangrijke Remote Sensingbeelden en het voorkomen van te zware netwerkbelasting. Vanaf het moment van inschrijving aan het experiment was bekend dat de Grote Bos Extra cd-rom de enige software van het examen was. Door kennis te nemen van de module Remote Sensing met tien oefeningen kregen de leerlingen als het ware een cursus interpretatie en manipulatie van Remote Sensingbeelden. Ze konden een idee krijgen van de aard van het examen en de scholen konden hun hardware configuraties testen. Bovendien is bij de eerste voorlichtingsbijeenkomst een zeer uitgebreide blauwdruk van de te demonstreren Remote Sensing vaardigheden aan de docenten uitgedeeld en deels gedemonstreerd.

2.2 Deelnemers aan het experiment Voor aardrijkskunde havo hebben 314 leerlingen aan dit examen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

2.3 Beschrijving van het examen Bij het examen wordt gebruik gemaakt van de Grote Bos Atlas Extra cd-rom van Wolters-Noordhoff. De leerlingen starten het programma door op een hyperlink in het openingsscherm te klikken. Het Compexdeel van het examen bestaat uit het onderdeel Remotesensing met zeven vragen dat betrekking heeft op het domein Natuur en milieu. Via reeds geïmporteerde Remotesensing kleurenbanden moeten leerlingen van een gegeven gebied een zogenaamd combinatiebeeld maken, waarbij ze dienen te weten welke band ze in welk kleurkanaal moeten stoppen om een correct combinatiebeeld te maken. Dat combinatiebeeld is de basis van een vervolgens te produceren kaart. Dit combinatiebeeld wordt opgeslagen in de examenmap en is het eerste digitale product van de leerling waar een score aan hangt. Vervolgens gaat de leerling het gebied van het combinatiebeeld bemonsteren: hij neemt niet te kleine, redelijk homogene monsters van de verschillende soorten grondgebruik en water. Hoe homogener de monsters en hoe beter ze zijn gespreid over het gebied, hoe beter de kaart wordt die hij gaat maken. Het grondgebruik kan hij controleren via een bijgeleverde topografische zwart-witkaart van het gebied. Hij maakt zelf een legenda en kiest zelf cartografisch verantwoorde kleuren en betekenissen. Hij onderscheidt vier landschappen en daarbinnen in totaal tien deelgebieden en geeft deze met cijfers in de kaart aan. Tot slot zet hij een titel boven de kaart. Kortom: de leerling produceert zelf een kaart en slaat die in de examenmap op. Hij gebruikt vervolgens de gemaakte kaart om nog enkele vragen op papier te beantwoorden.

2.4 Productie van het examen Het bewerken van remote sensing beelden blijft een verhaal apart. Voor dit examen is expertise van buiten ingehuurd, in de persoon van Adri Donker, voormalig atlasredacteur van Wolters-Noordhoff. In een aantal zittingen met de Cevo vaksectie is de opzet steeds verder verfijnd en het eindproduct steeds digitaler geworden, ook het correctievoorschrift, geheel in de geest van de Imex-examens.

2.5 Afname van het examen Er deden zich drie soorten problemen voor tijdens de afname, die soms vervelende gevolgen hadden voor kandidaten. Probleem 1: het bemonsteren op een combinatiebeeld. Kandidaten kregen tijdens het bemonsteren vaak de melding 'determinant is 0' op het scherm. Dit is te wijten aan óf het nemen van te kleine, vrijwel geheel homogene monsters óf het nemen van zeer grote monsters die zo gemiddeld van samenstelling zijn dat het monster niet afwijkt van eerder gemaakte monsters. Dit probleem is in de uitgereikte blauwdruk vermeld en tijdens de informatiebijeenkomsten aan de orde gesteld. Het zou niet pas tijdens de afname gesignaleerd mogen worden. Dit probleem kan door nog betere uitleg in het vervolg voorkomen worden.

9

Probleem 2: het opslaan van de deelproducten. Er werden eerder gemaakte bestanden overschreven, er werden kaarten in het programma zelf opgeslagen in plaats van in de examenmap. De instructie hierover dient nog eenduidiger te worden. Probleem 3: als er veel kaartmateriaal tegelijk openstaat en kandidaten gaan minimaliseren om wat ruimte op hun beeldscherm te krijgen, kunnen ze de kaarten niet meer terugvinden omdat de taakbalk door de interface wordt afgedekt. Voor de examens 2005 dient hiervoor een oplossing te worden gezocht. Het opslaan van digitale producten in een speciale examenmap in plaats van op een diskette is een vooruitgang vergeleken met het examen 2003, maar dus nog niet zonder problemen.

2.6 Correctie De docenten zijn door middel van een brief op de hoogte gesteld van de methodiek van het examen. De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep aardrijkskundekandidaten. De scholen die deelnamen aan het Compexproject voerden de 2e correctie in onderling verband uit. De school maakte gebruik van een lijst die door de IBG was verstrekt. Het correctievoorschrift is door de Citogroep samen met de opgaven en andere bescheiden verstrekt. De school kon gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren).

2.7 Normering Er bestond een aanzienlijke overlap tussen het reguliere en het compexexamen. Op basis van deze overlap worden de populaties, het examen en de normering vergeleken. Onderstaande tabel geeft de resultaten van deze vergelijking weer. aardrijkskunde havo

reguliere landelijke populatie

Compex populatie

hele examen

p’ = 52,4

p’ = 51,7

overlap

p’ = 55,5

p’ = 58,6

N-term

1,4

1,8

gemiddeld cijfer

6,1

6,5

% onvoldoende

21%

14%

Het Compex -examen bleek iets moeilijker te zijn dan het reguliere. De Compex kandidaten waren een stuk vaardiger op het overlapdeel. Dat bleek uit de gemiddelde p’ op de overlap. Omdat aan de Compex kandidaten geen hogere eisen gesteld mogen worden dan aan de reguliere werd het verschil in moeilijkheidsgraad via de normeringterm gecompenseerd. Deze compensatie via de N-term lijkt extra groot omdat naar aanleiding van de toetsen itemanalyse ook nog gecompenseerd werd voor een vraag met extreme psychometrische waarden in het overlapdeel. De groep Compex kandidaten bestond voor 70% uit E&M leerlingen.

2.8 Evaluatie van docenten en kandidaten Er zijn enkele reacties van docenten. Deze hebben met name betrekking op de problemen die eerder onder 2.5 werden gesignaleerd. Daarnaast vond een docent dat de vragen een directe relatie hadden met de examenstof en dat geleerde kennis moest worden toegepast. De leerlingen zijn minder positief over dit examen: alles overwegende kiest 75% van de ondervraagden voor een gewoon examen. Zie uitslag leerlingen enquête in paragraaf 2.10.

2.9 Bevindingen Centrale vraag: bieden de opgaven inderdaad waardevolle extra mogelijkheden? Het examen is didactisch aantrekkelijk voor leerlingen om te doen. De docent heeft bij de voorbereiding van het examen zelf een opdracht gemaakt en aan leerlingen voorgelegd. Leerlingen die geen aardrijkskunde hadden keken over zijn schouder mee en waren geïnteresseerd. Via dit soort examen kun je deze werkvorm in het onderwijs krijgen. Als je terugkijkt op de constructie, wat zou er anders moeten? Het is een heel aardig examen, maar het kostte veel tijd, zeker ook het beoordelen ervan. Het bleek moeilijk om van tevoren al de mogelijke moeilijkheden te zien, omdat het examen een mengeling van inhoudelijke en 10

technische vaardigheden en kennis was. De complexiteit was veel groter dan van een gewoon examen. Aan het eind hebben we nog allerlei varianten van mogelijke fouten doorgenomen. Hoe kun je doorwerkfouten corrigeren? Wat betreft de instructies bij het Remote Sensingdeel. Leerlingen begrijpen soms niet hoe ze met het programma om moeten gaan, hoewel ze 10-15 uur oefentijd erin hebben gestoken. Soms moest tijdens het examen gezegd worden op welke knop ze moesten drukken. Volgens de Cevo mag een leerling op technisch vlak geholpen worden als hij niet verder kan. Het onbekend zijn met het programma is ook een gevolg van het niet in de lessen geïntegreerd zijn van de compexvaardigheden. Compex is nog teveel een geïsoleerd gebeuren. Wie gewend is met de CBS datadisk en met het programma Kaartwijzer te werken, rolt zo de Grote Bos cdrom in. In het examen waren te weinig vragen op de inhoud toegespitst.

2.10

Uitslag van de leerlingenvragenlijst

Vragenlijst leerlingen aardrijkskunde HAVO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?

vr. 2 Heb je de voorbeeldopgaven gemaakt?

vr. 3 Kostte het maken van dit examen voor jou meer tijd dan een geheel papieren examen?

vr.4 Ik vond het feit dat we de antwoorden op papier moesten geven . . .

11

vr. 5 Wat vind je van de moeilijkheid van de vragen waarbij de computer gebruikt moest worden t.o.v de andere vragen?

vr. 6 Gaat je voorkeur uit naar de soort vragen waarbij de computer gebruikt moet worden?

vr. 7 Wat zou je er van vinden als de antwoorden via het toetsenbord of muis ook op de computer gegeven zouden moeten worden?

vr. 8 Wat zou je er van vinden als de opgaventekst op papier er helemaal niet meer bij was en de opgaven alleen op het beeldscherm te lezen zijn?

vr. 9 Was er voldoende ruimte rondom de computer? 12

vr. 10 Nadat je alles afgewogen hebt: wat is je uiteindelijke mening over dit examen met de computer?

13

3

Biologie havo

3.1 Opzet van het experiment Het experimentele ICT-examen voor Biologie HAVO dat in 2004 is afgenomen werd op papier aangeboden, en de antwoorden schreven de leerlingen op papier. Het informatieaanbod en de te gebruiken programmatuur staan op de PC. Het ICT-deel van het examen betreft ongeveer 40% van de opgaven. In 2005 zal dit deel teruggebracht worden tot ongeveer 30% van het examen. De benodigde software staat op een cd-rom. De software van de menuschil en de bestanden die nodig zijn voor de vragen worden op de harde schijf van het werkstation van de kandidaat geïnstalleerd. De leerlingen konden gebruik maken van de examens 2002 en 2003 om zich voor te bereiden. Hiermee konden de leerlingen met de software oefenen. Door deze voorbeelden konden de leerlingen een idee krijgen van de aard van het examen en de scholen konden hun hardware configuraties testen. Scholen werden soms verrast door de keuze voor een stand-alone versie. Deze keuze is noodzakelijk in verband met de multimedia-eisen ten aanzien van het afspelen van video. Het netwerk zou dan te zwaar belast worden.

3.2 Deelnemers aan het experiment Voor biologie havo hebben 522 leerlingen aan dit examen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

3.3 Beschrijving van het examen Er is voor gekozen om bij biologie HAVO een aantal opgaven te maken die de meerwaarde van de computer illustreren. Het examen bestaat uit: Het simulatieprogramma ‘Meer’ (ecologisch aquatisch simulatie-programma) waarin effecten van maatregelen, ook op langere termijn, zichtbaar worden; gekoppeld aan een videofragment over het territorium-gedrag van de brasem en een videofragment over afvalwater-zuivering. Deze fragmenten laten zien hoe bij de zuivering van ons afvalwater technologie en microbiologie hand in hand gaan. Om vragen over het gedrag van de mestkever te beantwoorden bekijkt de leerling een filmpje en animatie over dit insect. In de simulatie bij het programma Powersim kan de urineproductie bij twee meisjes, Amber en Fleur, gedurende een bepaalde periode worden gevolgd. Verder bevat het examen het programma Fly Lab, een simulatieprogramma over erfelijkheid waarin de leerling kruisingen met fruitvliegen kan uitvoeren en de resultaten kan verklaren. • • • • • • • • •

De leerling start met het openingsscherm (zie afbeelding) waarin een aantal hyperlinks zijn opgenomen. Om de videofilm over de afvalzuivering te starten klikt de kandidaat op videofragmenten; Afvalzuivering; fragment 1. Er horen een aantal videofragmenten bij dit cluster waar vragen over werden gesteld; de antwoorden komen op papier De leerling kan het filmpje sluiten door te klikken op het woord sluiten of het kruisje in de hoek. Om het volgende videofilmpje te starten gaat de kandidaat weer terug naar videofragmenten; en klikt bijvoorbeeld op fragment 2. Om het videofragment over de brasem te starten gaat de leerling terug naar videofragmenten; Programma Meer; fragment 1 brasem Er wordt over dit filmpje ook een vraag gesteld op papier, de antwoorden komen eveneens op papier Om de videofilm over het gedrag van de mestkever te bekijken bewandelt de kandidaat weer dezelfde weg: Filmpjes, Mestkevers, Fragment 1. Als de kandidaat klikt op het woord ‘Powersim' start het programma Powersim waarbij de kandidaat een aantal handelingen met de muis moet verrichten, de grafieken van het scherm moet lezen en een aantal

14

• • •

•

getallen hieruit op papier moet overnemen. Verder worden een aantal vragen gesteld die toetsen of de leerling de opzet van het model begrijpt. De kandidaat start het programma 'Meer' door op het woord 'Meer' te klikken. Het programma 'Meer' is een ecologisch aquatisch simulatieprogramma voor Windows van het Van Hall Instituut in Leeuwarden, en staat in zijn geheel op de Cd-rom. De kandidaten moeten, gebruik makend van dit programma, een aantal vragen op papier beantwoorden. Als de kandidaat klikt op Fly Lab komt de leerling in een simulatie laboratorium waar hij een aantal handelingen kan verrichten en dan de resultaten van verschillende kruisingen kan bekijken. Zo kan hij o.a. de vleugelvorm, oogkleur, lichaamskleur etc variëren en de resultaten van de kruisingen in de F1 en de F2 analyseren. De kandidaat kan het scherm afsluiten door te klikken op 'afsluiten' of een X.

3.4 Productie van het examen Bij de productie van de opgaven kwam de ervaring opgedaan bij Compex -2002 en 2003 biologie goed van pas. De productie en samenwerking met de CEVO vaksectie Biologie is zeer goed verlopen. De werkzaamheden zijn uitgevoerd conform de van tevoren opgestelde planning. 3.5 Afname van het examen Vooraf: De leerlingen dienden op de hoogte te zijn van de begin en eindtijd van het examen. De duur van het examen kon een half uur langer zijn dan die van het reguliere landelijk examen. Een korte instructie vooraf werd gegeven indien dit nog niet was gebeurd. De leerlingen hadden met een aantal software programma’s van tevoren kunnen oefenen. Zo was het programma ‘Meer’ bekend en Fly Lab, een simulatieprogramma vergelijkbaar met Evolution Lab. Verder heeft de leerling kunnen oefenen met Powersim. De meeste leerlingen zijn met het reguliere examen begonnen en geëindigd met het Compex gedeelte. Dit kon echter ook per school verschillen. Scholen met grote aantallen leerlingen en niet voldoende computers moesten soms extra maatregelen treffen en de leerlingen via een sluis (een lokaal) van de ene naar de andere plek laten wisselen. Hier kon ook weer gebruik gemaakt worden van de ervaring die al in 2003 was opgedaan. Achteraf: § de afname is bijzonder goed verlopen. § zowel leerlingen als docenten waren na afname van het examen enthousiast: IMEX biologie wordt als een verrijking van het reguliere examen beschouwd. § De leerlingen hadden voldoende tijd. 3.6 Correctie De docenten waren door middel van een brief op de hoogte gesteld van de methodiek van het examen. De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep biologie kandidaten. De scholen die deelnamen aan het Compex-project voerden de 2e correctie in onderling verband uit. De school maakte gebruik van een lijst die door de IBG was verstrekt. Het correctievoorschrift is door de Citogroep samen met de opgaven en andere bescheiden verstrekt. De school kon gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren). 3.7 Normering Er bestond een aanzienlijke overlap in vragen tussen het reguliere en experimentele examen. Op basis van deze overlap worden de populaties, het examen en de normering vergeleken. Onderstaande tabel geeft de resultaten van deze vergelijking weer. Vergelijking van populatie, examen en normering regulier / Compex biologie havo hele examen overlap N-term gemiddeld cijfer % onvoldoende

regulier p’ = 52,2 p’ = 51,6 1,4 6,1 25%

Compex p’ = 50,3 p’ = 50,2 1,5 6,0 23%

Het experimentele examen bleek iets moeilijker te zijn dan het reguliere examen. Qua vaardigheidsniveau is de Compex populatie iets zwakker dan de gehele landelijke populatie. Het is uitdrukkelijk niet de bedoeling dat 15

er bij de experimentele examens hogere eisen worden gesteld dan bij de reguliere examens. Daarom wordt er voor het verschil in moeilijkheidsgraad bij de normering gecompenseerd. Wel bleek na analyse de groep Compex leerlingen voor een groot deel uit CM en EM leerlingen te bestaan (49%). Gemiddeld scoorden deze leerlingen zowel bij het reguliere examen als het Compex-examen lager dan de NG en NT groep. 3.8 Evaluatie van docenten en kandidaten Met het examen is een vragenlijst voor de docenten en de leerlingen meegestuurd. De meeste docenten en een aantal systeembeheerders hebben de vragenlijst ingevuld. De docenten hadden geen kritiek op de inhoud van het examen. Over het algemeen wordt deze ontwikkeling toegejuicht. Er zijn geen technische problemen geweest. Zie ook de resultaten van de leerlingenvragenlijst in 3.10. 3.9 Bevindingen Een examen zoals dat van biologie havo 2004 is gebleken een haalbaar ex amen voor de scholen te zijn. De organisatie is prima verlopen en de docenten biologie vinden dit een goede ontwikkeling. De constructie van een dergelijk examen kan de komende jaren gestroomlijnd worden en in de toekomst kan verder worden gewerkt met de opgedane ervaring met de gebruikte software. Deze software zal ook de komende jaren de basis vormen van het biologie-examen. Tevens zullen een aantal nieuwe programma’s bekeken en uitgetest worden op geschiktheid voor gebruik in een examen. Het is beter om te starten met reguliere opgaven en halverwege de zitting (surveillant mag daar de aandacht op vestigen) over te stappen naar het computergedeelte. Twee redenen: 1) er is eerder uitloop te verwachten bij computeropgaven (iets nog eens checken) en 2) doordat leerlingen in het algemeen het computergedeelte leuk vinden, hebben ze daar nog energie voor ook al is het laat in de middag. •

• • • •

Opmerkingen docenten: Uitermate leuk examen. Wel een lange zit van half twee – vijf uur voor leerlingen zeker in combinatie met een ander examen op de ochtend. Afwisseling Compex en regulier om door elkaar te maken wordt als prettig ervaren. Soms is afwisselend maken niet mogelijk i.v.m de grootte van de groep. Leerlingen zakken aan het eind weg. Beter Compex om het nieuwe en afwisselende aan het eind. Tijd was bij meeste geen probleem. Leerlingen hebben veel moeite met zo’n gecombineerde lange zit. In Alkmaar is dit daarom in een schoolexamen geoefend. Een docent heeft in 2002 en 2003 met havo en met vwo meegedaan. Vindt het geweldig en is laaiend enthousiast over de vele mogelijkheden. Anderen zien die mogelijkheden ook en vinden als bijkomend voordeel het visualiseren van tekst voor allochtonen op havo. Voorbereiden is belangrijk. ‘Meer’ moet je bijvoorbeeld geoefend hebben evenals Powersim. Surveillance door betrokken leraar wordt aanbevolen en aanwezigheid systeembeheerder noodzakelijk. Andere opmerkingen over de inhoud: Urine bij Amber en Fleur (Powersim) Biologische principes kunnen nu daadwerkelijk gevarieerd worden Ze moeten het model kunnen begrijpen en er mee werken en ook nog hun biologische kennis toepassen. FlyLab Geen simpele recht toe recht aan vragen, maar door echt te kruisen krijgen de leerlingen een beter beeld van de realiteit. mogelijkheid om verschillende kruisingen snel te analyseren Bij dit programma moeten ze zelf nadenken. Wel jammer dat het ook met een meerkeuzevraag getoetst wordt. Nu weet je niet of ze het goed gedaan hebben of goed gegokt hebben. Mestkevers leuk fragment waarbij de leerling het gedrag van de mestkever moet observeren. Op deze manier is er toetsing mogelijk, welke niet op papier kan worden afgenomen. Meer het werken met dit programma moet dan wel geïntegreerd worden in behandeling van onderwerp ecologie; alleen oefenen vlak voor examen is niet bevredigend en niet voldoende Leuke opgaven. Zelf grafieken wijzigen en interpreteren is nuttig.

16

3.10


Vragenlijst leerlingen biologie HAVO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?





17




vr. 9 Was er voldoende ruimte rondom de computer?


18

4

Natuurkunde1,2 havo

4.1 Opzet van het experiment Het examen Natuurkunde12 havo dat in 2004 is afgenomen inclusief het ICT-gedeelte wordt op papier aangeboden. De meeste vragen worden ook op papier beantwoord. Bij een aantal vragen slaan de leerlingen de resultaten van hun activiteiten op diskette op. Het ICT-gedeelte beslaat ruim 26% van het examen; het overige deel overlapt met het reguliere N12-examen. Van tevoren zijn de deelnemende scholen ingelicht over de programmatuur die op het examen zou worden ingezet en over de computervaardigheden die de leerlingen zouden moeten beheersen. Ook hebben deze scholen met behulp van voorbeeldopgaven de leerlingen kunnen voorbereiden op het examen. De computeropgaven zijn van tevoren op kleine schaal uitgetest. Dat leverde nuttige informatie op over de duidelijkheid van de instructies en de moeilijkheidsgraad van de opdrachten. 4.2 Deelnemers aan het experiment Aan het Compex – examen natuurkunde 1,2 havo hebben 227 leerlingen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

4.3 Beschrijving van het examen Het computergedeelte van het examen bestaat uit twee opgaven, Broodrooster (vervolg) en Hellingbaan. Zie openingsscherm. Door op Broodrooster te klikken, komt de leerling in het programma Systematic en krijgt onderstaand scherm te zien. Aan de leerling wordt gevraagd een schakeling te ontwerpen die het aanzetten en na enige tijd automatisch afslaan van een broodrooster nabootst. De gloeistaven van de broodrooster worden daarbij voorgesteld door de LED. Door het programma te ‘runnen’ kan de schakeling worden gecontroleerd en indien nodig worden aangepast. Vervolgens slaat de leerling zijn resultaat op en sluit het programma af.

19

Door in het openingsscherm op Hellingbaan te klikken, komt de leerling in Coach Videometen. Een inleidend filmpje laat de attractie zien die in de figuur is afgebeeld. De beweging van het treintje bestaat uit twee gedeelten. In het eerste deel wordt het treintje met constante snelheid omhoog getrokken. Gevraagd wordt om door middel van een videometing deze beweging in een (x,t)- en (y,t)diagram vast te leggen en daaruit de snelheid langs de baan te bepalen. Het resultaat wordt opgeslagen. In het tweede deel van de beweging wordt het treintje losgelaten en bewegen de karretjes versneld naar beneden. Van die beweging is al een (x,t)- en (y,t)-diagram gemaakt. Gevraagd wordt de afstand te bepalen die het treintje in een bepaalde tijd langs de baan heeft afgelegd. Van de beweging is ook het (v,t)-diagram van de snelheid van het treintje langs de baan klaargezet. Daaruit moeten de leerlingen met behulp van het programma de versnelling van het treintje bepalen. Tenslotte wordt gevraagd om te onderzoeken of de wrijvingskracht op het treintje wel of niet te verwaarlozen is. 4.4 Productie van het examen Dankzij een enthousiaste en deskundige constructiegroep is het examen op soepele wijze tot stand gekomen. Daarbij is samenwerking met de Cevo vaksectie als zeer coöperatief ervaren. 4.5 Afname van het examen Het ontwerpen van de automatische schakeling met Systematic verliep zonder problemen en in de meeste gevallen ook snel. De opgave met Coach Videometen vergt aanzienlijk meer tijd. Vrijwel alle leerlingen waren echter ruimschoots binnen de beschikbare tijd van drieëneenhalf uur klaar. 4.6 Correctie De docenten zijn door voorlichtingsbijeenkomsten, via nieuwsbrieven en via de informatie op de website op de hoogte gesteld van de methodiek van het examen. De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep natuurkunde kandidaten. De docenten moeten de opgeslagen bestanden met behulp van de programmatuur (= Systematic en Coach 5) beoordelen en normeren. De scholen die deelnamen aan het Compex-project voerden de 2e correctie in onderling verband uit. De school maakte gebruik van een lijst die door de IBG was verstrekt. Het correctievoorschrift is door de Citogroep samen met de opgaven en andere bescheiden verstrekt. De school kon gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren). 4.7 Normering 20 van de 26 vragen van het reguliere N1,2-examen overlapten met het Compex examen. In de tabel hieronder zijn de belangrijkste gegevens van de twee examens samengevat. natuurkunde 1,2 havo overlap hele examen N-term gemiddeld cijfer % onvoldoende

regulier p’ = 0,69 p’ = 0,67 0,5 6,6 16%

Compex p’ = 0,71 p’ = 0,70 0,5 6,8 7%

Uit de overlap blijkt dat de Compex kandidaten iets vaardiger zijn dan de reguliere kandidaten. De moeilijkheidsgraad van het Compex examen wijkt nauwelijks af van die van het reguliere examen.

20

4.8 Evaluatie door docenten en kandidaten Uit de ingevulde vragenlijsten door de docenten blijkt dat de docenten deze ontwikkeling op prijs stellen. Wel vindt een deel van de docenten het correctiewerk omslachtiger en lastiger, waardoor het meer tijd vraagt. Enkele opmerkingen van de docenten uit de evaluatieformulieren ten aanzien van de meerwaarde van de computer: • Boodrooster (Systematic) o Doordat het systeem controleerbaar is door de mogelijkheid in het programma om het te testen kunnen fouten opgespoord worden en gecorrigeerd worden. o Mooi gebruik van logische schakelingen (ontwerp) o met de schakeling ook echt bouwen toets je het begrip beter, prima program zo, erin houden, mag ook wel meer dan een zo'n klein navraagje op de verder schriftelijke opgave o Het bouwen van de schakeling in Systematic voegt iets nieuws toe. Het gelijk kunnen testen van de schakeling ook. o In tegenstelling tot Coach vind ik Systematic een erg mooi voorbeeld van nuttige toepassing van de computer; bij deze opgave kunnen de lln meteen ook zien of het werkt. o Het ontwerpen van een systeem en het direct kunnen testen of het ontwerp werkt, vind ik heel zinvol. Dat leerlingen er in slagen toch slechtwerkende ontwerpen in te leveren stelde me een beetje teleur. •

Hellingbaan (IPCoach 5) o Het videometen is een vaardigheid die in een normaal examen niet getoetst kan worden en wel een van de kerndoelen in ons havo- en vwo-onderwijs. o Vooral de analyse van een beweging (met name in het eerste deel van de opgave) o eigenlijk kun je zo meer begrip afvragen danmet puur theoretische vragen, wel vind ik dat de instructie voor het videometen, mocht dat volgend jaar weer gebruikt worden duidelijk verbeterd moet worden, zo wat er voor sommige leerlingen tijdens het aanleren van het programma geen beginnen aan en heb ik er veel tijd in moeten steken om zelf een begrijpelijk stuk te maken met de juiste benameningen o Videometing en de verwerking van de meetgegevens tot grafieken e.d. vind ik heel zinvol. De kwaliteit van de filmpjes daarentegen valt me enorm tegen. Het is heel lastig om een vast punt van een bewegend object te kiezen en consequent voor het vastleggen van meetpunten te blijven volgen. De marges in het correctiemodel zijn wel heel erg krap.

• Algemeen Verder is het jammer geen toepassingen van Excel in dit examen te hebben gezien. Immers: in tegenstelling tot Coach komen de leerlingen (ook thuis) voortdurend Excel tegen: het zou zeer wenselijk zijn dat dit mooie stuk gereedschap ook aan te bieden. Voor de uitslag van de enquête onder de leerlingen zie 4.101. 4.9 Bevindingen Zinvolle, duidelijke opdrachten, goed maakbaar voor de leerlingen. De vragen waren in overeenstemming met de lijst van te beheersen vaardigheden die van tevoren aan de deelnemende scholen was toegestuurd. Nog steeds wordt er enige spanning tussen vakinhoud en computervaardigheden geconstateerd, met name door de vaksectie van de Cevo. Met computervaardigheden worden niet zozeer de in het examenprogramma beschreven ICT-vaardigheden bedoeld – men vindt het zinvol dat die worden getoetst - maar het kunnen navigeren binnen computerprogramma’s. De leerlingen voor wie de computer geen geheimen heeft, mogen niet bevoordeeld zijn ten opzichte van de minder behendige leerlingen (zoals bij het reguliere examen minder taalvaardige leerlingen dezelfde kans moeten hebben als de meer taalvaardige). Daarom is het streven om ook bij de computervragen de vakinhoudelijk te toetsen aspecten op de voorgrond te laten treden. Voor de toekomst moet wel nog worden gekeken in hoeverre de software basis niet te smal is voor toekomstige toepassingen in het regulier examen.

1

Helaas is bij natuurkunde 1,2 geen onderscheid meer te maken tussen antwoorden die betrekking hebben op havo of op vwo. De leerlingen hebben in v eel gevallen niet het schooltype aangegeven. Vandaar de resultaten van de havo en vwo kandidaten samen. Van de VMBO gt kandidaten kon wel de koppeling worden teruggevonden.

21

4.10


Vragenlijst leerlingen natuurkunde 1,2 Havo + Vwo vr. 1 Was je van tevoren goed geïnformeerd ove r dit examen?





22






23

5

Economie 1 havo

5.1 Opzet van het experiment De examenvragen van het experimentele ICT-examen voor Economie 1 havo 2004-1werden dit jaar alleen op papier aangeboden. Vorig jaar (2003) was gebleken dat kandidaten niet veel voordelen, eerder zelfs nadelen, zagen in het dubbel aanbieden van de vragen op papier én op het scherm. De bij de vragen benodigde informatiebestanden, verwerkingsprogramma’s en in te vullen bijlagen werden digitaal aangeboden. De leerlingen noteerden de antwoorden op de vragen op hun eigen examenpapier. Bij een tweetal vragen werd specifiek de opdracht gegeven om een ingevulde bijlage/ingevuld spreadsheet op te slaan in een persoonlijke map op het schoolnetwerk. Voor het raadplegen en bewerken van de digitale bestandeneconomie konden de kandidaten gebruik maken van Excel en de Media Player. Het ICT-deel van het examen betrof 37% van het totaal te behalen aantal scorepunten. Ter voorbereiding konden de kandidaten en hun docenten gebruikmaken van het Imex examen economie havo 2003 en van drie voorbeeldopgaven die via de website van het Compex -project downloadable waren. 5.2 Deelnemers aan het expe riment Er hebben 521 kandidaten aan dit examen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen. 5.3 Beschrijving van het examen Het IMEX-examen economie 1 bestond uit drie opgaven. Per opgave werd de meerwaarde van de PC voor het vak economie gezocht in een specifieke toepassing. Opgave 8: ‘Arme scholier bestaat niet meer’; in de opgave wordt een vergelijking gemaakt tussen de inkomsten van scholieren in heel Nederland en van een denkbeeldige economieklas Havo 5. De gegevens voor het hele land zijn gebaseerd op het Scholierenonderzoek 2002 van het NIBUD. Met behulp van Excel werkbladen maken de leerlingen enkele Lorenz -curves. Een grafische weergave die laat zien in hoeverre er sprake is van inkomensverschillen tussen personen. Nar aanleiding van die grafische weergaven worden enkele inzichtvragen gesteld over het thema inkomensverdeling. In deze wordt een vergelijking gemaakt tussen de scholiereninkomsten van Nederland en die van een economiegroep in een klas op een school. De inkomensgegevens worden aangeboden in de vorm van een rapport van het NIBUD en bij de vergelijking moet actief gebruik gemaakt worden van Excel spreadsheets. Bij de tweede opgave wordt een klassiek economie probleem op een interactieve manier aangeboden via een Excel spreadsheet. Zie figuur. Het gaat hier om een optimaliseringprobleem ten aanzien kosten en opbrengsten. De leerling kan door middel van het veranderen van waarden het break-even punt op een actieve manier vinden. In de laatste opgave wordt gebruik gemaakt van een video om een economisch probleem te schetsen. Het onderwerp is werkloosheid in Nederland. Bovendien wordt in deze opgaven van de leerlingen verwacht dat zij met Excel en een gegevensreeks een grafiek kunnen maken waarin de ontwikkeling van de werkloosheid in Nederland zichtbaar wordt. Opgave 9: ‘Bijeengeschraapte winst’; aan de hand van enkele Excel-werkbladen moeten de leerlingen voor een groenteboer bepalen welke afzethoeveelheid het optimale bedrijfsresultaat oplevert. Deze opgave maakt gebruik van enkele begrippen uit de micro-economie, meer specifiek uit de theorie over het producentengedrag: kosten, opbrengsten, winst, break -even. Opgave 10: ‘Werkloosheid in beeld’; aan de hand van een fragment uit een journaaluitzending van RTL4 (maart 2003) worden enkele vragen gesteld over het fenomeen werkloosheid en de oorzaken daarvoor. Deze oorzaken blijken in 2003 deels conjunctureel en deels structureel te zijn. 24

Tot slot moeten de leerlingen met behulp van de Wizard Grafieken uit Excel een grafische weergave maken van enkele cijfers over de economische situatie in de jaren 2002 en 2003. Deze cijfers worden beschikbaar gesteld via een soort webpagina van het CBS. 5.4 Productie van het examen Voor de productie van dit examen is eerst een verkenning gemaakt van de uitgangssituatie. 5.5 Afname van het examen De afname van het examen is organisatorisch en logistiek zonder problemen verlopen op de deelnemende scholen. 5.6 Correctie De docenten waren door middel van een brief op de hoogte gesteld van de methodiek van het examen. De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep economie kandidaten. De scholen die deelnamen aan het Compex-project voerden de 2e correctie in onderling verband uit. 5.7 Normering De kandidaten die het Compex -Imex examen maakten scoorden voor economie 1 havo gemiddeld ruim 0,1 punt lager dan de kandidaten die het reguliere examen maakten. Uit de scores op de overlappende vragen viel op te maken dat beide populaties – de regulier en de ‘experimentele’ – gelijkwaardig waren in vaardigheidsniveau. Dus zou geconcludeerd mogen worden dat het computergedeelte gemiddeld genomen iets moeilijker was dan de rest van het examen. In 2003 lag die verhouding net andersom, maar dat was toen vooral een gevolg van de niet bedoelde omstandigheid dat uit het reguliere examen uitgerekend de drie laagst scorende opgaven waren omgeruild voor een computeropgave. Wat wel opvalt is dat de specifieke computervragen, waarbij het gebruik van de computer een grote en onmisbare rol speelt, minder extreem in p’-waarde scoren dan in 2003. In 2003 waren er in het Imex-deel liefst 4 vragen met een p’-waarde onder de 35 (33/33/27/24!). In 2004 gold dit slechts voor één vraag en dat was ook nog uitgerekend een vraag waarbij het gebruik van de computer (i.c. het videofragment) niet noodzakelijk was om de vraag te beantwoorden. Het lijkt er dus op dat de ICT-vragen van 2004 beter aansloten bij het niveau van de kandidaten. Dat kan enerzijds liggen aan de grotere ervaring die de examenmakers hadden, na de eerste afname in 2003. Het kan ook een logisch gevolg zijn van het beter voorbereid zijn van de lichting 2004, die immers had kunnen oefenen met het examen 2003. Vergelijking reguliere examen – Compex economie 1 havo hele examen overlap N-term gemiddeld cijfer % onvoldoende

regulier p’ = p’ =

Compex p’ = p’ =

5.8 Evaluatie van docenten/systeembeheerders en leerlingen Uit de reacties van de deelnemende docenten bleek dit jaar heel duidelijk dat zij positief zijn over het inzetten van Excel als rekenprogramma. Het biedt de kans om de leerlingen niet zozeer te toetsen op hun rekenvaardigheid – dat doet Excel immers nadat zij keurig de gegevens hebben ingevoerd – maar meer op hun economisch inzicht. Met name bij de populatie C+M havo wordt dat door de docenten gewaardeerd. In het reguliere examen zijn het vaak de rekenvragen waarop deze kandidaten laag scoren. Daarnaast zien zij meerwaarde in het aanbieden van economische informatie via beeld en geluid. Het past goed bij deze generatie kinderen, het is aantrekkelijk en laagdrempelig en laat duidelijk zien hoe actueel economie is. Wat leerlingen én docenten minder geslaagd vonden, was vraag 31: de vraag met behulp van de Wizard Grafieken uit Excel. Unaniem vond men daar dat voor deze opdracht meer computervaardigheid nodig was, in plaats van economisch(e) inzicht/kennis. Wel merkte een docent op dat een dergelijke omzetting van tabellarische naar grafische informatie prima past binnen de eindtermen van domein A (Vaardigheden), maar dat het eigenlijk meer in de lessen economie aan bod zou moeten komen. Dan zou een gebruik in een afrondend examen ook beter passen Enkele reacties van docenten over de meerwaarde van het gebruik van de computer: § Door gebruik van het Excel-programma kon de nadruk komen te liggen op de economische aspecten in plaats van op het toetsen van reken-en wiskundige vaardigheden, hetgeen voor c+m-leerlingen nogal lastig is. § Ook bij de opgave over het scholierenonderzoek geldt dat de leerling niet geplaagd wordt door het uitrekenen van cumulatieve cijfers maar meteen geconfronteerd wordt met resultaten die vergeleken moesten worden (nivelleren of denivelleren). In de dagelijkse praktijk van de werkkring zal het rekenen 25

§ § § §

steeds meer worden overgelaten aan de computer en gaat het uiteindelijk om het beoordelen van de resultaten. Het tekenen van de lorenz-curve niet meer nodig, wel de interpretatie In de dagelijkse praktijk wordt men ook geconfronteerd met audio en video, ook het gesproken woord speelt naast het geschreven woord een belangrijke rol. Videofragment is nuttige manier om leerlingen bij een maatschappijvak te toetsen (kennis van actualiteit en begrijpen van journaal). Het maken van een grafiek vond ik minder geslaagd. Dat is meer testen van computervaardigheid dan economisch inzicht De computer neemt het rekenwerk van de leerlingen over; vooral C en M leerlingen maken traditioneel veel rekenfouten. Op deze manier wordt dus hun economisch inzicht getest en niet hun rekenvaardigheid.

Voor de uitslag van de leerlingenvragenlijst zie 5.10. 5.9 Bevindingen Veel kandidaten geven als kritiek op het Imex examen, dat ze het jammer vinden dat de gebruikelijke lespraktijk bij economie te weinig lijkt op dit examen. Er zou in de lessen structureel meer met de computer gedaan moeten worden. Dan zou een (gedeeltelijk) computerexamen als afsluiting beter aansluiten bij de gevolgde opleiding/lessen

5.10


Vragenlijst leerlingen Economie 1 HAVO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?



26






27



28

6

Wiskunde A1 en A1,2 vwo

6.1 Opzet van het experiment In januari 2002 is voor de vakken wiskunde VWO A1 en A1,2 het exameninnovatieproject ‘Imex’-project (een deel van het project 'Compex3') van start gegaan. Het project had tot doel ervaring op te doen met de toepassing van ICT in de centrale examens. Onderzocht moest worden in hoeverre de computer een nuttig instrument zou kunnen zijn bij het examineren van de wiskunde voor VWO A1- en A1,2-leerlingen. Kernvraag bij wiskunde was of de computer meerwaarde kon bieden ten opzichte van de grafische rekenmachine. Uit ervaringen bij het examen in 2003 bleek dat die meerwaarde er inderdaad was. 6.2 Deelnemers aan het experiment Aan het Compex – examen wiskunde A1 vwo hebben 70 leerlingen deelgenomen. Aan het Compex – examen wiskunde A1,2 vwo hebben 128 leerlingen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen. 6.3 Beschrijving van het examen Het wiskunde A1- en A1,2-Imex-examen bestond dit jaar uit de computeropgave KoersSprint. Hij was gebaseerd op het nog steeds actuele thema van het leasen van aandelen (zoals dat soms ook in hypotheken voorkomt). Het onderzoeksthema was: “Wanneer is het voordeliger aandelen te leasen, wanneer zelf beleggen?” Na enkele theoretische vragen over de wiskundige achtergrond (exponentiële groei of meetkundige rijen) werden vragen gesteld over de beste keus bij een bepaalde rentestand: “zelf beleggen of laten beleggen via leasen”. Daartoe kon men in een spreadsheet het groeipercentage van de aandelenwaarde instellen als men aandelen ging leasen. Daarnaast kon men het groeipercentage instellen waarmee de waarde van eigen aandelen zou toenemen, die men maandelijks ging kopen voor het geld dat men anders aan de kosten voor het leasen kwijt was (zie figuur). De les van deze opgave is dat wanneer de aandelen meer dan 8,3% per jaar stijgen, aandelen leasen de beste keus is en dat zelf beleggen beter is wanneer de waardevermeerdering van aandelen lager is dan 8,3%. Resultaat van schuiven! Jaarlijkse waardestijging aandelen p via KoersSprint Uitkering KoersSprint na 5 jaar:

Maandelijkse waardestijging aandelen bij zelf beleggen

Hieronder schuiven!

10,00% € 13.736,48

m

0,566%

Jaarlijkse waardestijging aandelen bij zelf beleggen Eindbedrag na 5 jaar bij zelf beleggen:

maand n

7,01% € 10.681,32

Bedrag (in €)

De waarde bij zelf beleggen € 16.000 € 14.000 € 12.000 € 10.000 € 8.000 € 6.000 € 4.000 € 2.000 €0 0

6

12

18

24

30

36

42

48

54

Maand

bedrag B(n)

uitkering KoersSprint

60

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

bedrag B (n ) € 0,00 € 150,00 € 300,85 € 452,55 € 605,11 € 758,54 € 912,83 € 1.068,00 € 1.224,04 € 1.380,97 € 1.538,79 € 1.697,50 € 1.857,10 € 2.017,62 € 2.179,04 € 2.341,37 € 2.504,62 € 2.668,80 € 2.833,90 € 2.999,94 € 3.166,92 € 3.334,85

6.4 Productie van het examen Er was verbazing en teleurstelling toen bleek dat om financiële redenen met de ontwikkelingen voor het vak wiskunde moest worden gestopt. Wat net opgebouwd was, werd weer afgebroken. Nog groter was de verbazing toen een half jaar later kon worden besloten de ontwikkelingen toch doorgang te laten vinden. In de helft van de tijd die er voor nodig was moest daarna geprobeerd worden examenconcepten voor 2004 te produceren. Ondanks dit krappe tijdpad is het gelukt om twee Imex -examens maken. Vanzelfsprekend was het niet mogelijk om nieuwe ideeën over computergebruik te ontwikkelen en te benutten in opgaven. De computeropgaven van 2004 zijn daarom geënt op hetzelfde stramien als dat van de examenopgaven van 29

2003. Verder is er deze keer slechts één context gebruikt om er twee opgaven op verschillende niveaus bij te maken. Geen wonder dat docenten opmerkten dat er niet veel nieuws te zien was en dat de opgaven van 2003 iets leuker waren. De leerlingen vonden ze ongeveer even moeilijk als de gebruikelijke schriftelijke opgaven. 6.5 Afname van het examen De leerlingen hebben als voorbereiding voor dit examen gelegenheid gehad om te ervaren wat er op het examen aan beheersing van computervaardigheden gevraagd zou worden. Daartoe zijn in de maanden voorafgaande aan het examen voorbeeldopgaven en één A4-tje uitgereikt met algemene instructies die gaan over het openen van een spreadsheet, de beveiliging ervan en zo nodig het bijstellen van het scherm. De leerlingen zijn verder op de hoogte gesteld van de begin en eindtijd van het examen. De duur van het examen kon een half uur langer zijn dan die van het reguliere landelijk examen. Aan het begin van het examen is nog een korte instructie gegeven indien dit nog niet was gebeurd. Het examen zelf vond plaats in het computerlokaal. Naast de docent was er een systeembeheerder aanwezig om eventuele problemen met de computer op te kunnen vangen. De leerlingen kregen alle examenopgaven en vragen op schrift. Ze moesten de antwoorden net zoals bij het reguliere examen op schrift zetten om de gebruikelijke correctie te kunnen laten uitvoeren. De leerlingen begonnen meestal met het ‘reguliere deel’, waarna ze de computeropgave gingen maken. • • • • •

De afname is goed verlopen; Excel bleek een pakket waarmee leerlingen met weinig vooroefening vertrouwd zijn; Excel is een softwarepakket dat niet snel vastloopt Zowel leerlingen als docenten waren na afname van het examen tevreden over de examenvorm. De leerlingen hadden doorgaans hun tijd echt nodig.

6.6 Correctie De correctie van de examens heeft geen extra problemen opgeleverd. De school kon gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren). 6.7 Normering De examenresultaten op de 9 scholen hebben betrekking op de scores van 64 leerlingen die het VWO A1Imex-examen gemaakt hebben en 90 leerlingen die het VWO A1,2-Imex-examen maakten. De Imex-opgaven voor beide examens waren dit jaar wat moeilijker dan vorig jaar. Dat was ook de bedoeling. Uit de toetsen itemanalyses bleek dat de A1-leerlingen die het Imex-examen deden, op de overlapopgaven met het reguliere examen iets slechter scoorden (zie Tabel VWO A1-IMEX 2004). Tabel VWO A1-IMEX 2004 opgavetitel

Bevolkings groei

Examenresultaten

Vierkeuzevragen

KoersSprint

vraagnr.

1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

max.score

4

5

3

3

5

5

3

5

3

p'-imex

85

p'-regulier

83

3

4

3

7

3

3

3

3

3

3

3

6

2

2

3

64

55 65 62 51 55 39 78 44 86 46 23 35 90 68 30 66 50 73 59 83 80

7

67

54 66 55 58 60 39 76 48 87 49 28

Vraag 14 van KoersSprint betreft een gebruikelijke vraag: ‘Bereken het groeipercentage per jaar als het groeipercentage per maand gegeven is’. Deze vraag moet met de GR berekend worden. Opmerkelijk is dat de leerlingen daarop zo slecht scoren (p’ = 35). De volgende vragen 15 en 16 gaan ook over groeipercentages, maar de scores daarop zijn veel beter. Een verklaring hiervoor kan zijn dat de computer daarbij de berekeningen voor de leerlingen uitvoert. Dat leerlingen beduidend lager scoren op vraag 17 (p’ = 30) is hiermee in overeenstemming. Immers deze vraag gaat ook over een berekening van een (op een iets andere manier) groeiend bedrag. Bij de vragen 18 t/m 23 doet de computer weer het rekenwerk en moeten de leerlingen aangeven hoe er berekend moet worden. De scores op deze vragen zijn als regel 50% of meer van het maximale te behalen puntenaantal. Vraag 24 tenslotte gaat over de conclusie op grond van alle voorgaande gegevens. Deze vraag was duidelijk te moeilijk (p’ = 7).

30

Samenvattend: Wiskunde A1 vwo

regulier

Compex

gehele examen overlapdeel N-term definitief gemiddeld cijfer % onvoldoende

p’= 55,4 p’= 57,1 1,4 6,4 24%

p’= 56,2 p’= 55,7 1,4 6,5 17%

De leerlingen die het VWO A1,2-examen maakten, bleken als regel op de overlapopgaven met het reguliere examen iets beter te scoren (zie Tabel VWO A1,2-IMEX 2004). Tabel VWO A1,2-IMEX 2004 opgave ExamenAutobanden resultaten

Vierkeuzevragen

KoersSprint

vraagnr. max.score p'-imex

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 3 5 5 6 3 3 5 5 3 4 3 7 4 3 3 3 5 4 3 3 8 2 66 68 73 11 76 88 28 49 72 92 66 39 17 57 54 74 42 56 77 59 39 32

p'-regulier

71 60 67 14 76 87 23 47 63 89 59 35 19

De vragen over berekenen met groeifactoren leverde voor de A1,2-leerlingen minder problemen op dan bij de A1-leerlingen het geval was. Vraag 14 (overlap met A1) laat dit zien (p’ = 57), maar ook de vragen 17 en 18 (overlap met A1) met (p’ = 42, respectievelijk p’ = 56). De vragen 21 en 22 die een conclusie op grond van onderzoek betrof, waren duidelijk het moeilijkst (p’ = 39 en p’ = 32). Over het geheel was het IMEX-A1,2-examen moeilijker dan het regulier gedeelte. De N-term voor A1,2 was dit jaar daarom iets hoger dan voor het reguliere examen. Samenvattend: Wiskunde A1,2 vwo

regulier

Compex


p’= 50,8 p’= 50,3 1,5 6,1 32%

p’= 52,7 p’= 53,1 1,6 6,3 28%

6.8 Evaluatie van docenten en ka ndidaten De docenten hadden naast waardering ook kritische opmerkingen over de meerwaarde van de computer. Ze merkten op dat de meerwaarde van Excel ook gezocht zou moeten worden in de mogelijkheid dat leerlingen zelf een spreadsheet zouden moeten (helpen) opzetten en gebruiken. Het zelf bedenken en invullen van formules in Excel zal volgens hen pas echt meerwaarde geven. De boodschap is dat de leerling op het examen actiever met spreadsheets moet kunnen omgaan dan tot nu toe het geval was. De leerlingen vonden doorgaans dat ze goed waren geïnformeerd over de opzet van het Imex -examen. Het merendeel had echter slechts een deel van de voorbeeldopgaven gemaakt. Verder vonden ze de computeropgaven moeilijker dan de gewone opgaven en dat het maken van computeropgaven meer tijd kost dan het maken van de gebruikelijke schriftelijke opgaven. Het schrijven van de antwoorden op papier werd niet bezwaarlijk gevonden. Ondanks dit hebben veel leerlingen liever een gewoon schriftelijk examen. Een groot aantal leerlingen vindt dan ook dat de opgaven zeker niet uitsluitend op een computerscherm te lezen moeten zijn, maar ook op papier. Het geven van antwoorden op de computer wordt door een grote groep leerlingen evenmin als wenselijk ervaren. Veel leerlingen vonden dat ook de omstandigheden bij de afname iets verbeterd zou kunnen worden. Alles afwegend, vonden behoorlijk veel leerlingen: ‘Voor mij hoeft dit helemaal niet’ (ca 40%). Ongeveer de helft vond dat het niet uitmaakte welk soort examen men zou krijgen. Een klein deel van de leerlingen vond een Imex-examen prettiger dan een gewoon examen. Voor de uitslag van de enquête onder de leerlingen zie 6.10

31

6.9 Bevindingen De opmerkingen van docenten en leerlingen laten zien dat ze enerzijds wensen dat in de komende jaren de inzet van de computer groter moet worden, anderzijds dat we voorzichtig moeten zijn met het aanbrengen van grote veranderingen in de logistiek van examen doen. Die verruiming van het gebruik van de computer kan gebeuren door meer dan voorheen de mogelijkheden om binnen Excel productief bezig te zijn te benutten. Verder door te bezien of er andere geschikte software is om bij opgaven te gebruiken. Leerlingen moeten dan wel extra oefentijd voor het examen hebben. Bekeken wordt hoe de meerwaarde van de computer nog duidelijker vorm kan krijgen, eventueel in andersoortige softwaretoepassingen of in andere soorten vraagstellingen. Deze inhoudelijke veranderingen zullen gebeuren terwijl in de komende jaren het project Imex geleidelijk een grotere omvang krijgt. Al vanaf 2004 kunnen veel meer scholen dan voorheen zich opgeven voor examens met computers. Geheel los van deze uitbreiding van het Imex-project zal ook het wiskunde-examenprogramma geleidelijk vernieuwd worden. Beide ontwikkelingen zullen daarbij uiteraard op elkaar afgestemd moeten worden. Over de toekomst van het Imex -examen heeft de minister in het beleidsdocument Koers VO het volgende voornemen uitgesproken: ‘de examens met ICT die zich hebben bewezen in de experimenteerfase, worden opgenomen in de reguliere examenproductie.’ Er zal moeten worden onderzocht of dit ook voor de vakken Wiskunde A1 en Wiskunde A1,2 geldt. Daartoe zal wel naast deze geleidelijke voorzichtige invoering op facultatieve basis geëxperimenteerd moeten worden op kleinere scholen om een aantal zaken in de praktijk te onderzoeken. Te denken valt o.a aan de volgende zaken: • Welke software kan de meerwaarde van de computer verder ondersteunen? • Hoe kunnen we de voordelen van de computer boven de GR verder uitwerken? • Welke punten worden tijdens de afname van het examen door leerlingen als negatief ervaren en hoe kunnen we tegemoet komen aan hun wensen, zonder afbreuk te doen aan de kwaliteit van het examen?

6.10

De uitslagen van de vragenlijsten

Vragenlijst leerlingen Wiskunde A1 VWO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?


32






vr. 8 Wat zou je er van vinden als de opgaventekst op papier er helemaal niet meer bij 33

was en de opgaven alleen op het beeldscherm te lezen zijn?



Vragenlijst leerlingen Wiskunde A1,2 VWO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?


vr. 3 Kostte het maken van dit examen voor jou meer tijd dan een geheel papieren examen? 34






35



36

7

Natuurkunde1,2 vwo

7.1 Opzet van het experiment Het experimentele ICT-examen voor Natuurkunde1,2 vwo 200, inclusief het ICT-gedeelte, werd op papier aangeboden. De meeste vragen worden op papier beantwoord, maar van een aantal vragen moeten de resultaten worden opgeslagen op diskette. Het ICT-gedeelte beslaat ongeveer 30% van de vragen en de te behalen scorepunten. 70% van de vragen is identiek aan het reguliere N1,2-examen. Van tevoren zijn de deelnemende scholen ingelicht over de programmatuur die op het examen zou worden ingezet en over de computervaardigheden die de leerlingen zouden moeten beheersen. Ook hebben deze scholen met behulp van voorbeeldopgaven en het examen van 2003 de leerlingen kunnen voorbereiden. 7.2 Deelnemers aan het experiment Aan het Compex – examen natuurkunde 1,2 vwo hebben 158 leerlingen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

7.3 Beschrijving van het examen Het computergedeelte van het examen bestaat uit een opgave waarbij de computer wordt ingezet om met een model te werken van het temperatuurverloop in de Sahara en de Caribische Zee. Zie openingsscherm. Door op Sahara te klikken komt de leerling in de modelomgeving van Coach 5. In deze omgeving wordt achtereenvolgens de instraling van de zon op het Saharazand, de uitstraling van dat zand en tenslotte beide modellen gecombineerd tot één model. De opgave schetst de volgende situatie: De zon komt op boven de Sahara. Dat is het einde van een ijskoude nacht en het begin van een hete dag. In de loop van de dag neemt de temperatuur toe. Hoe heter het zand des te meer warmte uitgestraald wordt. Met een computermodel kan worden gesimuleerd hoe de temperatuur verloopt. In Deel I wordt alleen gekeken naar de invloed van de instraling door de zon op de temperatuur. In Deel II wordt alleen gekeken naar de invloed van de uitstraling door de aarde. In Deel III worden de beide invloeden in één model gecombineerd. In Deel IV (Caribische Zee) wordt hetzelfde model gebruikt om de invloed van zeewater op het temperatuurverloop te onderzoeken. De modellen die voor deze simulaties worden gebruikt of waarmee de kandidaten aan de slag moeten, worden weergegeven in het modelvenster van Coach 5. Zie schermafdruk

37

7.4 Productie van het examen Dankzij een enthousiaste en deskundige constructiegroep is het examen op soepele wijze tot stand gekomen. Met de Cevo-vaksectie is intensief gediscussieerd over de gewenste verhouding tussen natuurkundevaardigheden en computervaardigheden. Het resultaat is een opgave die in een natuurkunde-examen thuishoort, maar waarvoor de kandidaten ervaring moeten hebben opgedaan met de gebruikte software. De voorbeeldopgaven en het examen van 2003 boden alle gelegenheid om het gewenste ervaringsniveau te controleren. Bij de constructie van het examen en de afwegingen die er gemaakt moeten worden is gekozen voor één opgave, omdat de vaksectie van de CEVO van mening was dat er met twee opgaven teveel afbreuk gedaan zou worden aan de evenwichtigheid van het examen als geheel. De opgave die in het examen opgenomen is (Sahara en Caribische Zee) werd als geheel zeer geschikt gevonden om in het examen op te nemen, waardoor er geen ruimte overbleef voor een opgave met gebruik van de software van Systematic. Deze software simuleert het systeembord op de computer. Volgend jaar zal zeker gezocht worden naar mogelijkheden tot inzet van twee softwareprogramma’s, te weten Coach 5 modelleren en Systematic voor het maken van een (technisch) ontwerp. 7.5 Afname van het examen Er was een half uur extra tijd beschikbaar gesteld om het examen te maken. Zoals gebruikelijk bij vwo hebben veel kandidaten de drie en een half uur die hen ter beschikking stond volledig gebruikt. Tijdnood is niet of nauwelijks voorgekomen. De afname is verder zonder problemen verlopen. 7.6 Correctie De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep biologie kandidaten. De docenten moeten de opgeslagen bestanden met behulp van de programmatuur (=Coach 5) beoordelen en normeren. De scholen die deelnamen aan het Compex-project voerden de 2e correctie in onderling verband uit. De school maakte gebruik van een lijst die door de IBG was verstrekt. Het correctievoorschrift is door de Citogroep samen met de opgaven en andere bescheiden verstrekt. De school kon gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren). 7.7 Normering In de tabel hieronder zijn de belangrijkste normeringgegevens van de twee examens samengevat. natuurkunde 1,2 vwo hele examen overlap N-term gemiddeld cijfer onvoldoende

regulier p’ = 66,8 p’ = 66,4 0,8 6,3 14%

Compex p’ = 68,9 p’ = 68,2 0,8 7,0 10%

Uit de overlap blijkt dat de Compex kandidaten vaardiger zijn dan de reguliere kandidaten. Daardoor is bij dezelfde Nterm het percentage onvoldoendes lager. 7.8 Evaluatie van docenten en kandidaten Uit de vragenlijsten van de docenten blijkt dat zich geen problemen hebben voorgedaan. Het examen werd inhoudelijk goed beoordeeld. De correctie en de opslag van de resultaten van kandidaten op diskette verdiende niet de schoonheidsprijs. Zinvolle, duidelijke opdrachten, goed maakbaar voor de leerlingen. De vragen waren in overeenstemming met de lijst van te beheersen vaardigheden die van tevoren aan de deelnemende scholen was toegestuurd. Citaten uit de evaluaties met betrekking tot de meerwaarde van de computer: • Met name modelleren is in de natuurkunde een heel sterk onderdeel. Alle simulatiesoftware die leerlingen tijdens vervolgopleidingen tegenkomen of zelf maken berust vaak hierop. De opgave vond ik heel aardig op één detail na. Geen van mijn leerlingen is daardoor overigens in de problemen gekomen: de toevoeging 'per vierkante meter' in een van de vragen had heel veel ellende kunnen opleveren als leerlingen op zoek waren gegaan naar de totale oppervlakte van de Sahara. Misschien had er iets meer over de reden waarom je een probleem in een model vervat, gevraagd kunnen worden. De simulatie in de slotvraag had iets uitvoeriger gemogen, maar dat is een persoonlijke voorkeur.. • Modelomgeving geeft mogelijkheden om snel de invloed van van belang zijnde grootheden na te gaan. Probleem wordt realitischer. • Wat mij bet reft een prima opgave voor een compex -examen • Het werken met een model kon op deze manier goed getoetst worden; ik ben daar best tevreden over.

38

• • • • •

De meerwaarde is vooral de mogelijkheid van het simuleren en daardoor het effect van verandering van grootheden snel te kunnen zien en interpreteren vraag 20 grafiek maken van P_in: Hoe maak je een grafiek met ipcoach wordt hier getoetst vraag 22 bepaal het tempo van temperatuur daling vraag 24 combineer deze modellen: Dit is typisch een vraag die alleen maar met de computer kan worden uitgevoerd alle opgaven die betrekking hadden op het computergedeelte zijn zonder meer opgaven die meerwaarde hebben.

Voor de uitslag van de enquête onder de leerlingen zie 7.102. 7.9 Bevindingen Er wordt geconstateerd dat er enige spanning is/kan zijn tussen vakinhoud en computervaardigheden. Met computervaardigheden worden niet zozeer de in het examenprogramma beschreven ICT-vaardigheden bedoeld – men vindt het zinvol dat die worden getoetst - maar het kunnen navigeren binnen computerprogramma’s. De leerlingen voor wie de computer geen geheimen heeft, mogen niet bevoordeeld zijn ten opzichte van de minder behendige leerlingen (zoals bij het reguliere examen minder taalvaardige leerlingen dezelfde kans moeten hebben als de meer taalvaardige). Ook wordt opgemerkt dat de condities van een centraal examen beperkingen opleggen aan de wijze van vraagstelling. De computer biedt de mogelijkheid om de leerlingen aan meer open opdrachten te laten werken maar de examencondities (geen koppelingen tussen vragen, een eenduidig correctievoorschrift) maken dat vrijwel onmogelijk. In dat opzicht biedt het schoolexamen waarschijnlijk meer mogelijkheden.

7.10


Vragenlijst leerlingen natuurkunde 1,2 Havo + Vwo vr. 1 Was je van tevoren goed geïnformeerd over dit examen?


2

Helaas is bij natuurkunde 1,2 geen onderscheid meer te maken tussen antwoorden die betrekking hebben op havo of op vwo. De leerlingen hebben in veel gevallen niet het schooltype aangegeven. Vandaar de resultaten van de havo en vwo kandidaten samen. Van de VMBO gt kandidaten kon wel de koppeling worden teruggevonden.

39



vr. 5 Wat vind je van de moeilijkheid van de vragen waarbij de computer gebruikt moest worden t.o.v de andere vragen


vr. 7 Wat zou je er van vinden als de antwoorden ook op de computer gegeven zouden moeten worden?

40




41

8

Biologie 1,2 vwo

8.1 Opzet van het experiment De te gebruiken programmatuur van het experimentele computerexamen voor biologie vwo van 2004 is met behulp van een zelfinstallerende Cd-rom op de PC geïnstalleerd. Het ICT-deel van het examen betreft ongeveer 40% van de opgaven (14 van de 37 opgaven). Ter voorbereiding is er een voorbeeldexamen gemaakt. Daarmee konden de leerlingen een idee krijgen van de aard van het examen en konden de scholen hun hardware configuraties testen. Ook de computerexamens biologie havo en vwo 2003 konden hiervoor gebruikt worden.

8.2 Deelnemers aan het experiment Aan dit examen hebben 246 kandidaten deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

8.3 Beschrijving van het examen Het examen bestaat uit 37 opgaven: de eerste 23 items overlappen met het reguliere examen, bij de laatste 14 items is gebruik van de computer noodzakelijk. Na het reguliere deel van het examen komt de aanwijzing: Dit was de laatste vraag van het schriftelijk gedeelte. Ga verder met de vragen van het computer gedeelte. In het openingsscherm op de computer zijn de titels van de vier onderdelen als hyperlinks te zien. Door een titel aan te klikken komt de leerling in het programma. Op papier worden aanwijzingen gegeven over vervolghandelingen. Een computersymbooltje wordt gebruikt om deze aanwijzingen te markeren. Bij het onderwerp Waterhuishouding is op papier ook een knoppentabel afgedrukt. Het computergedeelte bestaat uit vier verschillende clusters. 1 Evolutie (3 opgaven) Op twee virtuele eilanden, Darwin en Wallace island, kunnen evolutionaire ontwikkelingen in twee populaties zaadetende vinken worden nagebootst. Er wordt bijvoorbeeld onderzocht wat de invloed van de neerslag is op het voedselaanbod en de daarmee samenhangende snavelgrootte van de vinken. 2 Poetsvissen (3 opgaven) Aan de hand van een filmfragment kan het gedrag van poetsvissen en hun 'klanten' bestudeerd worden. Er worden vragen gesteld over de lichaamstaal die hierbij gehanteerd wordt. 3 Waterhuishouding (3 opgaven) Een vrouw loopt een vierdaagse wandelmars. In een Powersim model kan haar waterhuishouding worden onderzocht: hoe zorg je dat ze op een hete zomerdag gedurende de zeven uur durende wandeling voldoende vocht tot haar beschikking heeft? 4 Hartcyclus (5 opgaven) In deze animatie van de hartwerking worden gelijktijdig met de hartcontracties diagrammen getoond met gegevens over onder andere bloeddrukmetingen en het kamervolume, een electrocardiogram en een sonogram met de hartgeluiden. Hierdoor is elke fase van de hartcyclus te ontleden.

42

8.4 Productie van het examen Bij de productie van de opgaven kwam de ervaring opgedaan met het computerexamen biologie vwo 2003 goed van pas. Het examen werd samengesteld met een enthousiaste constructiegroep van drie docenten. Tijdens de productiefase was weer veel overleg en begeleiding nodig in verband met de afstemming van wensen en mogelijkheden. De samenwerking met de CEVO vaksectie biologie is zeer goed verlopen. De werkzaamheden zijn uitgevoerd conform de hiervoor opgestelde, krappe, planning. Van de zes oorspronkelijk uitgewerkte onderwerpen zijn er uiteindelijk vier in het computerexamen opgenomen. 8.5 Afname van het examen Aanbevolen werd om met het reguliere deel van het examen te starten en na ongeveer anderhalf uur over te gaan op het computergedeelte. De duur van het computerexamen mocht een half uur langer zijn dan die van het reguliere examen en dat bleek ook hard nodig te zijn. Vrijwel alle leerlingen hebben deze extra tijd benut. Verder zijn er geen speciale problemen gesignaleerd bij de afname. 8.6 Correctie De correctieprocedure was als die van het gewone examen, met dien verstande dat de resultaten van álle kandidaten opgestuurd moesten worden in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep biologiekandidaten. De tweede correctie werd in onderling verband door de scholen die deelnamen aan het experiment uitgevoerd. Voor verwerking van de resultaten kon de school gebruik maken van de reguliere procedures (WOLF of optisch leesbare formulieren). 8.7 Normering Er is een gedeeltelijke overlap in vragen tussen het reguliere en experimentele examen. Op basis van deze overlap kunnen de populaties, het examen en de normering worden vergeleken. Onderstaande tabel geeft de resultaten van deze vergelijking weer. biologie vwo

regulier

Compex


p’= 0,56 P’= 0,54 1,3 6,3 17%

P’= 0,59 P’= 0,56 1,3 6,7 10%

Het experimentele examen was niet moeilijker dan het reguliere examen, dat blijkt uit de vergelijking van de P’ waardes voor het overlapdeel en het Compex -deel. De leerlingen die het computerexamen maakten waren (op het overlapdeel) iets vaardiger dan de reguliere populatie. Erg betrouwbaar zijn deze cijfers echter niet door het kleine aantal leerlingen in de experimentele populatie. Aangezien het uitdrukkelijk niet de bedoeling is dat er bij het experimentele examen hogere eisen worden gesteld dan bij het reguliere examen is de (opgehoogde) N-term van het reguliere examen ook toegepast bij het computerexamen. 8.8 Evaluatie van docenten en kandidaten De docenten waren tevreden tot enthousiast over de inhoud van het examen. Over het algemeen wordt het maken van een computerexamen toegejuicht. Het belangrijkste punt van kritiek betrof de voorbereidingstijd en overladenheid van het programma. Enkele opmerkingen per cluster: 1 Evolutie Dit was gewoon echt iets nieuws. Erg zinvol om dit soort programma's in te zetten bij het Centraal Examen. Door zelf variabelen aan te passen onderzoeksresultaten te verkrijgen en conclusies te trekken is het veel meer hun eigen werk dan een saaie tabel. Het moest alleen niet zo veel tijd kosten. Leerlingen moeten goed nadenken en een eigen experiment uitvoeren, bij rare resultaten kunnen ze hun experiment nog aanpassen Jammer dat er geen oefenopgaven waren. 2 Poetsvissen Dit is gewoon niet in tekst te vangen. Nu kunnen leerlingen waarnemingen doen aan het daadwerkelijke gedrag, je toetst dus het waarnemen en niet het lezen van een tekst waar bij de traditionele vragen het gedragselement moet worden uitgehaald. Al geldt ook hier weer dat het best lastig was om precies te ontdekken wat de gevraagde gedragselementen waren en dat ze er dus veel tijd aan kwijt zijn. Jammer dat het beeld niet te vergroten was tot bv. 200%.

43

3 Waterhuishouding Beregoed programma dat PowerSim Constructor, met erg veel mogelijkheden. Dit moet gewoon in elk volgend eindexamen zitten. Alleen kost het best veel tijd voordat je alle mogelijkheden onder de knie hebt, vooral als je zelf het model moet gaan uitbouwen. Leerling moet laten zien dat hij het principe van het model begrijpt en moet conclusies kunnen trekken uit resultaten. Door dit soort vragen tijdens de lessen te gebruiken worden de leerlingen hierin gestimuleerd. Het kost veel tijd om Powersim grondig te oefenen. Er werd iets te veel naar computervaardigheden gevraagd. 4 Hartcyclus De simulatie op zich is erg mooi en biedt zeer veel mogelijkheden. Alleen hebben de leerlingen bij het beantwoorden van de vragen nog te weinig gebruik gemaakt van de simulatie. Vaker gebruik maken van dit soort simulaties tijdens de les acht ik zeer zinvol. De vragen hadden ook met BioData beantwoord kunnen worden. Voor de uitslag van de leerlingenvragenlijst zie 8.10.

8.9 Bevindingen Enthousiasme over vorm en inhoud. Voordelen zijn dat er minder gelezen hoeft te worden (audio en video is aantrekkelijker voor veel leerlingen) en dat de stofonderdelen beter geïntegreerd kunnen worden. Het examen was echter lang: leerlingen bleven opgaven controleren door bijvoorbeeld nogmaals een animatie of videogfragment te starten. Er zou wel wat tijd besteed kunnen worden aan het leren plannen van een dergelijke lange zit. De meeste leerlingen hebben het examen overigens binnen de tijd (met het extra half uur) afgekregen. Het is zinvol om te starten met reguliere opgaven en halverwege de zitting (surveillant mag daar de aandacht op vestigen) over te stappen naar het computergedeelte. Twee redenen: 1) er is eerder uitloop te verwachten bij computeropgaven (iets nog eens checken) en 2) doordat leerlingen in het algemeen het computergedeelte leuk vinden, hebben ze daar nog energie voor ook al is het laat in de middag. Het verdient aanbeveling om voldoende tijd te besteden aan de oefenopgaven (uit oude examens havo en vwo). De leerling krijgt daardoor een goed idee van wat hem of haar te wachten staat, en zal ook niet zo schrikken als er een nieuw type animatie wordt ingezet. Surveillance door betrokken leraar wordt aanbevolen en aanwezigheid systeembeheerder is noodzakelijk. Het examen vwo biologie 2004 bleek net als dat voor in 2003 een haalbaar examen voor de scholen te zijn. De organisatie is wederom goed verlopen en de docenten biologie vinden dit een goede ontwikkeling. In het voortgezette experiment kan bekeken worden welke andere programma’s en onderwerpen geschikt zijn om te worden toegepast in een computerexamen voor het vak biologie.

8.10

De uitslag van de vragenlijst

Vragenlijst leerlingen biologie VWO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?


44






vr. 8 Wat zou je er van vinden als de opgaventekst op papier er helemaal niet meer bij 45

was en de opgaven alleen op het beeldscherm te lezen zijn?



46

9

Economie vmbo gl + tl

9.1 Opzet van het experiment Voor het beantwoorden van de vragen van het experimentele ICT-examen voor economie vmbo 2004-1 kreeg de kandidaat de ondersteuning van twee extra bronnen: 1: enkele informatiebronnen in een aparte papieren bijlage: het informatieboekje 2: digitale bronnen in de vorm van gegevens en ondersteunende programma’s (Excel, Tj 2001 en Windows Media Player). De antwoorden noteerden de kandidaten op papier. Bij een aantal vragen werd specifiek de opdracht gegeven om een ingevulde bijlage/ingevuld spreadsheet op te slaan in een persoonlijke map op een afgeschermd deel van het computernetwerk van de school. Ter voorbereiding waren er drie voorbeeldopgaven verstrekt aan de deelnemende scholen. Daarmee konden de docenten en leerlingen een idee krijgen van de aard van het examen en de scholen konden hun computerconfiguraties en programmatuur testen. Uit de enquêteformulieren die na afloop van het examen door de kandidaten zijn ingevuld, bleek dat de helft van deze kandidaten niet alle voorbeeldopgaven had gemaakt, maar ‘slechts enkele’. Dat is jammer, want het beschikbare voorbeeldmateriaal voor economie vmbo was schaars, omdat we niet konden putten uit eerder Compex/Imex-examens, zoals andere vakken dat wel konden. Daarom gingen we er van uit dat elk van de drie voorbeeldopgaven wezenlijk van belang was in de voorbereiding, omdat steeds één voorbeeldopgave een substantieel onderdeel van het examen 2004 demonstreerde. 9.2 Deelnemers aan het experiment Dit examen werd afgenomen bij 552 kandidaten. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

9.3 Productie van het examen Voor de productie van dit examen is eerst een verkenning gemaakt van de uitgangssituatie. Daarbij stonden twee vragen centraal: 1: Wat is er momenteel binnen het economieonderwijs op vmbo aanwezig aan specifieke software voor algemene economie? Het antwoord was snel gegeven: niets! Dus werd besloten om op zoek te gaan naar toepassingsmogelijkheden voor dit vak van bestaande, algemeen bekende en gebruikte programma’s. Daaruit kwamen Excel, Media Player en HTML (webpagina’s) naar voren. Bovendien was er in 2003 al ervaring opgedaan met een eerste Imex voor algemene economie, voor het vak economie 1 havo (C&M). Het niveau waarop algemene economie in het profiel C&M havo wordt behandeld ligt niet veel hoger dan dat van vmbo TL. Dus er was zeker te leren van de Imex economie 1 havo 2003. Dat gold met name de vraag tot welk niveau we konden gaan bij het inzetten van een spreadsheetprogramma als Excel. Verder had de ervaring met Imex havo geleerd dat opgaven die een stukje context / ‘casus’ presenteren in de vorm van beeld en geluid, door de kandidaten zeer positief worden gewaardeerd. 2: In hoeverre biedt het examenprogramma economie vmbo aanknopingspunten voor toepassing van ICT in examens? Domein EC/K/2, basisvaardigheden, doet dit door middel van eindterm 2 ‘werken met informatietechnologie’. Verder kent een beperkt aantal eindtermen in het vakinhoudelijke deel van het examenprogramma de toevoeging “……eventueel met gebruik(making) van ICT”. Dit betreft de eindtermen: EC/K4/8: een beargumenteerde keuze voor de meest gunstige spaarvorm en leningsvorm; EC/K4/15: een beargumenteerde koopbeslissing nemen; EC/V1/2: de systematiek van loon- en inkomstenbelasting. Vanuit deze antwoorden op bovenstaande twee vragen zijn de constructeurs aan de slag gegaan. Dat heeft geresulteerd in: * een opgave die eindterm K4/15 toetst, aan de hand van consumenteninformatie over draadloze telefoons; * een opgave die eindterm V1/2 toetst, aan de hand van het programma Tj 2001; * een opgave die een casus zo veel mogelijk in beeld en geluid weergeeft, aan de hand van drie videofragmenten uit een aflevering van Nieuw Economisch Peil. N.B. De keuze voor het tweede ‘vertrekpunt’ – ICT-elementen uit het examenprogramma economie vmbo – impliceert wel dat we voor 2005 wat creatiever en vrijer met het examenprogramma moeten omgaan, want doordat de aangewezen examenstof voor het CSE 2005 anders is dan die voor 2004, vervalt de mogelijke koppeling naar de eindtermen uit K4. 37

Voor K5 is bij geen enkele eindterm een expliciete verwijzing naar het gebruik van ICT opgenomen. De koppeling met eindterm V1/2 blijft wel mogelijk, omdat de verrijkingsstof permanent deel uitmaakt van de examenstof voor het CSE economie GL-TL. 9.4 Beschrijving van het examen Het ICT-deel van het examen betrof 40% van het totaal te behalen aantal scorepunten. Dit ICT-deel bestond uit drie opgaven. Per opgave werd de meerwaarde van de PC voor het vak economie gezocht in een specifieke toepassing. Opgave “Telefoon”: met behulp van een Excel spreadsheet moet de kandidaat een koopbeslissing kritisch beoordelen en een aangepast koopadvies geven. Op het eerste werkblad staat een tabel met gegevens uit een vergelijkend warenonderzoek (Consumentenbond) over draadloze telefoons. Het werkblad kan door de kandidaat aangepast worden op de onderdelen ‘wegingsfactoren’ en ‘beoordelingen’. Op deze manier kan een op zich statisch testrapport dynamisch gebruikt worden, door het aan te passen aan specifieke wensen van een consument / aan andere ervaringen of beoordelingen dan die van de testers. Een tweede werkblad gaf nog enige ondersteuning middels een prijs-kwaliteitgrafiek, gebaseerd op deze test. Bovendien waren de beide bladen gekoppeld, zodat elke verandering in de test die het totale testresultaat veranderde, ook doorgevoerd werd in de positie van het betreffende product in de prijs-kwaliteitgrafiek.

48

Opgave “Geld terug”: met behulp van het programma ‘Tj 2001’ van de Belastingdienst moet de kandidaat beoordelen of een jongere recht heeft op teruggave van reeds betaalde loonbelasting. Het bestaande programma is slechts op onderdelen door de Belastingdienst aangepast aan de wensen van de toetsconstructeurs. Dat maakt dat de kandidaat in deze opgave een ‘real-life’ situatie nabootst, welke een zeer sterke relatie heeft met de praktijk van de Nederlandse economie.

Opgave “Andere koffie”: aan de hand van een drietal videofragmenten uit de documentaire ‘Koffie verkeerd’ van de RVU, beantwoordt de kandidaten vragen over de wereldmarkt voor koffie en de speciale rol van koffieboeren, grote koffiebranders (zoals Saralee/DE) en Max Havelaar. Tekst plus beelden moeten productief gebruikt worden om te komen tot enkele antwoorden op vragen. Tot slot wordt ook in deze opgave nog even Excel gebruikt, in de vorm van een opdracht waarbij de kandidaat gegevens in tabellarische vorm moet invullen, zodat een grafische weergave ontstaat van de prijsontwikkeling van koffie op de wereldmarkt.

49

9.5 Afname van het examen De afname van het examen is organisatorisch en logistiek zonder grote problemen verlopen op de 15 deelnemende scholen. Op één school bleek het Tj programma bij opstarten al gevuld te zijn met gegevens, welke eigenlijke door de kandidaat opgezocht, geselecteerd en ingevuld dienden te worden. De oorzaak moet bij de school gelegen hebben, want zij hadden net als de andere scholen een ‘lege’ versie toegezonden gekregen. Omdat de ingevulde gegevens niet de correcte gegevens waren, maar ‘fake’ gegevens die de systeembeheerder of een docent had gebruikt om het menu te testen, werden de kandidaten niet ongeoorloofd bevoordeeld. Ze hadden er eerder last van, want het leverde tijdens de examenzitting ruis, vertraging en onzekerheid op. Gelukkig betrof het een zitting met minder dan 10 kandidaten, dus het probleem kon met enig kunst- en vliegwerk individueel opgelost worden. Logistiek werd de afname een forse uitdaging voor scholen met zeer veel kandidaten. Bij de afname op het Hervion College moest men bijvoorbeeld in twee opeenvolgende sessies werken, omdat de maximale examencapaciteit van het OpenLeerCentrum kleiner was dan het aantal kandidaten. Dat leverde extra stress op, vroeg groot organisatorisch vermogen van de systeembeheerder én veel surveillanten en leidde ook tot een zekere tijduitloop van de zitting, met name voor de tweede groep. Maar, mede dankzij de voortreffelijke voorbereiding en opzet door de mensen van Hervion, kon er toch gesproken worden van een min of meer normale examenafname voor de kandidaten. We kunnen niet constateren dat er voor kandidaten een ontoelaatbare aantasting heeft plaatsgevonden van hun recht op gelijkwaardige en ongehinderde afnameomstandigheden. 9.6 Resultaten en normering Uit de toets-en itemanalyse komen de volgende conclusies: Vergelijking reguliere examen – Compex

overlapgedeelte specifieke deel totale examen

Reguliere populatie p’= 53,7 p’= 61,0 p’= 56,6

Compex-populatie p’= 55,4 p’= 51,5 p’= 53,9

De Compex-kandidaten zijn dus gemiddeld iets vaardiger (‘beter’) dan de reguliere populatie: een verschil van 1,7 op een schaal van 100. Het Compex -gedeelte blijkt moeilijker te zijn dan het gemiddelde van het gehele examen ( 51,5 tegen 53,9) en beduidend moeilijker dan het specifieke deel van het reguliere examen. Dat laatste blijkt vooral te gelden voor de opgave ‘Geld terug’, over de belastingteruggave. Daar waar wij gehoopt hadden dat de slogan van de Belastingdienst zich zou bewijzen – “Leuker kunnen we het niet maken, wel makkelijker” – is de realiteit van deze examenafname anders. Het gebruik van de computer voor het bepalen van de vraag “Krijgt hij belasting terug en zo ja, hoe veel?” pakt in deze variant beduidend moeilijker uit, dan het gebruik van het invulschema op papier. In het reguliere examen is deze opgave één van de laagste 50

scorende, met een p’ voor de hele opgave van 49,6. Maar de kernvraag, het bepalen van de belastingteruggave aan de hand van het invulschema, scoort zeer behoorlijk met p’= 66. In de Compex -variant scoort de vergelijkbare 3-puntsvraag, maar nu aan de hand van het programma Tj 2001, aanmerkelijk slechter: p’= 38! De totale opgave is in het Compex -examen de met afstand laagst scorende, met een gemiddelde p’van 36,5. Op basis van de antwoorden van docenten en kandidaten op de enquêteformulieren en daarbij gevoegd eigen waarnemingen in ’s-Hertogenbosch, trekken we de volgende conclusies: • de onbekendheid met de specifieke programmatuur Tj 2001 blijkt in de ‘hoogspanningsfase’ van een examenafname een groot struikelblok. • de extra dimensie met de reiskostenaftrek, die pas in tweede instantie toegepast moest worden, maakte de Compex-opgave aanmerkelijk complexer dan de tegenhanger in het reguliere examen. De beide andere opgaven, die specifiek het gebruik van de pc vereisten, scoorden gemiddeld tot goed. Wel bleek bij de opgave ‘Telefoon’ dat de specifieke Excel-opdrachten nog tot veel ‘hoofdbrekens’ leidden. Deze vragen scoorden relatief laag en uit de enquêtes bleek dat menige kandidaat veel tijd nodig had met het juist zoeken en veranderen in de Excel-werkbladen. Ondanks het feit dat een vrijwel identieke opgave was aangeleverd als voorbeeldopgave, bleek het gebruiken van de specifieke Excel-functionaliteiten nog bij menige kandidaat problemen op te leveren. Wellicht dat hier toch een relatie gelegd moet worden met het onder 2.1 reeds gesignaleerde fenomeen dat veel kandidaten niet van alle voorbeeldopgaven hadden gebruikt/gemaakt. Tot slot mag geconcludeerd worden dat de vragen die gebruikmaken van videomateriaal gemiddeld hoog scoren. Een ervaring die we ook in 2003 al opdeden bij de Imex havo. Bij de vaststelling van de N-term voor dit examen economie vmbo TL Compex, werd rekening gehouden met het feit dat uit de toetsen itemanalyse was gebleken, dat de deelnemende kandidaten aan dit experimentele examen een moeilijkere toets was voorgelegd dan het reguliere examen. De N-term voor het experimentele examen werd vastgesteld op 1,3 tegen een ‘normale cesuur’ van N= 1,0 voor het reguliere examen. Dit komt op een scoreschaal van 0 tot 10 overeen met een ophoging van 0,3 punt. 9.7 Evaluatie van docenten en systeembeheerders Met het examen is een vragenlijst voor docenten en systeembeheerders meegestuurd. Daaruit komt naar voren dat zij het examen technisch in orde bevonden. Er waren geen vervelende vastlopers of andersoortige ICT-problemen. Bij de afname constateerden zij dat het examen aanmerkelijk meer tijd kostte dan het reguliere examen. Dit was in de praktijk soms een probleem, met name wanneer er in meerdere sessies gewerkt moest worden. Voor de constructie van Imexen 2005 en verder zullen wij de relatie tussen beschikbare examentijd en aantal/omvang van de opdrachten beter moeten bewaken! Docenten zagen de meerwaarde van het gebruik van de computer bij dit economie-examen vooral in: • vergelijkend warenonderzoek in Excel geeft meer inzicht in het hoe en waarom van zo’n testrapport • Excel biedt de mogelijkheid om de leerlingen op een actievere manier met de leerstof te laten werken • gebruik van Excel sluit aan bij (een deel van) de beroepspraktijk waar deze leerlingen vaak in terechtkomen • Tj programma is levensecht stukje software; maakt dat het onderwerp ‘belastingen’ meer gaat leven voor de kandidaten; hier krijgen ze in de praktijk ook mee te maken • informatie via videofragmenten is relatief nieuw voor dit vak en biedt nieuwe mogelijkheden voor didactiek en toetsing van economie Docenten noemden ook een aantal kritiekpunten: • opdrachten waarbij iets opgeslagen moest worden waren zeer bewerkelijk in de correctie • bij deze opdrachten was aan het eindproduct van de kandidaat niet altijd te zien welke stappen de kandidaat goed en welke fout gedaan waren; vooral lastig als er ook deelscores te geven zijn. • relatieve onbekendheid met software, zoals Excel en Tj programma, is een te groot struikelblok; willen we liever niet, want het gaat om een toets economie en niet informatiekunde. 9.8 Evaluatie door leerlingen Leerlingen vonden in het algemeen dat ze vooraf goed geïnformeerd waren over dit experimentele examen. Ruim een kwart zei echter dat ze, achteraf gezien, nog wel meer informatie hadden willen hebben. Zoals al eerder aangehaald, had minder dan de helft van de kandidaten alle voorbeeldopgaven gemaakt. Over de moeilijkheidsgraad waren de leerlingen vrij mild. Slechts 28% vond het Compex -deel veel moeilijker dan de vragen uit het reguliere deel (overlap). Het geven van de antwoorden op papier, dus geen volledig ‘computerbased test’, vonden de meeste leerlingen wel prettig. Ze blijken in meerderheid nog behoorlijk huiverig voor een volledig gecomputeriseerd examen. Op de vraag of ze, alles afwegende, liever een examen met computer maken of een regulier examen, antwoordde slechts 1 op de 5 leerlingen dat de voorkeur uitgaat naar een examen met computer. In dat opzicht valt er nog heel wat pionierswerk te verrichten.

51

9.9


Vragenlijst leerlingen Economie VMBO vr. 1 Was je van tevoren goed ge ïnformeerd over dit examen?





52





53


54

10

Natuur- en scheikunde 1 vmbo gl + tl

10.1 Opzet van het experiment In 2004 is voor de tweede keer een experimenteel IMEX-examen afgenomen voor Nask-1 VMBO TL. Vergeleken met het vorig jaar valt op dat er veel meer scholen deelnamen. Inhoudelijk was een grote verandering dat de resultaten van de leerlingen op een goede en betrouwbare manier opgeslagen konden worden. Het experimentele examen bestond voor ongeveer 70 % uit vragen die overlappen met het reguliere examen. De rest van de vragen waren de IMEX-vragen. Het gehele examen werd op papier aangeboden, en de antwoorden schrijven de leerlingen op papier. Voor de laatste 30 % IMEX vragen moesten de leerlingen gebruik maken van twee verschillende computertoepassingen. De antwoorden moesten de leerlingen op papier geven. Bij sommige vragen moest ook een bestand worden opgeslagen. Ter voorbereiding van de leerlingen zijn voorbeeldopgaven uitgereikt, alsmede de compexopgaven van het voorafgaande jaar. 10.2 Deelnemers aan het experiment In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen.

10.3 Beschrijving van het examen De leerlingen maakten eerst 24 vragen met 47 scorepunten die overlapten met het reguliere examen. Daarna begonnen ze aan het Imex -gedeelte. De computers stonden al aan. Door de monitor aan te zetten en in te loggen met naam en examennummer kwamen de leerlingen bij het examenscherm voor Nask-1. Zie afbeelding. Het IMEX gedeelte bestond uit twee opgaven met 9 vragen die samen 22 punten konden opleveren. De eerst opgave getiteld ‘STOFFEN EN MATERIALEN’ was een opgave waarbij de leerlingen gebruik moesten maken van een Applet. Dat is een eenvoudige simulatie van een of meer natuurkundige experimenten. Zie figuur. De opgave bestond uit 4 vragen die 10 punten konden opleveren. In de simulatie moesten de leerlingen een tweetal ‘experimenten’ doen over het onderwerp dichtheid. Door met voorwerpen te slepen naar een maatcilinder met water en een weegschaal kon de leerling volume en massa bepalen. Ook is het mogelijk een voorwerp in een vloeistof te plaatsen om te kijken of het drijft, zweeft of zinkt. Bij de eerste vragen was precies beschreven wat de leerlingen moesten doen. Bij de laatste vraag moesten ze zelf de stappen bedenken en uitvoeren.

55

De tweede opgave is getiteld ‘VERKEER’. De opgave bestond uit 5 vragen die samen 12 punten op konden leveren. De opgave gaat over een videofilmpje over drie auto’s bij een stoplicht. Allereerst moesten de leerlingen met de mediaplayer het hele filmpje bekijken. Daarna werden twee delen van het filmpje bestudeerd met het programma Coach Junior Videometen. Zie de figuur.

Hierbij moesten de leerlingen de beweging van de auto’s vastleggen. Het programma levert dan grafieken van de beweging, waarover vragen gesteld werden. In de eerste vragen was precies beschreven hoe de leerlingen de metingen moesten doen en welke grafieken ze moesten bekijken. Bij de laatste vraag waren de stappen van de leerlingen meer open gelaten Voor videometen op VMBO is in samenwerking met het Amstel instituut in Amsterdam een speciale eenvoudige versie ontwikkeld van het programma Coach Videometen. 10.4 Productie van het examen De IMEX opgaven zijn geproduceerd door een constructiegroep bestaande uit een docent en een Citogroepmedewerker. Voor het examen van 2003 is veel tijd besteed aan om het programmam Coach Videometen geschikt te maken voor gebruik op het VMBO. Dat resulteerde in de Examenversie van Coach Junior Videometen. Dat is, blijken de reacties goed gelukt en daarom hebben we voor het examen van 2004 weer een opgave over videometen gemaakt. Verder wilden we net als het jaar daarvoor in ieder geval over een simulatie een opgave maken. Veel tijd is besteed aan het speuren op het internet naar goede Applets. Behalve de bovenstaande in het examen zijn er een vijftal andere Applets gevonden en aan de docenten gegeven ter voorbereiding van het examen. 10.5 Afname van het examen Het examen is op 25 scholen afgenomen. De leerlingen mochten een half uur langer aan het examen werken dan de leerlingen die het reguliere examen deden. Het bleek dat veel leerlingen deze extra tijd echt nodig hadden. Na twee uur (de tijd van het reguliere examen) was nog een derde van de leerlingen bezig. Na het half uur extra waren alle leerlingen klaar. Op elke 10 werkende computer stond een reservecomputer klaar als een computer dienst zou weigeren. In een aantal gevallen is het nodig geweest dat een leerlingen naar een andere computer over moesten gaan. Het opslagsysteem kon in die gevallen moeiteloos de gegevens van die leerlingen van beide computers opslaan.

56

10.6 Correctie De correctieprocedure was dezelfde als voor een regulier examen. Uit de groep van docenten die aan het experiment meededen werden de tweede correctoren gekozen. De bestanden van de leerlingen werden door het opslagsysteem verzameld en gebrand op twee cd-rom’s: één voor de docent en één voor de tweede corrector. 10.7 Normering Er bestond een aanzienlijke overlap (68 % van de te behalen punten) tussen het reguliere en experimentele examen. Op basis van deze overlap worden de populaties, het examen en de normering vergeleken. Onderstaande tabel geeft de resultaten van deze vergelijking weer. Vergelijking van populatie, examen en normering regulier / Compex natuur- en scheikunde 1 vmbo hele examen overlap N-term gemiddeld cijfer % onvoldoende

regulier p’ = 54.8 p’ = 48,5 1,2 6,1 29%

Compex p’ = 50,6 p’ = 49,3 1,6 6,2 27%

Het Compex -examen bleek moeilijker te zijn dan het reguliere examen. Dit komt omdat de overlap met het reguliere examen moeilijker was dan het niet overlapdeel voor de reguliere kandidaten. Het Compex -deel was ongeveer even moeilijk als het overlapdeel met het reguliere deel. Qua prestatieniveau ontliepen de populaties elkaar niet veel: de compex -leerlingen lijken een heel klein beetje vaardiger dan de leerlingen die het reguliere examen deden. Het is uitdrukkelijk niet de bedoeling dat er bij de experimentele examens hogere eisen worden gesteld dan bij de reguliere examens. Daarom is er voor het verschil in moeilijkheidsgraad bij de normering gecompenseerd, zoals af te lezen is in bovenstaande tabel. 10.8 Evaluatie van docenten en kandidaten Uit de reacties blijkt dat zowel docenten als leerlingen videometen een leuk onderdeel vinden. Het is nodig er goed mee te oefenen, maar dan geeft het leuke opgaven die goed te doen zijn. Het werken met Applets was nieuw dit jaar. Het was even wennen dat alleen een vijftal oefenapplets gegeven werden, zonder vragen erbij. Maar als de leerlingen die goed bekeken hadden, waren de vragen goed te doen.

10.9 Bevindingen Het examen van vorig jaar, de extra voorbeelden voor videometen en de oefenapplets hebben voldoende duidelijk gemaakt, hoe het examen eruit zou zien. Zowel wat betreft vorm als inhoud. Een groot deel van de leerlingen had het halfuur extra tijd dat ze kregen hard nodig. Na de reguliere tijd was nog eenderde van de leerlingen aanwezig. De opslagmodule wekte goed en gaf geen problemen. Navraag bij de leerlingen leverde op dat een groot gedeelte het werken met de computer prettig vond. Een klein deel gaf aan de “vertrouwde” manier van examineren te prefereren.

57

10.10


Vragenlijst leerlingen Nask-1 VMBO GT vr. 1 Was je van tevoren goed geïnformeerd over dit examen?





58






59

11

Biologie vmbo gl + tl

11.1 Opzet van het experiment In het biologieonderwijs wordt de computer in toenemende mate ingezet. Dit geldt niet alleen bij het maken van werkstukken en presentaties, maar bijvoorbeeld ook bij sommige meetopstellingen en (diagnostische) toetsen bij leermiddelen. Sinds 2003 wordt in het kader van het Compex -project voor een beperkt aantal scholen een aangepast GL/TL-examen biologie geproduceerd. Net als bij het ‘gewone’ examen krijgt de kandidaat de vragen op papier aangeleverd en worden deze vragen ook op papier beantwoord. Bij het maken van de opgaven staan de kandidaat echter verschillende digitale bronnen ter beschikking. 11.2 Deelnemers aan het experiment Aan dit examen hebben 588 leerlingen deelgenomen. In bijlage 9 is een complete lijst met deelnemende scholen en aantallen leerlingen per school opgenomen. 11.3 Beschrijving van het examen Het overlapgedeelte met het reguliere examen bestond uit 29 vragen. Nadat de kandidaten de overlapvragen hadden gemaakt, konden de digitale bronnen worden geraadpleegd. Vanwege het beschikbare aantal computers werd op enkele scholen aan andere werkwijze gehanteerd. Daar begonnen de leerlingen met het computerdeel, waarna vervolgens – in een ander lokaal – de reguliere vragen werden beantwoord. Vanaf het beginscherm kreeg de kandidaat de beschikking over bronnen voor vier clusters van vragen. Twee clusters betroffen een deel van het diergedrag dat als BIO/V/2 voor deze kandidaten afvraagbare leerstof is. Naast het typeren van diergedrag en het bevragen van onderliggende mechanismen, werd de kandidaat ook gevraagd een videofragment over diergedrag te analyseren met behulp van een zogenaamd ethogram. Door de interactie van de kandidaat met het beeldscherm kon een daartoe benodigd protocol worden ingevuld. Een derde cluster van vragen kon worden beantwoord met gebruikmaking van een digitale BodyMass-Index en een interactieve versie van de Voedingsmiddelentabel. Bij het vierde cluster van vragen diende een website te worden geraadpleegd (zie figuur). Deze was gekozen als vervanging van het bij reguliere biologie-examens gebruikelijke informatiecluster: de bronnen (inclusief 'onderliggende' informatie, zoals videobeelden en kleurenfoto's) waren digitaal te raadplegen.

60

11.4 Productie van het examen Na overleg met de Cevo-vaksectie werd besloten om binnen dit experiment een bepaalde lijn te volgen. In het 2003-examen lag de nadruk op het simpele gebruik van bronnen (zoals videofragmenten). Bij een positief resultaat kon dan verder ontwikkeld worden in de richting van vraagstukken waarbij de computer op een meer interactieve manier wordt toegepast. Dit heeft in het voorliggende examen een eerste vorm gekregen. Centraal bij de productie van het examen staat het werken 'vanuit de beelden' en met inachtneming van de beoogde doelgroep. Als eenmaal een kwalitatief goed en inhoudelijk passend videofragment was gevonden, kwam de productie van de bijbehorende vragen relatief makkelijk tot stand. Het zelfde gold voor de digitale 'tools', zoals de BodyMass Index en Voedingsmiddelentabel. De vaksectie heeft gelegenheid gehad de tussentijdse producten te testen en van commentaar te voorzien, dat vervolgens werd verwerkt.

11.5 Afname van het examen Bij de afname van het examen hebben zich geen technische problemen voorgedaan. De kandidaten zaten geconcentreerd, maar niet gespannen te werken: het gebruik van de computer blijkt voor hen een tweede natuur te zijn. Geen enkele kandidaat is bij de afname van het examen in tijdnood gekomen. Verschillende kandidaten gaven aan het beeldmateriaal mooi te vinden.

11.6 Correctie Om een betrouwbare vergelijking tussen deze groep Imex-kandidaten en de landelijke groep biologiekandidaten te kunnen maken, moesten de resultaten van álle kandidaten opgestuurd worden. Hierbij hebben de scholen gebruik gemaakt van de reguliere procedures (WOLF of optisch leesbare formulieren). De tweede correctie werd in onderling verband door de scholen die deelnamen aan het experiment uitgevoerd.

11.7

Normering

biologie vmbo

regulier

Compex

gehele examen overlapdeel N-term gemiddeld cijfer % onvoldoende

p’= 0,63 p’= 0,59 0,6 6,4 22%

p’= 0,62 p’= 0,59 0,8 6,3 14%

Uit de Toets en Itemanalyse bleek dat de 407 kandidaten waarvan de gegevens zijn verwerkt, vergelijkbaar op de overlapvragen met het reguliere examen presteerden. Analyse van de scores op overlapvragen uit het informatiecluster toonden aan dat het digitaal aanbieden van informatiebronnen soms in het voordeel van de kandidaat lijkt te werken. Andere vragen bleken iets moeilijker te zijn. De keuze voor meer interactieve vragenclusters brengt de kandidaten echter niet in aantoonbare problemen. Voor het regulier GL/TL-examen werd besloten tot N=0.6. De N-term voor dit Imex-examen op 0.8 vastgesteld.

11.8 Evaluatie van docenten en kandidaten De reacties van docenten en kandidaten zijn overwegend positief. Een groot van de kandidaten blijkt een voorkeur voor dit type examen te hebben, of staat hier neutraal tegenover. Docenten benadrukken vooral de ruimere mogelijkheden om bijvoorbeeld diergedrag of biologische processen te verbeelden. Op deze manier wordt veel leeswerk op een passende manier ondervangen. Verschillende docenten waren van mening dat met de gehanteerde bronnen er betere toepassingsvragen konden worden gesteld (dan bij de reguliere papieren versie van dit examen). Sommigen docenten hebben aangegeven dat met name bij het gebruik van de website ook algemene vaardigheden in het geding zijn.

11.9 Bevindingen Een VMBO GL/TL examen biologie met behulp van de computer heeft een aantoonbare meerwaarde. De lijn met betrekking tot het gebruik van interactieve toepassingen wordt voor het examen 2005 voortgezet.

61

11.10


Vragenlijst leerlingen Biologie VMBO vr. 1 Was je van tevoren goed geïnformeerd over dit examen?





62






63

12

Conclusies en aanbevelingen

12.1 Reacties van coördinatoren, docenten en systeembeheerders. Bijlagen 6 t/m 8 bevatten de resultaten van de vragenlijsten dit aan systeembeheerders, vakdocenten en contactpersonen zijn voorgelegd. De deelnemende scholen hebben over het algemeen positief gereageerd. De meeste systeembeheerders kunnen goed uit de voeten met het installeren van de software en de gebruikte test-cdrom (74% en 70%). Dat betekent dat in de overige gevallen nog wel bijzonderheden voorkomen. Niet duidelijk is in hoeveel gevallen dit heeft geleid tot contact met de Cito-helpdesk. De opslag van resultaten is in 44% van de gevallen zonder problemen verlopen, bij 31% gaf dat in meerdere gevallen nog wel problemen. Een substantieel deel van de systeembeheerders geeft daarnaast aan dat de organisatie en voorbereiding van de IMEX-examens de nog de nodige aandacht en tijd vergt. Voor een deel hangt dit samen met het realiseren van een vernieuwde data-opslag en -backup voorziening, die nog in het begin van het kalenderjaar, voorafgaand aan de examens moest worden getest. De installatiehandleiding is herschreven, de systeembeheerders geven aan dat deze voldoende duidelijk is. De meerderheid van de vakdocenten (53%) is goed te spreken over de meerwaarde van de IMEX-examens t.o.v. de traditionele examens. Vooral de toepassing van multimedia en de vakspecifieke toepassingen vindt men zinvol (resp. 55% en 74%). Ook geeft een deel van de docenten aan nog twijfels te hebben (41%), voornamelijk de toepassing van meer algemene (kantoor-)software lijkt men minder zinvol te vinden (57%). Veel docenten (51%) geven aan dat hun leerlingen de toegestane extra afnametijd van een half uur hard nodig hebben. Voor de contactpersonen/coördinatoren op de school is een belangrijk punt van aandacht het geschikt maken van de ruimte waarin de computers staan voor de afname van de examens. De meerderheid (55%) ondervindt hierbij geen problemen, 45% geeft aan dat dit wel het geval is. Verondersteld kan worden dat het in veel gevallen om eenmalige aanpassingen betreft (bijv. plaatsen van tussenschotten ed.), in de vragenlijst wordt hier niet nader op ingegaan. De meeste scholen hebben voldoende computers om het examen in een zitting bij de leerlingen te kunnen afnemen (61%). Maar het komt ook regelmatig voor dat de school meerdere zittingen organiseert, zodat leerlingen na elkaar terecht kunnen op dezelfde computers. In een aantal gevallen (17%) betekent dit dat maatregelen moeten worden genomen om onderling contact tussen leerlingen over de inhoud van het examen te verhinderen. In bijna alle gevallen (90%) is de surveillance uitgebreid met een terzake deskundig persoon (ICT-coördinator of systeembeheerder).

12.2 Reacties van de leerlingen Bijlage 5 bevat een overzicht gegeven van de antwoorden op de leerlingvragenlijsten voor alle vakken gezamenlijk. Van alle leerlingen geeft 74% aan dat zij voldoende zijn geïnformeerd over het examen, 5% vindt dat dit in onvoldoende mate het geval is. Praktisch alle leerlingen hebben ook met enkele of alle voorbeeldopgaven geoefend (95%). De leerlingen zijn tevreden over het gebruik van het papier bij deze examens. Als de opgaven niet op papier, maar alleen op het beeldscherm zouden worden aangeboden, zou 44% dat erg vervelend vinden. Ook geven de leerlingen in grote meerderheid aan de het geven van antwoorden op papier niet bezwaarlijk te vinden (84%). Een percentage van 21% zou er zelfs grote bezwaren tegen hebben als deze mogelijkheid zou vervallen, en de beantwoording alleen via de computer zou kunnen plaatsvinden. De meeste leerlingen hebben voldoende ruimte rondom de computer (71%), 3% van de leerlingen geeft aan dat er te weinig ruimte beschikbaar is. Van alle leerlingen vindt 43% dat het maken van de IMEX-examens extra tijd kost. Over de moeilijkheid van de vragen lopen de meningen uiteen (20% vindt dat het makkelijker en 25% vindt dat het moeilijker wordt). Alles afwegende zegt 42% van de leerlingen geen bijzondere voorkeur te hebben voor IMEX- of papieren examens (25% vindt het prettiger, 32% geeft aan dat het voor hen niet hoeft).

64

12.3 Aandachtspunten en voorgestelde verbeteringen voor 2005 In 2005 kunnen ongeveer twee keer zoveel (tot ongeveer 100) scholen aan de experimentele IMEX-examens deelnemen. Vooral voor de vakken met veel kandidaten is de organisatie van het examen een punt van aandacht. Voor elke leerling moet er een werkende computer zijn. Omdat dit niet altijd mogelijk is heeft een aantal scholen gekozen voor eigen oplossingen. Een oplossingsrichting is soms gezocht in het werken met meerdere afnamezittingen. De wens is geuit om de leerlingen te kunnen splitsen in twee groepen en één groep te laten beginnen met het schriftelijk deel en de andere groep met het deel waarbij de computer moet worden ingezet. Om dit makkelijker organiseerbaar te maken is voor de examens 2005 besloten de examenboekjes in twee delen te splitsen: één deel met de schriftelijke vragen en een ander deel, met eigen voorblad met de vragen waarbij de computer moet worden gebruikt. Dit biedt de scholen de mogelijkheid om te werken met een schema met overlap, waardoor er minder computers nodig zijn. In de evaluatie met de scholen is naar voren gekomen dat de scholen een zo groot mogelijke vrijheid wensen bij het inrichten van de organisatie. Voor de scholen zullen voorbeelden van organisatieschema’s worden ontwikkeld. Werken met IMEX-examen houdt in dat er veel geoefend wordt/moet worden. Dit geldt zowel voor leerlingen, docenten als systeembeheerders. In de vragenlijsten wordt ingegaan op de hoeveelheid tijd die gemoeid is met de IMEX-examens. De resultaten geven een divers beeld. In een aantal gevallen is de tijdsinvestering beperkt, en in andere gevallen substantieel. Scholen met ervaring geven aan dat de hoeveelheid tijd die moet worden gestoken sterk terugloopt als voor een 2e (of 3e) keer wordt meegedaan. Keuze voor andere (bijv. netwerk)applicaties en installatieprocedures (bijv. koppeling met CDT2-benadering) zou de beheerslast voor scholen verder kunnen terugbrengen. Voor grootschalig toepassing in 2005 zijn dergelijke initiatieven op dit moment niet aan de orde. Wel zullen verdere experimenten op dit vlak in het kader van het project Compex worden opgezet en op kleinere schaal worden getest. De afnametijd die voor het examen beschikbaar is vormt nog steeds een aandachtspunt: in veel gevallen wordt gebruik gemaakt van het extra half uur afnametijd dat in het kader van de Compex -experimenten voor de IMEXexamens beschikbaar is. Er moet voldoende ruimte zijn rond te computer omdat er ook nog moet worden geschreven. Om zo weinig mogelijk papieren materiaal op de tafel te hebben zal gekeken worden naar de mogelijkheden om bij het deel met de computer geen bijlagen te leveren. Bovendien zal gekeken worden of tabellenboeken en atlas tijdens het deel met de computer wel noodzakelijk zijn voor het goed beantwoorden van de vragen. Samenvatting belangrijkste verbeterpunten voor de IMEX-examens 2005: • realiseren gewenste verbeteringen in de data-opslagprocedure (o.a. inbouwen controles op geldige inlogen bestandsnamen, uitbreiden controlemogelijkheden bij ‘inleverscherm’) • het werken in meerdere examenzittingen vergemakkelijken door de IMEX-examenboekjes te splitsen in een schriftelijke en een computerdeel. De scholen krijgen daardoor een grotere vrijheid in het inrichten van de organisatie. Tevens zullen voorbeelden van organisatiemodellen worden geleverd aan de scholen. • nagaan waar het evenwicht kan worden verbeterd tussen het aantal opgaven en de tijdsduur die voor het examen beschikbaar is • opslag leerlingantwoorden zoveel mogelijk beperken (waar mogelijk gebruik maken van beantwoording op papier, dit vermindert de bewerkelijkheid voor systeembeheerders en vergemakkelijkt het correctiewerk voor docenten).

65

66

Bijlagen

Bijlage 1: M;inimale systeemeisen Bijlage 2: Overzicht van programma’s en software in de IMEX-examens 2004 Bijlage 3: Aanbiedingsbrief Bijlage 4: Formulier met aandachtspunten voor waarnemers tijdens Compex-examens Bijlage 5: Uitslag leerlingenvragenlijst Bijlage 6: Uitslag vragenlijst Systeembeheerders Bijlage 7: Uitslag vragenlijst voor docenten Bijlage 8: Uitslag vragenlijst voor contactpersonen Bijlage 9: Deelnemende scholen met aantallen leerlingen per vak

67

Bijlage 1: Minimale systeemeisen

werkstation leerling (minimale confi guratie)

netwerk infrastructuur (minimale configuratie)

snelheid PC

450 Mhz

snelheid netwerkverbinding

10-100 Mbit/s

beschikbaar werkgeheugen

64 Mb

snelheid netwerkserver

Pentium III 500 Mhz

vrije ruimte op harddisk

1 Gb per examen

beschikbaar werkgeheugen netwerk server

128 Mb

Cd-rom speler

24 x of sneller

Geluidskaart

stereo, 16-bits, 44 kHz (met koptel.-aansluiting)

Koptelefoon

geluidsniveauregeling

Videokaart

resolutie: 800x600 pixels, kleuren: 24-bits (RGB) geheugen: 8 Mb of meer

Besturingssysteem

Windows 9x / 2000/XP

Overige software

MS IE 5.5

vrije ruimte op harddisk

1 Gb per examen

Mediaplayer 6.4

68

Bijlage 2: Overzicht van programma’s en software in de IMEX-examens 2004

VWO

Vak

Software

Biologie 1,2

PowerSim Evolution lab MS Mediaplayer Flash/Shockwave Excel 97 (of hoger) Coach 5 (Modelleren)

Wiskunde A1en 1,2 Natuurkunde 1,2 HAVO

Aardrijkskunde Biologie

Natuurkunde 1,2 Economie-1

VMBO

Biologie Economie

Nask-1

De Grote Bosatlas MS Mediaplayer Meer PowerSim Fly lab Coach 5 (Videometen) Systematic IE 5.0 (of hoger) Excel 97 (of hoger) MS Mediaplayer MS Mediaplayer IE 5.0 (of hoger) Excel 97 (of hoger) Mediaplayer Belastingdiskette Coach Junior (Videometen, speciaal aangepaste versie) Java appplets

Bestanden opslaan?

Video/ audio?

Koptel?

ja

ja

ja ja ja

ja

ja

ja

ja

ja

ja

ja

ja

ja

ja

ja

ja

ja

69

Bijlage 3: aanbiedingsbrief Onderwerp Compex-examens eerste tijdvak 2004

Doorkiesnummer 026 – 352 11 11

Ons kenmerk Compex-sl-2004

Uw kenmerk

Datum 10 mei 2004

E-mail [email protected] Geachte mevrouw / mijnheer, Uw school heeft zich ingeschreven voor één of meerdere examens met behulp van de computer (Compex). In deze zending treft u alle benodigde materialen aan van dit(deze) examen(s). De • • •

zending bevat de volgende onderdelen: aanbiedingsbrief doosje met inhoud: 2x installatiehandleiding en per examen 2x cd-rom examenpakket, inhoud: examenopgaven + evt. bijlagen (oplage: kand. afgerond, zie overzicht) 3x correctievoorschrift vragenlijst leerlingen (oplage: kand. afgerond) + 1 retourenvelop

In onderstaand overzicht staan de betreffende Compex-examens vermeld met het aantal kandidaten dat bij de IBG is opgegeven en het door ons naar boven afgeronde aantal kandidaten, waarin de opgaven worden geleverd. De bijbehorende correctievoorschriften worden geleverd in drievoud. Controleert u a.u.b. de inhoud van het toegezonden pakket aan de hand van onderstaande lijst. Vaknaam vwo biologie 1.2 vwo wiskunde A1 havo biologie havo economie 1

Kand. IBG

Kand. afgerond 25 6 26

30 10 15 30

20

Wat te doen om het examen zo goed mogelijk te laten verlopen? Het is raadzaam om hetgeen in het bijgevoegde protocol en in de installatiehandleiding staat zorgvuldig door te lezen en de juiste informatie aan de betrokkenen door te geven. De betrokkenen zijn: De leerlingen De leerlingen dienen op de hoogte te zijn van de begintijd en eindtijd van het examen. Op het voorblad van het examen staat de tijdsduur van het reguliere examen. De duur van het examen mag, indien nodig, een half uur langer zijn dan die van het reguliere landelijk examen. Deel dit de kandidaten vooraf nog een keer mee. De docent(en) De docenten zijn op de hoogte van de methodiek van het examen. De correctieprocedure is als die van het gewone examen, met dien verstande dat we de resultaten van alle kandidaten nodig hebben in verband met het maken van een betrouwbare vergelijking tussen deze groep en de landelijke groep kandidaten. De systeembeheerder / ICT-coördinator De systeembeheerder / ICT-coördinator moet op de hoogte zijn van de installatieprocedure en de planning van de voorbereiding. Geef hem/haar de handleiding die is bijgevoegd in dit pakket. 70

Deel hem/haar mede dat de aanwezigheid tijdens het gehele examen gewenst is.

Helpde sk ( 026 – 352 11 11 , [email protected]

Succes met de afname

Gerard Boeijen projectleider Computers en examens

71

Bijlage 4: Formulier met aandachtspunten voor waarnemers tijdens Compexexamens Het is niet de bedoeling dat je op een of andere wijze helpt eventuele problemen op te lossen. Naam waarnemer: … …

Examenvak …………………………………….

Datum examen: … ……………………op (school)…………………………………….. Aandachtspunten: 1.

Hoe is de algehele sfeer bij aanvang en tijdens het examen? Dat wil zeggen heb je de indruk dat de leerlingen goed zijn ingelicht over wat hen te wachten staat?

2.

Wordt er vooraf een duidelijke korte instructie gegeven?

3.

Staan de monitoren uit als de leerlingen binnenkomen?

4.

Zijn de computers van tevoren opgestart en kunnen de leerlingen direct aan het werk als ze het sein krijgen dat ze kunnen beginnen door de monitor aan te zetten?

5.

Lopen er tijdens het examen computers vast? En zo ja, wat is de actie die daar op volgt?

6.

Zijn er andere calamiteiten? Zo ja, wat is de actie die daar op volgt?

7.

Heb je de indruk dat de leerlingen genoeg tijd hebben?

8.

Andere zaken die je zijn opgevallen:

72

Bijlage 5: Uitslag leerlingenvragenlijst Vragenlijst leerlingen totaal respons 2782 vr. 1 Was je van tevoren goed geïnformeerd over dit examen?





73






74

Bijlage 6: uitslag vragenlijst Systeembeheerders 1.

Heeft u bij het installeren van de software, die nodig is om met het

oefenmateriaal te kunnen werken, technische problemen gehad?

2.

Heeft u bij het installeren van de Test cd-rom technische problemen gehad?

3.

Wat is uw mening over de nieuwe installatie - en opslagprocedure van de resultaten van de kandidaten?

4.

Hoeveel tijd heeft de voorbereiding uzelf extra gekost?

75

5.

Vond u de installatiehandleiding voor het examen volledig en duidelijk?

6.

Heeft u bij het installeren van het echte examen technische problemen gehad?

7.

Hoeveel tijd heeft het examen uzelf extra gekost?

8.

Heeft u tijdens de afname van het examen onvoorziene technische problemen gehad?

9.

Heeft u gebruik moeten maken van een of meer reservecomputer(s) tijdens het examen?

76

10. Heeft u gebruik moeten maken van de restore-functie tijdens het examen?

11. Heeft u leerlingen tijdens het examen moeten helpen met de bediening van het programma?

12. Hebben zich problemen voorgedaan met het opslaan van resultaten?

13. Hebben zich problemen voorgedaan met het verwerken van resultaten met de aparte verwerkingsfunctionaliteit?

77

Bijlage 7: Uitslag vragenlijst voor docenten

1. Hoeveel tijd extra heeft het voorbereiden van de leerlingen op het Compex deel van het examen gekost?

2. Heeft u de leerlingen thuis laten oefenen met de programmatuur?

3. Hoeveel tijd heeft het Compex-examen Uzelf extra gekost?

4. Was er voldoende oefenmateriaal, achteraf gezien?

78

5. Hebben de leerlingen tijdens het examen hulp gevraagd?

6. Volgens mijn waarneming was de toebemeten extra tijd van 0,5 uur voor de meeste leerlingen..

7. Hoe hebben de leerlingen hun tijd verdeeld over het deel waarbij geen computer nodig is en het deel waarbij de computer wordt ingezet?

8. Is de keuze voor de volgorde van de vragen een goede?

79

9. Toepassingen in de vorm van multimedia (video en audio) vind ik...

10. Toepassingen in de vorm van vakspecifieke software (bijvoorbeeld IPCoach, Meer) vind ik..

11. Toepassingen van meer algemene software (bijvoorbeeld MS Office, Internet, Tekenprogramma's e.d.) vind ik..

14. Vindt u dat, alles overziend, deze manier van examineren een duidelijke meerwaarde heeft ten opzichte van het traditionele examen?

80

15. Vindt u dat deze vorm van examineren in de nabije toekomst standaard in het reguliere examen moet worden opgenomen?

16. Was het u duidelijk hoe u de resultaten van de leerlingen kon beoordelen?

17. Heeft het nakijken van de leerlingresultaten en het bepalen van de scores van de leerlingen u veel meer tijd gekost?

18. Zou u het op prijs stellen als niet alleen de resultaten op de computer werden opgeslagen, maar ook de antwoorden van de leerlingen en u een geprinte versie ter beoordeling kreeg?

81

Bijlage 8: Uitslag vragenlijst voor contactpersonen

1. Wat is uw mening over de informatiebijeenkomsten vooraf?

2. Wat is uw mening over de communicatie vooraf in het algemeen?

4. Heeft u de surveillance uitgebreid met een terzake kundig persoon (ICT coördinator of systeembeheerder)?

5. Bent u problemen tegengekomen bij het geschikt gemaakt van de ruimte waarin de computers staan voor de examensituatie?

82

7. Vond u de gebruikershandleiding voor het examen volledig en duidelijk?

8. Hoeveel tijd heeft de voorbereiding uzelf extra gekost?

9. Hoeveel zittingen heeft u georganiseerd?

12. Heeft u de leerlingen in quarantaine moeten houden?

83

Bijlage 9: Deelnemende scholen met aantallen leerlingen per vak

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51

Schoolnaam

Bezoekplaats

REG. S. G. GOEREE-OVERFLAKKEE RÖLINGS(BELCAMPO) COLLEGE KATH. LYCEUM IN HET GOOI ALBERDINK THIJM COLLEGE MONTESSORI LYCEUM SG LELYSTAD INTERCONF. HOFSTADCOLLEGE COLLEGE BLAUCAPEL PONTES HET GOESE LYCEUM FIORETTICOLLEGE SG DE WAERDENBORCH LOKATIE HOLTEN STARING COLLEGE HAVO/VWO KATH. LYCEUM IN HET GOOI VEST. LAAR & BERG NEWMANCOLLEGE ALMENDE COLLEGE ISALA, LOC. HAVO/VWO PETRUS CANISIUS COLLEGE DS. PIERSON COLLEGE PHILIPS VAN HORNE SCHOLENGEMEENSCHAP PROT CHR SG ULENHOF ANDREAS COLLEGE LOCATIE PIETER GROEN AOC DE GROENE WELLE AOC TERRA LOCATIE GROENE SCHOOL ATLAS COLLEGE LOKATIE COORNHERT BONIFATIUS MAVO BOUWENS VAN DER BOIJECOL. CALVIJN COLLEGE CHR SG "OUDE HOVEN" LYCEUM-HAVO-MAVO CSG SPRENGELOO LOCATIE SPRENGENWEG DE DRIEMARK DE NUBORGH LOC. BROUWERSKAMP DE NUBORGH LOC. REHOBOTH ESDAL COLLEGE LOKATIE KLAZIENAVEEN ETTY HILLESUM LYCEUM LOCATIE HET VLIER GOMARUS SG GROENE HART LYCEUM HERVION COLLEGE HET NOORDIK LOKATIE MAVO/HAVO/VWO HEZELAND COLLEGE INTERCONFESSIONELE SGM. HET WESTLAND MINKEMA COLLEGE MONTESSORI COLLEGE LOKATIE GROESBEEK OG VENLO & OMSTREKEN BLARIACUMCOLLEGE OSG ERASMUS OSG PITER JELLES LOCATIE ST ANNAPAROCHIE PC MAVO "WALDHEIM" RK SG MARIANUM LOKATIE GROENLO SG SINT CANISIUS ST ANTONIUSCOLLEGE SG MAVO/HAVO/ATH./GYMN. THORBECKE SG VALLEI COLLEGE 'T ATRIUM VAN DER CAPELLEN SG. P/A CAPELLENBORG WELLANTCOLLEGE VEST CHR VMBO/MBO Totalen per vak

MIDDELHARNIS GRONINGEN HILVERSUM ROTTERDAM LELYSTAD 'S-GRAVENHAGE UTRECHT GOES LISSE HOLTEN LOCHEM LAREN NH BREDA SILVOLDE ALKMAAR 'S-HERTOGENBOSCH WEERT DOETINCHEM KATWIJK ZH ZWOLLE WINSUM GN EDAM EMMELOORD PANNINGEN GOES GORINCHEM APELDOORN WINTERSWIJK NUNSPEET ELBURG KLAZIENAVEEN DEVENTER GORINCHEM ALPHEN AAN DEN RIJN 'S-HERTOGENBOSCH ALMELO GENNEP 'S-GRAVENZANDE WOERDEN GROESBEEK VENLO ALMELO SINT ANNAPAROCHIE BAARN GROENLO ALMELO GOUDA ZWOLLE AMERSFOORT WIJHE BOSKOOP

vwo biologie kand 7

vwo nat. 1.2 kand 7

vwo wisk A1 kand 1

vwo wisk A1.2 kand 19

havo aard.k kand 21

25

21 19

6

7 8

11

22

17 28 38

19 26 12 9

15 13

20 24

28

14

47

8 39 20

23 11

20 20 10

53 8 6

11 14

1 9

havo biologie kand 8 8 15 16 17 19 20 26 27 29 33 35 39 40 42 44 45 59

havo econ. 1 kand

havo nat. 1.2 kand

15 26 21

10

20 17 26 43 40 47 23 37 49

3 13 3 7 13 10 7 13 6 13 11

57 50

vmbo biologie kand

vmbo economie kand

vmbo nask1 kand

13

18

8

41

66

25

22

36

16

48

58

16

54

25

12 23 22 31

46 12 25 14 12

19

27 20 35

15 14

17 39 66 36 48

50 21 28

20

23 57 50

23

16 21

106

24

14 23 9

12

6 16

24

15 11 20

9 36 38 17

37 5 13 15 6 28

14 51

20 63

246

158

70

128

314

522

521

227

9 588

8 552

12 25 7 494

84

Verslag afname experimentele IMEX-examens 2004

Recommend Documents