De introductie van digitale examens Stand van zaken en ontwikkelingen
Henk Kreeft
© Cevo Utrecht, februari 2004
2
Inhoud
Voorwoord
1.
Digitale examens in 2003, Stand van zaken aan het eind van het tweede projectjaar.
2.
De afname van computerexamens in 2003
11
2.1. Het digitaalexamen Frans vmbo BB 2.2. ICT in de centrale praktische examens BB en geïntegreerde eindtoetsen KB 2.3. Het examen Nederlands schrijfvaardigheid vmbo T/G 2.4. De examens Dans en Drama vmbo T/G 2.5. Het CKV2 examen havo en vwo 2.6. Compex-examens vmbo T/G, havo en vwo 2.7. Het digitaalexamen Duits vmbo BB 2.8. Experimenten met digitaaltoetsen vmbo BB 2.9. Experimenten met een afnameomgeving voor beeldschermexamens 2.10 Experiment met online afname van tweede tijdvak 2.11 Algemene aanbevelingen op basis van ervaringen bij diverse projecten
11 13 19 23 25 27 33 35 37 41 31
Ontwikkelingen en mogelijkheden op korte termijn
43
3.1 De ontwikkeling van computerscoorbare digitale examens 3.2. Digitale examens met open vragen en opdrachten
43 45
3.
7
Literatuur
49
Bijlagen
51
3
4
Voorwoord In 2002 startte voor vier jaar het project Compex. (Computers en Examens). Dit project was voorafgegaan door een aantal losse experimenten vanaf het jaar 2000 en door de ontwikkeling van het CKV2 examen voor havo en vwo. In 2002 werden alle ontwikkelingen die de Cevo en de Citogroep als realistisch zagen ingevoegd in één project. Dit betekende zowel ontwikkelingen voor computerexamens met vooral open opdrachten voor vmbo T/G, havo en vwo, als de ontwikkeling van examens die geheel aan de computer gemaakt en door de computer gescoord konden worden voor de talen en voor vmbo BB examens. Nu na twee jaar is er heel wat tot stand gekomen. Een groot aantal examens waarbij de computer gebruikt moet worden, zijn afgenomen en een nog groter aantal zijn gepland. Veel scholen hebben inmiddels hun eerste ervaringen met computerexamens opgedaan. De Cevo beoogt met alle projecten een inhoudelijk of organisatorische meerwaarde te realiseren. Dat dat niet altijd bij de eerste of tweede toepassing voor honderd procent lukt zal een ieder duidelijk zijn. De technische obstakels die overwonnen moeten worden zijn niet gering. De kennis en kunde op dit gebied is echter groeiende zowel bij de examenmakers als bij de scholen die de examenafnames moeten realiseren. De Cevo let er ook goed op dat ontwikkelingen die ingezet worden mogelijke veranderingen in het examensysteem niet blokkeren, in tegendeel door de toepassing van de computer ontstaat op diverse terreinen een ruimer scala aan mogelijkheden. Een voorbeeld daarvan zijn de digitale minitoetsen die in 2004 voor het eerst afgenomen zullen worden in het CSPE van de beroepsgerichte vakken. Een examen waarin theorie en praktijk gecombineerd wordt en waarbij de digitale toetsen in verschillende varianten aangeboden worden Dit verslag brengt in beeld waar we nu na twee jaar aangekomen zijn. En dat is behoorlijk ver. Er kan verslag gedaan worden van een groot aantal succesvolle activiteiten. (Zie hoofdstuk 1 en 2) Dit verslag geeft ook aanleiding om vooruit te kijken naar de periode na 2005. Gezien de voorbereidingstijd die examens kennen, is het noodzakelijk nu beslissingen te nemen over de voortgang na 2005. Hoofdstuk 3 geeft een beeld van mogelijke ontwikkelingen op niet al te lange termijn en van het vervolg dat de Cevo zich voorstelt.
Jan Bouwsma voorzitter CEVO
5
6
1
Digitale examens in 2003 Stand van zaken aan het eind van het tweede projectjaar.
Vanaf 2000 wordt er geëxperimenteerd met centrale examens waarbij computertoepassingen gebruikt worden. In 2001 formuleerde de Cevo een beleid voor het gebruik van de computer bij centrale examens. (Kreeft, 2001 en 2002). In 2002 ging een vierjarig project van start dat de mogelijkheden moet onderzoeken en dat implementatie van computerexamens moet voorbereiden. Het project dat de naam Compex (Computers en Examens) kreeg wordt uitgevoerd door de Citogroep onder verantwoordelijkheid van de Cevo. In het project worden examens met computeropdrachten geconstrueerd, worden in samenspraak met de scholen afnameprocedures ontwikkeld, wordt de techniek ontwikkeld die de afname mogelijk moet maken en wordt met scholen samengewerkt om geslaagde afnames van examens te realiseren. De werkwijze is als volgt: Nieuwe examens met computertoepassingen worden binnen de kaders van het project ontwikkeld en uitgetest. Zodra een product zover is dat het als regulier centraal examen aangeboden kan worden aan alle kandidaten voor een vak, dan wordt het opgenomen in de reguliere productie. Dit is reeds het geval bij 27 centrale examens. Bij 27 reguliere centrale examens in het vmbo is in 2003 gebruik gemaakt van de computer. Twee computerexamens (CKV2 havo en vwo) worden als schoolexamen uitgevoerd, eveneens binnen de regulier productie. Elf centrale examens waarbij de computer gebruikt is, werden in 2003 in het kader van het Compex project op een beperkt aantal scholen afgenomen. Daarnaast zijn met vijf vakken experimenten buiten de examensituatie gedaan met verschillende onderzoeksdoelen. Tabel 1 : Reguliere centrale examens waarbij in 2003 de computer gebruikt moest worden Frans Centraal praktische examens van 9 beroepsgerichte programma’s Centraal integratieve eindtoetsen van 14 beroepsgerichte programma’s Nederlands schrijfvaardigheid (keuze) Dans Drama CKV2 CKV2
vmbo BB vmbo BB vmbo KB vmbo T/G vmbo T/G vmbo T/G havo vwo
De 29 reguliere examens die met behulp van de computer afgenomen worden, hebben bijna alle als kenmerk dat ze afgenomen kunnen worden in kleine groepen. De extra organisatie die nodig is voor de afname van computerexamens blijft daardoor beperkt. Alleen bij schrijfvaardigheid Nederlands vmbo T/G en CKV2 havo moet af en toe gewerkt worden met grote groepen kandidaten 60 of meer die gelijktijdig examen doen. Bij deze vakken wordt door een aantal scholen gewerkt in twee elkaar direct opvolgende sessies. Deze reguliere examens zijn wat het computergebruik betreft zonder onoplosbare problemen verlopen. De handleiding voor de afname en daarin opgenomen protocol voorziet voldoende in situaties die zich kunnen voordoen. Zie voor een gedetailleerdere beschrijving hoofdstuk 2.1 – 2.5.
7
Tabel 2: Centrale examens waarbij in 2003 de computer gebruikt werd op een aantal project scholen Compexproject natuur- en scheikunde 1 biologie aardrijkskunde natuurkunde 1,2 biologie aardrijkskunde economie 1 natuurkunde 1,2 biologie wiskunde A1,2 wiskunde A1
vmbo T/G vmbo T/G vmbo T/G havo havo havo havo vwo vwo vwo vwo
De 11 Compex-examens die op een beperkt aantal scholen afgenomen werden verliepen over het algemeen goed. Een examen mislukte door een logistieke fout. Het aantal kandidaten dat aan deze examens per school deelneemt varieert. Voor de scholen is de voorbereiding van de kandidaten en de organisatie van de afname een extra aandachtspunt, voor de Cevo en Citogroep de inhoud en opbouw van de examens en de techniek van installeren en opslag van examenresultaten. Het eerste afname jaar heeft veel gegevens opgeleverd waarmee de verdere ontwikkeling gestuurd kan worden. Zie voor een gedetailleerdere beschrijving hoofdstuk 2.6
Tabel 3: Beeldschermexamens 2003 voor afname in onderzoekssetting buiten het centraal examen. Compexproject. Duits biologie motorvoertuigen techniek metaaltechniek handel en verkoop
vmbo vmbo vmbo vmbo vmbo
BB BB BB BB BB
Beeldschermexamens konden in 2003 nog niet in de centrale examensetting afgenomen worden. Dit is veroorzaakt door de, zo als later bleek, ongelukkige keuze van een CBT programma (Computer Based Testing) voor het afnemen van beeldscherm examens. Het nationaal en internationaal goed bekendstaande programma Question Mark Perception bleek stukken minder betrouwbaar en bruikbaar dan verwacht mocht worden. De stand alone versie van Question Mark Perception (QMP for Windows) die voor de Nederlandse examensituatie het aangewezen programma leek, bleek een groot aantal feilen te hebben en door de leverancier niet verder ontwikkeld te worden. Er zijn in het schooljaar 2002/2003 twee onderzoeken uitgevoerd om te komen tot goede beeldschermexamens. Hiervoor zijn de in tabel 3 genoemde examens geconstrueerd. De examens biologie, motorvoertuigen techniek, metaaltechniek en handel en verkoop zijn gebruikt om onderzoek te doen naar de interactie tussen de kandidaten vmbo BB en de vraagtypen en functieknoppen. Een zeer zinvol onderzoek dat een schat aan bruikbare gegevens opgeleverd heeft. (zie hoofdstuk 2.8.) Een tweede onderzoek was gericht op de Hosting-variant van Question Mark Perception en een tweede CBT programma dat stand alone geïnstalleerd kon worden. Ook dit onderzoek heeft waardevolle gegevens opgeleverd. (zie hoofdstuk 2.9)
De stand van zaken kan als volgt samengevat worden:
8
o o o
De examensituatie is voor bijna 30 reguliere examens voldoende uitontwikkeld. Wijzigingen en verbeteringen zijn natuurlijk altijd mogelijk. Met de 11 Compex-examens zijn op een beperkt aantal scholen de eerste ervaringen opgedaan. Het zal moeten blijken hoe grotere aantallen scholen met deze examenvorm om kunnen gaan. Alle ingrediënten om de ontwikkeling van beeldschermexamens met voortvarendheid ter hand te nemen, zijn nu beschikbaar. De plannen om in 2004 bij het nieuwe centraal schriftelijk en praktische examen voor de beroepsgerichte programma’s de theorie-onderdelen als beeldschermtoetsen aan te bieden moeten zeker gerealiseerd kunnen worden.
In hoofdstuk 2 wordt van elk type examen waarbij de computer gebruikt is in 2003 een beknopt verslag gedaan. In hoofdstuk 3 wordt het voorgenomen Cevo-beleid geschetst tot 2008. Beslissingen over de invoering, geheel of gedeeltelijk, verplicht of naar keuze moeten steeds vroegtijdig genomen worden. Want examenproductie begint vroegtijdig en scholen moeten rekening kunnen houden met de opzet van de centrale examens bij de vaststelling van hun programma van toetsing en afsluiting en scholen willen weten waarmee rekening gehouden moet worden wat betreft de hulpmiddelen die voor examens nodig zijn.
9
10
2.
De afname van computerexamens in 2003
2.1
Het digitaalexamen Frans vmbo BB
Opzet Op 20 mei 2003 vond voor het eerst het centraal schriftelijk examen plaats voor het vak Frans BB in het vmbo. Het is een examen met contexten, videofilmpjes, luisterfragmenten en schrijfopgaven op het beeldscherm. De antwoorden worden op traditionele manier genoteerd in een uitwerkboekje. De corrector kijkt na met behulp van een correctievoorschrift op papier. Als voorbereiding op deze examens werden de in 2001 en 2002 ontwikkelde pilotexamens Frans BB in december 2002 en februari 2003 aan de deelnemende scholen ter beschikking gesteld. Het examen is gemaakt in Question Mark Perception. Hiervan is alleen de presentatiemodule gebruikt, de Presenter. In experimenten met beeldscherm examens (o.a. Frans BB) in voorafgaande jaren is gebleken dat het programma niet betrouwbaar op scholen kon functioneren. In verband daarmee is bij dit examen gekozen voor een veilige werkwijze: het opschrijven van de antwoorden op papier. Zie voor de verdere ontwikkelingen van beeldschermprogrammatuur paragraaf 2.9. Het examen gaat uit van één verhaallijn, waaraan alle taalsituaties en vragen gekoppeld zijn. Vragen die leesvaardigheid toetsen maken ± 50% van het examen uit, ± 40% bestaat uit kijk- en luistervaardigheidsopgaven en ± 10% schrijfvaardigheidsopgaven. Een computer waarop de cd-rom afgespeeld wordt, moet minimaal voldoen aan de volgende systeemeisen: - Processor: Pentium II 450 MHz, geheugen 64 Mb - Videokaart: geheugen 16 Mb Resolutie: 800 x 600 pixels Kleuren: 24-bits - Geluidskaart: stereo, 16 bits, 44 kHz.
Deelname 21 scholen met in totaal 178 leerlingen namen deel aan het CSE Frans BB.
Voorlichtingsbijeenkomsten Voor de scholen is in februari 2003 een informatiebijeenkomst georganiseerd. Daarnaast is de informatie ook schriftelijk aan de scholen toegezonden. Het betrof een handleiding met uitgebreide informatie over voorbereiding, installatie en examenzitting. Een protocol voor de afname was bijgevoegd.
11
Verloop afname De afname van het examen is in het algemeen zeer goed verlopen. Speciaal voor de afname was een helpdesk in het leven geroepen, waarvan kort voor of tijdens het examen geen gebruik gemaakt werd. Er deden zich geen noemenswaardige problemen voor.
Resultaten Het examen is volgens de gebruikelijke procedures genormeerd. Uit de toets- en itemanalyse is gebleken dat het een moeilijk examen was. Er is gekozen voor de normeringsterm 1,1. Bij deze normeringsterm is het gemiddeld cijfer 6,3 en had 20% van de kandidaten een onvoldoende. Tabel 4: Resultaten Frans BB max. aantal punten 60
gemiddelde score 34
N-term aantal leerlingen in de steekproef
gemiddeld cijfer 6,3 1,1 137
Uit een vragenlijst voor docenten bleek dat de afwisseling van de verschillende vaardigheden in een semi authentieke setting door iedereen als zinvol ervaren werd. Een aantal docenten vond het examen te lang en te moeilijk. Sommige docenten maakten opmerkingen over de complexiteit van handelingen die de leerlingen moesten kunnen overzien. (zie paragraaf 2.8) Men vond het jammer dat de kandidaat de antwoorden in een uitwerkboekje moest schrijven met andere woorden dat het examen niet volledig computer gestuurd was.
Aanbevelingen 1.
Het digitaalexamen Frans kan op dezelfde wijze de komende jaren aangeboden worden. De lengte en moeilijkheidsgraad zullen een punt van aandacht moeten zijn.
2.
Zodra een betrouwbaar beeldschermprogramma beschikbaar is, moet deze toets geheel op de computer gemaakt worden. (zie paragraaf 2.9)
3.
De resultaten van het onderzoek naar de interactie tussen leerling en computer (zie paragraaf 2.8) moeten ook op dit examen toegepast worden.
12
2.2
ICT in de centrale praktische examens BB en geïntegreerde eindtoetsen KB
Opzet De centrale praktische examens voor de basisberoepsgerichte leerweg en de geïntegreerde eindtoetsen voor de kaderberoepsgerichte leerweg zijn in 2003 voor het eerst landelijk afgenomen. Ze werden voorafgegaan door twee jaar pilotexamens. In de examens voor sommige programma’s in de basisberoepsgerichte leerweg en de meeste programma’s in de kaderberoepsgerichte leerweg kwamen onderdelen voor die met de computer gemaakt moesten worden. Organisatie Begin februari ontvingen de scholen in tweevoud de examenopgaven en alle bijbehorende materiaal om zich voor te kunnen bereiden op de praktijk examens. Voor de computeronderdelen bestond dit materiaal uit een handleiding voor de computerafname en een CD-rom met bestanden. De bestanden moesten vooraf voor de leerlingen beschikbaar gemaakt worden op diskette of op een beveiligde plaats op het netwerk. Leerlingwerk op de computer werd tijdens het examen opgeslagen op een diskette of op het netwerk en zo mogelijk geprint. Afhankelijk van de voorkeur van de docent beoordeelt hij het werk vanaf het beeldscherm of vanaf papier.
Tabel 5: Computergebruik in het CPE van de basisberoepsgerichte leerweg Programma
Cd-
Soort gebruik
Tijdsduur
rom Grafische techniek
ja
Transport en logistiek nee
Voertuigentechniek
nee
onderdeel Beeldbewerkingsprogramma
430
DTP-programma
430
E-mail maken en printen (niet verzenden)
50
Routeplanner
50
Cd-rom met naslagwerk voor afstelgegevens en/of fabrieksgegevens (niet verplicht, ook boeken zijn toegestaan)
Bouw breed
ja
Word
235
Metalektro
nee
Beheersautomatiseringssysteem
300
Administratie
ja
Word
120
Excel
60
Consumptief horeca
nee
Tekstverwerking (niet verplicht)
Handel en verkoop
ja
Excel
45
Handel en
ja
Word
90
Excel
120
administratie
1
1
225
Onder :"tijdsduur onderdeel" is aangegeven hoeveel examentijd de onderdelen duren waarbij de betreffende toepassing gebruikt wordt. In veel gevallen zal het feitelijk gebruik door de kandidaat (veel) korter zijn.
13
Tabel 6: Computergebruik in de CIE van de kaderberoepsgerichte leerweg Programma
Cd-
Tijdsduur 1
Soort gebruik
rom Bt-timmeren
ja
onderdeel CAD
200
Excel Word
100 100
Bt-metselen
nee
CAD
150
Bt-schilderen
ja
CAD Word (+printer)
120 330
Excel Elektrotechniek
Grafische techniek
Installatietechniek
Metaaltechniek
Transport en logistiek
Voertuigentechniek
ja
ja
ja
nee
nee
nee
60
Beheersautomatiseringssysteem
200
Word
400
Cd-rom drive
615
Beeldbewerkingsprogramma Presentatieprogramma
615 615
CAD
200
Excel Tekstverwerking
100 300
CAD Tekstverwerker
200 100
Presentatieprogramma
200
E- mail maken en printen (niet verzenden)
50
Routeplanner
50
Cd-rom met naslagwerk voor afstelgegevens en/of fabrieksgegevens (niet Verplicht, ook boeken zijn toegestaan)
Bouw breed
Instalektro
Metalektro
ja
ja
ja
Paint Word
120 400
Printer
180
CAD
50
Excel
50
Beheersautomatiseringssysteem
50
CAD Uiterlijke verzorging
ja
Word (niet verplicht)
Administratie
ja
Word
100 15 180
Excel Powerpoint
60 60
Consumptief bakken
nee
Tekstverwerking Tekenprogramma
Consumptief horeca
ja
Word
Mode en Commercie
nee
Tekstverwerker (optioneel)
Handel en administratie
ja
Excel
30
Power point
45
Word
60
Routeplanner
25
Consumptief breed
ja
90 150 60
14
250
Het karakter van de opgaven is geheel vakgericht. De computer en de aangegeven programmatuur worden alleen gebruikt als hulpmiddel. Deelname Alle kandidaten van alle scholen namen deel. Voorlichtingsbijeenkomsten In najaar 2003 zijn op tien plaatsen in het land voorlichtingsbijeenkomsten gehouden voor schoolleiders en examensecretarissen, waar het gebruik van de computer een van de onderwerpen was. Resultaten In de volgende twee tabellen zijn de resultaten weergegeven van de opdrachten die met de computer gemaakt zijn. Tabel 7: Resultaten computeropdrachten in het CPE van de basisberoepsgerichte leerweg Programma
Cd-
Soort gebruik
rom Grafische techniek
Transport en logistiek
ja
nee
Beeldbewerkingsprogramma
nee
p-waarde
aantal
(% goed)
6
.82
DTP-programma
22
.71
Totaal examen
82
.73
E-mail maken en printen
2
.66
Routeplanner
5
.77
66
.74
Totaal examen Voertuigentechniek
Punten-
Cd-rom met naslagwerk voor
(opgave A)
4
.83
Afstelgegevens en/of
(opgave B)
2
.74
fabrieksgegevens (niet verplicht, (opgave C)
5
.73
106
.72
6
.58
110
.70
Word
38
.76
Excel
27
.60
ook boeken zijn toegestaan) Totaal examen Metalektro
nee
Beheersautomatiseringssysteem Totaal examen
Administratie
ja
Computervaardigheden Totaal examen Consumptief horeca
nee
Tekstverwerking (niet verplicht)
Handel en verkoop
ja
Excel
administratie
ja
.90 .73
8
.55
65
.72
Word, brief
5
.85
Word pakbon,
4
.84
Excel voorraadkaart
4
.89
10
.64
9
.71
73
.70
Totaal examen Handel en
6 80
Word factuur Excel spreadsheetgebruik Totaal examen
Tabel 8: Resultaten computeropdrachten in de CIE van de kaderberoepsgerichte leerweg
15
Programma
Cd-
Soort gebruik
rom Bt- timmeren,
ja
CAD tekening maken
Bt-schilderen
Elektrotechniek
ja
ja
8
.66
10
.80
totaal examen
122
.68
CAD, tekenen
20
.62
totaal examen
130
.67
Word, advies
8
.74
CAD tekening maken
8
.62
Excel kostenberekening
10
.71
Word werkschema
12
.72
Word bestelbon
8
.66
Word map
5
.88
totaal examen
94
.71
Beheersautomatiseringssysteem materiaallijst
24
.62
Beheersautomatiseringssysteem kostenberekening
7
.78
Word, meetverslag
7
.69
Word, verslag montageopdracht
9
.75
159
.69
beeldbewerkingsprogramma
18
.71
presentatieprogramma
14
.70
totaal examen
64
.73
CAD,gasleiding
10
.65
Excel, offerte gasleiding
8
.65
CAD, riolering
6
.64
Excel, offerte riolering
6
.60
Word, materiaallijsten
12
.67
Excel, calculatie
12
.78
Excel, nacalculatie
8
.70
Word, verslag
8
.62
128
.70
CAD (opgave A)
11
.64
tekstverwerker (opgave B)
16
.69
tekstverwerker (opgave D)
7
.61
presentatieprogramma (opgave E)
15
.74
totaal examen
94
.71
2
.75
6
.56
93
.70
totaal examen Grafische techniek
Installatietechniek
ja
ja
Cd-rom produceren:
Totaal examen Metaaltechniek
nee
Transport en logistiek nee
(% goed) .65
Word brief
nee
p-waarde
aantal 36
Excel materiaalberekening
Bt metselen
Punten-
e-mail maken en printen Routeplanner totaal examen
16
Tabel 8 vervolg: Resultaten computeropdrachten in de CIE van de kaderberoepsgerichte leerweg Cdprogramma
rom
Voertuigentechniek
nee
soort gebruik
aantal
p-waarde
punten
(% goed)
Cd-rom met naslagwerk voor afstelgegevens en/of
(opgave A)
5
fabrieksgegevens (niet verplicht, ook boeken zijn
(opgave B)
1
toegestaan)
(opgave C)
2
totaal examen Bouw breed
ja
128
Paint, kleuradvies
9
.82
Word, toelichting kleuradvies
4
.57
Word, decoratie inplakken
10
.80
Word, onderhoudsplan
18
.68
9
.83
totaal examen
90
.70
CAD, installatietekening aanpassen
18
.51
Excel, matariaallijst en kostenberekening
10
.48
135
.70
beheersautomatiseringssysteem (opgave B2)
5
.81
( opgave B3)
5
.68
Word, presentatie
Instalektro
ja
totaal examen Metalektro
ja
CAD (opgave E) totaal examen
10
.57
110
.68
Uiterlijke verzorging
ja
Word (niet verplicht)
Administratie
ja
Word tekstverwerkingsvaardigheden
27
.82
Word opdrachten
51
.65
Powerpoint
20
.71
6
.87
110
.73
15
.73
108
.72
18
.76
139
.71
Computervaardigheden totaal examen Consumptief bakken
nee
tekstverwerking tekenprogramma (niet verplicht) totaal examen
Consumptief horeca
ja
Word totaal examen
Mode en Commercie
nee
tekstverwerker (optioneel)
Handel en
ja
Excel, bedrijfsvergelijking
14
.66
Power point, webpagina
14
.75
totaal examen
51
.71
Word, inschrijvingsformulier
11
.85
5
.87
163
.74
administratie
Consumptief breed
ja
Routeplanner totaal examen
17
De p-waarden (% goed) voor de verschillende opdrachten die met de computer gemaakt zijn zeggen in vergelijking met de p-waarde van het examen als geheel, maar in beperkte mate iets over de vraag of het werken met de computer goed gefunctioneerd heeft. De opdrachten waren geheel vakgericht. de computer en de programmatuur werden alleen gebruikt als hulpmiddel. In de p-waarde zijn vier factoren onontwarbaar opgenomen: de computervaardigheid van de leerlingen, de vakvaardigheid van de leerlingen, een eventueel extra moeilijkheid of gemak door het gebruik van de computer en de moeilijkheid van de opgave zelf. Een p-waarde boven de .60 en een p-waarde die niet lager is dan de p-waarde van het gehele examen doet in elk geval vermoeden dat het gebruik van de computer niet al te veel problemen opgeleverd heeft. Aanbevelingen 1. Voor sommige programma’s geldt dat ze kunnen werken met de mogelijkheden die in 2003 gebruikt zijn, maar dat een speciale toepassing beter geschikt zou zijn. Voor Administratie is een toepassing ontwikkeld in Access 2000, waarmee de eindtermen beter getoetst kunnen worden. In 2004 kan deze toepassing op een aantal scholen uitgetest worden, waarna bij positief resultaat integrale invoering in 2005 kan plaatsvinden. Het zelfde geldt voor een winkelinrichtingsprogramma voor de programma’s handel en verkoop, handel en administratie, waarvan ook gebruik gemaakt kan worden door de programma’s uiterlijke verzorging, mode en commercie en bloembinden en –schikken. 2.
Met het uitbreiden van de informatiebronnen naar internet moet in de centrale examens voorzichtig omgegaan worden. Een internet simulatie op CD-rom, of een internet toepassing waarbij een alternatief voorhanden is, zijn toepasbare mogelijkheden. Opdrachten die vereisen dat tijdens het examen bepaalde internetsites geraadpleegd moeten worden, moeten vermeden worden omdat het risico dat de site op het examenmoment niet (meer) beschikbaar is, aanwezig is.
3.
Enkele centraal integratieve eindtoetsen voor de kader beroepsgerichte leerweg bevatten nog geen of optionele computeropdrachten. Overwogen moet worden ook in deze toetsen computeropdrachten op te nemen.
18
2.3
Het examen Nederlands schrijfvaardigheid vmbo T/G
Opzet Het examen Nederlands schrijfvaardigheid werd in 2003 voor het eerst afgenomen volgens het nieuwe vmbo programma. Dit betekende dat alle leerlingen dezelfde opdrachten maakten: drie opdrachten gedocumenteerd schrijven en een opdracht die aansloot bij het sectorwerkstuk. Door deze opzet hebben de leerlingen de volgende documenten op hun tafeltje: examenopdrachten; tekstboekje voor gedocumenteerd schrijven; invulformulier over het sectorwerkstuk. De tekstverwerker was met ingang van dit examen een toegestaan hulpmiddel voor alle scholen die dat wensten aan te bieden. Het gebruik van de computer bij dit examen is niet meer dan het gebruiken van de tekstverwerker om te schrijven. De leerlingen mogen de spellingcontrole gebruiken. (Leerlingen die zonder de computer werken mogen het woordenboek gebruiken.) In het examen 2003 kwam een invulformulier voor. Dit formulier werd voor de met de pen werkende leerlingen op papier aangeboden. Voor de leerlingen die met de computer werkten kon een bestand gedownload worden van de internetsite van de Citogroep. Dit moest voorafgaande aan het examen op de computer of op een diskette geplaatst worden, zodat het tijdens het examen voor de leerlingen beschikbaar was. Een handleiding die de scholen konden downloaden van de internetsite van de Cevo, bracht alle aandachtspunten voor een succesvolle afname onder de aandacht. Tevens bevatte de handleiding een protocol voor de afname zelf. De evaluatie vond plaats aan de hand van de ingezonden scores en een vragenlijst voor de docenten en de systeembeheerders. Deelname Het aantal deelnemende scholen is niet precies bekend, omdat de scholen zich niet van te voren hoefden aan te melden. Uit de aantallen ingezonden formulieren voor de corrector valt, uitgaande van de inzending van 3 formulieren per school, af te leiden dat in elk geval 54 scholen het examen met de tekstverwerker heeft laten maken. Voorlichtingsbijeenkomsten In een bijeenkomst voor schoolleiders en examensecretarissen over het nieuwe vmbo examen in het najaar van 2002 is aandacht besteed aan de mogelijkheid om de tekstverwerker te gebruiken bij het examen Nederlands schrijfvaardigheid vmbo TG. Verloop afname Op basis van de ingezonden vragenlijst kan geconstateerd worden dat de afname over het algemeen goed verlopen is. Het aantal leerlingen dat per school deelnam varieerde van 5 tot meer dan 60 voor de scholen die een vragenlijst opstuurden. Een kwart van de scholen heeft het examen in twee sessies afgenomen. De belangrijkste redenen om met dit examen mee te doen, waren: de kandidaten zelf zijn enthousiast; het bereidt de kandidaten goed voor op het PC-gebruik in de toekomst; zulke schrijfopdrachten worden altijd op de PC gemaakt. Er deden zich op enkele scholen technische problemen voor met het vastlopen van PC’s en met een printer. Het protocol voorzag steeds in de oplossing van deze problemen. Het downloaden van het formulier lukte goed. Enkele scholen hadden problemen met het gebruik van het formulier. Een school meldde: “Door een algehele stroomuitval in Midden-Limburg hebben de kandidaten het werk schriftelijk afgemaakt. Het werk is gedeeltelijk opgeslagen op diskettes en naderhand door de docent uitgeprint. “
19
Een docent meldde : “Door het vernieuwde examen hadden de leerlingen veel te veel papieren om zich heen: - opgavenboekje, - bijlagenboekje, -formulier gedocumenteerd schrijven, - instructie over opslaan, - envelop, -klad en definitieve prints. Geënquêteerde vindt het eigenlijk ondoenlijk.
Resultaten Tabel 9: Resultaten examen schrijfvaardigheid vmbo TG Experimenteel met tekstverwerker max. gemiddelde standaard deviatie aantal punten opdracht 1 affiche inhoud 7 3,5 2,0 techniek 3 2,5 0,7 opdracht 2 brief inhoud 7 5,1 1,6 techniek 2 1,7 0,6 conventies 4 2,5 1,2 opdracht 3 formulier inhoud 5 1,6 1,6 techniek 1 0,9 0,3 opdracht 4 artikel inhoud 5 4,3 1,1 techniek 2 0,8 0,6
gemiddelde
2,2 0,9
5,1 1,6 2,4
1,6 0,6 1,1
1,4 0,8
1,4 0,4
4,4 0,8
0,9 0,8
6,9 28,8
2,3 5,7
9 45
6,9 29,9
totaal inhoud totaal techniek totaal conventies totaal taalgebruik
24 8 4 9
14,5 5,9 2,5 6,9
13,9 6,0 2,4 6,9
6,6
6,4
161
standaard deviatie
3,0 2,8
taalgebruik totaal totaal
cijfer aantal leerlingen in de steekproef
2,0 6,0
Regulier zonder tekstverwerker
1989
De vergelijking tussen de resultaten van kandidaten met en zonder tekstverwerker laten een inmiddels vertrouwd beeld zien. De eindscores zijn iets hoger bij de groep die met de tekstverwerker werkt. Dit wordt veroorzaakt door een hogere score op de categorie inhoud. Dit betekent dat de kandidaten die met de tekstverwerker werkten de door de opdracht geëiste elementen vollediger en duidelijker in hun schrijfproduct opnamen. Een verklaring voor de hogere score bij de categorie inhoud zou kunnen zijn, dat kandidaten makkelijker een element dat ze vergeten hebben als nog kunnen invoegen. De categorie taalgebruik scoort gelijk. Dat wil onder andere zeggen dat het gebruik van de spellingcontrole geen invloed heeft.
Aanbevelingen 1.
De hoeveelheid papier op het tafeltje is moeilijk hanteerbaar en weinig voor de handliggend bij een computerexamen. Als het examen in deze vorm blijft bestaan is het wenselijk na te gaan op welke manier hier iets aan gedaan zou kunnen worden. Mogelijkheden zijn: Beperken van het aantal verschillende boekjes bij de opgaven op papier. De opgaven ook op het scherm aanbieden en alleen de bijbehorende teksten op papier. Het printen in de examenzaal laten
20
2.
vervallen als de opslag op het netwerk goed geregeld kan worden. Hiervoor aansluiting zoeken bij de werkwijze van de overige computer -examens in vmbo T/G
3.
Een invulformulier is niet essentieel voor het examen. Hoewel het downloaden van een formulier goed verlopen is, is de procedure eenvoudiger zonder deze extra handeling vooraf.
4.
Breng de mogelijkheid om het examen schrijfvaardigheid Nederlands vmbo TG met de tekstverwerker te maken expliciet onder de aandacht van docenten Nederlands en de scholen met als belangrijkste argument het enthousiasme van de leerlingen voor deze examenafname.
21
22
2.4
De examens Dans en Drama vmbo T/G
Opzet De centrale examens Dans en Drama werden in 2003 voor de eerste maal afgenomen. Van beide examens worden de vragen, de opdrachten en de bronnen (videomateriaal en afbeeldingen) op een cd-rom aangeboden. Zeer bijzonder in deze examens zijn de ontwerpopdrachten, waarbij de leerlingen met voorgeprogrammeerde elementen een dansvoorstelling c.q. een decor ontwerpen. De kandidaten schrijven hun antwoorden op de aan de scholen geleverde uitwerkbijlage. De docent beoordeelt het werk door middel van een correctievoorschrift op papier. Voor de ontwerpopdracht dans is een speciale beoordelingsmodule gemaakt. De corrector kan voor de beoordeling de resultaten dans via deze module op het scherm laten verschijnen. De resultaten op ontwerpopdracht drama worden in een hoofd- en een subdirectory opgeslagen. De school print de resultaten uit. Voorafgaande aan deze eerste examenafname werd in 2002 het voorbeeldexamen dans en drama op een aantal scholen getest.
De organisatie Het examen werd aangeboden op CD-rom. De scholen moesten het examen kort voorafgaande aan het examen installeren op de PC’s. Voor de afname van het examen was een handleiding (inclusief protocol) beschikbaar. Het tweede tijdvak viel onder de regeling aangewezen vakken. Dat wil zeggen dat het tweede tijdvak vanwege het geringe aantal kandidaten op een centrale plaats afgenomen wordt. Na afloop blijft het examen dan geheim.
Voor de presentatie van het examen werd als een soort schil gebruik gemaakt van de Auto Play Media Studio 4.0 Runtime, waarin Flash animaties en mediafragmenten worden ‘gehangen’. Auto Play Media Studio is hetzelfde programma waarin de Compex-examens gepresenteerd worden. De presentatie van de videobeelden bleek in dit programma het meest optimaal te zijn. Deelname Aan deze centrale examens werd nog door een beperkt aantal scholen en per school door een beperkt aantal kandidaten deelgenomen. Tabel Aantal scholen 10 Dans 2 Drama 7
Aantal kinderen 20 78
23
Voorlichtingsbijeenkomsten Op woensdag 12 maart 2003 werd een voorlichtingsbijeenkomst georganiseerd voor de deelnemende scholen. Aan de orde kwam de aard en de inhoud van het examen, de voorbereiding van de kandidaten op het examen en de organisatie en systeemtechnische aspecten. Voor dit examen was een handleiding en protocol beschikbaar. Verloop afname De afname is vrijwel alle scholen zonder problemen verlopen. Op één school moest tijdens het examen nog een installatie uitgevoerd worden, omdat dit vooraf vergeten was. Het examen kon daarna gewoon doorgang vinden. Van het tweede tijdvak is geen gebruik gemaakt. Resultaten Tabel 11: Resultaten centrale examens Dans en Drama Dans max. gemiddelde gemiddeld aantal score cijfer punten Vragen en opdrachten 49 33 ontwerpopdracht 13 11 Totaal 62 44 6,4 N-term 0,0 aantal leerlingen in de 17 steekproef
max. aantal punten 60 6 66
Drama gemiddelde score
Gemiddeld cijfer
48 4 52
7,2 0,0
35
De examens zijn erg goed gemaakt. Zelfs bij een N-term van 0 waren de cijfers hoog. Docenten en leerlingen waren enthousiast over deze examens. Het aanbieden van video met toneelen dans- fragmenten werd normaal gevonden. Zonder dat geen examen dans of drama. Vooral de ontwerpopdracht die in beide examens voorkwam, maakte de meerwaarde van het computergebruik duidelijk.
Aanbeveling 1. Aangezien deze examens technisch en organisatorisch goed verlopen zijn, moet zeker doorgegaan worden op de ingeslagen weg. 2.
De ontwikkeling van Flash-elementen in een digitaal examen is ook interessant voor andere digitale examenvormen. Deze techniek bij deze examens vervolmaken doet ervaring ontstaan bij de examenconstructeurs die nuttig is voor andere examens.
24
2.5
Het CKV2 examen havo en vwo
Opzet Het examen CKV2 is in 2003 voor de vierde maal afgenomen. Het is een examen dat op een CD-rom aangeboden wordt ter afname in het schoolexamen. Het examen komt in zijn geheel op het beeldscherm. Vragen en teksten worden ook nog op papier aangeboden. De leerlingen schrijven hun antwoorden op, op door de school verstrekt papier. De docent beoordeelt het werk op papier.
De organisatie Het examen CKV2 havo en vwo is door de Cevo aan de scholen aangeboden, ter afname in het schoolexamen. De Citogroep heeft het examen geconstrueerd en de CD-rom gemaakt. De Cevo heeft vooraf examendata vastgesteld en bekend gemaakt. Scholen mochten het examen niet eerder afnemen, later mocht wel. De inschrijving voor deze examens werd door de IB-groep Examendiensten georganiseerd. Scholen schreven vóór 1 november in op de formulieren voor de reguliere centrale examens. De opgaven werden door de IB-groep aan de scholen toegezonden op daarvoor afgesproken data kort voor het eerste afname moment en kort voor het tweede afname moment. De zending bestond uit CD-rom’s voor alle leerlingen met het volledige examen bestemd voor de presentatie op het beeldscherm, examenopgaven op papier en correctievoorschriften. De scholen ontvingen van het Cito een zending met een handleiding voor de afname, een vragenlijst voor docenten en systeembeheerders en optisch leesbare formulieren voor de dataverzameling. De scholen hadden de verplichting het correctievoorschrift van de Cevo te gebruiken. Zij werden verzocht de optisch leesbare formulieren in te zenden. De Cevo stelde op basis van de toets- en itemanalyse en reacties uit het veld een adviesnorm vast. De adviesnorm werd op een vooraf bekendgemaakte datum gepubliceerd op de site van de Citogroep. De school was niet verplicht deze norm toe te passen. De norm van het tweede afname tijdstip was gelijk aan die van het eerste. Voor het tweede afnametijdstip zijn geen data verzameld, vanwege het te verwachten geringe aantal leerlingen. Afname data 2003: 1e afnametijdstip 2e afname tijdstip havo woensdag 2 april donderdag 23 april vwo donderdag 3 april donderdag 24 april
9 – 12 uur 9 – 12 uur
Deelname Tabel 12: Aantallen scholen met het CKV2 examen en aantal scholen met de examens muziek of tehatex Ingeschreven voor het CD-rom examen Ingeschreven voor muziek of tehatex CKV2 2002 2003 2002 2003 Havo 137 185 342 295 vwo 136 171 296 263 Voorlichtingsbijeenkomsten Het organiseren en voorbereiden van een computer-examen vergt speciale aandacht voor een aantal punten. Omdat er een redelijk aantal scholen waren die voor het eerst deelnamen is besloten ook dit jaar weer een voorlichtingsbijeenkomst te organiseren. De Cevo en de Citogroep hebben in februari 2003 een voorlichtingsbijeenkomst verzorgd. Deze bijeenkomst voor examensecretarissen, systeembeheerders en docenten van de scholen die het examen voor het eerst afnamen vond plaats op 12 februari 2003 in Utrecht. Een zeventiental scholen heeft met een, twee of drie medewerkers aan deze bijeenkomst deelgenomen.
25
Verloop afname De afname is in grote lijnen goed verlopen. Het verslag van de Citogroep meldt: “Kort voor, tijdens en direct na de afname zijn geen verontrustende berichten van scholen ontvangen. De helpdesk van de Citogroep heeft slechts enkele keren hulp moeten bieden. Technische antwoorden op vragen werden onmiddellijk op de site van de Citogroep opgenomen in de FQA. De meeste informatie over de afname is verkregen via de ingezonden vragenlijsten. Daaruit blijkt dat de afname vrijwel probleemloos verlopen is. Als zich problemen voordoen zijn deze snel oplosbaar en kunnen de kandidaten het examen daarna volledig voltooien. Het vastlopen van computers waardoor ze opnieuw opgestart moeten worden en een slechte beeld en geluidskwaliteit blijft zich her en der voordoen. De oorzaken daarvan moeten gezocht worden in de hardware waarop de examens afgenomen worden. Het vastlopen van de PC kan legio oorzaken hebben die te maken hebben met de instellingen op de locale PC’s. De inzet van reserve PC’s blijkt en blijft een noodzakelijke voorwaarde voor een acceptabele examenafname. Slechte beeld en geluidskwaliteit heeft vaak te maken met oude of zeer eenvoudige videokaarten. Resultaten Van de examens van het eerste afname moment werden afnamegegevens verzameld voor de normering. (adviesnorm). De dataverzameling liet de volgende resultaten zien: Tabel 13: resultaten examens CKV2 Aantal ingeschreven Aantal kandidaten in de kandidaten * steekproef * Havo Vwo
4842 (3250) 2028(1521)
876 (683) 689 (581)
N-term
1,0 0,7
Percentage onvoldoendes bij gegeven N-term 19 20
* tussen haakjes worden de vergelijkbare aantallen in 2002 vermeld. Vijftig procent van de deelnemende scholen stuurde het vragenformulier voor de docent en systeembeheerder in. Uit de gegeven antwoorden bleek veel enthousiasme over het examen en soms kritiek. Er werd veel commentaar gegeven op afzonderlijke vragen. In het verslag van de Citogroep zijn deze opmerkingen weergegeven. De vraagconstructeurs en de vaksectie van de Cevo kunnen daar hun voordeel mee doen.
Aanbevelingen 1. De handleiding voor de afname wordt ook de komende jaren beschikbaar gesteld aan de deelnemende scholen. 2.
Een jaarlijkse vragenlijst kan vervallen. Deze blijkt jaarlijks ongeveer hetzelfde resultaat op te leveren. Het blijft wenselijk om op enige wijze informatie te verkrijgen over het (technisch) verloop van het examen. Voor 2004 moet bezien worden, wat daarvoor de beste methode is.
3.
In het Gele Katern is bekend gemaakt dat in 2005 overgegaan zal worden op 450 Mhz computers (Pentium III) als minimum systeemeis. Uit de antwoorden op de vragenlijst blijkt dat nog heel wat scholen werken met oudere computers. Het komend jaar moet nagegaan worden of de scholen inderdaad kunnen voldoen aan de hogere systeemeisen.
26
2.6
Compex-examens vmbo T/G, havo en vwo
opzet De Compex-examens werden in 2003 voor het eerst afgenomen. Voor biologie havo, natuurkunde vwo en aardrijkskunde vwo zijn er in 2002 resp. 2000 eerdere experimenten geweest. Een compex -examen bestaat voor ongeveer 70% uit vragen die ook in het 'gewone' examen worden aangeboden. 30% van de vragen moeten de kandidaten beantwoorden met behulp van vakspecifieke programmatuur. De kandidaten moeten vakspecifiek programmatuur gebruiken om de vragen te beantwoorden.. Vanuit een beginscherm kunnen de kandidaten de benodigde bestanden en programma’s benaderen. De vragen worden op papier aangeboden en ook de antwoorden moeten op papier worden gegeven Het examen heeft de normale lengte en de afnameduur is ook gelijk aan die van het 'gewone' examen. Met dat verschil dat indien nodig een half uur verlenging gegeven mag worden. Dit omdat het in deze experimentele periode mogelijk is, dat een verkeerde inschatting gemaakt wordt van de benodigde tijd. De organisatie De Citogroep heeft het examen geconstrueerd en de CD-rom gemaakt. De Cevo heeft het examenmodel opgesteld en het examen vastgesteld. De scholen zijn door de Cevo en Citogroep voor deelname aanhet experiment uitgenodigd. De opgaven werden door de Citogroep aan de scholen toegezonden op de daarvoor afgesproken datum, kort voor het eerste tijdvak. Er was geen tweede tijdvak. Kandidaten die aan het tweede tijdvak deelnemen maken het reguliere examen. De zending voor het computerexamen bestond uit examenopgaven op papier, CD-rom’s voor alle leerlingen met de programmatuur en bestanden en correctievoorschriften, een protocol voor de afname, een installatiehandleiding, een vragenlijst voor de leerlingen, een vragenlijst voor de docenten en systeem beheerders en optisch leesbare formulieren voor de dataverzameling. Als voorbereiding is in december 2003 een bijeenkomst voor docenten belegd. De docenten konden vanaf dat moment beschikken over oefenmateriaal dat de zelfde vorm had als de definitieve examens. De afname vond plaats op het in het examenrooster daarvoor aangegeven moment dat ook gold voor de reguliere examens. De evaluatie van de examenafname 2003 vindt plaats in september op een bijeenkomst van docenten van deelnemende scholen en alle betrokkenen bij de constructie.
Tabel 14: Gebruikte programmatuur bij de verschillen vakken vmbo T/G natuur-scheikunde 1
biologie aardrijkskunde havo
natuurkunde 1,2 biologie
aardrijkskunde economie 1 vwo
natuurkunde 1,2 biologie
wiskunde A 1,2 en 1
27
IPCoach 5 (aangepaste versie) Crocodile Physics Lens videomateriaal De grote Bosatlas 2003/2004 AND routeplanner IPCoach 5 Excel Meer PowerSim Evolution lab videomateriaal De grote Bosatlas 2003/2004 Excel CBS site IPCoach 5 PowerSim Fly lab videomateriaal Excel
De opzet van het project is dat de examens in elk geval voor drie achtereenvolgende jaren beschikbaar zouden zijn. (2003, 2004 en 2005).
Start scherm van het computerexamen havo biologie 2003
Deelname Voor elk schooltype werden 5 scholen uitgenodigd om met hun kandidaten voor de betreffende vakken deel te nemen. Voor havo namen twee scholen extra deel aan biologie, die ook al deel genomen hadden aan het examen 2002. De uiteindelijke deelname was kleiner. 3 vwo scholen waarvan 2 met alle vakken, 5 havo scholen waarvan 3 met alle vakken en 3 vmbo T/G scholen waarvan 1 met alle vakken. De redenen voor het afvallen van scholen waren divers. Bij vwo stopten scholen hun deelname toen bekend werd dat vwo om financiële redenen in 2004 geen vervolg zou krijgen. (Wat overigens inmiddels weer wel het geval is.) Bij vmbo T/G waren daar schoolinterne redenen voor, zoals ziekte en andere omstandigheden die de aandacht van de school vroegen.
Voorlichtingsbijeenkomsten Schoolleiders van belangstellende scholen woonden in juni 2002 een informatiebijeenkomst bij. Op deze bijeenkomst werd de gehele gang van zaken tijdens het project toegelicht. Er konden vragen gesteld worden en de informatie werd tevens op papier voor de verschillende vaksecties meegegeven. De aanmelding vond plaats voor de zomervakantie en in begin september. Begin december vond bij de Citogroep te Arnhem een bijeenkomst per vak plaats voor de docenten. Op deze bijeenkomst werden voorbeeldopgaven verstrekt en besproken en werden ideeën uitgewisseld over de wijze waarop leerlingen op deze examens voorbereid kunnen worden. Op en na deze bijeenkomst bleek dat sommige docenten de informatie eerder hadden willen hebben en dat ze een set voorbeeldopgaven niet voldoende vonden om met hun leerlingen aan de gang te gaan. In februari/maart 2003 hebben een Citogroep medewerker en de projectmanager van de Cevo alle scholen bezocht om de voorbereiding van de afname door te spreken en een bijdrage te leveren aan de oplossing van eventuele knelpunten. In deze bezoeken werd gesproken met de schoolleider/examensecretaris en de systeembeheerder/ict-coördinator.
28
Verloop afname De afname is bij de meeste vakken en de meeste scholen goed verlopen. De scholen hadden de examenafname grondig voorbereid. De keuze en inrichting van de lokalen, de inzet van surveillanten en systeembeheerders tijdens de examens en de organisatie van elkaar opvolgende sessies heeft voldoende aandacht gekregen. De systeembeheerders zijn er alle in geslaagd de programmatuur voor de kandidaten beschikbaar en werkend te maken.
Afbeelding van leerling product naar aanleiding van opgave in het examen vwo natuurkunde 1,2 2003
Er deden zich twee vervelende problemen voor. Bij biologie vwo bleek een programma vast te lopen wanneer de kandidaten als verhoudingsgetal het cijfer nul invoerden. Dit was bij de oefenopgaven niet gebleken, omdat er in die opgaven weinig aanleiding was een verhoudingsgetal nul in te voeren. Sommige leerlingen hebben vervolgens deze vragen overgeslagen. Het examen aardrijkskunde is op drie van de vier scholen mislukt. Door een brocheerfout bij de Citogroep waren de correctievoorschriften van de compex-vragen in het opgavenboekje geplaatst en de opgaven in de correctievoorschriften. Toen dit ontdekt werd, zijn drie scholen overgestapt op de reguliere examens. Eén school heeft zelf een nieuw, correct examen samengesteld door ook de enveloppe van de correctievoorschriften open te maken. Bij de overige vakken deden zich geen noemenswaardige problemen voor.
Resultaten gegevens compex-examens vergeleken met de reguliere examens De deelnemende scholen is gevraagd de scores van alle kandidaten op te sturen. Op basis van de verzamelde gegevens kon de moeilijkheidsgraad van de compex-examens vergeleken worden met die van de reguliere examen, immers 60% vragen waren in beide examens gelijk. Op basis van deze overlap gegevens is de normeringsterm zo vastgesteld dat aan beide groepen kandidaten de zelfde eisen gesteld zijn. Alleen bij biologie vwo en aardrijkskunde havo hebben andere overwegingen gegolden. Bij biologie vwo is de Normeringsterm op 1,3 gezet. Hiermee zijn de leerlingen die vragen overgeslagen hadden omdat het programma vastliep, gecompenseerd.
29
Voor aardrijkskunde havo is een afzonderlijke Normeringsterm vastgesteld voor de groep die het reguliere examen moest maken in plaats van het compex -examen waarop zij zich voorbereid hadden. In de hier volgende tabel zijn de N-termen en de gemiddelde cijfers per vak weergegeven
Tabel 15
Compex
Regulier
Schaallengte Normeringsterm
Gem. cijfer
Schaallengte Normerings- Gem. term cijfer
vmbo na/sk 1 t/g
67
1,9
6,3
64
1,2
6,1
biologie
53
0,9
6,4
57
0,8
6,4
aardrijkskunde
55
0,8
6,6
55
0,8
6,4
natuurkunde 1,2
83
0,8
7,1
80
0,8
6,4
biologie
84
1,4
6,1
86
0,8
6,1
aardrijkskunde
77
1,5/2,1
6,5
70
1,5
5,9
economie 1
65
1,6
6,2
65
1,6
6,0
natuurkunde 1,2
82
1,1
7,2
81
1,1
6,7
biologie
78
1,3
6,5
77
0,9
6,4
wiskunde A 1,2
87
1,5
7,4
90
1,5
5,9
wiskunde A 1
86
1,1
6,8
84
1,1
6,4
havo
vwo
vragenlijst leerlingen De kandidaten vulden na het maken van het examen een korte vragenlijst in. (zie bijlage 1) Daaruit bleek dat de voorbereiding in sommige gevallen beter had gekund. De meerderheid van de kandidaten was daar echter positief over. 52% van de kandidaten vond het compex-examen bewerkelijker dan het gewone en zei meer tijd nodig gehad te hebben. De toegestane verlenging met een half uur was voor de meeste kandidaten overigens voldoende. Tachtig procent van de kandidaten zou het uitstekend vinden als ze de antwoorden niet op papier hadden moeten geven, maar in hadden moeten typen. Alle opgaven en informatiemateriaal op het beeldscherm aanbieden lijkt 50% van de kandidaten een goed idee. Bij het examen havo economie 1 waren de vragen ook op het beeldscherm geplaatst. 20% van de kandidaten reageerde hier afwijzend op. Op de vraag een algemene mening te geven over deze wijze van examineren leverde de volgende reacties op: Wat is je uiteindelijke mening over dit examen?
Prettiger dan een gewoon examen Het maakt mij niet zoveel uit Voor mij hoeft dit helemaal niet
30
Frequentie
Percentage
114 193 129
26 44 30
De keuze voor de optie “Voor mij hoeft dit helemaal niet” varieert sterk per vak (5% tot 69%). Een negatief oordeel bij deze overall vraag houdt duidelijk verband met tijdnood en moeilijkheidsgraad. Bij natuur-scheikunde 1 vmbo, economie havo, biologie vwo en natuurkunde vwo zijn de aantallen kandidaten die een negatief oordeel uitspreken het hoogst. Natuur-scheikunde 1 vmbo was het compex-gedeelte moeilijk, bij de overige vakken gaf rond de 90% van de kandidaten aan meer tijd nodig gehad te hebben dan normaal. De ervaring met het construeren van dit type examens moet deze inschattingsfouten voorkomen.
vragenlijst docenten en evaluatie docenten De docenten vulden een vragenlijst in en woonden een evaluatiebijeenkomst bij op 18 september 2003. Systeembeheerders maakten veel bezwaar tegen het opslaan van examenbestanden op diskettes.
Aanbevelingen 1.
Geef meer aandacht aan de informatie bij de start van het schooljaar en de ondersteuning van docenten. De tweede en derde groep scholen hebben in elk geval meer materiaal, omdat er volledig afgeronde examens beschikbaar zijn. Geef scholen die voor de eerste keer meedoen ondersteuning in een tweetal bijeenkomsten en door middel van een site waarop vragen gesteld en beantwoord kunnen worden. Na een eerste jaar ervaring opgedaan te hebben moet schriftelijke en on-line ondersteuning voldoende zijn.
2.
In een bijeenkomst voor systeembeheerders en ict-coördinatoren moeten de systeemtechnische keuzes toegelicht worden, waardoor begrip kan ontstaan voor het feit dat de computerconfiguraties van de school ingezet worden voor een landelijke afname van examens en dat dit enige standaardisatie vereist. Anderzijds moet van systeembeheerders en ict-coördinatoren vernomen worden welke opzet het beste werkbaar is binnen de school.
3.
Voor de opslag van gegevens tijdens het examen moet niet langer gebruik gemaakt worden van diskettes. Ontwikkel een adequate opslag methode met back-up functie voor installatie in een netwerk directory.
4.
Bij de constructie van de opgaven dient de meerwaarde van de computeropgaven een belangrijk uitgangspunt te blijven. Bovendien moet bij een aantal vakken extra aandacht besteed worden aan de moeilijkheidsgraad en de lengte van het examen.
5.
Ga bij enkele vakken na of het mogelijk en aantrekkelijk is het gehele examen op het beeldscherm aan te bieden. Dus ook de reguliere opgaven op het scherm presenteren, zodat de afname situatie gedurende het gehele examen gelijk is en het aantal papieren op de tafeltjes kan verminderen.
31
32
2.7
Het digitaalexamen Duits vmbo BB
Opzet In 2002/2003 werd een digitaalexamen Duits BB geconstrueerd op basis van het sjabloon van Frans BB van 2002. Het is een examen met contexten, videofilmpjes, luisterfragmenten en schrijfopgaven op het beeldscherm. Het examen gaat uit van een verhaallijn, waaraan alle taalsituaties en vragen daarbij gekoppeld zijn. vragen die leesvaardigheid toetsen maken ± 50% van het examen uit, ± 40% bestaat uit kijk- en luistervaardig heidsopgaven en ± 10% schrijfvaardigheidsopgaven.
De constructie moest in eerste instantie aantonen dat de formule van Frans ook bruikbaar is voor andere talen. In tweede instantie moest het een voorbeeld opleveren voor scholen die Duits BB op de computer in het centraal examen gaan opnemen. In derde instantie was het een proefexamen voor het testen van beeldschermprogrammatuur (CBT-programma’s.) Zie voor de verdere ontwikkelingen van beeldschermprogrammatuur paragraaf 2.9. Deelname De toets is op kleine schaal op twee scholen afgenomen buiten het centrale examen. Het doel van de afname was de CBT programmatuur uit te testen (zie paragraaf 2.9) Er zijn geen systematische gegevens verzameld van leerlingscores. Resultaten De globale indruk was dat het examen goed te maken was voor de BB-leerlingen.
33
34
2.8
Experimenten met digitaaltoetsen vmbo BB (Kühlemeier, 2003)
Opzet In 2002/2003 is door de Citogroep een onderzoek uitgevoerd naar het functioneren van de navigatie van het programma en van verschillende itemtypen die gebruikt kunnen worden in een digitale toets. Hiertoe zijn voor verschillende vakken korte beeldschermtoetsen samengesteld waarin de vragen in verschillende varianten opgenomen zijn. Onderzoeksversies van de beeldschermexamens metaaltechniek, voertuigentechniek, handel en verkoop en biologie alle vmbo BB zijn voorgelegd aan ongeveer 30 tot 60 leerlingen. De handelingen die de leerlingen verrichten werden geobserveerd door een proefleider. Bij de observaties werd gebruik gemaakt van een checklist die op basis van een taakanalyse samengesteld is.
Vakken in het experiment biologie motorvoertuigentechniek metaaltechniek handel en verkoop Vraagtypen In de onderzoeksversies van de examens zijn zes itemtypen vertegenwoordigd. 1. Bij de standaard meerkeuzevraag moet de kandidaat het (meest) juiste alternatief selecteren door op een van de keuzevakje te klikken. 2. De multiple meerkeuzevraag is identiek aan de standaard meerkeuzevraag zij het dat er meer alternatieven goed kunnen zijn en de kandidaten derhalve op meer keuzevakjes kunnen klikken. 3. Bij de kort antwoord vragen moet de kandidaat eerst met de cursor in het tekstvak klikken om daarin vervolgens een woord of een getal in te typen. 4. Bij de point-and-click vragen moet de kandidaat met de cursor een via coördinaten gedefinieerde locatie in bijvoorbeeld een grafiek of foto aanwijzen en die locatie vervolgens met de muis aanklikken. 5. Bij de drag-and-drop items moet de kandidaat een element verplaatsen van een vaste positie op het scherm naar een via coördinaten gedefinieerde locatie elders op het scherm. De benodigde muishandelingen zijn aanklikken, verslepen en de muis weer loslaten. 6. Een matching opgave confronteert de kandidaat met twee rijen of kolommen met elementen die gematcht moeten worden. Daartoe moet de kandidaat eerst op het element klikken om het vervolgens met de muis naar de andere rij of kolom te verslepen. In de onderzoeksversies van de beeldschermexamens komen alleen zogeheten one-to-one matching opgaven voor waarbij het aantal elementen in de ene rij of kolom gelijk is aan dat in de andere rij of kolom.
Deelname Totaal 154 leerlingen uit het derde, vierde en vijfde leerjaar namen deel aan het onderzoek.
Resultaten Standaard meerkeuze vragen blijken bij de beantwoording geen problemen te geven, eenvoudige multipel meerkeuze vragen, point-en-click vragen en matching vragen ook niet. Moeilijk zijn drag-anddrop vragen. De kort antwoord vragen lopen ook niet zonder problemen. Het zelf opstarten en weer wegklikken van beeldmateriaal en videomateriaal lijkt vooralsnog problematisch en te complex. Behalve deze globale bevindingen levert het onderzoek een groot aantal suggesties op voor de inrichting van de navigatie en voor het verduidelijken van de verschillende vraagtypen. (Kuhlemeier, 2003)
35
Aanbevelingen 1. Het onderzoek van Kuhlemeier levert een groot aantal aanbevelingen op die bij de constructie van beeldschermexamens zeer sterk ter harte genomen moeten worden. Bij de eerste grootschalige toepassingen van beeldscherm examens zoals deze voor de basisberoepsgerichte leerweg voorgenomen zijn moeten deze bevindingen richtinggevend zijn. 2.
Het rapport levert ook adviezen voor de functionele eisen die gesteld moeten worden aan een CBT programma.
3.
Soortgelijk onderzoek is steeds gewenst bij het toepassen van nieuwe vraagtypen. Een dergelijk onderzoek is ook wenselijk voor de Compex-examens. Het geeft een antwoord op de vraag in hoeverre een opgave gecompliceerd wordt door complicaties in de programmatuur.
36
2.9
Experimenten met een afnameomgeving voor beeldschermexamens (Van den Boogaard en Martinot 2003)
Opzet In de periode 2000-2002 is ervaring opgedaan met het gebruik van Question Mark Perception for Windows voor het realiseren van CBT's in examens. Het gebruik van QMP for Windows heeft diverse knelpunten aan het licht gebracht. Naar aanleiding hiervan is besloten nader onderzoek te doen. Enerzijds is nagegaan of de QMP-hosting sofware kan worden ingezet voor het realiseren van CBTexamens, anderzijds werd gekeken naar de mogelijkheden van een alternatieve afname-omgeving die met behulp van programmatuur van AMN-systems kan worden gerealiseerd. (AMN-systems is een partner die reeds eerder soortgelijke programmatuur voor de Citogroep ontwikkeld heeft.) Het verschil tussen beide systemen is het volgende: QMP OMP-hosting werkt met een speciale server. De server is fysiek een PC waarop door de Citogroep alles voor geïnstalleerd is. De server wordt aangesloten op het netwerk van een school, (IP techniek). De toets wordt op de server gezet. De school maakt een leerlingen lijst en een docenten lijst aan. De leerlingen werken aan de cliënt. De toets draait op de server. (ook video) De database (SQL database 2000) staat ook op de server. Open vragen corrigeert de docent via QMP. AMN AMN programmatuur werkt met locale installatie van een toets: op de cliënt en of op het netwerk. De toets wordt op een CD-rom aangeleverd. en verspreid via het netwerk. (Er zijn schrijf en executierechten op het netwerk nodig.) Er wordt geen database gebruikt, maar XML-files. Open vragen worden via papieren uitdraai nagekeken.
Om een goed beeld te krijgen van de mogelijkheden van de verschillende CBT-omgevingen zijn op de proefscholen twee verschillende CBT's uitgeprobeerd: een met een 'laag ambitieniveau', gekozen is voor het vak biologie (technisch eenvoudige vragen zoals die ook in papieren examens kunnen voorkomen); een met een 'hoger ambitieniveau', gekozen is voor het vak Duits (integratie lees-, kijk/luister-, en schrijfvaardigheden, met gebruik van multimedia die niet in papieren vorm kunnen voorkomen).
Deelname In het kader hiervan zijn in april/mei 2003 op 3 scholen in beide afname-omgevingen experimentele CBT-afnames (buiten de examens om) georganiseerd. Er deden in het totaal 73 leerlingen mee. Docenten en systeembeheerders van de 3 scholen waren eveneens belangrijke deelnemers.
Verloop afname De afnameomgevingen werden door systeemdeskundigen van de Citogroep in samenwerking met de systeembeheerder van de school geïnstalleerd. Het is op alle drie de scholen gelukt de beide systemen te installeren. Op iedere school bleek dit zijn eigen problemen te geven.
Resultaten Met beide programma’s zijn de afnames op de meeste scholen geslaagd. Op een school kon de QMP toets Duits niet gerealiseerd worden. Bij beide afname-omgevingen kwamen tijdens de afname problemen aan het licht. We vatten de belangrijkste hieronder samen.
37
M.b.t. de afname-omgeving met AMN: het wegschrijven van resultaten naar het netwerk ging op twee van de drie scholen niet goed, dat wil zeggen dat niet gegarandeerd was dat de examenresultaten goed bewaard werden. Het programma voldoet (nog) niet aan alle inhoudelijke eisen. De data zijn na afname benaderbaar en dus met de (specialistische) XML-kennis ook te wijzigen. M.b.t. de afname-omgeving met QMP: De installatie van de QMP-hosting-server is specialistisch werk. Er bleek sprake te zijn van lange installatietijden: op elke school moest ‘gefinetuned’ worden door Citogroep deskundigen om de server op de specifieke netwerksituatie op school aangesloten te krijgen. Deze afnameomgeving lijkt relatief gevoelig voor de wijze waarop PC’s (c.q. browsers) zijn geconfigureerd. In een geval verschenen foutmeldingen als leerlingen open vragen wilden beantwoorden, op een andere school verschenen foutmeldingen als leerlingen bijlagen wilden openen. De exacte oorzaak moet nog worden vastgesteld, mogelijk heeft e.e.a. ook te maken met de wijze waarop html-code en/of javascript in de QMP -opgaven is verwerkt bij vraagtypen die niet standaard in QMP aanwezig zijn. in een geval ontstonden tijdens de afname van de CBT Duits zodanige problemen (leerling-PC’s liepen vast) dat de CBT-afname moest worden afgebroken. Het vermoeden bestaat dat dit het gevolg was van de multimedia die deel uitmaakt van de toets Duits, maar nog niet geheel duidelijk is, waarom op de andere scholen deze problemen niet zijn opgetreden. Het programma voldoet niet aan een belangrijk aantal inhoudelijke eisen. Strikt genomen geen probleem van de software, maar voor de examensituatie wel ongewenst is dat na toetsafname de automatisch toegekende scores voor de gesloten vragen met de standaard-scoringsmodule van QMP eenvoudig kunnen worden aangepast.
Besluiten Deze en een groot aantal andere bevindingen die in het verslag van dit onderzoek te vinden zijn (Van den Boogaard, Martinot 2003) hebben inmiddels tot de volgende besluiten geleid. Er wordt voor examens voortgezet onderwijs niet verder gewerkt met Question Mark Perception, niet in de Windows variant en niet in de Hosting variant. De AMN programmatuur is evenmin passend voor de gewenste situatie, mogelijk wel passend te maken. Hierbij moet echter zoveel nieuw gebouwd worden, dat totale nieuwbouw dan aantrekkelijker is. De Citogroep ontwikkelt voor een eenvoudige CBT afname van examens in de basisberoepsgerichte leerweg vmbo een CBT programma dat voldoet aan het programma van eisen. Een groot voordeel bij de ontwikkeling van dit nieuwe pakket is dat het afgestemd kan worden op de Nederlandse examensituatie en dat oplossingen ingebouwd kunnen worden voor problemen die zich met andere programma’s voorgedaan hebben.
38
2.10 Experiment met online afname tweede tijdvak Opzet Het tweede tijdvak kent een aanzienlijk geringer aantal kandidaten en voor een aantal vakken de zogenaamde aangewezen vakken een zeer gering aantal kandidaten. De tweede tijdvakken voor deze aangewezen vakken worden reeds enige jaren op een beperkt aantal plaatsen onder verantwoordelijkheid van de staatex amencommissie afgenomen. Bij het experiment met de online afname werd in eerste instantie gedacht aan toepassing bij de aangewezen vakken met een mogelijke latere uitbreiding naar het gehele tweede tijdvak. De IB -groep afdeling Schoolexamens heeft in samenwerking met de Open Universiteit en ITdeskundige toetsprovider Approbare het experiment opgezet en uitgevoerd. Het experiment Het experiment omvatte het totale examentraject van inschrijving tot resultaatmelding. Het experiment werd uitgevoerd buiten elke examensituatie in november 2003. Scholen schreven vwo kandidaten in via de inschrijfprogrammatuur van Approbare. Zij konden kiezen voor drie afnameplaatsen (Examencentra van de Open Universiteit in Eindhoven, Amsterdam en Groningen) en drie afname data binnen een week. Per mail ontvingen de scholen een bevestiging van de inschrijving en informatie over de wijze waarop het examen zou verlopen. Kandidaten melden zich op de betreffende data aan in het in de mail vermelde examencentrum van de Open Universiteit. Ze werden gecontorleerd op identiteit en kregen een computer toegewezen. Na de inlogprocedure konden de kandidaten het examen online maken. Het betrof in het experiment de examen Vwo Engels en Havo wiskunde A1,2. De programmatuur van Approbare presenteerde de examens in drie flexibele frames op het scherm. Het bovenste frame bevatte het uitgangsmateriaal, het middelste de vraag en in het onderste frame konden de kandidaten hun antwoorden invoeren. De programmatuur was extern gehost (bij Approbare). In het examencentrum was niet meer nodig dan een computer een internetverbinding en de Browser. Na het afsluiten van het examen werd met de kandidaten een evaluatie gesprek gevoerd. e e De 1 en 2 correctie vond eveneens online plaats met daarvoor geschikte programmatuur van Approbare. Na een week kregen de scholen de resultaten teruggemeld.
Deelname In Eindhoven namen 2 scholen deel met 8 kandidaten op 2 dagen In Amsterdam namen 2 scholen deel met 8 kandidaten op 2 dagen In Groningen namen 2 scholen deel met 8 kandidaten op 2 dagen Het werk werd beoordeeld door 4 beoordelaars van de Staatsexamencommissie. Op elke locatie was een surveillant aanwezig, met indien nodig een vervanger. Op elke locatie waren waarnemers van de IB-groep, Open Universiteit, Citogroep of Cevo aanwezig. Verloop afname De afname is volgens planning verlopen. Resultaten De online inschrijving en uitnodiging per mail van de kandidaten is zonder problemen uitgevoerd. De procedures in de examencentra van de Open Universiteit zijn correct uitgevoerd. De kandidaten konden de examens goed maken vanaf het beeldscherm. De kandidaten gaven een groot aantal opmerkingen over de presentatie van de examens en over het functioneren van het programma.
39
Aanbevelingen 1.
De online afname in examencentra van centrale examens kan voor de aangewezen vakken waarvan de examen opgaven geheim moeten blijven en voor het geheime derde tijdvak toegepast worden. Daartoe moet eerst de volgende zaken bezien worden: is de capaciteit van de examencentra voldoende om de examens binnen de gewenste tijdsperiode af te nemen de kosten van de papieren afname t.o.v. de online afname
2.
Overwogen kan worden of de online afname van het gehele tweede tijdvak met de in dit experiment gebruikte programmatuur op de scholen uitgevoerd kan worden. De kostenvergelijking van de papieren afname t.o.v. de online afname lijkt hier zondermeer ten gunste van de online afname uit te vallen. De online afname maakt later hergebruik van opgaven mogelijk omdat de opgaven na gebruik niet meer op de scholen aanwezig zijn.
40
2.11
Algemene aanbevelingen op basis van de ervaringen bij diverse projecten
Elk paragraaf in dit verslag eindigt met aanbevelingen voor de korte termijn speciaal gericht op de voortzetting van de ontwikkeling bij de betreffende examens. Wie al deze losse aanbevelingen overziet, kan daar een aantal algemene aanbevelingen uithalen voor de verdere ontwikkeling van computerexamens In het hier volgende zijn een aantal van deze algemene aanbevelingen bij elkaar gezet. 1.
Bij de acceptatie van computerexamens speelt de meerwaarde van de aangeboden opgaven een grote rol. Docenten moeten steeds betrokken worden bij de bepaling of een opgave op de computer een duidelijke meerwaarde heeft boven opgaven op papier. Dit kan inhoudelijke meerwaarde zijn, maar ook een meerwaarde op het terrein van het organisatorisch gemak.
2.
Onderzoek naar de interactie tussen leerling en computer levert nuttige informatie op over de vraag of de computerpresentatie geen extra moeilijkheid voor de leerlingen toevoegt. Voor verschillende standaardvragen geeft het onderzoek dat in paragraaf 2.8 besproken is eerste aanwijzingen. Voor andere vraag- en examenvormen is dergelijk onderzoek ook gewenst. Leerlingen vragen naar de manier waarop examenpresentatie op de computer verbeterd kan worden, levert eveneens veel informatie op. Dit bleek in het experiment dat in paragraaf 2.10 beschreven is. Het verdient aanbeveling dit bij nieuwe examenvormen te herhalen
3.
Examensecretarissen en systeembeheer betrekken bij de ontwikkeling van programmatuur is van groot belang. Zij kunnen aangeven welke opzet technisch en organisatorisch het beste werkbaar is binnen scholen. (zie paragraaf 2.6)
4.
De computerexamens waarbij dataopslag nodig is, moeten als netwerktoepassingen aangeboden worden. Voor het inrichten van een examenomgeving op het netwerk met examenaccounts kunnen adviezen gegeven worden op basis van de werkwijze die op verschillende scholen al toegepast wordt. (zie paragraaf 2.6)
5.
De authenticiteit van digitaal examenwerk kan gegarandeerd worden door aan het eind van een examenzitting een print te maken of door de gezamenlijke bestanden van de kandidaten direct na de zitting op een CD-rom te branden. (zie paragraaf 2.2, 2.3, 2.6)
6.
Computerexamens moeten als het enigszins kan onafhankelijk van de bestaande media-players geproduceerd worden. Het voortdurend aanpassen van de commerciële media-players en het grote aantal verschillende versies maakt het moeilijk om audiovisueel materiaal goed te presenteren. Dat wil zeggen dat er een player met een examen meegeleverd zou moeten worden die niet interfereert met de player die reeds geïnstalleerd is. (zie pargraaf 2.4, 2.5, 2.6)
7.
Het online aanbieden van examens blijkt mogelijk zonder storingen wanneer de hosting, internetaansluiting en de afnameomgeving voldoet aan de daarbij behorende eisen. (zie paragraaf 2.10) Het is gewenst verdere experimenten hiermee te doen.
41
42
3.
Ontwikkelingen en mogelijkheden op korte termijn
3.1
De ontwikkeling van computerscoorbare digitale examens
3.1.1
Digitale examens moderne vreemde talen
Het digitale examen Frans basisberoepsgerichte leerweg is met veel enthousiasme ontvangen. Leerlingen reageren positief op deze examens. Docenten vragen of dit type examens ook voor andere talen en andere niveaus gemaakt gaat worden. In principe zijn de digitale examens moderne vreemde talen mogelijk voor alle talen en voor alle niveaus. Voorlopig is het beleid van de Cevo erop gericht deze examenvorm te gaan gebruiken bij Frans, Duits en Engels en mogelijk in een enigszins gevarieerde vorm voor Nederlands in de basisberoepsgrichte leerweg vmbo en voor Frans en Duits in de kaderberoepsgerichte leerweg. Het digitale examen Frans vmbo BB is reeds ingevoerd. Duits, Engels en Nederlands vmbo BB en Frans en Duits vmbo KB zouden in de periode 2005 – 2007 ingevoerd kunnen worden. e Voor deze digitale examens zou gebruik gemaakt moeten worden van het CBT-programma (2 versie) dat momenteel door de Citogroep ontwikkeld wordt. 3.1.2
Minitoetsen in het Centraal Schriftelijk en Praktisch Examen vmbo basisberoepsgerichte leerweg
Het CSPE is een combinatie van de praktijk examens en de theorie-examens van de beroepsgerichte programma’s basisberoepsgerichte leerweg. Het is de bedoeling dat de theorievragen zoveel mogelijk gekoppeld worden aan de praktijkopdrachten, waardoor de theorievragen meer bij de realiteit aansluiten. In de praktijkopdrachten wordt bij een aantal vakken gebruik gemaakt van computerprogrammatuur. Dit zal ook in het CSPE zo blijven. Daarnaast zullen bij de verschillende praktijk onderdelen minitoetsjes aangeboden worden in verschillende varianten. De minitoetsen zullen CBT-toetsen zijn, die direct door de computer nagekeken worden. Voor de minitoetsen wordt gebruik gemaakt van het CBT-programma dat momenteel door de Citogroep ontwikkeld wordt. In 2004 kunnen de scholen kiezen voor het CSPE of de afzonderlijke praktijk en theorie examens. Ook kunnen de scholen kiezen tussen de minitoetsen op papier of op de computer. In 2005 is waarschijnlijk alleen het CSPE met minitoetsen op de computer beschikbaar. Deze examenvorm is inmiddels ook voorzien voor de beroepsgerichte programma’s van de kaderberoepsgerichte leerweg. Aan de ontwikkeling een Centrale integratieve eindtoets waarin ook de plus theorie getoetst wordt (CIE ) wordt gewerkt. 3.1.3
Digitale examens algemene vakken vmbo basisberoepsgerichte leerweg
De Cevo zal met de centrale examens voor de algemene vakken van de basisberoepsgerichte leerweg aansluiten bij de opzet van het CSPE. Dat betekent dat van elk examen meer varianten aangeboden worden. Dat de examens wat korter zullen zijn en op meerdere momenten afgenomen kunnen worden. Om dit mogelijk te maken en om beter aan te sluiten bij de minder talige instelling van de kandidaten zullen deze examens aangeboden worden als computerexamens , die ook door de computer e nagekeken kunnen worden (CBT). Hiervoor zal gebruik gemaakt worden van het CBT-programma (2 versie) dat momenteel door de Citogroep ontwikkeld wordt. In 2005 zal het werken met digitale examens in varianten in een pilot met een beperkt aantal scholen uitgeprobeerd worden. 2007 is voorzien als het jaar waarin deze examenvorm (digitale examens in varianten) mogelijk op alle scholen ingevoerd kan worden.
43
Het aanbieden van de examens in varianten maakt het ook mogelijk om kleinere groepen leerlingen tegelijk het examen te laten afleggen, waardoor het aantal computers dat een school moet inzetten beperkt blijft.
44
3.2
Digitale examens met open vragen en opdrachten
3.2.1
Computertoepassingen bij de kunstexamens vmbo theoretische/gemengde leerweg, havo en vwo
De centrale examens voor de kunstvakken zijn van beschouwende aard. Dat betekent dat kunstuitingen aangeboden worden en dat aan de hand daarvan vragen worden gesteld. Voor het aanbieden van diverse kunstuitingen is de computer een zeer geschikt medium. Dit is reeds gebleken bij de CKV2 examens havo en vwo die zonder de computer niet mogelijk waren geweest. Voor de theoretische en gemengde leerweg vmbo is besloten bij de examens dans en drama eveneens de presentatie van het uitgangsmateriaal en de vragen op het beeldscherm te laten plaatsvinden. Het voornemen bestaat om het examen muziek vmbo theoretische en gemengde leerweg eveneens op CD-rom uit te brengen. Het voordeel is dat ook gebruik gemaakt kan worden van beeldmateriaal en dat de leerlingen hun eigen tempo kunnen bepalen bij het afluisteren van muziek fragmenten. In principe biedt het gebruik van de computer bij alle kunstexamens grote voordelen. 3.2.2
Computer-examens vmbo theoretische/gemengde leerweg, havo en vwo
Het uitgangspunt voor de experimenten bij vmbo TG, havo en vwo is dat elke leerling in elke sector of elk profiel minimaal één examen krijgt voorgelegd waarbij de computer gebruikt moet worden. Het gebruik van de computer maakt het mogelijk in de centrale examens examinering van essentiële vaardigheden uit de examenprogramma’s beter tot hun recht te laten komen. Het gaat hierbij bijvoorbeeld om simulaties van onderzoek, het hanteren van bronnenmateriaal, diverse ingewikkelde reken- en meettoepassingen en het gebruik van multimedia. Ongeveer 30% van het computerexamen bestaat uit dit soort opgaven. Bij de overige 70% van de vragen is - in overeenstemming met het examenprogramma - de computer niet beslist nodig. Deze opgaven zijn identiek met opgaven van het reguliere examen. De bedoeling is dat in de vier experimenteerjaren 2002 – 2005 voldoende ervaring opgedaan is om de deelname aan de computerexamens open te kunnen stellen voor alle scholen die dat willen. Een beslissing om de computer examens voor alle scholen verplicht in te voeren kan nu nog niet genomen worden. Na een jaar experimenteren is nog niet duidelijk hoe de scholen over deze vorm van examineren denken, eenvoudigweg omdat de meeste scholen nog geen kennisgenomen hebben van de computerexamens. De computerexamens van 2003 zijn vanaf oktober 2003 voor alle scholen verkrijgbaar. De inhoud en vormgeving van de examens is na een jaar al redelijk uitgekristalliseerd. Het organisatiegemak voor scholen moet nog vergroot worden. In de aanloop naar de examens 2004 zal hier veel aandacht aan besteed worden. Het aantal deelnemende scholen wordt in de experimenteerfase elk jaar uitgebreid. In 2004 doen zo’n 20 scholen per niveau mee in 2005 kunnen dit 50 scholen per niveau zijn. De algemene introductie van computerexamens bij vmbo TG, havo, en vwo vereist goede organisatiemodellen, ook voor scholen met een groot aantal kandidaten. In het experimenteer jaar 2003 is al gebleken dat het goed mogelijk is kandidaten in twee elkaar direct opvolgende sessies examen te laten doen. Daarnaast zijn nog andere organisatiemodellen denkbaar die een oplossing bieden voor scholen met grote groepen kandidaten. In de experimenteerjaren 2004 en 2005 zullen de ervaringen van scholen met verschillende organisatiemodellen beschreven en gewogen kunnen worden. Voor een enkel vak met een zeer groot aantal kandidaten zal het misschien noodzakelijk zijn twee gelijkwaardige varianten van het examen aan te bieden die de scholen op verschillende momenten kunnen afnemen. De aantallen kandidaten die jaarlijks aan het examen deelnemen zijn per vak en per niveau verschillend. De hier volgende tabel laat per vak zien hoeveel groepen van 25 er op een school zijn. (Een groep van 25 is een groep die zonder al te veel extra organisatie gelijktijdig in een computerlokaal examen kan afleggen.)
45
Tabel 16: Overzicht van het aantal kandidaten voor de vakken met digitale examens verdeeld in groepen van 25 gebaseerd op de inschrijfgegevens voor 2004
Tabel 16 laat zien dat als scholen twee groepen in opeenvolgende sessies de computerexamens zouden laten afleggen er bij natuurkunde 12 havo en vwo en bij wiskunde A1 in het geheel geen problemen zijn. Bij de overige vakken zijn er steeds enkele of in havo en vmbo TG een behoorlijk aantal scholen die het met één computerlokaal en twee sessies niet zouden redden. Scholen met meer dan 50 kandidaten voor een vak zijn grote scholen, deze zijn ongetwijfeld in staat om twee computerlokalen in te zetten. Waardoor het aantal leerlingen dat op een moment examen kan doen stijgt tot 100. Er blijven dan volgens tabel 16 nog ongeveer 30 scholen over (1 vwo, 2 havo en 23 vmbo TG) die niet alle leerlingen kunnen plaatsen. Met deze 30 scholen zou naar een oplossing gezocht moeten worden. Scholen beschikken over genoeg computers en kennis van netwerken. Wanneer tijdens de hele examenperiode het computer-examenlokaal gebruikt wordt, is het lonend om dit goed in te richten. Er worden tijdelijk 27 PC’s, op grote scholen 52, aan het algemeen gebruik onttrokken. Dat moet geen echt probleem zijn. Op enkele dagen is op een aantal scholen een tweede lokaal nodig. De inzet van surveillanten en het systeembeheer vergt extra inspanning, wat echter na enige tijd van gewenning een normaal onderdeel gaat worden van de centrale examinering. Het is duidelijk dat het afnemen van examens met een computeronderdeel meer organisatie en meer inzet van surveillanten en systeembeheer vraagt dan een afname van een examen dat volledig op papier gemaakt wordt. De vraag kan rijzen of deze vorm van examinering niet beter in het schoolexamen kan plaatsvinden. In de opzet van het schoolexamen is de school immers flexibeler. In een schoolexamen moeten echter ook alle kandidaten examen doen. Het probleem van het computergebruik blijft derhalve hetzelfde. Wanneer de meerwaarde van de computeropgaven duidelijk is en het examineren van alleen met gebruikmaking van de computer op te lossen vraagstukken en van belang gevonden wordt, moet dat voldoende reden zijn voor de extra inspanning die men zich moet getroosten.
46
3.2.3
Het gebruik van de tekstverwerker
Bij Nederlands schrijfvaardigheid vmbo TG is nu enige jaren ervaring opgedaan met het gebruik van de tekstverwerker. De regeling van deze digitale toepassing is erg eenvoudig. De tekstverwerker is opgenomen in de lijst van toegestane hulpmiddelen. Een handleiding die door de Cevo op haar site beschikbaar gesteld wordt, geeft adviezen voor een verantwoorde manier van gebruik. In principe gaat het hierbij om een ander schrijfmiddel. Bovendien om een schrijfmiddel dat leerlingen thuis en op school bij hun schoolwerk steeds meer gaan gebruiken. In vooronderzoek voor Nederlands schrijfvaardigheid is nagegaan wat de consequenties waren voor resultaten en beleving. Beleving bij kandidaten is zeer positief. Beleving bij docenten is eveneens zeer positief al was het alleen maar vanwege de leesbaarheid van het werk van alle kandidaten. Consequenties voor de gemiddelde score zijn minimaal gebleken. Scholen gebruiken zelf reeds de tekstverwerker bij toetsing in het schoolexamen en/of met toestemming van de inspectie bij andere onderdelen van het centraal examen. Het is aantrekkelijk om de tekstverwerker in principe toe te staan bij alle examens. Maar er daarbij op te wijzen dat het bij het ene vak zinvoller is en makkelijker toepasbaar, dan bij het andere vak. Het is het meest zinvol bij die examens waarbij leerlingen grotere stukken tekst moeten produceren. Voor de meeste exacte vakken is de tekstverwerker zonder speciale editor geen handig hulpmiddel. Vakken waarbij de tekstverwerker handig is: Nederlands Engels vmbo TG Geschiedenis Filosofie economie Vakken waarbij de tekstverwerker afgeraden moet worden: wiskunde natuurkunde scheikunde Uitgangspunt is dat de school de keuze maakt of zij deze mogelijkheid aanbiedt. De school kan er voor kiezen alle kandidaten met de tekstverwerker het examen te laten afleggen. De school kan er ook voor kiezen een gedeelte van de kandidaten het examen met de tekstverwerker te laten maken en andere kandidaten op de traditionele wijze met pen en papier te laten werken. Als je de tekstverwerker toe wil staan, moet dit zonder restricties. Dus spellingchecker ook Engels is toegestaan. De rekenmachine bij economie is toegestaan hetzij op de computer, hetzij naast de computer. Omdat lang niet alle scholen examen doen met de tekstverwerker zullen toestaan, blijft werken op papier naast computergebruik gangbaar. Er moet in dat verband op toegezien worden dat ongelijkheden vermeden worden zonder het computergebruik op onlogische manier te beperken. Over de organisatie van de afname kunnen net als bij Nederlands schrijfvaardigheid in een handleiding adviezen gegeven worden. 3.2.4
Het tweede tijdvak online.
het experiment met de online-afname van het tweede tijdvak (zie paragraaf 2.10) heeft laten zien dat het mogelijk is de reguliere examens zonder veel aanpassingen online af te nemen. Voor het tweede tijdvak heeft dit een aantal voordelen. Het drukken en verspreiden in een oplage die gedeeltelijk niet gebruikt wordt kan vervallen en de opgaven zijn niet meer onmiddellijk na afname openbaar. De extra organisatie die computerafnames in het eerste tijdvak vergen door de grote aantallen kandidaten speelt in het tweede tijdvak niet.
47
De afname van tweede tijdvakken online zou dan bijvoorbeeld als volgt kunnen verlopen: De examens worden in de programmatuur ingebracht en in de hostingcomputer klaargezet. De scholen melden hun tweede tijdvakkandidaten online aan. Ze ontvangen een automatische mail met de code van de examens waarvoor ze kandidaten aangemeld hebben, in de mail staat tevens een vermelding van de tijd waarop de examens beschikbaar zijn. Alle examens zijn slechts op een vast moment beschikbaar. Scholen maken een examen/computerlokaal gereed, doen een proef-inlog, maken leerling accounts gereed met de betreffende examencodes. Op het examenmoment kan de kandidaat inloggen en het examen maken. In een computerlokaal kunnen verschillende examens tegelijk gemaakt worden. De antwoorden van de kandidaten worden op de hostingscomputer opgeslagen. Er moet gezorgd worden voor een onafhankelijke back up. e Vanaf de volgende dag kunnen docenten en 2 correctoren het werk online beoordelen. Het is niet mogelijk prints te maken van de opgaven of van het werk. De opgaven en correctievoorschriften zijn alleen online beschikbaar. Dit is de eerste stap naar geheimhouding, of althans niet algemene beschikbaarheid. e
Voor de scholen zou het aantrekkelijk zijn als de 2 correctie door speciaal daarvoor aangetrokken correctoren zou gebeuren.
3.2.5
Meerwaarde
Het belangrijkste punt bij alle hier geschetste mogelijke ontwikkelingen is dat het gebruik van de computer een duidelijke meerwaarde heeft en dat deze meerwaarde door de leerlingen en docenten herkend wordt. De meerwaarde kan gelegen zijn in de inhoud en presentatie van de examens, in organisatorische voordelen en in het aansluiten bij ontwikkelingen in onderwijs en maatschappij.
48
Literatuur Boogaard, G.van den, M.Martinot
Verslag van een vergelijking CBT-afnameomgevingen, Arnhem, 2003
Boeijen, G.
Verslag van het Compex project 2003, Arnhem 2003
Kreeft, H.
Examens met behulp van de computer, Cevo-beleid geformuleerd, Cevo, Utrecht, 2001
Kreeft.H
Cevo-beleid in uitvoering in 2002, Cevo, Utrecht, 2002
Kuhlemeier, H.
Het functioneren van de nieuwe beeldschermexamens voor de basisberoepsgerichte leerweg.,Verslag van een observatieonderzoek. Arnhem 2003
Martinot, M.; E.Jensma en G.Boeijen
Verslag afname experimentele ICT-examens 2002, Citogroep, Arnhem 2002
49
50
Bijlage 1 Uitslag leerlingenenquête Compex 2003 (alle 439 leerlingen ) Voorbereiding Tevoren goed geinformeerd? Vrg_1 Ja, voldoende geinformeerd
Frequency
%
335
76
Kon beter, achteraf gezien
91
21
Nee, niet voldoende
12
3
438
100
totaal
Voorbeeldopgaven gemaakt? Vrg_2 Ja, allemaal Slechts enkele opgaven Nee, niet één totaal
Frequency
%
230
53
170
39
35
8
435
100
Frequency
%
Over het examen Kostte meer tijd dan papieren examen? Vrg_3 Ja, meer tijd nodig
228
52
Maakt niet uit
150
34
Nee, juist minder tijd nodig
58
13
436
99
totaal
Ik vond het geven van antwoorden op papier... Vrg_4 Niet bezwaarlijk
Frequency
%
388
88
Wel bezwaarlijk
37
8
Heel vervelend
14
3
439
99
totaal
Vragen zowel op scherm als op papier?(alleen economie havo) Vrg_5 Dat vond ik prima
Frequency
%
39
39
Maakte mij niet uit
14
39
Dat vond ik vervelend
6
22
59
100
Vrg_6 Dat lijkt me prima
Frequency
%
171
39
Maakt mij niet uit
188
43
totaal
Antwoorden per computer...?
Daar heb ik grote bezwaren tegen totaal
78
18
437
100
51
Opgaven alleen op beeldscherm? Vrg_7 Niet vervelend
Frequency
%
106
24
Maakt me niet uit
123
28
Erg vervelend
209
48
438
100
totaal
Over de omstandigheden tijdens het examen Voldoende ruimte rondom PC? Vrg_8 Ja
Frequency
%
272
62
Ik had liever meer ruimte
145
33
Ik had veel te weinig ruimte
21
5
438
100
Frequency
%
totaal Conclusie Wat is je uiteindelijke mening over dit examen? Vrg_9 Prettiger dan een gewoon examen
114
26
Het maakt mij niet zoveel uit
193
44
Voor mij hoeft dit helemaal niet
129
30
totaal
436
100
52
