Cevo Reeks
Examens met behulp van de computer Cevo-beleid geformuleerd
Henk Kreeft
© Cevo Utrecht, oktober 2001
2
Inhoud
blz.: Inleiding
5
1. De beleidsrichting
7
2. De beleidsrichting getoetst
9
3. Experimenten passend in de beleidsrichting
17
4. Enkele binnen- en buitenlandse voorbeelden
25
5. Cevo beleid geformuleerd
31
Literatuur
37
Bijlage 1, Organisaties waarmee gesprekken gevoerd zijn over de beleidsrichting ICT en Examens
40
Bijlage 2, Uitslag Vragenlijst ‘Pilot-examens vmbo 2002 met behulp van de computer’
41
Bijlage 3, Pilotexamens 2001, vmbo, Overzicht van tijden van de praktijkexamens BB en de integratieve eindtoets KB en het computer-/ programmagebruik.
47
3
4
Inleiding
Cevo-beleid geformuleerd. Beleid is, als het goed is, gestoeld op een beeld van de (nabije) toekomst. Als de Cevo een beleid formuleert voor de introductie van ict-componenten in de centrale examens dient zich ook de vraag aan op welk beeld van de toekomst de keuzes gebaseerd zijn. Het zal niemand verbazen dat een directe lijn uitzetten naar het onderwijs van de toekomst en daar de ict-doelstellingen voor examens van afleiden, niet mogelijk is. Wel kunnen een aantal ontwikkelingen geschetst worden en kan bezien worden welke plaats de gemaakte keuzes daarin kunnen innemen. De ontwikkelingen die in dit verband van belang zijn, zijn vergroting van de autonomie voor onderwijsinstellingen individualisering van het onderwijs internationalisering in het onderwijs autonomie Het onderwijs wordt meer autonoom. Dat wil zeggen dat de scholen en de vaak bovenschoolse schoolbesturen een eigen beleid kunnen gaan voeren en dat verschillen tussen onderwijs instellingen gaan ontstaan. Meer autonomie houdt in, minder centrale regelgeving. Ten aanzien van examens kunnen hier twee heel verschillende consequenties aan verbonden worden. 1. Tot de autonomie van de scholen behoort ook de kwaliteitsbewaking. Centrale examinering past niet meer bij de autonome school. De examinering wordt geheel een zaak van de onderwijsinstelling zelf. 2. Bij een grotere autonomie past een externe controle. Het is niet juist dat de opleiders geheel zelf bepalen of hun onderwijs de gewenste resultaten opgeleverd heeft. Het maatschappelijk belang van het voortgezet onderwijs is dermate groot dat een externe kwaliteitscontrole met een sturend effect naar het voorafgaande onderwijs gewenst is. In deze beleidsnotitie gaan we uit van de tweede opvatting. individualisering De vernieuwingen in het voortgezet onderwijs gaan alle in de richting van meer geïndividualiseerd onderwijs. Het studiehuis in havo en vwo, de leerwegen in het vmbo richten zich alle op het omgaan met verschillen, op een grotere zelfstandigheid bij de leerling en meer verantwoordelijkheid voor de eigen opleiding. De ontwikkelingen van ICT stimuleren eveneens een meer individuele opzet van het onderwijs. De mogelijkheid om "any time en any place" te studeren leiden ook tot een meer individuele aanpak. De introductie van e-learning systemen zal een minder klassikale onderwijsvorm tot gevolg hebben. Voor examens zou dit alles betekenen dat het centrale examen op één moment aan het eind van de opleiding voor een groot aantal vakken en leerlingen minder goed aansluit bij de onderwijssituatie. In dit beleidsplan worden nog geen ontwikkelingen ingezet die direct leiden tot flexibilisering van het examen. Wel gaat het beleidsplan ervan uit dat de gemaakte keuzes flexibilisering niet moeten bemoeilijken. Internationalisering Scholen voor voortgezet onderwijs en leerlingen over de hele wereld kunnen door gebruik van internet contacten onderhouden. In de onderwijs situatie wordt reeds hiervan gebruik gemaakt. Samenwerkingsprojecten met leerlingen uit andere landen worden her en der uitgevoerd. De jaarlijkse Think Quest wedstrijd is hier een goed voorbeeld van. Op het internet zullen leermiddelen, cursussen toegankelijk worden binnen het eigen land (Het ministerie van OCenW heeft hiervoor in december 2000 een contract gesloten met de grote educatieve uitgeverijen.) maar ook internationaal.
5
Waarom zou elk land zijn eigen cursus Engels of Spaans ontwikkelen? Zal het op een gegeven moment niet zo zijn dat scholen zich profileren met een gerenommeerde cursus van een science instituut in de USA? Dergelijke ontwikkelingen zijn ook voor examinering te voorzien. Waarom zou het behalen van een certificaat Engels van de Cambridge Board alleen bij particuliere opleidingen gebruikelijk zijn? In dit beleidsplan worden nog geen voorstellen gedaan voor het gebruiken van buitenlandse toetsen, of het produceren van Nederlandse toetsen voor een internationale markt, wel om veel te vergelijken met ontwikkelingen buiten onze grenzen. Civiel effect van diploma's Autonomie, individualisering en internationalisering kennen ook hun grenzen, wil het voortgezet onderwijs zijn functie goed blijven vervullen. Welke ontwikkeling ook plaats zal vinden, in onze kennismaatschappij zal de maatschappelijk ordening mede gestuurd worden door diploma's of met certificaten aantoonbare competenties. Een diploma aan het eind van het voortgezet onderwijs, dat per definitie een midden positie inneemt in de opleiding van elk individu, moet voldoende herkenbaarheid hebben wil het een civiel effect hebben. Wordt de samenstelling van de onderdelen waarop het diploma gebaseerd is te divers dan verliest het diploma zijn functie in het maatschappelijk verkeer. In dit beleidsplan is dit principe mede richtinggevend. Hoofdstuk 1 herhaalt de beleidsrichting die de Cevo in september 2000 gepubliceerd heeft. De reacties op de beleidrichting zijn weergegeven in hoofdstuk 2. Tevens geeft hoofdstuk 2 een beeld van het draagvlak waarop de beleidsrichting mag rekenen. In het schooljaar 2000/2001 zijn een aantal experimenten uitgevoerd in het kader van de beleidsrichting, de evaluatie van de hiermee opgedane ervaringen, levert de input voor de verdere beleidkeuzes. Hoofdstuk 3 beschrijft het verloop van de experimenten. Hoofdstuk 4 bevat de beschrijving van een aantal bruikbare voorbeelden uit binnen- en buitenland. In hoofdstuk 5 wordt het Cevo-beleid geformuleerd voor de periode 2002 tot 2005 en worden de randvoorwaarden waaraan voldaan moet zijn, wil het beleid gerealiseerd kunnen worden, besproken.
6
1.
Beleidsrichting voor examens met behulp van de computer
De notitie "Examens met behulp van de computer, een verkenning van de ICT-mogelijkheden bij centrale examens" (Kreeft, 2000) schetste een beleidsrichting voor de introductie van de computer bij de centrale Examens. Deze vervolgnotitie start met de weergave de beleidsrichting. De computer kunnen we op drie verschillende manieren inzetten bij examens. 1. Gebruik van standaardprogrammatuur De examens worden zo opgesteld dat de leerling bij de beantwoording van vragen of de uitvoering van opdrachten gebruik moet maken van standaard programmatuur. De kandidaten krijgen de vragen of opdrachten en het uitgangsmateriaal op papier aangeboden. Voorbeelden hiervan zijn het gebruik van een spreadsheet bij vmbo-examens administratie of handel en verkoop, het gebruik van een boekhoudprogramma bij administratie of het gebruik van een CAD (programma voor technisch tekenen) bij bouwtechniek, het gebruik van IP-coach bij een vwo examen natuurkunde en het gebruik van een tekstverwerker voor schrijfvaardigheid Nederlands. 2. Informatie aanbieden op de computer Het uitgangsmateriaal dat bij examenvragen aangeboden wordt, wordt beperkt doordat het op papier afgedrukt moet kunnen worden. De computer heeft heel wat meer mogelijkheden, geluid, video en kleur kunnen veel toevoegen. De centrale examens culturele en kunstzinnige vorming -2 (havo en vwo) en drama en dans (vmbo) zijn bijvoorbeeld niet denkbaar zonder deze mogelijkheid. Maar ook examens bij andere vakken kunnen hun vraagmogelijkheden uitbreiden. 3. Geheel computerbased of webbased examens Het examen, vragen en uitgangsmateriaal wordt geheel op het scherm aangeboden. De leerlingen voeren de antwoorden in. De computer beoordeelt de antwoorden voor zover dat mogelijk is of maakt correctiebestanden van de antwoorden die een beoordeling door een docent vragen. De computer berekent nadat de docent de open vragen gescoord heeft de eindscore. Bij computerbased examens is de programmatuur geïnstalleerd op een PC of lokale server. Bij Web-based examens wordt de programmatuur benaderd via internet. Voor de verschillende examens die momenteel in het voortgezet onderwijs voorkomen zou dit het volgende kunnen betekenen: 1.
Voor de centraal schriftelijke examens van het vmbo worden beeldschermafnames mogelijk gemaakt. De vakken waarvoor dit als eerste gerealiseerd wordt, zijn die vakken met een niet te groot aantal kandidaten per school, zodat afname in twee opeenvolgende sessies met bijvoorbeeld 20 tot 30 computers mogelijk is. Omdat niet alle scholen op korte termijn over voldoende computers beschikken, is het gewenst enige jaren de beeldschermversie aan te bieden naast de papieren versie. De Cevo kan het beste kiezen voor een bestaand toetsservice systeem, voor als nog niet webbased. De constructie van de examens moet direct gericht zijn op de constructie van beeldschermtoetsen, omdat hierdoor de aandacht extra gericht wordt op taalgebruik en het gebruik maken van visuele elementen.
2.
Bij de centraal praktische examens en de centraal integratieve eindtoets vmbo voor de beroepsgerichte vakken, wordt daar waar dat zinvol is, gebruik gemaakt van bestaande programmatuur. De afname is goed te realiseren omdat het bij deze examens niet nodig is dat 7
alle kandidaten op het zelfde moment examen doen, zodat een beperkt aantal computers toereikend kan zijn. 3.
Voor de centraal schriftelijke examens havo en vwo wordt ingezet op het gebruik van bestaande programmatuur bij delen van examens (of mogelijk het examen als geheel) en het presenteren van uitgangsmateriaal op de computer. Wanneer dit gebeurt bij vakken waarvoor de meeste scholen niet meer dan 60 kandidaten hebben, kan de organisatie binnen het huidige examenrooster gerealiseerd worden, wanneer zo nodig twee direct opeenvolgende zittingen georganiseerd worden.
4.
Voor de examens moderne vreemde talen havo en vwo zou een beeldscherm versie aangeboden kunnen worden naast de papieren versie. De teksten die soms een lengte van meer dan één A4 hebben, worden bij de beeldschermversie ook op papier aangeboden, zodat kandidaten zelf de keuze kunnen maken of ze de teksten van het scherm lezen of van het papier.
5.
De ontwikkelingen als voorgesteld in punt 1 tot en met 4 zijn onafhankelijk van de vraag of beter met PC's of met mobiele hardware (note-books e.d.) gewerkt kan worden. De Cevo doet er goed aan speciale contacten te onderhouden met scholen die examens met note-books afnemen. Om ook met het gebruik van deze apparatuur ervaring op te doen.
6.
Voor de ontwikkelingen als voorgesteld in punt 1 tot en met 4 is het niet noodzakelijk dat scholen beschikken over een toetslokaal. Scholen moeten wel bereid zijn in de examenperiode een of meer toetslokalen in te richten en de hardware speciaal en alleen voor examens geschikt te maken.
7.
Het is denkbaar bij de ontwikkelingen als voorgesteld onder punt 1 tot en met 4 uit te gaan van internettoepassingen. Een keuze voor web-based examens zou echter op dit moment de introductie van de computer bij examens vertragen, omdat scholen niet voldoende krachtige servers en verbindingen hebben om met grote aantallen leerlingen gelijktijdig op het net actief te zijn. Ook de beveiligingsproblematiek is nog niet voldoende opgelost. De Cevo doet er echter wel goed aan experimenten met web-based toepassingen in te zetten. De kennisnet aansluitingen voor alle scholen die binnenkort gerealiseerd zullen zijn, bieden meer mogelijkheden.
8.
De beslissing om te gaan werken met flexibele, geheime examens hoeft voor de ontwikkelingen als voorgesteld bij de punten 1 tot en met 4 nog niet genomen te worden. Het kan zich evenwel voordoen dat bij examens waarvoor beeldscherm toetsen ontwikkeld zijn, het aantal kandidaten te groot is voor een afname op één moment. Voor zo'n vak zou dan een aparte regeling getroffen kunnen worden, waarbinnen tevens ervaring opgedaan wordt met flexibel examineren en geheimhouding. Het maakt dan niet uit of de afnamemomenten over het gehele jaar gespreid zijn of binnen een maand aan het eind van het jaar.
9.
De beslissing om het gehele examensysteem te flexibiliseren wordt niet bepaald door van het al of niet gebruiken van de computer bij examens. Het gebruik van geheime examens uit een opgavenbank maakt flexibiliseren wel makkelijker te realiseren.
10.
Tenslotte moet het altijd zo zijn dat de meerwaarde van computertoepassingen door leerlingen en docenten sterk gevoeld wordt. Dit is de basis voor een succesvolle invoering.
De beleidsrichting voor de ontwikkeling van examens met behulp van de computer kan gerealiseerd worden binnen het huidige examensysteem. Met de ontwikkeling in de aangegeven richting kan een geleidelijke overgang naar een andere organisatie, indien gewenst, eveneens gerealiseerd worden.
8
2.
De beleidsrichting getoetst op wenselijkheid en haalbaarheid
De beleidsrichting is in het najaar van 2000 en het voorjaar van 2001 in beperkte mate getoetst op wenselijkheid en haalbaarheid. De punten uit de beleidsrichting zijn voorgelegd aan vertegenwoordigers van diverse onderwijs organisaties en aan groepen docenten, coördinatoren (middenmanagement) en schoolleiders. Uiteraard kwam er een diversiteit aan opmerkingen en meningen naar voren, negatief waren de reacties vrijwel nooit. In twee van de hier volgende paragrafen komen vertegenwoordigers van onderwijs organisaties en docenten en coördinatoren uit het vmbo aan het woord. In paragraaf drie wordt kort verslag gedaan van een enquête onder schoolleiders vmbo. Paragraaf vier geeft een samenvatting van de ICT-monitor die het gehele voortgezet onderwijs bestrijkt. 2.1
vertegenwoordigers van organisaties
De gesprekken zijn gevoerd met vertegenwoordigers van onderwijs organisaties. Dat betekent dat hier geen meningen of standpunten van organisaties weergegeven worden. De gesprekken waren gericht op het onderzoeken van het draagvlak voor de gekozen beleidsrichting. In het hier volgende worden dan ook geen organisaties of personen afzonderlijk genoemd. Ook de zwaarte van de reacties kan niet onderling gewogen worden. De enige uitzondering daarop is het resultaat van het overleg met de Citogroep. De Citogroep heeft de 10 punten van de beleidsrichting opgenomen in het eigen ICTbeleidsplan voor de unit voortgezet onderwijs. Zie bijlage 1 voor de organisaties waarmee gesproken is. Het type reacties dat in de gesprekken naar voren kwam was van principiële aard, betrof organisatorische aspecten of bestond uit ideeën en goede adviezen Principiële punten De belangrijkste vraag is natuurlijk: "Waarom zouden we de computer gaan gebruiken bij centrale examens." De stelling dat de introductie van de computer een duidelijk meerwaarde moet hebben, werd algemeen onderschreven. Die meerwaarde zag men op twee terreinen: meer mogelijkheden en flexibilisering. 1. De computer maakt meer mogelijk in de centrale examens. Er kan een groter accent op het examineren van vaardigheden gelegd worden. "Dit zou een zeer positieve ontwikkeling zijn!" "Het is heel verstandig om te starten met de computer bij examens en die zaken die meerwaarde hebben aan te pakken. Leerlingen leven in een gecomputeriseerde maatschappij. Met onderwijs en examens moeten daarbij aansluiten. Het leren van leerlingen verandert, dan moet ook de eindtoets veranderen." "Leerlingen moeten uitgedaagd worden door virtueel materiaal om zich kennis eigen te maken en situaties te manipuleren. Spelen als Sun-city en Ceasar III zijn uitstekend geschikt om leerlingen leerstof eigen te laten maken op een uitdagende manier." Hierin ligt de suggestie besloten dat de examens ook een soortgelijke virtuele vorm moeten krijgen. Vmbo docenten waren vooral enthousiast over de visuele mogelijkheden van de computer. "De leerlingen worden er meer door uitgedaagd en aangesproken op hun manier van leerstof benaderen." 2. De computer maakt flexibilisering van examens mogelijk. Over welke vorm van flexibiliseren dat dan precies moest zijn, bleken uitgebreide discussies mogelijk. Het meest werd gedacht aan de mogelijkheid om leerlingen te examineren op momenten dat zij eraan toe zijn. Hiervoor zijn diverse varianten van een examen nodig. Beeldschermexamens op basis van vragenbanken kunnen telkens nieuw samengestelde examens aanbieden. 9
"Het gebruik van de computer wordt interessant als het absolverend toetsen mogelijk maakt. Het wordt dan een middel dat het individualiseren ondersteunt. Het vergemakkelijkt periodisering in de tweede fase havo/vwo. Het zal veel invloed hebben op de schoolorganisatie." Schoolleiders die intensief bezig zijn met de invoering van ICT in het onderwijs gaan ervan uit dat elearning een grote rol gaat spelen. Er zal gebruik gemaakt gaan worden van on-line leeromgevingen. Examinering met behulp van de computer moet in een e-learning omgeving goed inpasbaar zijn, zowel technisch als organisatorisch. In een onderwijssysteem waarin e-learning een rol speelt, zijn niet alle leerlingen zijn op het zelfde moment aan het zelfde toe, er moet dus flexibel getoetst kunnen worden. . De vraag waarom we de computer gaan gebruiken bij (centrale) examens wordt op twee verschillende manieren beantwoord: meer vaardigheden en meer flexibiliteit. De computers moeten dus iets toevoegen. Niet het bestaande anders doen. Wie mogelijkheden zag voor meer vaardigheden en meer visueel aanbod van examens ondersteunt de beleidsrichting van de Cevo. Voor degenen die flexibilisering als belangrijkste reden zien om de computer te gebruiken, is de beleidsrichting slechts een eerste stap, die nog niet snel tot het gewenste resultaat zal leiden. Organisatie 1. Organisatorisch zagen veel gesprekspartners nogal wat problemen. "Wanneer de realisatie van de voorstellen enige omvang gekregen heeft wordt een gigantisch beslag gelegd op de apparatuur en de mankracht. In feite zijn de meeste schoolcomputers en systeembeheerders dan een maand lang gereserveerd voor examens", zo werd er geconstateerd. "Voor scholen betekent examineren met behulp van de computer veel extra organisatie. Examineren met papier is veel efficiënter. Sommige van onze examens zijn heel efficiënt, veel kandidaten tegelijk in een gymzaal, gaat snel en met een minimum aan inspanning." 2. De technische mogelijkheden vormen ook een probleem. Hier veel aandacht aan schenken. Pas wanneer de technische problemen bevredigend opgelost zijn, kunnen er vorderingen gemaakt worden. De beleidsrichting van de Cevo ontmoette in organisatorisch opzicht niet direct een gunstig onthaal. Er moet dus heel wat meerwaarde geboden worden, willen scholen aan de implementatie mee willen werken. Overigens is het ook niet de bedoeling van het nu ingezette beleid om de computer voor alle vakken integraal te gaan gebruiken. ideeën en adviezen Er werden tijdens de bijeenkomsten ook heel wat suggesties gedaan om de beleidsrichting handen en voeten te geven. Ook door degenen die eerst de nodige obstakels zagen. 1. De simulatie als examenvorm ontbreekt. Aan de hand van een simulatie kan heel wat kennis getoetst worden. Bovendien is het uitdagend voor de leerlingen. 2. Laat Internet niet ter zijde. Internet kan op verschillende manieren gebruikt worden. Als online werken niet mogelijk is tijdens een examen, kan gewerkt worden met gedownloade pagina's. 3. Ook de mogelijkheden van lap tops blijven volgen. De lap top kan bijvoorbeeld de vervanger worden van de grafische rekenmachine. 4. Alle kandidaten op één moment examineren is onmogelijk. Grote groepen tegelijk digitaal examineren moeten we niet willen. Alleen te realiseren als examens in de tijd gespreid kunnen worden. Als je dit wil moet je heel anders gaan denken over examens. Je moet op verschillende momenten kunnen afsluiten. Je zou toetsen centraal kunnen aanbieden met een begin datum zoals bij luistertoetsen gebeurt. Scholen kunnen dan spreiden en kleinere groepen realiseren.
10
5. Centrale examens in januari, april en juni zouden het geheel al flexibeler maken. Het maakt het gebruik van de computer ook makkelijker omdat er dan minder leerlingen tegelijk examen doen. 6. Maak helder aan welke systeemvereisten de scholen moeten voldoen willen ze mee kunnen doen met computerexamens en houd je daar dan aan. 7. Let op dat de beveiligingsproblematiek niet te veel overdreven wordt. opmerkingen naar aanleiding van de verschillende beleidsrichtingen 1 beeldschermexamens Beeldscherm examens voor de beroepsgerichte vakken sluit goed aan bij de ontwikkelingen die in scholen reeds ingezet zijn. Als je beeldscherm examens maakt naast papieren examens moeten deze gelijkwaardig zijn. Gelijk is niet gewenst, want dan krijgt de vernieuwing geen echte kans. Leg de nadruk op het visueel maken van de opgaven. 2. praktisch examen en integratieve eindtoets beroepsgerichte vakken vmbo "Het gebruik van standaard programmatuur in de centraal praktische examens en centraal integratieve eindtoets voor de beroepsgerichte vakken is noodzakelijk. Het behoort bij het vak en het staat in de eindtermen." Uit deze reactie spreekt de vanzelfsprekendheid. Maar ook het volgende was te horen: "De computervaardigheid van veel leerlingen laat te wensen over, zeker in de sectoren Zorg en Welzijn en landbouw. Wees dus voorzichtig met de invoering." Voor het vmbo zullen in het kader van het Victo project verschillende programma's geïntroduceerd worden die in examens bruikbaar zijn. De Cevo mag er niet vanuit gaan dat Victo-programmatuur op alle scholen aanwezig zal zijn. De Cevo kan er wel voor zorgen dat scholen die met Victo- programmatuur werken zonder meer aan de examens met ICT kunnen meedoen. 3. vaardigheden toetsing met gebruik van standaardprogrammatuur algemene vakken De meerwaarde van de computer is zeer duidelijk wanneer meer vaardigheden in het centraal examen geëxamineerd worden. "Docenten zullen dit met veel plezier onderwijzen en examineren". Het is zeer belangrijk om zowel in het vmbo als in het havo/vwo een start te maken. 4. beeldscherm versies voor moderne vreemde talen havo/vwo Bij moderne vreemde talen wordt het ook mogelijk andere vaardigheden dan leesvaardigheid te examineren. Niet iedereen is hier positief over. Een havo/vwo schooleider merkt op: "Meer vaardigheden in het centrale examen bij moderne vreemde Talen hoeft niet zonodig. Meer in het centraal examen is meer centralisatie, laat het maar in het school examen." Naar aanleiding van het beeldscherm examen Frans voor de basisberoepsgericht leerweg kwamen bij vmbo docenten enthousiaste reacties. Een dergelijke examenvorm voor alle talen en ook voor de andere leerwegen zouden zij toejuichen. 2.2
docenten en coördinatoren vmbo
De Cevo beleidsrichting is in 2000/2001 ook voorgelegd aan docenten en docenten met middenkader functies. Dit gebeurde op een aantal conferenties voor vmbo docenten. Op de landelijke conferentie leerwegen in uitvoeringen op 22 februari 2001 werd de beleidsrichting besproken in drie workshops met totaal zo'n 80 docenten. Op de Economendag op 25 maart 2001 werd eveneens in drie workshops gesproken met 90 docenten beroepsgerichte vakken uit de sector economie. Tijdens platformbijeenkomsten van het platform metaal techniek en het platform zorg en welzijn werd eveneens over de ICT beleidsrichting gesproken.
11
Docenten staan zeker niet afwijzend tegen ICT onderdelen in de praktische examens voor de beroepsgerichte vakken. In de hardware voorzieningen op hun school en de vaardigheid van de leerlingen zien zij nog wel problemen. Sommige docenten zien bij hun vak geen enkele zinvolle mogelijkheid voor ICT-toepassingen. "Bakken met de computer, hoe had u dat gedacht?". De bijkomende opdrachten met tekstverwerker en spreadsheet in de integratieve eindtoets moeten volgens sommige docenten niet bij hun vak onderwezen worden. Andere docenten zien hier juist uitstekende mogelijkheden voor de integratie van theorie en praktijk vakken. Beeldschermexamens zijn zeer welkom als ze inderdaad de examens een meer visueel karakter kunnen geven. Leerlingen werken over het algemeen graag aan de computer, is de reactie. Waarom worden beeldscherm toetsen alleen voor de basisberoepsgerichte leerweg gemaakt, was een vraag. De leerlingen voor de kaderberoepsgerichte leerweg zitten voor de beroepsgerichte vakken vaak in dezelfde groep. Op de vraag in hoeverre docenten in hun eigen schoolonderzoek of in de toetsing in de les al gebruik maakten van de computer, bleek dat dit nauwelijks gebeurde. Docenten die gebruik maakten van de computer gaven een vak waarvoor de methode beeldscherm toetsen beschikbaar stelde. Docenten staan niet afwijzend ten opzichte van het gebruik van de computer bij examens. Plannen hiervoor moeten wel tijdig bekend gemaakt worden en zeer concreet gecommuniceerd worden, willen scholen en leerlingen voldoende voorbereid zijn. 2.3
enquête onder schoolleiders vmbo
Wanneer de Cevo beslissingen wil nemen over de invoering van ICT-onderdelen in het centrale examen gaat het steeds om specifieke schooltypen en soms zelfs om de situatie bij specifieke vakken. Dit laatste is het geval bij de centraal praktische examens en de centrale integratieve eindtoets van de beroepsgerichte vakken in het vmbo. De Cevo heeft in de pilot examens van 2001 ICT onderdelen opgenomen en is van plan dit ook te doen in de examens van 2003 waaraan alle scholen deel moeten nemen. ICT-gebruik in de centraal praktische examens en de centrale integratieve eindtoets is goed te realiseren omdat de afname plaats kan vinden met kleine aantallen kandidaten tegelijk. (4 tot 12 kandidaten) Het is bij deze examens ook niet noodzakelijk om alle kandidaten tegelijk te examineren en dat gebeurt dan ook niet. In 2002 mogen vmbo scholen aan de pilot examens deelnemen en in 2003 zijn de vmbo examens verplicht, terwijl de normering nog op basis van een advies van de Cevo door de scholen zelf vastgesteld kan worden. Om een beeld te krijgen hoe de situatie in het algemeen is ten aanzien van de mogelijkheden voor computeronderdelen in de centraal praktische examens en de centrale integratieve eindtoets heeft de Cevo in maart 2001 een vragenlijst doen uitgaan naar alle vmbo scholen met beroepsgerichte vakken. De enquête had een response van 53% , 301 scholen hebben gereageerd. In de enquête werd nadrukkelijk gevraagd naar de situatie voor 2002. (zie bijlage 2) Uit de enquête bleek dat 85% van de scholen voldoende computers heeft of in 2002 voldoende computers zal hebben op de praktische examens af te kunnen nemen. 88% van de scholen heeft voldoende computers om de leerlingen te laten oefenen of zal binnenkort voldoende computers hebben. Op de vraag of de leerlingen in 2002 voldoende vaardig zijn om de computer onderdelen in de praktische examens te kunnen afleggen, antwoordde 13% van de scholen dat dit in het geheel niet het geval is. Op 51 % is ongeveer de helft van de leerlingen wel voldoende computervaardig. Op 36% van de scholen zijn de leerlingen voldoende vaardig. De vraag of het verantwoord is computeronderdelen in te voeren, kan waarschijnlijk toch positief beantwoord worden. De scholen die in 2002 mee willen doen zijn nu op de hoogte. Ze kunnen net als op de pilot scholen gebeurde de leerlingen nog de
12
benodigde extra oefening geven. De computervaardigheden die de examens vragen zijn beperkt en komen bij de meeste vakken alleen voor in de centrale integratieve eindtoets voor leerlingen uit de kaderberoepsgerichte leerweg. Anderzijds moet geconstateerd worden dat wanneer een gedeelte van de leerlingen niet beschikt over computervaardigheden dit ook gezien de examenprogramma's een ongewenste situatie is. De invoering van computeronderdelen zal daar een stimulerend effect hebben. Problematischer is mogelijk dat de scholen niet alle docenten in staat achten de leerlingen de computervaardigheden bij te brengen. Dat betekent namelijk dat de docenten ook niet alle eindtermen uit de examenprogramma's kunnen onderwijzen. De Cevo zal zich de eerste tijd moeten beperken tot zeer eenvoudige toepassingen bij die vakken waar het gebruik van de computer het meest voor de hand ligt. Bij een vak als Grafische techniek is natuurlijk veel meer mogelijk en wenselijk. Voor alle volgende stappen moet de Cevo zich steeds goed informeren over de haalbaarheid.
2.4
ICT Monitor 1999/2000
In opdracht van het ministerie van OCenW is in 1999/2000 door het Onderwijs Centrum Toegepaste Onderwijskunde van de Universiteit van Twente voor de derde maal een onderzoek uitgevoerd naar de stand van zaken van het ICT-gebruik in het onderwijs. Het verslag van de ICT-monitor 1999/2000 verscheen in mei 2001. Het geeft het meest recente algemene beeld van de ICT-situatie in de Nederlandse scholen. De gegevens zijn helaas niet uitgesplitst naar schooltype. Aan het verslag voor het voortgezet onderwijs (Pelgrum, Ten Brummelhuis, 2001) zijn de volgende voor de examens van belang zijnde constateringen ontleend: De ICT-infrastructuur Het aantal computers dat beschikbaar is voor onderwijsdoeleinden is in de afgelopen jaren in het voortgezet onderwijs fors gestegen. Gemiddeld werd in het voorjaar van 2000 een leerling:computer ratio van 13 gemeten. In het voorjaar van 2000 was reeds 3/4 van de apparatuur uitgerust met Pentium processoren. 57% van de computers zijn multimediacomputers, dat wil zeggen dat bewegende beelden en geluid al dan niet afkomstig van een CD-rom verwerkt kunnen worden. Meer dan 3/4 van de scholen blijkt te kunnen beschikken over moderne randapparatuur als een scanner, kleurenprinter, beamer en cd-writer. De toegang tot het internet is sinds 1998 zeer sterk toegenomen. Vrijwel alle scholen hebben nu een aansluiting. Bij slechts 8% was dat nog niet het geval. Veel scholen werken nog met (trage) ISDN-verbindingen. (Dit is nu snel aan het veranderen door de uitrol van kennisnet.) Vrijwel alle (98%) scholen beschikken over een intern computernetwerk.
De software Voor de volgende vakken was software aanwezig op meer dan 3/4 van de scholen: Nederlands, vreemde talen, wiskunde, informatiekunde, aardrijkskunde, natuurwetenschappelijke vakken en techniek of bijna op ¾ van de scholen: geschiedenis/staatsinrichting (71%), economie/handelskennis/recht (62%), verzorging (63%). Voor andere vakken was software in mindere mate aanwezig: muziek/dans/drama/tekenen/handvaardigheid (48%), maatschappijleer (42%), vakoverstlijgende projecten (35%), klassieke talen (29%) en. lichamelijke opvoeding (8%). De informatie in het monitor verslag is niet uitgesplitst naar schooltype en onder of bovenbouw, zodat niet te beoordelen is voor welke vakken software aanwezig is op examenniveau. De beroepsgerichte vakken van het vmbo worden niet genoemd. Computergebruik - Leraren zijn sinds 1998 veel meer gebruik gaan maken van ICT buiten de lessen. Het gebruik binnen de lessen is onveranderd gering.
13
-
Leerlingen komen sinds 1998 ook veel meer in aanraking met ICT, maar de gebruiksfrequentie onder schooltijd is nauwelijks veranderd. De frequentie van het gebruik van computers voor 'schoolse' activiteiten is thuis groter dan op school. De toename van ICT-gebruik bij leraren en leerlingen ligt voornamelijk op het gebied van gegevensverwerving via het Internet. Leerlingen kunnen buiten school steeds meer gebruik maken van computers en (geavanceerde) randapparatuur. Het merendeel van de leraren karakteriseert zichzelf als geïnteresseerd, dan wel als enigszins ervaren met ICT, waarbij in een derde van de gevallen een intentie wordt uitgesproken om meer te leren over de wijze waarop computers in de dagelijkse onderwijspraktijk kunnen worden toegepast.
Houding kennis en vaardigheden - Gemeten over een periode van acht jaar blijken leerlingen veel meer plezier te beleven aan het werken met computers, ze vinden computers steeds belangrijker en de ouders geven meer ondersteuning. Echter, de opvatting dat op het gebied van computers jongens en meisjes elkaars gelijke zouden zijn, verliest terrein. - Leerlingen vinden van zichzelf dat ze een steeds groter aantal aspecten van het gebruik van computers beheersen. Opvallend is dat een vrij grote groep leerlingen aangeeft nog niet te kunnen e-mailen. - De meeste docenten geven aan dat ze op de hoogte zijn van het bedienen van een computer (en het Windows besturingssysteem) en dat ze met een tekstverwerker overweg kunnen. Ook kan een, in de afgelopen drie jaar, zeer snel groter wordende groep docenten zich voortbewegen op de elektronische snelweg. Echter, de groep docenten die zegt bekend te zijn met diverse onderwijskundige aspecten van ICT (zoals organiseren, differentiëren en gebruik als didactisch hulpmiddel) is betrekkelijk klein. Uit deze samenvatting van de resultaten van de derde meting die in het kader van de ICT-monitor is uitgevoerd, blijkt dat zich op veel aspecten sinds 1998 substantiële veranderingen hebben voorgedaan: de beschikbaarheid van computers is aanzienlijk toegenomen, de apparatuur wordt steeds moderner, de toegang tot het internet is aanzienlijk verbeterd, veel scholen beschikken over ICT-beleidsplannen, etc. Echter, het belangrijkste knelpunt dat uit de voorliggende rapportage gedestilleerd kan worden, is dat het gebruik van ICT binnen de bestaande vakken in het voortgezet onderwijs stagneert: slechts een minderheid van de docenten gebruikt computers binnen de lessen wat ertoe leidt dat leerlingen slechts marginaal in de les van ICT gebruik maken. Voor de beleidsrichting betekent dit dat de infrastructuur op de meeste scholen aanwezig is, maar dat de keuze die in de beleidsrichting gemaakt is om voorlopig te werken met parallelle examens (Computerexamen en papieren examen naar keuze) een juiste is, gezien de vaardigheid van leerlingen en docenten. 2.5 1.
2.
3.
14
Constateringen De geraadpleegde vertegenwoordigers van organisaties staan in principe positief tegenover het gebruik van computers bij (centrale) examens. In organisatorisch opzicht ziet men heel wat problemen. Computerexamens moeten een duidelijke meerwaarde hebben willen de scholen met enthousiasme meewerken. Dat de zinzet van computers bij examinering ook de efficiëncy van examinering kan verhogen en een aantal minder aantrekkelijke taken van docenten kan overnemen, wordt nu nog niet onderkend of meegewogen. De ICT-onderdelen van de centraal praktische examens en centrale integratieve eindtoets zijn voor de meeste scholen uitvoerbaar. Hoewel de Cevo zich in de eerste tijd tot zeer eenvoudige
4.
5.
toepassingen zal moeten beperken bij die vakken waar het gebruik van de computer het meest voor de hand ligt. Vmbo vertegenwoordigers staan hier positief tegenover. Het examineren met behulp van de computer is wat de infrastructuur betreft op vrijwel alle scholen uitvoerbaar. Wat het gebruik van de computertoepassingen bij de lessen betreft zullen ICT-onderdelen in examens eerder sturend zijn, dan dat ze kunnen steunen op in de reguliere lessen aangeleerde vaardigheden. Leerlingen doen buiten de school veel ervaring op met computertoepassingen. Probleem met de op deze wijze verworven vaardigheden is dat ze niet voor alle leerlingen even bereikbaar zijn.
15
16
3.
Experimenten passend in de beleidsrichting
In het schooljaar 2000/2001 zijn een aantal experimenten uitgevoerd die passen in de beleidsrichting. Dergelijke experimenten moeten informatie opleveren voor het formuleren van het feitelijk te voeren beleid. Ze leveren informatie op over: - de acceptatie bij schoolleiding en docenten - de constructie technische aspecten - de technische realisatie - de organisatorische uitvoerbaarheid - de inpassing in het bestaande examenstramien - de benodigde implementatie activiteiten De hier volgende paragraaf bespreekt de in 2000/2001 uitgevoerde experimenten op deze punten. Uitvoerige informatie over de experimenten iedere afzonderlijk is te vinden in de verslagen die van elk experiment verschenen zijn. Het betreft achtereenvolgens: - de examens culturele en kunstzinnige vorming 2 havo en vwo - de ontwikkeling van een beeldschermtoets Engels havo en de online afname van een prototype - de ontwikkeling van een examens biologie met gebruikmaking van de computer - schrijfvaardigheid Nederlands volgens het D-programma, vbo/mavo - pilot integratieve eindtoets kaderberoepsgerichte leerweg, vmbo - pilot praktische examens basisberoepsgerichte leerweg, vmbo - beeldschermexamens basisberoepsgerichte leerweg, vmbo - beeldscherm examen Frans, vmbo Tenslotte gaat deze paragraaf voor de volledigheid van het overzicht ook nog kort in op twee eerder uitgevoerde experimenten. (zie par.3.3) 3.1
De CKV-2 examens havo en vwo
De examens culturele en kunstzinnige vorming 2 (CKV-2) zijn een voorbeeld van informatie aanbieden op de computer. Vanuit de eisen die het vak stelt, werd gekozen voor een examen met gebruikmaking van de computer en een CD-rom. Alleen multimedia computers kunnen de combinatie van tekst, beeldende kunst, muziek, drama en dans op één medium presenteren. Het CKV-2 examen werd in 2000 op negen scholen afgenomen en in 2001 op ruim honderd scholen. De acceptatie bij schoolleiding en docenten bleek uit de deelname. De deelname aan het examen was niet verplicht. Er schreven 154 scholen in. Ongeveer 107 scholen namen het examen ook werkelijk af. Wat de redenen zijn om wel in te schrijven en niet deel te nemen, moet nog nader onderzocht worden. De reacties van scholen die wel deelgenomen hebben waren overwegend positief. Over de presentatie van vragen en uitgangsmateriaal waren de leerlingen zeer positief. De meeste leerlingen lazen de teksten vanaf het beeldscherm, ondanks het feit dat ze ook de beschikking hadden over de gedrukte tekst. De technische en organisatorisch uitvoerbaarheid bleek heel behoorlijk. Scholen moesten omdat het de eerste keer was de nodige tijd besteden aan de voorbereiding. De afname van de examens is (voor zover bekend) overal goed verlopen. Een probleem dat zich blijft voordoen, is het vastlopen van computers vooral bij het opstarten van video. Het klaar staan van een reserve computer lost dit probleem voor de leerling op.
17
De Citogroep verzamelde net als bij de reguliere examens examengegevens voor de normering en evaluatie. De Cevo stelde een advies norm vast. (Advies omdat het examen opgenomen was in het schoolexamen en niet in het centraal examen.) Bij de voorbereiding van dit examen zijn op vier plaatsen in het land informatie bijeenkomsten belegd. Tevens hebben alle deelnemende scholen handleidingen voor de verschillende betrokken doelgroepen ontvangen. (doelgroepen: schoolleiders/secretarissen van het examens; systeembeheerders/ictcoördinatoren en docenten) De uitvoering van het examen bij een dergelijke grote groep scholen bleek zonder al te veel problemen mogelijk. (Zie voor een gedetailleerd verslag van dit examen: (Kreeft, 2001) 3.2
De ontwikkeling van een beeldschermtoets Engels havo en de online afname van een prototype
De ontwikkeling van een beeldschermtoets leesvaardigheid Engels is een twee jarig project dat in 2002 tot een afname moet leiden. Voor de presentatie van de toets wordt gebruik gemaakt van Question Mark Perception. Dit is het programma dat door de Citogroep op basis van vergelijking met verschillende andere programma's, gekozen is voor het uitbrengen van beeldschermtoetsen. Het belangrijkste punt van aandacht in de eerste projectperiode is de manier waarop het examen op het beeldscherm geplaatst kan worden, zodat voor de leerlingen een optimale interface ontstaat. Het is de bedoeling dat het examen in 2002 op twee manieren afgenomen gaat worden: via het schoolinterne netwerk en online. De online afname zal buiten het regulier examen plaatsvinden. Met de online afname is in juni 2001 op één school een pilot met 28 leerlingen uitgevoerd. Hiervoor was op de Citogroep een server ingericht. De pilot liet direct een van de problemen zien die zich voor kunnen doen bij online afname: kort na het inloggen werd de verbinding voor een korte periode onderbroken. Nadat de verbinding hersteld was, was de afname van de toets probleemloos. 3.3
Havo/vwo examens met gebruikmaking van standaardprogrammatuur
Eveneens voor afname in 2002 wordt een examen voor biologie havo ontwikkeld. Een gedeelte van het examen zal bestaan uit de normale vragen van het papieren examen, een gedeelte uit computer opgaven. Het afgelopen jaar is vooral gewerkt aan de keuze van geschikte programma's en aan de constructie van opgaven daarbij. Deze werkwijze is reeds eerder gebruikt bij een experiment in 2000. (Boeijen en Post, 2000) In dit experiment werden op een aantal scholen een gedeelte van de examenvragen voor natuurkunde vwo en aardrijkskunde havo vervangen door computeropgaven. Voor natuurkunde zijn opgaven geconstrueerd die betrekking hadden op modelleren met behulp de modelomgeving van het programma IP-coach 4.5. van de Universiteit van Amsterdam en het programma Multimedia Motion van de uitgever Cambridge Science, waarmee onderzoek kan worden verricht aan bewegingen van voorwerpen. Voor aardrijkskunde werden opgaven ontworpen die met behulp van het programma Bos@tlas statistiek 99/00 dienden te worden opgelost. De betrokken docenten zijn van mening dat deze opgaven een stap in de goede richting zijn van het gebruik van ICT bij examens. De programma's breiden de mogelijkheden om onderwerpen en vaardigheden in het centraal examen te toetsen uit. De voorbereiding van de leerlingen is een aangename afwisseling in de lessen (!). Tijdens de constructie kregen twee aspecten de volle aandacht: het gebruik van de computer moet een duidelijke meerwaarde hebben, de opgaven moeten zonder computer niet of zeer moeilijk te maken zijn, ze moeten passen in het programma en van het juiste niveau zijn. Technisch en organisatorisch bleek het voor scholen lastig een examensituatie te creëren in het computerlokaal of mediatheek. De te gebruiken programmatuur werkte niet altijd foutloos onder Windows 95. Als geheel is de examenafname naar tevredenheid afgerond. De examens zijn op de gebruikelijke wijze genormeerd. De drie scholen die per examen meededen zijn vanaf het begin dus ook bij de voorbereiding van de lessen door de Citogroep begeleid. Wanneer dergelijke examens op grotere schaal ingevoerd zouden
18
worden moet veel aandacht besteed worden aan een goede begeleiding. (zie voor een gedetailleerd verslag Boeijen en Post, 2000)
3.4
Schrijfvaardigheid Nederlands volgens het D-programma
In 2001 is op tien mavo/vbo scholen het schrijfvaardigheids examen Nederlands door leerlingen die daarvoor kozen met de tekstverwerker gemaakt. Leerlingen en docenten waren zeer positief over deze vorm van examen doen. Technisch was dit examen met de computer zeer eenvoudig uitvoerbaar. De organisatie was eveneens eenvoudig, vooral omdat de scholen met kleine groepen werkten. (Alleen kandidaten met voldoende tekstverwerkingsvaardigheden deden mee.) Correctie en normering verliep op de normale wijze. Een onderzoekje naar het gebruik van de spellingcontrole wees uit dat lang niet alle spelfouten uit het werk verdwenen waren. Met de deelnemende scholen is een voorbespreking gehouden en zij konden werken aan de hand van een handleiding. Bij uitbreiding van deze examenvorm zal de handleiding nuttige diensten kunnen bewijzen. Informatiebijeenkomsten zijn zeker wanneer scholen voor het eerst deelnemen zeer gewenst. (Zie voor een uitgebreid verslag Kreeft en Maas, 2001) 3.5
pilot integratieve eindtoets kaderberoepsgerichte leerweg, vmbo pilot praktische examens basisberoepsgerichte leerweg, vmbo
Op twintig Pilot scholen zijn in 2001 de eerste examens voor het nieuwe vmbo afgenomen. Onderdeel van de pilot waren de praktische examens en de integratieve eindtoets voor de beroepsgerichte vakken. De examens bestonden uit verschillende opdrachten, waarvan soms enkele met de computer uitgevoerd werden. De leerlingen deden de examens in kleine groepjes van 4 tot 12 leerlingen. Examens voor Administratie en Grafische vormgeving kader beroepsgericht bestonden geheel uit computeropdrachten. De school maakte zelf een planning voor deze examens. (Zie voor een schema van opdrachten bijlage 2) Er werd afhankelijk van het vak gebruik gemaakt van tekstverwerker, spreadsheet, tekenprogramma, presentatieprogramma, , opmaakprogramma, CAD-programma, administratieprogramma, beheersingsautomatiseringssysteem elektrotechniek, routeplanner, CD-rom met fabrieksgegevens en bij Grafische techniek een computer met internet aansluiting. (zie bijlage 2) De scholen ontvingen een handleiding waarin de organisatorische en technische aandachtspunten aangegeven waren. In het bijzonder werd aandacht besteed aan de Auto-save functies. In principe werd alle werk van leerlingen vastgelegd op floppen en na voltooiing van de opdracht uitgeprint. Vanaf januari waren de docenten op de hoogte met de type opgaven. Leerlingen hebben voorzover dat al niet gebeurd was, geoefend met de programmatuur. De twintig pilotscholen bleken alle instaat op de afname van de ICT-onderdelen goed te laten verlopen. Alle pilot scholen beschikken over een of meer computerlokalen. Alle pilotscholen hebben de computers in de computerlokalen in een netwerk staan. De computers in de computerlokalen zijn meest Pentium computers (waaronder soms 75 mhz computers). De aanwezigheid van computers in de vaklokalen is afhankelijk van het schoolbeleid en de ICT-interesse van de docent. Soms zijn dit nog 286-486 modellen. Het lokaal van het vak administratie is het beste voorzien, in elk geval in aantal computers. De vaklokalen uit de sector zorg en welzijn en landbouw zijn het minst voorzien. Aangezien alle scholen over een computerlokaal met minimaal 16 computers beschikten, was met een goed organisatieschema voor alle leerlingen die computeronderdelen moesten afleggen een geschikt moment te vinden. De onderdelen van de integratieve eindtoets die met de computer moesten worden gemaakt werden afgenomen in: praktisch examen bbl integratieve eindtoets kbl het vaklokaal 53% 47% het computerlokaal 47% 53%
19
Op de pilotscholen was de aanwezige software toereikend. Een probleem voor de Cevo is dat er bij de technische vakken zeer veel verschillende CAD programma's (technische tekenprogramma's) gebruikt worden. Het zelfde geldt voor de kantoorsimulaties bij het vak administratie. Dit betekent voor de Cevo dat er programmatuur onafhankelijke opgaven gemaakt moeten worden. Dit is helaas een beperking op de mogelijkheden. Tekstverwerkingsprogrammatuur en spreadsheets zijn op de meeste scholen de Microsoft producten Word en Excel. Een enkele school werkt met Word Perfect en Quatro Pro van Corel. Op de vraag of de computervaardigheden van de leerlingen voldoende was voor de opdrachten kwamen de volgende reacties: Beschikten de leerlingen over voldoende ICT-vaardigheden voor het uitvoeren van de opdrachten? Praktisch examen bbl integratieve eindtoets kbl nee 6% kan beter 18% 26% ja 82% 68%
Het verschil in moeilijkheidsgraad en het verschil in frequentie van computeropdrachten tussen basisberoepsgerichte leerweg (bbl) en kaderberoepsgerichte leerweg (kbl) verklaart de verschillen in voldoende vaardigheid. De opdrachten voor de basisberoepsgerichte leerweg vereisten minder vaardigheid. Het is de bedoeling dat deze opdrachten direct met de invoering van de nieuwe examens in 2003 onderdeel uitmaken van de reguliere examens. (Zie voor gegevens over de mogelijkheden van scholen in 2002 ook hoofdstuk 2). De handleiding voor de ICT onderdelen moet naar alle scholen verspreid worden. In de platformbijeenkomsten voor de beroepsgerichte vakken moet aandacht besteed worden aan de introductie van deze examenonderdelen. 3.6
beeldschermexamens basisberoepsgerichte leerweg, vmbo
In 2001 zijn op tien pilot scholen beeldscherm examens afgenomen voor de vakken biologie, metaaltechniek en horeca-bakken. Het betrof de theoretische examens, het centraal schriftelijk examen in de basisberoepsgerichte leerweg. Bij dit eerste experiment zijn de examens op papier zonder veel wijzigingen omgezet in beeldscherm examens. Hierbij is gebruik gemaakt van het programma Question Mark Perception for Windows. De scholen die deelnamen, deden dit met al hun leerlingen voor het vak. Het aantal leerlingen varieerde van 8 tot 60. Op sommige scholen werd het examen afgenomen in twee opeenvolgende zittingen. De leerlingen waren zeer positief over deze vorm van examen doen. Computervaardigheden spelen bij deze examens een zeer beperkte rol. Docenten waren van mening dat meer gebruik gemaakt moet gaan worden van de specifieke mogelijkheden van de computer, wil een beeldscherm examen zinvol zijn. Tijdens de afname hebben zich nog de nodige problemen voorgedaan. Problemen die te maken hadden met de aangeleverde beeldscherm examens en problemen die te maken hadden met de computersystemen op de scholen. Dit maakte dat de schoolleiders minder tevreden waren over deze afname, te meer daar de verwerkingsprogrammatuur waarmee de open vragen gecorrigeerd moesten worden en de leerlingresultaten vastgesteld, een aantal fouten bevatte en moeilijk hanteerbaar was.. Systeembeheerders hebben hier het nodige werk aan gehad. De Pilot examens werden uitgevoerd als onderdeel van de schoolexamens. De Cevo leverde een adviesnorm. Voordat ruimere invoering mogelijk is, vragen de nodige technische en organisatorische problemen om een oplossing. De systeemeisen waaraan scholen voor deelname moeten voldoen zullen beter gedefinieerd en gecontroleerd moeten worden. Maar vooral zal de aangeboden programmatuur aan hogere eisen moeten voldoen. (Zie voor een uitgebreid verslag Maas, 2001)
20
3.7
beeldscherm examen Frans, vmbo
In 2001 is op vier scholen in het kader van het schoolexamen een nieuw examen Frans voor de basisberoepsgericht leerweg afgenomen. Het examen bevatte opdrachten en vragen die betrekking hadden op leesvaardigheid, luistervaardigheid en schijfvaardigheid. Het gehele examen was opgehangen aan een bezoek aan een Franse camping. Alle opdrachten waren functionele opdrachten die in de werkelijke situatie ook kunnen voorkomen. De luistervaardigheidsvragen werden aan de hand van videoregistraties gesteld. Schrijfvaardigheid bestond bijvoorbeeld uit het invullen van een registratieformulier en het schrijven van een e-mail. Het examen werd aangeboden in het programma Question Mark Perception for Windows. Docenten waren zeer enthousiast over deze examenvorm. De vraag of het computerexamen meerwaarde had ten opzichte van een papieren examen werd duidelijk positief beantwoord. De leerlingen reageerden eveneens positief. Het beeldscherm examen Frans is geheel voor afname op de computer geconstrueerd. Dat betekent dat vanaf het begin rekening gehouden is met het verhaal dat als rode draad door het examen liep en de visuele presentatie mogelijkheden. Voor de luisteropdrachten werden speciale video-opnamen gemaakt. Evenals bij de andere beeldscherm examens verliep de afname en de resultaten verwerking na afloop van het examen niet naar wens. Wanneer de technische problemen opgelost zijn, kan een examen Frans en hetzelfde geldt voor Duits, makkelijk in de reguliere centrale examinering ingepast worden. Voor Engels ligt dit moeilijker in verband met de grote aantallen leerlingen. Om het examen zoals dat nu aangeboden is mogelijk te maken, moet een ontheffing van een bepaling in het examenprogramma gerealiseerd worden. In het examenprogramma staat namelijk dat in het centraal examen naast algemene leervaardigheden alleen leesvaardigheid en kennis van land en volk geëxamineerd wordt. Dit correspondeert met de beperkte mogelijkheden van de examens op papier. De computer afname maakt meer mogelijk. (Zie voor een uitgebreid verslag: Maas, 2001) 3.8 Algemene Constateringen De acceptatie bij schoolleiding, docenten en leerlingen De leerlingen reageren overwegend positief op examens met behulp van de computer. Zij hebben over het algemeen weinig moeite met de vereiste computervaardigheden. Tijdens het examen zijn ze zeer geconcentreerd bezig. Wat zeker bij leerlingen uit de basisberoepsgerichte leerweg bij papieren examens wel eens anders is. Over computerexamens die duidelijk meer bieden dan het papieren examen, zijn docenten overwegend positief De verantwoordelijke schoolleider heeft vooral moeite met de extra organisatorische werkzaamheden die een eerste afname met de computer in elk geval met zich meebrengt en het beslag dat gelegd wordt op de computerfaciliteiten voor de gehele school. Als de programmatuur niet goed functioneert zoals bij de beeldscherm examens, dan wordt de mening negatief. De systeembeheerders zetten zich maximaal in. Het is voor hen duidelijk een ere zaak om de afname technisch goed te laten verlopen. Onder de systeembeheerders is veel kennis aanwezig die nuttig gebruikt zou kunnen worden bij het verder ontwikkelen van de programmatuur. De constructie technische aspecten De constructie van opgaven verloopt in zoverre anders, dat bij het bedenken al rekening gehouden moet worden met de te gebruiken programmatuur. De vragenconstructeurs moeten de mogelijkheden van de programmatuur goed kennen. Afgezien van deze nieuwe elementen verloopt de constructie en de vaststelling van examens op dezelfde manier als bij papieren examens. Nadat de opgaven in eerste instantie vastgesteld zijn, krijgen de opgaven de juiste presentatievorm. - Dit kan zijn in een zelf ontwikkeld interface zoals bij de CKV-2 examens, - Dit kan zijn door het gereedmaken van inleesbare bestanden voor standaardprogrammatuur - Dit kan zijn door het invoeren van de opgaven in Question Mark Perception.
21
Afhankelijk van de complexiteit kan een toetsconstructeur dit werk doen of moeten ICT-deskundigen ingeschakeld worden. Bij het gebruik van Question Mark Perception is het mogelijk dat vraagconstructeurs de vragen direct in het programma vormgeven. Dat gebeurt nu nog niet. De vormgeving van het programma waarin CKV-2 examens gepresenteerd worden is voorlopig voldoende uitgekristalliseerd. Bij de andere programma's moet nog meer ervaring opgedaan worden, wil er sprake zijn van een jaarlijks te hanteren standaard. De technische realisatie Het gebruik van standaard programmatuur, zoals dat gebeurde in de praktische pilotexamens basisberoepsgerichte leerweg en in de integratieve eindtoets in de pilot kaderberoepsgerichte leerweg verliep zonder technische problemen. In vrijwel alle andere situaties blijkt het samenspel tussen Windows als besturingssysteem en de aangeboden programmatuur of de standaard programmatuur niet optimaal te zijn. Hetgeen met enige regelmaat leidt tot het vastlopen van de computer. Oorzaken kunnen ook liggen in bepaalde instellingen van computers of in andere programmatuur die actief wordt bij het opstarten van de computer. Meestal is het zo dat slechts enkele computers in een computerlokaal last hebben van problemen. Een oplossing hiervoor is mogelijk een aanbod van programmatuur te maken dat de instellingen van de individuele PC of het schoolnetwerk omzeilt. Hiervoor moet een advies aan deskundigen gevraagd worden. Voor de beeldschermexamens moet de programmatuur die nodig is voor de verwerking van de leerling antwoorden nog vorm gegeven worden, op zodanige manier dat het voor de docent tijdbesparend is om van deze programmatuur gebruik te maken. Aan de technische realisatie moet de komende tijd in bijzonder aandacht besteed worden. Een op de scholen goed functionerende toetsomgeving is basisvoorwaarde voor de toepassing van de computer bij examens.
De organisatorische uitvoerbaarheid De scholen die aan de experimenten deelgenomen hebben, hebben de examens steeds afgenomen in computerlokalen. Alleen de praktische examens voor de beroepsgerichte vakken worden in de helft van de gevallen afgenomen in de vaklokalen. De afname verloopt het beste en problemen kunnen het makkelijkst opgevangen worden, wanneer niet te veel leerlingen tegelijk examen doen. Zo'n 20 leerlingen in een lokaal is heel goed hanteerbaar. Sommige scholen die het CKV-2 examen afnamen gingen om deze reden over tot het afnemen in twee opeenvolgende sessies, terwijl het aantal leerlingen daar niet echt aanleiding toe gaf. De handleidingen die voor elke afname verstrekt zijn, geven het advies om ruim van te voren een keer proef te draaien en de computers met randapparatuur te controleren. Een dergelijke proef kan gelijktijdig een oefensituatie voor de leerlingen opleveren. De handleiding beveelt aan de voorbereiding in een team bestaande uit schoolleider, systeembeheerder en docent te laten plaatsvinden. Dit is allemaal extra werk. Vooral omdat het bij de eerste keren nog geen sprake is van een routine. De afname met behulp van de computer zal ook wanneer het routine geworden is, inzet van de systeembeheerder blijven vragen. Alle scholen die aan de experimenten meededen slaagden erin om de examens op een adequate manier te organiseren. De inpassing in het bestaande examenstramien De examens die met behulp van de computer afgenomen worden, passen in het normale examenrooster. Bij een groter aantal kandidaten kunnen twee direct opeenvolgende sessies georganiseerd worden. Met deze mogelijkheid zal het examenrooster rekening moeten houden. Examens met grote aantallen leerlingen zijn moeilijk inpasbaar en komen derhalve niet als eerste voor een computertoepassing in aanmerking. De correctie van open vragen gaat op dezelfde manier als bij papieren examens. Bij beeldschermexamens en examens met standaardprogramma's kunnen bestanden uitgeprint worden. Bij beeldscherm examens is het mogelijk een module te maken die correctie aan het beeldscherm voor de
22
docent aantrekkelijk maakt, doordat de score die voor een open vraag toegekend wordt direct bij de score van de gesloten vragen opgeteld wordt. Bij beeldscherm examens voor de basisberoepsgerichte leerweg verdient het de voorkeur dat de examens zo geconstrueerd worden dat de computer alle vragen kan corrigeren. De variatie in door de computer corrigeerbare vraagtypen is bij beeldscherm examens aanzienlijk, o.a. ook open vragen met een kort antwoord. Het opsturen naar de Citogroep van de examenresultaten kan op dezelfde manier gebeuren als bij papieren examens. Bij beeldscherm examens moeten de bestanden met leerling antwoorden direct opzendbaar zijn naar de Citogroep en bruikbaar gemaakt kunnen worden voor de normering. Hierbij kan aangesloten worden bij de reeds gestarte ontwikkeling van een internetformulier voor de inzending van examengegevens door de Citogroep. De benodigde implementatie activiteiten Aan een eerste experiment neemt een klein aantal scholen deel, waarmee nauwe contacten onderhouden worden. De ervaringen leveren de gegevens voor handleidingen die bij grootschaliger experimenten gebruikt kunnen worden. Wanneer grotere aantallen scholen op vrijwillige basis deel gaan nemen blijken informatiebijeenkomsten gecombineerd met schriftelijk informatiemateriaal goed te werken. De implementatie-activiteiten moeten steeds op drie groepen gericht worden. - verantwoordelijken op school of locatieniveau - ict-deskundigen - docenten Experimenten en de beleidsrichting De tot nu toe uitgevoerde experimenten laten zien dat de verschillende ICT-examenvormen die in de beleidsrichting opgenomen zijn, goed uitvoerbaar zijn. Ook laten de experimenten zien op welke punten verdere ontwikkelactiviteiten ingezet moeten worden. De belangrijkste daarvan zijn de ontwikkeling van goed functionerende programmatuur en een goede benadering van de zeer verschillende hardware en software systemen op de scholen. Een geleidelijke invoering, technische ondersteuning en goede informatieverstrekking is van groot belang
23
24
4.
Enkele binnen- en buitenlandse voorbeelden
Voor het formuleren van een beleid voor examens en ICT is het uiteraard ook noodzakelijk te inventariseren wat elders binnen en buiten het voortgezet onderwijs gebeurt. In de Cevo-nota "Examens met behulp van de computer, een verkenning van ICT-mogelijkheden bij centrale examens" (Kreeft, 2000) is reeds een beschrijving opgenomen van de werkwijze van een aantal organisaties uit de wereld van de beroepsopleidingen. (Exin, Uneto en Innovam). De hier volgende paragrafen bevatten drie beschrijvingen: - de internationale stand van zaken, zoals gepresenteerd op een conferentie in Tuscon, USA in februari 2001; - de werkwijze van het Europeen Computer Driving licence in Nederland - de activiteiten van educatieve uitgevers in Nederland 4.1
Internationale Conferentie over Cumputer-based testing
De ATP, Association of Testpublishers organiseerde in februari 2001 een conferentie over "Computerbased Testing: Emerging technologies and opportunities for Diverse Applications". Op deze conferentie waren alle Amerikaanse en enkele buitenlandse testuitgevers aanwezig. Vrijwel alle facetten van computerbased testing kwamen tijdens het congres aan de orde. Het hier volgende presenteert enkele voor het Cevo-werk relevante onderwerpen gebaseerd op het verslag van Boeijen, Kremers, Tax, (2001). Onderscheid testproductie en testafname Typerend voor de situatie in de Verenigde Staten is dat de toepassing van computer based testing zich geheel afspeelt buiten het reguliere onderwijs. Leerlingen die willen deelnemen aan de examens schrijven zich in bij testcentra. Bovendien bestaat er een strikt onderscheid tussen testuitgevers en testproviders. De eersten verzorgen de inhoud en vormgeving van de testen, de tweede organiseren de afname van alle mogelijke testen en examens in testcentra door het gehele land en in het buitenland. De testproviders verzorgen de totale logistiek van de examenorganisatie van inschrijvingen, betalingen, inrichting van de examenlokalen, de programmatuur waarmee de toetsen afgenomen kunnen worden, de internet verbindingen tussen testcentra en de centrale computer, de beveiliging van examengegevens, de rapportage en de certificering. De programmatuur die de testproviders gebruiken is zeer ver ontwikkeld en functioneert binnen de door hen opgezette testcentra probleemloos. Testproductie en testafname zijn strikt gescheiden. De experimenten beschreven in paragraaf 3 lieten zien dat een van de problemen bij examineren met behulp van de computer in de schoolsituatie bestond uit de diversiteit van computers en netwerken. De introductie van testcentra beheerd door testproviders ligt in de Nederlandse voortgezet onderwijs niet direct voor de hand. Toch is het waarschijnlijk dat het soort deskundigheid dat de testproviders inbrengen in de Nederlandse situatie ook noodzakelijk is. De inhoud van de testen Vrijwel alle toetsen en examens die via de testproviders afgenomen worden, bestaan alleen uit gesloten vragen. Daarbij wordt wel gebruik gemaakt van de extra vraagvormen die computerprogramma's mogelijk maken, zoals sleep-vragen en hot-spot vragen (aanwijs vragen). Open vragen zijn niet machinaal te scoren en vallen derhalve buiten de te produceren toetsen. Een vergelijking de experimenten die in paragraaf 3 beschreven zijn, laat zien dat de door ons uitgevoerde experimenten een aantal extra moeilijkheden bevatten: - de experimenten bevatten ook open vragen; - de experimenten maken gebruik van audio en video
25
-
gesloten vragen, open vragen, info aanbod in de vorm van audio en video worden door elkaar gepresenteerd in een het hetzelfde format. Dergelijke toetsen met deze elementen worden in de grote Amerikaanse toetsprogramma's niet gebruikt. In de grote testprogramma's zijn wel enige bijzondere examenvormen ontwikkeld, die ook grootschalig worden afgenomen. De United States Medical Licensing Examination bevat een Patient management simulatie. Het ETS-examen voor architecten in opleiding bevat een examen waarin ontwerpen op het scherm getoetst wordt. Beide zijn grootschalige toetsprogramma's die met veel financiële en inhoudelijke inzet ontwikkeld zijn. Het ruime gebruik dat ervan gemaakt wordt, maakt een dergelijk ontwikkeling mogelijk. De US.MLE moet bijvoorbeeld iedere arts die in de Verenigde Staten in een ziekenhuis wil werken, met goed gevolg afgelegd hebben. (Deelname is ook in Nederland mogelijk bij de Nederlandse testcentra van Sylvan/Prometric.). Essayscoring Een interessant onderwerp vormen de programma's voor de scoring van open vragen en opdrachten. Op de conferentie presenteerden vier organisaties hun systemen. Twee van de vier systemen hadden ‘uitsluitend’ betrekking op de scoring van schrijfvaardigheid (writing ability), de andere twee ook op de scoring van vakinhoud van diverse (school)vakken. De E(ssay)-rater van ETS1 en de Peg van IUPUI 2zijn gericht op het automatisch scoren van schrijfvaardigheid. Twee andere systemen Intellimetric3 en Intelligent Essay Assessor zijn gericht op het analyseren van vakinhoud naast grammatica en schrijfvaardigheid. De engines hebben als input 100 à 300 vooraf door twee beoordelaars gescoorde essays nodig. De pretentie is dat de scoring door de computer tenminste even accuraat is als menselijke scoring. ETS kondigde de ontwikkeling van de zogeheten C-rater aan, de concept-rater voor kortere antwoorden op examenvragen. (Zie voor meer informatie en doorverwijzing naar sites, Boeijen, Kremers, Tax, 2001) Het beoordelen van essays in de Verenigde Staten betekent het beoordelen van z.g. "papers", een bij de afronding van cursussen veel gebuikte examenvorm. De vorm van deze examens verschilt aanzienlijk van onze open vragen met een maximale antwoord lengte van 100 woorden. Een verschil met de Nederlandse situatie is ook dat wij de scoringsprogramma's zouden willen gebruiken voor een veelheid van examens, dit zou per examen vooraf de vulling van het content gedeelte vergen. In de Verenigde Staten wordt de vulling ontwikkeld om vele malen gebruikt te worden in een gecontroleerde afname setting. Dit alles neemt niet weg dat de gepresenteerde systemen onze aanhoudende aandacht verdienen. In ons land lanceerde Prof. Richard de Mulder (Erasmusuniversiteit Rotterdam) begin 1998 een automatisch nakijkprogramma voor essayvragen. Uitgeverij Edu’Actief in Meppel brengt het programma commercieel op de markt. De bruikbaarheid voor ons type open vragen van dit programma lijkt niet groot. Dit programma beschouwt de antwoorden van alle open vragen van een examen als een tekst Nog nergens is de automatische beoordeling van open vragen geïntegreerd in een computerbased testomgeving. Toets Standaard in XML In eerste instantie zijn in Amerika de grotere CBT’s ontwikkeld voor stand alone machines en voor eigen netwerken van de testproviders. Ieder gebruikte een eigen systeem. Uniciteit was gunstig voor de profilering ten opzichte van de concurrenten. Met het gebruik van het Internet komt de noodzaak 1
Educational Testing Service, Princetown USA Het programma E-rater is nog in ontwikkeling en wordt onder andere ingezet bij de GMAT (Graduate Management Admission Test) 2 Project Essay Grade van IUPUI, Department of Psychology & Testing Center. Is onder andere gebruikt bij Naep, een onderzoeksproject om het landelijk onderwijsniveau te meten. 3 Intellimetric van Vantage learning, New York. De College Board gebruikt Intellimetric onder andere voor de Accuplacer en de Writeplacer.
26
voor het gebruik van standaard afspraken meer naar voren. Daarbij speelt niet alleen de standaard van het net zelf een rol. De content leveranciers worden kritischer ten aanzien van de toetsomgeving van de toetsproviders. De content leveranciers willen de mogelijkheid hebben om van toetsprogramma te wisselen zonder de hele inhoud van hun examenbanken opnieuw te moeten omwerken. De toetsinhoud moet ook op verschillende manieren tegelijk gebruikt kunnen worden. Om aan deze eisen tegemoet te komen hebben enkele grote testproviders met elkaar de standaard genaamd IMS Question en Test Interoperability ontwikkeld. Men hoopt door het gebruik van deze standaard een soort open markt te creëren waardoor bedrijven en scholingsinstellingen sneller geneigd zullen zijn hun toetsing door middel van CBT’s te laten verlopen. De standaard is ontwikkeld gericht op het Internet en op XML als schrijftaal voor de inhoud van de toetsen. Hiermee is een brede inzet van de standaard gegarandeerd lijkt het. Er zijn de afgelopen twee jaar handleidingen ontwikkeld voor de verschillende aspecten van de standaard en er zijn voorbeelden van goed en slecht gebruik bij het programmeren. Een van de programma's die werkt met IMS is het door ons gebruikte Question Mark Perception. Beveiliging bij gebruik van internet Een van de hoofdthema’s op de ATP conferentie is het beveiligen van toetsen die via het Internet worden verstuurd. In het verleden heeft men het beveiligingsprobleem bij het gebruik van CBT opgelost door het opzetten van een eigen netwerk. De bedrijven zien voor zichzelf voordelen in het gebruik van internet om de toetsen af te nemen. De provider kan bijvoorbeeld meer toetsplaatsen op de wereld bereiken door middel van het Internet. Men werkt aan de beveiliging van hun internet programma's Enkele globale tips: - Regel je auteursrechten goed; - Gebruik encryptie bij het versturen over het internet; - Verstuur de toets niet als geheel maar in kleine pakketjes; - Gebruik geadvanceerde elektronische sleutelmethodes om de eindgebruiker te identificeren; - Laat de toetsen niet thuis maken maar op gecontroleerde plaatsen. 4.2
Europees Computer Rijbewijs
Het Europees Computer Rijbewijs is een internationaal erkend diploma waarmee de bezitter aantoont goed met de computer te kunnen werken. Het ECDL in Utrecht organiseert voor Nederland de examinering en diplomering. Het computer rijbewijs bestaat uit zeven modules waarin achtereenvolgens examen wordt gedaan. Behalve de manier van vragen stellen is ook de organisatie met toetscentra interessant. Wijze van vragen stellen. Behalve meerkeuze vragen is in de programmatuur ook ingebouwd dat het aanklikken van knoppen of toetsen bij het gebruik van standaardprogramma's geregistreerd en gescoord kan worden. Voor een examen dat de vaardigheid in het omgaan met de programma's moet meten een adequate toetsvorm. (Voor examens in het voortgezet onderwijs waarbij standaard programma's gebruikt worden, maar niet zelf onderwerp van toetsing zijn, is dit minder relevant.) organisatie De examens voor het Europees Computer Rijbewijs kunnen gedaan worden in een door de Stichting ECDL Nederland geautoriseerd testcentrum. Deze testcentra zijn verspreid over het hele land en meestal verbonden aan een cursusinstituut of school, (veelal ROC). De tetstcentra zijn voor bepaalde perioden speciaal voor het ECDL ingerichte computerlokalen, ze zijn dus niet permanent beschikbaar. Het ECDL stelt eisen aan de inrichting van het lokaal en de technische voorzieningen en heeft het recht om tijdens examenafnames te controleren. Het instituut of de school verbindt zich om een aantal tests per jaar af te nemen en stelt een vaste contactpersoon, systeembeheerder en afnameleider aan voor de examenafnames. Dit alles is vastgelegd in een contract. Het belang van het instituut of de school is dat zij tevens de cursussen aanbieden aan eigen leerlingen of op de vrije markt. Hun kosten voor de examenafname betalen ze uit de examengelden..
27
De toets wordt online gemaakt. Er wordt gewerkt met het programma Teststation. de server staat in Stockholm. De risico's van het online maken worden beperkt doordat wanneer onverhoopt een toetsafname verstoord wordt, de kandidaat altijd weer verder kan gaan waar hij of zij gebleven was. In het ergste geval moet de hele toets (gratis) overgemaakt worden. Voor elke module zijn een aantal varianten beschikbaar. Een proeftoets kan gemaakt worden via www.ECDL.nl Een soortgelijke organisatie is opgezet voor werknemers en leerlingen in het onderwijs. Het digitaal Rijbewijs Onderwijs (www.dro.nl). De testcentra voor het DRO zijn ingericht bij hbo-instellingen, die ook de cursussen kunnen verzorgen. De lichte vorm van testcentra inrichten en contractsluiting met de instituten of scholen kan mogelijk als voorbeeld dienen voor de organisatie van de centrale examinering met de computer in scholen voor voortgezet onderwijs. 4.3
Educatieve Uitgevers
Educatieve uitgevers geven reeds enige jaren examens uit op CD-roms en computertoetsen bij hun methodes. Dit zijn steeds toetsen die gebruikt worden in een weinig formele setting als oefenen of diagnose. Examens De oefenprogramma's met oude examens betreffen de algemene vakken van vwo, havo, mavo D/C en vbo D/C. De toetsprogrammatuur die hier gebruikt wordt, is in staat meerkeuze vragen direct te corrigeren en van feed back te voorzien. In verband hiermee worden open vragen soms omgewerkt tot meerkeuze vragen. Sommige programma's kunnen kort antwoordvragen of citaten zelf scoren, waarbij een hoge foutentolerantie ingesteld is. De open vragen van examens worden niet door de programmatuur gescoord. Nadat de leerling de vraag beantwoord heeft, verschijnt het juiste antwoord op het scherm en moet de leerling het antwoord zelf beoordelen. Een aardige vorm is dat er na het intypen van het antwoord een controlevraag verschijnt met een meekeuzeversie van de vraag, waarbij de leerling aan moet klikken welk antwoord hij of zij gegeven heeft, waarna het programma ook deze vraag weer kan scoren. Beeldscherm examens kunnen alle vormen van gesloten vragen scoren, kort antwoord vragen kunnen met een bepaalde foutentolerantie eveneens gescoord worden. De mogelijkheid met de controlevraag is voor echte examens geen oplossing. De docent zal toch altijd moeten controleren of het ingetypte antwoord en het gekozen meerkeuze antwoord overeenstemt. Methoden Bij diverse methoden worden CD-rom's met beeldschermtoetsen aangeboden. Soms is het één toets per hoofdstuk, soms zijn het kleine toetsenbanken per hoofdstuk. Sommige programma's bevatten ook een beheerssysteem voor de docent, waarin de resultaten van de leerlingen opgeslagen worden, waarin opgeslagen wordt wanneer aan welke toets gewerkt is, of deze in één keer afgerond is, of dat de toets herhaalde malen gemaakt is. Toetsenbanken bij een methode met een beheerprogramma worden vooral aangeboden bij de beroepsgerichte vakken. Ze maken het mogelijk dat een leerling geheel zelfstandig een toets gaat maken als hij of zij denkt de leerstof te beheersen. De docent is in het vaklokaal met andere leerlingen bezig en controleert aan het eind van de dag, wat de leerlingen die toetsen gemaakt hebben, gedaan hebben. Dergelijke werkwijzen zijn bijvoorbeeld mogelijk met de toetsprogramma's bij - Kaliber, een methode voor metaaltechniek (Uitgever Som) - Elektrotechniek vmbo (Uitgever EPN) Bij de talenmethodes van Wolters Noordhoff zijn diagnostische toetsen op CD-rom uitgekomen. Ook in deze toetsen worden voornamenlijk meerkeuze vragen gebruikt. Het systeem van zelfstandig gebruik door leerlingen functioneert immers alleen wanneer het programma geheel zelf corrigerend is. De talen-toetsen van Wolters Noordhoff gebruiken voor open vragen het systeem met controle vragen.
28
Uitgeverij Malmberg geeft eveneens bij diverse vakken module toetsen, toetsspelen en examenoefeningen uit. De gebruikte presentatie omgeving wordt aangeduid met de naam Examinator.
4.4 1.
Constateringen De keuzes die in de tot nu toe uitgevoerde experimentengemaakt zijn, zorgen voor aantal extra moeilijkheden: - de experimenten bevatten ook open vragen; - de experimenten maken gebruik van audio en video - gesloten vragen, open vragen, info aanbod in de vorm van audio en video worden door elkaar gepresenteerd in een het hetzelfde format. Dergelijke elementen worden in de grote Amerikaanse toetsprogramma's niet gebruikt. Toch bepalen deze elementen de inhoudelijke meerwaarde van het examineren met de computer.
2. Educatieve uitgevers geven reeds enige jaren examens uit op CD-roms en computertoetsen bij hun methodes. Dit zijn steeds toetsen die gebruikt worden in weinig formele settingen als oefenen en diagnose. 3. Nog nergens is de automatische beoordeling van open vragen geïntegreerd in een computerbased testomgeving. De ontwikkeling van een content-rater moet nauwlettend gevolgd worden. 4. De lichte vorm van testcentra inrichten en contractsluiting met de instituten of scholen kan mogelijk als voorbeeld dienen voor de organisatie van de centrale examinering met de computer in scholen voor voortgezet onderwijs. 5. Het soort deskundigheid dat de testproviders inbrengen is in de Nederlandse situatie ook zeer noodzakelijk wanneer examinering met de computer een grotere vlucht gaat krijgen.
29
30
5.
Cevo beleid geformuleerd
Rekening houdend met de uitgangssituatie die in hoofdstuk 2 beschreven is en de verzamelde reacties op de beleidsrichting en rekening houdend met de ervaringen uit de experimenten die in hoofdstuk 3 beschreven zijn en de kennis van elders ontwikkelde toetsprogramma's, heeft de Cevo beleidsdoelen geformuleerd voor de periode 2002 tot 2005. 5.1
Uitgangspunten
Het beleid is geformuleerd vanuit de volgende uitgangspunten: 1. De kern van het beleid is dat ervaring opgebouwd wordt met examens met behulp van de computer bij alle betrokken partijen. De experimenten in 2000 en 2001 laten zien dat bij alle participanten de nodige kennis en ervaring nog opgebouwd moet worden. Procedures lopen niet direct soepel. Technische oplossingen moeten nog verder ontwikkeld worden. Willen we binnen enige tijd in staat zijn om examens met behulp van de computer af te nemen dan zal deze ervaring nu opgebouwd moeten worden. 2. Er wordt gewerkt binnen de setting van de huidige centrale examens Beslissingen om een examensysteem te wijzigen moeten een onderwijskundige aanleiding hebben. Het gebruik van de computer moet zich daaraan aanpassen. . 3. In elke leerweg, elk profiel en elke sector worden leerlingen geconfronteerd met minimaal één examen waarbij de computer gebruikt wordt. De introductie van computerexamens is gebaseerd op de aanwezigheid van eindtermen in de examenprogramma's. In alle examenprogramma's van alle leerwegen, sectoren en profielen komen eindtermen op het gebied van computervaardigheden voor. Het is niet de bedoeling al deze eindtermen in het centraal examen af te toetsen. Het is wel wenselijk het belang van deze eindtermen te benadrukken door de toetsing in beperkte mate in de centrale examens op te nemen. 4. De integrale invoering wordt voorafgegaan door een periode waarin papieren examens en computerexamens naast elkaar bestaan. Om een succesvolle implementatie mogelijk te maken is het niet wenselijk dit op enig moment op alle scholen tegelijk te willen realiseren. Scholen die op dit terrein vooroplopen kunnen waardevolle ervaringen doorgeven aan scholen die volgen. 5. Openstelling van een examen met behulp van de computer wordt minmaal voorafgegaan door een kleinschalig experiment (10 scholen) en een groter experiment (40 scholen). Met een tiental scholen kan intensief contact gehouden worden. Bij een positief resultaat van een experiment moet nog blijken dat de ervaringen overdraagbaar zijn in een situatie waarin direct contact minder mogelijk is.
31
5.2
Het Cevo beleid
havo en vwo 1. Bij elk profiel havo en vwo wordt een centraal examen aangeboden dat geheel of gedeeltelijk met behulp van de computer gemaakt wordt. De examenvakken dienen zo gekozen te worden dat in elk profiel met een voor het profiel typerend standaard programma vakinhouden geëxamineerd worden. Deze examens verschillen voor een deel van de papieren examens. Scholen kunnen kiezen tussen de twee varianten. De eerste experimentele afnames vinden plaats in 2003. 2. Bij Nederlands is het gewenst dat bij het onderdeel samenvatting de computer gebruikt kan worden.: De samenvatting is een schrijfopdracht die logischer wijze beter met de tekstverwerker gemaakt kan worden dan met pen en papier. (Er zijn al scholen die dit in overleg met de inspectie al zo doen!) Een onderzoek van de mogelijkheden moet leiden tot een mogelijke invoering voor scholen die daarvoor kiezen in 2005. 3. Voor het vak Culturele en kunstzinnige vorming is reeds vanaf het eerste examen voor dit vak de computer ingezet. Het gaat hierbij om de presentatie van het examen inclusief afbeeldingen, muziek en video op het scherm, terwijl de antwoorden door de leerlingen op papier opgeschreven worden. Met de mogelijkheden om dit examen geheel op de computer te maken zou in 2004 geëxperimenteerd moeten worden. Het examen maakt nu onderdel uit van het schoolexamen. De Cevo gaat ervan uit dat het examen weer opgenomen zal worden in het centraal examen. vmbo theoretische en gemengde leerweg 1. Bij elke sector van het vmbo wordt een centraal examen aangeboden dat geheel of gedeeltelijk met behulp van de computer gemaakt wordt. De examenvakken dienen zo gekozen te worden dat in elke sector met een voor de sector typerend standaard programma vakinhouden geëxamineerd worden. Deze examens verschillen voor een deel van de papieren examens. Scholen kunnen kiezen tussen de twee varianten. De eerste experimentele afnames vinden plaats in 2003. 2. Voor het examen Nederlands schrijfvaardigheid (theoretische en gemengde leerweg is de Cevo voornemens de tekstverwerker met ingang van 2003 als hulpmiddel toe te staan. Hiertoe moet een procedure ontwikkeld worden waardoor digitale bestanden die in het kader van het sectorwerkstuk gemaakt zijn, gebruikt kunnen worden bij het centraal examen Nederlands schrijfvaardigheid. 3 De examens Dans en Drama (theoretische en gemengde leerweg) zijn voorzien als beeldscherm examens. Deze examens worden in 2003 voor het eerst afgenomen. vmbo basis- en kaderberoepsgerichte leerweg praktische examens en integratieve eindtoets Het gebruik van standaard programmatuur werd reeds toegepast bij de centraal praktische examens en de centrale integratieve eindtoets voor de beroepsgerichte vakken die in 2001 afgenomen werden op de pilot scholen. In 2002 zal een groter aantal scholen aan deze examens deelnemen en in 2003 alle
32
scholen. Een gedeelte van de opdrachten van deze examens of bij een enkel vak alle opdrachten moeten worden uitgevoerd met bijvoorbeeld de tekstverwerker, een spreadsheet, een (technisch) tekenprogramma en andere vakspecifieke programmatuur. vmbo basisberoepsgerichte leerweg beeldscherm examens Voor de pilotexamens van 2001 zijn voor vier vakken beeldscherm examens gemaakt en uitgeprobeerd. De bedoeling is dat het aantal beeldscherm afnames uitgebreid wordt met minstens 4 vakken per jaar, waarbij telkens beoordeeld wordt welke experimenteerfase aan de openstelling voor alle scholen vooraf moet gaan. Voor als nog worden de beeldschermexamens naast de papieren examens aangeboden. De constructieprocedure wordt omgezet naar construeren voor het beeldscherm examen. De papierenversie wordt dan afgeleid van de beeldscherm versie. Experimenten met online afnames Los van deze beleidskeuzes die een aan termijn gebonden invoering van computerexamens beogen, zullen experimenten uitgevoerd worden met online afnames van beeldscherm examens. Met als doel ervaring op te doen en informatie te verzamelen die beslissingen over toe te passen technieken mogelijk maken. Voor 2002 wordt een eerste experiment met het havo examen Engels voorbereid. Afhankelijk van de bevindingen met dit experiment zullen verdere plannen uitgewerkt worden.
5.3
Randvoorwaarden
5.3.1
Is het geformuleerde beleid bevorderend of belemmerend voor meer flexibiliteit?
Een van de redenen waarom examinering met de computer op een draagvlak in scholen kan rekenen is dat het een stap in de richting van meer flexibilisering van de (centrale) examens zou betekenen. Duidelijk is dat de uitvoering van het beleid zoals hier voorgesteld voor de periode van 2002 tot 2005 geen flexibilisering van de centrale examens inhoudt. De vraag die gesteld mag worden, is in hoeverre het geformuleerde beleid bevorderend of belemmerend voor meer flexibiliteit? Flexibiliteit bij centrale examens kan diverse vormen aannemen. - Er is sprake van meer flexibiliteit als examens afgenomen worden in januari, juni en augustus en leerlingen kunnen kiezen op welk moment ze voor welk vak aan een examen willen deelnemen. - Er is sprake van een grote mate van flexibiliteit wanneer leerlingen voor enig vak of voor alle vakken tezamen examen kunnen doen wanneer zij daar klaar voor zijn. - Er is sprake van een flexibel toetssysteem wanneer de leerling telkens wanneer een onderdeel van de stof bestudeerd is, een toets kan afleggen en het totaal van deze toetsresultaten het eindresultaat bepalen. Een afsluitend centraal examen komt in deze vorm van flexibel toetsen niet meer voor. De eerste vorm van flexibiliteit is wat de examenproductie betreft niet anders dan de huidige situatie met drie tijdvakken. Goede verwerkingsprogrammatuur bij beeldschermexamens kan faciliterend zijn, voor een vlotte afhandeling van de correctie en examenadministratie. Dit is bij een examen in het midden van het schooljaar (januari) in elk geval van belang. De andere twee vormen van flexibiliseren hebben gemeenschappelijk dat veel meer varianten van het zelfde examen beschikbaar moeten zijn, dan de huidige drie. Bekend is dat dit te realiseren is door de examenopgaven na gebruik niet openbaar te maken en op te slaan in een vragen- of opdrachten- of toetsenbank. Beeldscherm examens in Question Mark Perception zijn zeer geschikt voor opslag in een bank. Het programma ondersteunt bankbeheer. De introductie van beeldschermexamens maakt dat meer flexibiliteit in afnamemomenten indien gewenst makkelijker binnen het bereik komt.
33
De andere vormen van computerexamens die in de beleidsvoornemens opgenomen zijn, zijn min of meer neutraal ten opzichte van meer flexibilisering. Het is bij elke examenvorm mogelijk de opgaven in een bank op te nemen en in een andere combinatie op een ander moment weer af te nemen. Voorwaarde is dat de opgaven na gebruik niet openbaar gemaakt worden, en dat er een redelijke zekerheid is dat zorgvuldig met deze geheimhouding omgegaan kan worden. Meer flexibilisering is nodig, wanneer ook vakken waaraan alle kandidaten deelnemen als computerexamen afgenomen worden. Voor grote aantallen zullen meerdere examengelegenheden nodig zijn. In de beleidsvoornemens van de Cevo is dit nu niet opgenomen.
5.3.2
Kosten
De realisatie van het in paragraaf 5.1 beschreven beleid brengt extra kosten met zich mee voor de jaren waarin het beleid uitgevoerd wordt en voor de periode waarin met parallelle examens gewerkt zal worden. Welke extra kosten permanent zullen zijn, ook na de periode van parallelle examens valt nog moeilijk te zeggen. Uitgaven voor examens kunnen onderscheiden worden in: - ontwikkelkosten van de Citogroep - de kosten van de Cevo - de kosten voor het logistieke traject van inschrijving en verspreiding en organisatie van de tweede correctie (IB-groep). - de kosten voor de vermenigvuldiging van de examens (IB-groep) - de kosten die scholen maken voor examenafnames Tijdelijke kosten Het zal duidelijk zijn dat de uitvoering van het beleid in de periode van 2002 tot 2005 en waarschijnlijk langer zal leiden tot extra kosten voor examenontwikkeling. De volgende factoren bepalen de omvang van de kosten: -
-
-
-
-
34
Het beleid voorziet in een periode van parallelle examens met de keuze voor scholen tussen computer examen of papieren examens. Dit betekent extra productiekosten. Hoelang deze periode moet duren valt op dit moment niet te zeggen. Examenconstructeurs bij de Citogroep en de leden van de vaksecties bij de Cevo krijgen te maken met nieuwe technieken om vragen te stellen, de Citogroep zal nieuwe routines moeten opbouwen voor de constructie en vormgeving van computer examens. Het aanbieden van computerexamens vereist de ontwikkeling van installatie en beheersprogrammatuur die eenvoudig door de scholen te gebruiken is. De afhandeling van gegevens na de examenafname zoals scoreverwerking, eerste en tweede correctie van open vragen, dataverstrekking voor de normering, output naar de schooladministratie dient opgenomen te worden in de beheersprogrammatuur, willen de scholen met enig gemak gebruik kunnen maken van de nieuwe examenvorm. De introductie van computertoepassingen vergt niet alleen de constructie van examens en bijbehorende programmatuur, maar ook de voorlichting, begeleiding en instructie van scholen op inhoudelijk, organisatorisch en systeemtechnisch terrein. Waarbij verschillende werkwijzen gehanteerd moeten worden waar het gaat om de eerste kleinschalige experimenten of waar het gaat om de introductie bij grotere groepen scholen. Hiervoor dienen gelijktijdig met de introductie van computerexamens procedures ontwikkeld te worden. De logistieke kosten en drukkosten zullen ook toenemen vanwege het parallelle examentraject. Er komen meer verschillende inschrijvingen. Computerexamens vergen mogelijk minder drukwerk, maar daarvoor in de plaats komt de productie van CD-rom's. (Wanneer examens via het netwerk
-
-
van de school afgenomen kunnen worden, is het niet nodig evenveel CD-rom's te verstrekken als er kandidaten zijn.) De scholen moeten kunnen voldoen aan de geformuleerde systeemeisen en organisatieondities. In principe hoeft dit niet te leiden tot extra uitgaven, omdat hiervoor het ICT-budget bedoeld is en uitgaven voor examens met behulp van de computer in de meerjaren planning opgenomen kunnen worden. Bij de afname van examens is de inzet van de systeembeheerder noodzakelijk. Ook wanneer er een routine opgebouwd is dan zal de systeembeheerder een aantal uren per examen aan voorbereiding en nazorg nodig hebben. Tevens is het gewenst dat de systeembeheerder tijdens de afname aanwezig of minimaal oproepbaar is. Dit zijn extra kosten voor scholen die bij een papieren examen niet gemaakt hoeven worden. Naast de ontwikkelkosten van de in het beleid opgenomen examens zou het wenselijk zijn dat er een bedrag beschikbaar is om ideeën te kunnen uitwerken die niet direct in een concreet examen opgenomen worden.
Permanente kosten De periode waarvoor de permanente kosten van het computergebruik bij examens bezien moet worden valt buiten het tijdsbereik van de in deze publicatie beschreven beleidsperiode. De globale opmerkingen die hier volgen geven niet meer dan een indicatie van wat mogelijk extra kosten zijn. Het is waarschijnlijk dat in de periode dat computerexamens ingeburgerd zijn en ze niet langer naast papieren examens aangeboden worden, er extra ontwikkel kosten zullen zijn. Hiervoor zijn de volgende redenen: - De mogelijkheden van de computer en van het internet c.q. kennisnet ontwikkelen zich verder. Voor examens zal dit betekenen dat met enige regelmaat nieuwe examenvormen ontwikkeld en uitgetest moeten worden. - Het on-line aanbieden van examens en het on-line afhandelen van de logistieke processen zal binnen bereik komen. Dit betekent enerzijds een besparing in drukwerk en verzendkosten, anderzijds moeten kosten gemaakt worden om centrale servers te onderhouden en de programmatuur up to date te houden. Voor de scholen zijn de kosten die de inzet van systeembeheer meebrengen permanent. Het gebruik van de computervoorzieningen kan afhankelijk van de verdere ontwikkelingen bij examens (zie paragraaf 5.3.2) als permanente kosten gezien worden of als kosten die regulier voor het onderwijs gemaakt moeten worden. Voor de landelijke organisatie moet systeemdeskundigheid ingezet worden. In de experimenten is duidelijk geworden dat de configuraties op scholen grote verschillen vertonen tussen scholen , maar ook binnen scholen, waardoor het moeilijk is een ongestoorde afname te garanderen. Het kan nodig zijn dat de technische realisatie en het aanbod van de examens als een geheel op de scholen geïnstalleerd moet worden door een externe partij. Hiervoor zullen bedrijven in de arm genomen kunnen worden die op dit terrein deskundig zijn. In de in deze publicatie beschreven beleidsperiode zal dit onderzocht worden. Wanneer systeemeisen en afname condities geformuleerd worden waaraan scholen moeten voldoen, willen ze in aanmerking komen om computerexamens te kunnen afnemen, kan gedacht worden aan licencering van scholen. Een stap verder zou zijn dat een gelicentieerde school ook examenafnames organiseert voor andere scholen Er ontstaat dan een examencentrum naar het voorbeeld van de examencentra op hoge scholen voor de afname van het Digitaal Rijbewijs Onderwijs of de examencentra op de ROC's voor de afname van het European Computer Driving License. Dit kan alleen als examens niet meer aan de afname op één moment gebonden zijn. We bevinden ons dan niet meer binnen de periode waarvoor hier het beleid geformuleerd is.
35
Investering Naar mate er met meer overtuiging geïnvesteerd wordt in examens met behulp van de computer ontstaat er kennis en ervaring en een infrastructuur waarmee toekomstige ontwikkelingen met vertrouwen tegemoet gezien kunnen worden.
36
Literatuur Boeijen.G., E.Kremers, H.Tax ATP-conferece 26-27-28 februari, Tuscon Arizona, Citogroep, Arnhem 2001 (www. Toetswijzer.nl, te benaderen via kennisnet en de site van de Citogroep.) Boeijen.G. en Post .H. Verslag van het experiment computers en examens voor natuurkunde en aardrijkskunde 2000-1, Cito, Arnhem 2000. Kreeft, H.
Examens met behulp van de computer, een verkenning van de ICTmogelijkheden bij centrale examens, Cevo, Utrecht, 2000.
Kreeft, H.
Het examen CKV-2 havo en vwo op CD-rom, 2001, De implementatie van computertoepassingen bij examens, Cevo, Utrecht juli 2001.
Kreeft.H. en E.Maas
Het centraal examen Nederlands schijfvaardigheid met de tekstverwerker, een verslag van een experiment in de examen vbo/mavo 2001, Cevo, Utrecht 2001
E.Maas
Beeldschermexamens 2001, Citogroep, Arnhem 2001
Pelgrum, W.J. en A.C.A.ten Brummelhuis ICT monitor 2000, voortgezet onderwijs, OCTO, Universiteit Twente, 2001 Robben, H
De Pilot examens vmbo 2001, Citogroep, Arnhem 2001
37
38
Bijlagen
39
Bijlage 1 Organisaties waarmee gesprekken gevoerd zijn over de beleidsrichting ICT en Examens
-
Adviespunt Tweede Fase, Lange Voorhout 14, 2514ED Den Haag Platform ICT-beleid, Project organisatie vmbo, Lange Voorhout 14, 2514ED Den Haag Directie Voortgezet Onderwijs, Ministerie van OCenW, Zoetermeer Directie ICT, Ministerie van OCenW; Zoetermeer Inspectie voortgezet onderwijs, De Meern
-
Klankbordgroep ICT, Vereniging voor management in het Voortgezet Onderwijs, Kromme Nieuwe Gracht 50, 3512 HK Utrecht Werkgroep vmbo, Vereniging voor management in het Voortgezet Onderwijs, Kromme Nieuwe Gracht 50, 3512 HK Utrecht
-
Overleg van platformvoorzitters beroepsgerichte vakken vmbo, Zoetermeer
-
Citogroep unit voortgezet onderwijs, Nieuwe Oeverstraat 50, 6801MG Arnhem
-
Projectleiding Victo-project, SLO, Postbus 241, 7500 CA Enschede
-
Projectleiding Axis,
40
Bijlage 2 Uitslag Vragenlijst ‘Pilot-examens vmbo 2002 met behulp van de computer’ De vragenlijst was bestemd voor de voorzitter van de examencommissie.
568 301 53%
aantal verstuurde vragenlijsten aantal vragenlijsten ingevuld retour respons
1. Voldoende computers voor de praktische examens? 60% 25% 15%
180 76 45
ja nee, maar binnenkort meer computers nee
2. Voldoende computers om te oefenen? 62% 26% 12%
185 77 38
ja nee, maar binnenkort meer computers nee
3. Leerlingen in examenjaar 2002 voldoende computervaardig? 36% 51% 13%
109 154 38
ja ongeveer de helft wel geheel niet
4. Docenten in staat tot aanleren (aan leerlingen) van voldoende computervaardigheden? 42% 52% 6%
127 155 17
ja ongeveer de helft wel geheel niet
41
6.
Bouwtechniek - timmeren
% 40%
60%
7.
29%
71%
8.
22%
78%
9.
54%
39%
42
61
93
17%
26
overweegt deelname )
23%
35
overweegt geen deelname )
30%
46
overweegt deelname )
30%
47
overweegt geen deelname )
%
N
15%
10
overweegt deelname )
14%
9
overweegt geen deelname )
26%
17
overweegt deelname )
45%
30
overweegt geen deelname )
%
N
12%
7
overweegt deelname )
10%
6
overweegt geen deelname )
32%
19
overweegt deelname )
46%
27
overweegt geen deelname )
%
N
19%
26
overweegt deelname )
35%
49
overweegt geen deelname )
14%
29
overweegt deelname )
25%
36
overweegt geen deelname )
2
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 66
N 19
47
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 59
N 13
46
Elektrotechniek
%
N
1
Bouwtechniek - schilderen
%
% N
Bouwtechniek - metselen
%
N = 154
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 140
N 75
65
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
10.
Grafische techniek
% 38%
62%
11.
40%
60%
12.
47%
53%
13.
10
30%
70
7%
2
overweegt deelname )
31%
8
overweegt geen deelname )
4%
1
overweegt deelname )
16
58%
15
overweegt geen deelname )
%
N
17%
9
overweegt deelname )
23%
12
overweegt geen deelname )
20%
10
overweegt deelname )
40%
21
overweegt geen deelname )
%
N
19%
28
overweegt deelname )
28%
42
overweegt geen deelname )
26%
38
overweegt deelname )
27%
40
overweegt geen deelname )
%
N
9%
3
overweegt deelname )
21%
7
overweegt geen deelname )
3%
1
overweegt deelname )
67%
23
overweegt geen deelname )
2
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 52
N 21
31
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 148
N 70
78
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen )
Transport en logistiek
%
N
1
Metaaltechniek
%
% N
Installatietechniek
%
N = 26
2
N = 34
N 10
24
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
43
14.
Voertuigentechniek
%
40
56%
51
30
63%
63
17.
57%
43%
16
overweegt deelname )
26%
24
overweegt geen deelname )
22%
20
overweegt deelname )
34%
31
overweegt geen deelname )
%
N
6%
5
overweegt deelname )
31%
25
overweegt geen deelname )
30%
24
overweegt deelname )
33%
26
overweegt geen deelname )
%
N
12%
22
overweegt deelname )
25%
46
overweegt geen deelname )
36%
65
overweegt deelname )
27%
50
overweegt geen deelname )
%
N
19%
26
overweegt deelname )
36%
50
overweegt geen deelname )
20%
27
overweegt deelname )
23%
31
overweegt geen deelname )
2
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 80
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 183
N 68
115
Administratie
%
44
50
Verzorging
37%
18%
N
37%
%
N
1
Uiterlijke verzorging
%
16.
% N
44%
15.
N = 91
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 134
N 76
58
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
18.
Consumptief - horeca
% 26%
73%
19.
22%
78%
20.
48%
52%
21.
16
28%
72%
13%
8
overweegt deelname )
13%
8
overweegt geen deelname )
16%
10
overweegt deelname )
45
57%
35
overweegt geen deelname )
%
N
11%
6
overweegt deelname )
11%
6
overweegt geen deelname )
17%
9
overweegt deelname )
61%
33
overweegt geen deelname )
%
N
20%
21
overweegt deelname )
28%
29
overweegt geen deelname )
24%
25
overweegt deelname )
28%
29
overweegt geen deelname )
%
N
8%
5
overweegt deelname )
20%
12
overweegt geen deelname )
15%
9
overweegt deelname )
57%
34
overweegt geen deelname )
2
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 54
N 12
42
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
N = 104
N 50
54
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen )
Mode en commercie
%
N
1
Handel en verkoop
%
% N
Consumptief - bakken
%
N = 61
2
N = 60
N 17
43
2
1
goed af te nemen ) 2
2
1
niet goed af te nemen ) 2
45
46
Bijlage 3
PILOTEXAMENS 2001 VMBO Overzicht van de tijden van de praktijkexamens BB en de integratieve eindtoets KB en het computer- / programmagebruik Administratie Datum
Examen
Vanaf maandag 9 april Praktijk BB
Integratieve eindtoets KB
Tijd 180 minuten
480 minuten
Gebruik computer / programma Computer / administratieprogramma, tekstverwerker, optioneel spreadsheetprogramma Computer / tekstverwerker
240 minuten opdracht 1 t/m 4 240 minuten opdracht 5 t/m 8
Bouwtechniek - Metselen Datum Vanaf maandag 9 april
Examen
Praktijk BB
Tijd
Gebruik computer / programma
800 minuten 100 minuten opdrachten 1 en 2 werkvoorbereiding 700 minuten opdrachten 3 en 4 uitvoering
Integratieve eindtoets KB
800 minuten 60 minuten opdracht 1 60 minuten opdracht 2 30 minuten opdracht 3 150 minuten opdracht 4 150 minuten opdracht 5 50 minuten opdracht 6 250 minuten opdracht 7 50 minuten opdracht 8
Bouwtechniek - Schilderen Datum Vanaf maandag 9 april
Examen
Praktijk BB
Tijd
Opdracht 4: computer / CADprogramma
Gebruik computer / programma
600 minuten 200 minuten opdracht 1 Hout 200 minuten opdracht 2 Glas 200 minuten opdracht 3 Steen
Integratieve eindtoets KB
500 minuten 180 minuten opdrachten 1 t/m 3 130 minuten opdrachten 4 en 5 130 minuten opdrachten 6 en 7 60 minuten opdrachten 8 en 9
Opdracht 4, 5, 6, 7 en 8: computer / 4: spreadsheetprogramma; 5: tekenprogramma; 6: tekstverwerker; 7: RoboCAD-programma; 8: tekstverwerker
47
Bouwtechniek - Timmeren Datum Praktijk Vanaf maandag 9 april
Examen
Praktijk BB
Tijd 800 minuten 100 minuten voorbereiding 500 minuten uitvoeren 200 minuten afhangen
Integratieve eindtoets KB
800 minuten 150 minuten zitting 1 200 minuten zitting 2 250 minuten zitting 3 100 minuten zitting 4 100 minuten zitting 5
Consumptief Bakken Datum Vanaf maandag 9 april
Examen Praktijk Broodbakken BB Praktijk Banketbakken BB Integratieve eindtoets KB
Tijd 250 minuten 250 minuten 730 minuten (8 opdrachten) 45 minuten berekening grondstoffen 15 minuten bestellijst 90 minuten prijscalculatie 60 minuten berekening opbrengst 90 minuten brief 250 minuten praktijkopdracht – invullen tijdschema 90 minuten planning producten voor de open dag 90 minuten reclamebiljet
Consumptief Horeca Datum
Examen
Vanaf maandag 9 april Praktijk koken BB Praktijk serveren BB Integratieve eindtoets KB
Tijd 300 minuten 240 minuten 450 minuten (7 opdrachten) 50 minuten grondstoffen bepalen en hoeveelheden berekenen 50 minuten opgemaakte schaal tekenen 50 minuten kostencalculatie maken 50 minuten aanmeldingsformulier maken 50 minuten buffettafel aankleden en inrichten 100 minuten huzarensalade maken 100 minuten werkplanning en werkindeling maken
Elektrotechniek Datum Vanaf maandag 9 april
Examen Praktijk BB Integratieve eindtoets KB
Tijd 300 minuten 800 minuten 200 minuten opdrachten 1 en 2 600 minuten opdrachten 3 t/m 5
Grafische Techniek Datum
48
Gebruik computer / programma
Examen
Tijd
Zitting 2: computer / CADprogramma Zitting 4: computer / spreadsheetprogramma
Gebruik computer / programma
Opdracht 5: computer / tekstverwerker
Gebruik computer / programma
Opdracht 4: computer / tekstverwerker
Gebruik computer / programma Opdracht 2: computer / beheersautomatiseringssysteem; Opdracht 4: computer / tekstverwerker; Opdracht 5: computer / tekstverwerker
Gebruik computer /
Vanaf maandag 9 april
Praktijk BB
420 minuten 120 minuten Elektronisch voorbereiden 60 minuten Drukvormvervaardiging 180 minuten Raam voorbereiden en drukken in zeefdruk 60 minuten Schoonsnijden, vergaren en verpakken
Integratieve eindtoets KB
660 minuten 30 minuten lezen van de opdracht 60 minuten maken van een concept (synopsis) 120 minuten maken van een ontwerp 180 minuten verzamelen van beeld- en evt. geluidsmateriaal 90 minuten digitaal voorbereiden 90 minuten interface design 60 minuten interaction design en testen 30 minuten presentatie
Handel en Verkoop Datum
Examen
Vanaf maandag 9 april Praktijk BB
Tijd 275 minuten advies daarnaast te reserveren 40 minuten voor opruimen 25 minuten pauze
Integratieve eindtoets KB
Landbouw Datum
Metaaltechniek Datum Vanaf maandag 9 april
Vanaf maandag 9 april
Gebruik computer / programma
Tijd
Gebruik computer / programma
800 minuten 600 minuten 800 minuten
Examen Praktijk BB
Gebruik computer / programma Opdracht 2: optioneel computer / spreadsheetprogramma
Tijd
200 minuten opdracht 1 200 minuten opdracht 2 200 minuten opdracht 3 ± 100 minuten opdracht 4
Mode en Commercie Datum
Vanaf onderdeel 6: Computer / presentatieprogramma
240 minuten 240 minuten
Examen Praktijk-verspanen BB Praktijk-niet verspanen BB Integratieve eindtoets KB
Vanaf onderdeel 4: computer/internetaansluiting, teken-, beeldverwerkings-, tekstverwerkings-programma
180 minuten
Examen
Vanaf maandag 9 april Praktijk BB Integratieve eindtoets KB
programma Elektronisch voorbereiden: computer / opmaakprogramma
Tijd
opdracht 1: computer / CAD-programma opdrachten 2 en 3: computer / tekstverwerker
Gebruik computer / programma
295 minuten 10 minuten opdracht 1 Kassa 45 minuten opdracht 2 Goederenbeheer 120 minuten opdracht 3 Mode-collage 120 minuten opdracht 4 Ontwerpen
Integratieve eindtoets KB
540 minuten
Transport en Logistiek
49
Datum Vanaf maandag 9 april
Examen Praktijk BB
Tijd 150 minuten 50 minuten Opdracht 1 50 minuten Opdracht 2 50 minuten Opdracht 3
Integratieve eindtoets KB
150 minuten 50 minuten Opdracht 1 50 minuten Opdracht 2 50 minuten Opdracht 3
Voertuigentechniek Datum Vanaf maandag 9 april
Uiterlijke verzorging Datum Vanaf maandag 9 april
Examen Praktijk BB
200 minuten
Integratieve eindtoets KB
400 minuten
Examen
Gebruik computer / programma Opdracht 3: computer / TLN - planner / tekstverwerker Opdracht 3: computer / TLN - planner / tekstverwerker
Tijd
Gebruik computer / programma Computer / cd-rom-programma Computer / tekstverwerker, cd-rom-programma
Tijd
Gebruik computer / programma
Praktijk Haarverzorging BB 105 minuten Praktijk Schoonheids100 minuten verzorging BB Integratieve eindtoets KB 300 minuten 240 minuten Deel 1 Schriftelijke toets 60 minuten Deel 2 Praktijktoets
Verzorging Datum Vanaf maandag 9 april
Examen Praktijk BB Integratieve eindtoets KB
Tijd 360 minuten 230 minuten 180 minuten Deel 1 Schriftelijke toets 50 minuten Deel 2 Praktijktoets
50
Gebruik computer / programma
51
