Overall Architectuur. Computerexamensysteem

Overall Architectuur Computerexamensysteem

College voor Examens Versie 1.0 7 februari 2010

College voor Examens

Document Revisie Historie Revisie

Datum

Door

Opmerkingen

Concept

27-09-2010

Concept

Definitief

07-02-2011

Conceptversie Publicatie website CvE Publicatie website CvE

_____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 2


Inhoudsopgave 1 1.1 1.2 2 2.1 3 3.1 4 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 5 5.1 5.2 5.3 5.4 6 6.1 6.2 7 7.1 7.2 7.3 8 8.1 8.2 8.3 9 9.1 9.2 9.3 9.4

Inleiding architectuur ..................................................................................... 4 Wat is architectuur? ............................................................................................ 4 Structuur van het document ................................................................................. 4 Principes en uitgangspunten........................................................................... 5 Principes ............................................................................................................ 5 Aspectgebieden ............................................................................................ 10 Het model ........................................................................................................ 10 Het computerexamensysteem....................................................................... 11 Globale opzet ................................................................................................... 12 Organisatie ...................................................................................................... 13 Diensten en producten ...................................................................................... 15 Processen ........................................................................................................ 21 Medewerkers en applicaties ................................................................................ 31 Berichten en gegevens ...................................................................................... 62 Informatie-uitwisseling ...................................................................................... 67 Technische componenten ................................................................................... 68 Gegevensopslag ............................................................................................... 73 Netwerk........................................................................................................... 73 Ontwikkeling ................................................................................................ 74 Van architectuur naar ontwerp ........................................................................... 74 Overzicht verantwoordelijkheid van de componenten ............................................ 74 Eisen gesteld aan de functionele documentatie ..................................................... 75 Eisen gesteld aan de technische (code)componenten............................................. 77 Release management .................................................................................... 80 Release-examen ............................................................................................... 80 QTI Lifecycle .................................................................................................... 80 Operationeel beheer ..................................................................................... 81 Ketenmonitoring ............................................................................................... 81 Performancekarakteristieken .............................................................................. 81 Ondersteuningsmodel ........................................................................................ 81 Beveiliging .................................................................................................... 83 Autorisatie op gegevensobjecten......................................................................... 83 Authenticatiemechanismen ................................................................................ 83 Securitydomeinen ............................................................................................. 83 Bijlagen ........................................................................................................ 85 Afkortingen ...................................................................................................... 85 Begrippen en definities ...................................................................................... 86 Acceptatiefasering computerexamensysteem........................................................ 94 ArchiMate ........................................................................................................ 96



1 Inleiding architectuur Het College voor Examens is als zelfstandig bestuursorgaan verantwoordelijk voor de centrale en staatsexamens in het voortgezet onderwijs (vo), de examens Taal en Rekenen in het (middelbaar) beroepsonderwijs (mbo) en de staatsexamens Nederlands als tweede taal (NT2). Een groot aantal centrale en staatsexamens wordt digitaal afgenomen. Het is daarvoor nodig om de huidige examensoftware te vervangen door nieuwe examensoftware. De Dienst Uitvoering Onderwijs (DUO) van het Ministerie van OCW zal de nieuwe examensoftware in beheer nemen vanuit hun primaire verantwoordelijkheid. De voorliggende architectuur is opgesteld om de context en samenhang van de nieuw te realiseren examensoftware te schetsen en te verduidelijken. Hierbij worden alle aspecten die van toepassing zijn op de nieuwe examensoftware, benoemd en met elkaar in verband gebracht. We spreken hier vooral over het nieuwe digitale computerexamensysteem, aangezien het meer omvat dan alleen nieuwe examensoftware. Het computerexamensysteem dient de centrale en/of staatsexamens in het voortgezet onderwijs, de centraal ontwikkelde examens in het middelbaar beroepsonderwijs (Taal en Rekenen) en de staatexamens Nederlands als tweede taal te ondersteunen. Meer specifiek nog de CBT1-examens die in opdracht van het CvE worden aangeboden.

1.1 Wat is architectuur? Een architectuur dient als verbinding tussen business en ICT, tussen informatie en systemen, tussen functies en processen. Zodat we de consequenties van ICT-beslissingen vooraf beter kunnen overzien, in plaats van achteraf moeten herstellen. 

Een architectuur legt verbinding, niet alleen inhoudelijk maar ook relationeel. Inhoudelijk legt het verbindingen tussen ambitie en het „hier en nu‟, tussen business en ICT, tussen behoeften en technologie. Net zo belangrijk als de inhoudelijke verbinding ontstaat er door architectuur ook een relationele binding tussen business en ICT, tussen gebruikers en leveranciers, tussen architecten en...



Een architectuur biedt overzicht over de processen, de systemen en de gegevensverzamelingen. Door dit overzicht zijn we beter in staat de consequenties van keuzes te overzien, wat betekent het als…



Een architectuur is een leidraad voor de inrichting van de organisatie, systemen, informatie, enzovoort. Zij is leidend bij het nemen van beslissingen.

Bron: Twynstra Gudde (http://www.taaievraagstukken.nl/tg.htm?id=5754)

1.2 Structuur van het document Het document is grofweg in vier segmenten te verdelen, te weten: 

Principes – De principes en uitgangspunten van het systeem zijn beschreven hoofdstuk 2 Principes en uitgangspunten.



Het systeem – Het computerexamensysteem is conform de NORA beschreven in hoofdstuk 4 Het computerexamensysteem.



Aspecten van het systeem – De aspecten die randvoorwaardelijk zijn voor de goede werking van het systeem, zijn beschreven in de hoofdstukken 5 Ontwikkeling, 6 Release management, 7 Operationeel beheer en 8 Beveiliging.



Bijlagen – De acceptatiefasering en de lijsten met afkortingen, definities en symbolen die in dit document gehanteerd worden zijn beschreven in hoofdstuk 9 Bijlagen.

1

CBT = Computer Based Testing. Bij een CBT-examen worden alle opgaven van een examen op het scherm getoond, worden de antwoorden op de computer ingegeven en vindt ook de correctie op de computer plaats.



2 Principes en uitgangspunten 2.1 Principes Principes vormen de basis van een architectuur en zijn veelal domeinoverstijgende en richtinggevende afspraken die als uitgangspunt dienen voor het vormgeven van de doelsituatie. De hieronder beschreven principes gelden als randvoorwaardelijk en zijn ontleend via destillatie aan het programma van eisen en het vergaren van additionele eisen en afspraken van de opdrachtgever en de ketenpartners.

2.1.1 Architectuurprincipes [Principe 01]

Het computerexamensysteem conformeert zich aan de NORA en ROSA.

Achtergrond

De overheid, en meer specifiek de onderwijssector binnen de overheid, schrijft een tweetal referentiearchitecturen voor, te weten de Nederlandse Overheid Referentie Architectuur (NORA) en de Referentie Onderwijs Sector Architectuur (ROSA).

Implicatie

Deze domeinarchitectuur afstemmen met de NORA en ROSA.

[Principe 02]

De ontwikkeling van het computerexamensysteem wordt opgesplitst in de tijd.

Achtergrond

Gezien de behoefte aan nieuwe functionaliteit, de complexiteit van het nieuwe computerexamensysteem en de huidige uitfasering van bestaande oplossingen is besloten een splitsing te maken in de op te leveren functionaliteit van het computerexamensysteem.

Implicatie

Het computerexamensysteem wordt opgeleverd conform paragraaf 9.3 Acceptatiefasering computerexamensysteem.

2.1.2 Bedrijfsprincipes [Principe 03]

Alle exameninformatie moet centraal beschikbaar zijn binnen de bestaande infrastructuur van DUO.

Achtergrond

Op ministerieel niveau is besloten dat de Dienst Uitvoering Onderwijs (DUO) de gegevensbeheerder is van alle exameninformatie.

Implicatie

Alle gegevens die duurzaam vastgelegd moeten worden binnen het computerexamensysteem, worden conform de (beveiligings)eisen, procedures en technieken van DUO opgeslagen.

[Principe 04]

Voor het computerexamensysteem en de gegevensopslag geldt de Wet Bescherming Persoonsgegevens.

Achtergrond

Bij wet is geregeld dat alle organisaties zich moeten conformeren aan de Wet Bescherming Persoonsgegevens.

Implicatie

Het computerexamensysteem en de gegevens daarvan moeten conform de richtlijnen van „Achtergrondstudies en Verkenningen 23‟ (AV-23) worden ontworpen en ontwikkeld. Het AV-23 is beschikbaar gesteld door het College voor Persoonsbescherming (CPB) [Ref. 01]

[Principe 05]

http://www.cbpweb.nl/Pages/av_23_Beveiliging.aspx.

Voor het computerexamensysteem en de gegevensopslag geldt de Archiefwet 1995.

Achtergrond

Bij wet is geregeld dat overheidsorganisaties zich moeten conformeren aan de archiefwet van 1995.

Implicatie

Het computerexamensysteem en de gegevens daarvan moeten zich conformeren aan de archiefwet 1995. Daar de gegevens worden beheerd door DUO, zal het computerexamensysteem volgens dezelfde procedures en richtlijnen worden ingericht als het BRON systeem.



[Principe 06]

Het nieuwe computerexamensysteem vereist een minimale beheerlast op de examenlocatie.

Achtergrond

Om de acceptatie van het computerexamensysteem niet in gevaar te brengen is een minimale beheerlast voor examenlocaties een belangrijk streven. De beheerlast moet gelijk of liefst nog kleiner zijn in vergelijking met het huidige computerexamensysteem.

Implicatie

Op de examenlocatie wordt enkel gebruik gemaakt van eenvoudig te installeren producten, waarbij er geen of minimale modificatie vereist is aan de bestaande infrastructuur van de examenlocatie. De producten zelf blinken uit in eenvoudige ondubbelzinnige gebruikersinterfaces waarbij configuratiehandelingen teruggebracht zijn tot het minimum.

[Principe 07]

Het beheer en de ondersteuning van het computerexamensysteem worden volledig uitgevoerd door (of in opdracht van) DUO.

Achtergrond

Op ministerieel niveau is besloten dat de Dienst Uitvoering Onderwijs (DUO) de uitvoerder is van het computerexamensysteem.

Implicatie

De centrale infrastructuur is een verantwoordelijkheid van DUO, waarbij het computerexamensysteem rekening houdt met:  tijdelijke en permanente inhuur van externe infrastructuren  onafhankelijkheid van het landschap waarop geëxploiteerd wordt  interactie die alleen plaatsvindt via asynchrone uitwisseling  horizontale schaalbare software voor snelle uitbreiding capaciteit De lokale infrastructuur is een verantwoordelijkheid van de examenlocatie.  Het lokale deel van het systeem wordt als een „doe-het-zelf‟pakket aangeboden. Het beheer en de ondersteuning van het gehele computerexamensysteem zijn een verantwoordelijkheid van DUO.

[Principe 08]

Een erratum moet tot 48 uur voor afname elektronisch kunnen worden aangebracht op een bestaand examen, in alle andere gevallen wordt dit procedureel opgelost waarbij het computerexamensysteem een melding dient te geven.

Achtergrond

Na vaststelling van een examen kunnen fouten of onvolkomenheden worden geconstateerd. Deze fouten of onvolkomenheden leiden tot een erratum op een examen (veelal in de vorm van een nieuwe versie van het examen) of een aanvulling op het correctievoorschrift. Stelregel is dat indien een examen nog niet is afgenomen, het examen aangepast dient te worden en alle voorgaande versies vervangt. Een nieuwe versie van het examen moet in ieder geval 48 uur voor afname kunnen worden vervangen. In alle andere gevallen zal het erratum procedureel worden opgelost, waarbij het computerexamensysteem melding dient te maken van de aanwezigheid van dit erratum.

Implicatie

Het computerexamensysteem en de bijbehorende infrastructuur hebben voorzieningen getroffen om snel een nieuwe versie van het examen beschikbaar te stellen, waarbij aangenomen wordt dat de examenlocatie zorg draagt voor een werkende (internet)verbinding met DUO in geval van een offline examen.

[Principe 09]

De afname geschiedt online als het kan en offline als het moet.

Achtergrond

Per examen ligt de keuze tussen een online of offline afname bij het CvE. Het CvE kan besluiten dat de keuze aan de examenlocatie wordt gelaten.

Implicatie

Het computerexamensysteem voorziet in een hybride oplossing waarbij zowel decentraal (lokaal) als ook centraal gebruik gemaakt wordt van de systeemprogrammatuur. In geval van een offline afname dient er voorafgaand aan de afname zelf de decentrale omgeving gesynchroniseerd te worden met de centrale omgeving, hierbij dient rekening gehouden te worden met eventuele nieuwe versies van het examen.



2.1.3 Applicatieprincipes [Principe 10]

Het computerexamensysteem moet met open standaarden gerealiseerd worden, conform de regel „pas toe of leg uit‟.

Achtergrond

Open standaarden bevorderen de digitale uitwisseling van informatie, oftewel interoperabiliteit. Met behulp van open standaarden wordt de communicatie tussen (semi-)overheden onderling en tussen overheid, bedrijven en burgers eenvoudiger. Ook vergroot het gebruik van open standaarden de onafhankelijkheid van softwareleveranciers. [Ref. 02]

Implicatie

[Principe 11]

http://www.open-standaarden.nl

Bij het maken van een technologiekeuze en productkeuze is het gebruik van open standaarden doorslaggevend.

Alle software van het computerexamensysteem moet zonder beperkingen met betrekking tot distributie en hergebruik worden opgeleverd.

Achtergrond

Om in de toekomst uitwisseling van kennis en softwarefunctionaliteit met andere instanties en belanghebbenden (zoals de gemeenschap) niet uit te sluiten, moet de software vrij van beperkende maatregelen worden opgeleverd. Dit kan geschieden door het CvE het auteursrecht op de software te verschaffen, door de software te leveren onder een licentie die voldoet aan de beginselen van het Open Source Initiative, of door de software te leveren onder een andere licentie, mits deze licentie geen van de bedoelde beperkingen met zich meebrengt. (Het Open Source Initiative (OSI) heeft een rijk scala aan licenties geselecteerd en geaccordeerd die de vrije uitwisseling van software niet in de weg staan.)

Implicatie

De voorwaarden waaronder alle softwarecomponenten die exclusief toebehoren aan het computerexamensysteem en geen onderdeel uitmaken van de generieke DUO-functionaliteit, moeten hergebruik en distributie niet in de weg staan. [Ref. 03]

[Principe 12]

http://opensource.org/licenses/category

Het computerexamensysteem hergebruikt bestaande componenten waar mogelijk.

Achtergrond

Een van de belangrijkste speerpunten is het hergebruik van onderwijsgegevens en bestaande functionaliteit.

Implicatie

Het computerexamensysteem maakt gebruik van de volgende bestaande diensten en/of oplossingen:  het Basisregister Onderwijs (BRON)  het Examen Organisatie Systeem (EOS) met gegevens over staatsexamens  autorisatie en authenticatie via het Zakelijk Portaal DUO  het sectoraal gegevenswoordenboek belegd bij het schakelpunt OCW. [Ref. 04]

[Principe 13]

http://www.bron.nl/

Het computerexamensysteem moet service georiënteerd opgezet worden.

Achtergrond

Conform de NORA, het herbruikbaarheidsprincipe en de diverse architecturen binnen DUO dient het computerexamensysteem servicegeoriënteerd opgezet te worden. [Ref. 05]

Implicatie

http://nl.wikipedia.org/wiki/Service-oriëntatie

Het computerexamensysteem moet primair services ondersteunen en service georiënteerd opgezet zijn. Deze opzet voorziet in modulariteit waardoor delen van het computerexamensysteem makkelijker vervangbaar zijn door alternatieven.



[Principe 14]

Het computerexamensysteem moet de verwachte belasting aankunnen zonder performancedegradatie.

Achtergrond

De beschikbaarheid van het computerexamensysteem tijdens een examen is van cruciaal belang en wordt als bedrijfsrisico gezien.

Implicatie

Het systeem moet de principes van horizontale schaling ondersteunen.

[Principe 15]

Het digitale examen moet in alle omgevingen exact hetzelfde worden weergegeven.

Achtergrond

Examenleveranciers ontwikkelen in opdracht van het CvE examens voor de centrale en staatsexamens in het vo, de examens Taal en Rekenen in het mbo en de staatsexamens NT2. Het computerexamensysteem dient deze geconstrueerde examens te tonen ongeacht het OS en de context (afname, inzage, correctie, etc.) zoals beoogt door de leverancier.

Implicatie

Examens zullen bij sterke voorkeur gebaseerd zijn op (open) standaarden en duidelijke afspraken voor nu en in de toekomst. Examens worden beschreven volgens de QTI+ standaard. Ook gebruikte interactiviteit en media dienen open standaarden te volgen.

[Principe 16]

Het computerexamensysteem moet waar mogelijk aangepast kunnen worden zonder downtime.

Achtergrond

Vooral gedurende de examenperiode en de voorbereiding hierop is het onacceptabel dat het systeem niet beschikbaar is.

Implicatie

Onderhoud aan het systeem vindt enkel plaats binnen vooraf gedefinieerde onderhoudsschema‟s. Aanvullend moet worden voorzien in faciliteiten die ervoor zorgen dat in het geval van uitval van (een deel van) het systeem dit geen verstrekkende gevolgen heeft voor de werking van het gehele systeem.

[Principe 17]

JEE als ontwikkelen runtimeplatform.

Achtergrond

Om het hergebruik van bestaande diensten en/of producten optimaal te benutten, met inachtneming van de platformonafhankelijkheid en inpassen van het computerexamensysteem in de DUO-omgeving, is het noodzaak een voor alle partijen werkbaar ontwikkelen runtimeplatform te kiezen. Gekozen is voor een JEE-omgeving, die tevens aansluit bij de ontwikkelstandaarden van DUO.

Implicatie

De softwarecomponenten van het computerexamensysteem dienen met Java EE 6 en (minimaal) Java SE 6 gemaakt worden, waarbij:  de software op een JEE-applicatieserver geplaatst wordt  de software voldoet aan de OSGi specificatie. [Ref. 06]

[Principe 18]

OSGi: http://www.osgi.org/Specifications/HomePage

Alle gebruikersinterfaces voldoen aan de grondbeginselen van interfaceontwerpen.

Achtergrond

De (eind)gebruikers van het computerexamensysteem op de examenlocatie zijn van belang voor de acceptatie en de doelmatigheid van het computerexamensysteem. Alle gebruikersinterfaces dienen dan ook intuïtief en gangbaar te zijn en voorzien van een zelfde „look-andfeel‟.

Implicatie

Alle gebruikersinterfaces voldoen aan de grondbeginselen van interface ontwerpen. [Ref. 07]

http://iainstitute.org/nl/translations/000187.html

De webpagina‟s dienen te voldoen aan de 

de 65 ijkpunten van het W3C. De eerste zestien ijkpunten zijn in Nederland beter bekend als het „waarmerk drempelvrij‟



de webrichtlijnen van de Nederlandse overheid.

[Ref. 08]

http://www.accessibility.nl/internet/richtlijnen/checklist

[Ref. 09]

http://www.webrichtlijnen.nl/handleiding/ontwikkelaars/



[Principe 19]

Het computerexamensysteem (incl. rapportages) moet voor de eindgebruikers (examenlocaties) werken in de Nederlandse taal.

Achtergrond

Binnen de overheid wordt Nederlands als standaard gehanteerd voor gebruikersinterfaces.

Implicatie

De software die toegepast wordt binnen het computerexamensysteem en die gebruikt wordt door (eind)gebruikers moet een Nederlandstalige gebruikersinterface hebben. Daarbij is het wenselijk om het systeem te voorzien van de mogelijkheid om in de toekomst op een eenvoudige wijze meertalige gebruikersinterfaces aan te kunnen bieden.

[Principe 20]

Alle acties die leiden tot wijzigingen in informatie en systeem dienen te worden bevestigd door de gebruiker.

Achtergrond

Het per ongeluk wijzigen van informatie die kan leiden tot gegevensverlies dient tot een minimum beperkt te worden.

Implicatie

Het systeem moet de gebruiker een terugkoppeling geven over de voorgenomen actie van de gebruiker die leidt tot een wijziging in de informatie of het systeem. Elke terugkoppeling dient voorzien te worden van een bevestiging door de gebruiker. Het systeem moet tevens voorzien in een mogelijkheid tot het ongedaan maken van deze wijziging („rollback‟).



3 Aspectgebieden 3.1 Het model Naast het computerexamensysteem spelen meerdere aspecten een rol die er gezamenlijk voor zorg dragen dat het systeem conform de wensen en eisen functioneert. De aspecten zijn onderverdeeld in heldere domeinen en vormgegeven volgens onderstaand model. De aspectgebieden zijn: Service omvat het computerexamensysteem en is beschreven in hoofdstuk 4 „Het computerexamensysteem‟. Ontwikkeling omvat de ontwikkelingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 5 „ Ontwikkeling‟. Voortbrenging omvat de voortbrengingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 6 „Release management‟. Operationeel beheer omvat de (dagelijkse) beheeraspecten van het computerexamensysteem en is beschreven in hoofdstuk 7 „Operationeel beheer‟. Beveiliging omvat de beveiligingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 8 „Beveiliging‟.



4 Het computerexamensysteem Het hoofdstuk „Het computerexamensysteem‟ beschrijft het computerexamensysteem. Voor de beschrijving van dit computerexamensysteem wordt het NORA-model gebruikt, conform de richtlijnen van de overheid. Het NORA-model onderkent negen vlakken opgebouwd uit drie lagen en drie kolommen. Deze lagen zijn in veel architecturen min of meer terug te vinden en beschrijven de bedrijfsarchitectuur, informatiearchitectuur en technische architectuur van het computerexamensysteem. De verdeling in de kolommen is gebaseerd op het wie, wat en hoe. Waarbij: 

Wie: beschrijft de actieve objecten die feitelijk iets doen



Wat: beschrijft de passieve objecten die iets ondergaan



Hoe: beschrijft de manier hoe de actieve objecten omgaan met de passieve objecten.

Organisatie – Beschrijft de structuur van de organisatie en afdelingen die nodig zijn om te komen tot een product of een dienst.  Onderdeel „Organisatie‟ is beschreven in paragraaf 4.2. Diensten en producten – Beschrijft vanuit de bedrijfsklaar het product dat geproduceerd of de dienst die aangeboden wordt.  Onderdeel „Diensten en producten‟ is beschreven in paragraaf 4.3. Processen – Beschrijft de (bedrijfs-) processen die nodig zijn om te komen tot een product of een dienst.  Onderdeel „Processen‟ is beschreven in paragraaf 4.4. Medewerkers en applicaties – Beschrijft de applicaties die nodig zijn om de (bedrijfs-) processen te ondersteunen.  Onderdeel „Medewerkers en applicaties‟ is beschreven in paragraaf 4.5. Berichten en gegevens – Beschrijft de (applicatie)data die nodig zijn om de (bedrijfs-) processen te ondersteunen en die verwerkt worden door de verschillende applicaties.  Onderdeel „ Berichten en gegevens‟ is beschreven in paragraaf 4.6. Informatie-uitwisseling – Beschrijft de (bedrijfs-) informatie die nodig is om te komen tot een product of een service en die cruciaal is voor de (bedrijfs-) processen. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 11


 Onderdeel „Informatie-uitwisseling‟ is beschreven in paragraaf 4.7. Technische componenten – Beschrijft de technische componenten die nodig zijn om de applicaties te ondersteunen.  Onderdeel „ Technische componenten‟ is beschreven in paragraaf 4.8. Gegevensopslag – Beschrijft de (storage) infrastructuur die nodig is om gestructureerde gegevens te beheren.  Onderdeel „Gegevensopslag‟ beschreven in paragraaf 4.9. Netwerk– Beschrijft de (netwerk) infrastructuur die nodig is om berichten en gegevens te versturen.  Onderdeel „Netwerk‟ is beschreven in paragraaf 4.10.

4.1 Globale opzet Het Computerexamensysteem (CES) faciliteert de gehele procesketen van het digitaal examineren, waaronder het vaststellen van examens, het afnemen van examens, tot het vaststellen en opleveren van de behaalde resultaten. Het gehele systeem wordt web-based aangeboden en ontsloten door middel van HTTPS verkeer. Het systeem is met iedere gangbare webbrowser te gebruiken. Een uitzondering hierop betreft de afnameclient die een speciaal geprepareerde „beveiligde‟ web-client kent. Het computerexamensysteem ondersteunt zowel online als offline afnamen. Indien een examenlocatie kiest voor een offline afname wordt op de examenlocatie een virtueel systeem beschikbaar gesteld in een standaard formaat. Onderstaande figuur geeft een conceptueel overzicht van het Computerexamensysteem.



4.2 Organisatie De organisatie beschrijft alle relevante organisatieonderdelen die nodig zijn voor het functioneren van het computerexamensysteem.

4.2.1 Ketenpartners

CvE –College voor Examens (CvE) is een zelfstandig bestuursorgaan (ZBO) verantwoordelijk voor de centrale examens en staatsexamens in het voortgezet onderwijs (vo), de centrale examens rekenen en taal in het middelbaar beroepsonderwijs (mbo) en staatsexamens Nederlands als tweede taal (NT2). CvE is opdrachtnemer voor het nieuwe computerexamensysteem. 

Verantwoordelijk voor de hele examenketen



Verantwoordelijk voor de vorm waarin de examens worden afgenomen



Verantwoordelijk voor de inhoud van de examens

Ministerie van OCW – Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) is de koepelorganisatie waar CvE, DUO en de examenlocaties onder vallen en is opdrachtgever en financier van het nieuwe computerexamensysteem. DUO – Dienst Uitvoering Onderwijs (DUO) exploiteert het nieuwe computerexamensysteem. De IB-Groep en CFI vormen vanaf januari 2010 één organisatie: DUO. DUO financiert en informeert onderwijsdeelnemers en onderwijsinstellingen en organiseert examens. Zo maakt DUO onderwijs mogelijk. 

Verantwoordelijk voor alle informatie als gegevensbewerker



Verantwoordelijk voor de distributie van examens



Verantwoordelijk voor het beheer en de ondersteuning van het computerexamensysteem

Examenlocatie – De examenlocatie is afnemer van het computerexamensysteem. Examenlocaties zijn onderwijslocaties in het voortgezet onderwijs (vo), middelbaar beroepsonderwijs (mbo) en staatsexamenlocaties (NT2), waar de examens digitaal worden afgenomen. 

Verantwoordelijk voor een ongestoorde afname van examens



Verantwoordelijk voor de correctie van de afnamerespons (handmatige score opgaven)



Verantwoordelijk voor de ingevoerde kandidaatinformatie (leerlingen)

Cito – Het Centraal instituut voor toetsontwikkeling (Cito) ontwikkelt in opdracht van het CvE examenopgaven. 

Verantwoordelijk voor de inhoudelijke levering van examens



Verantwoordelijk voor de analyse exameninformatie om het CvE te adviseren in de normering

Bureau ICE – Het Bureau Interculturele Evaluatie (ICE) is actief op het gebied van taalverwerving Nederlands als tweede taal (NT2). Het ontwikkelt toetsinstrumenten voor het NT2-onderwijs in opdracht van CvE. 

Verantwoordelijk voor de inhoudelijke levering van examens





Verantwoordelijk voor de analyse van exameninformatie om het CvE te adviseren in de normering

Onderwijsinspectie – De Inspectie van het Onderwijs is een Nederlands inspectieorgaan en valt organisatorisch onder het Ministerie van Onderwijs, Cultuur en Wetenschap.

4.2.2 Rollen

Bevoegd gezag – De rector of directeur van een school in het vo of mbo die het eindcijfer vaststelt. Corrector – De corrector is verantwoordelijk voor de correctie van de afgenomen examens. De corrector beoordeelt de antwoorden volgens het correctievoorschrift. 

1e corrector – Dit is de eerste corrector die het afgenomen examen corrigeert. (Bepaalde examens hebben maar één corrector)



2e corrector – Dit is de tweede corrector die het afgenomen examen corrigeert. (Bepaalde examens hebben twee correctoren)



3e corrector – Dit is de derde corrector, die in opdracht van de inspectie als onafhankelijke corrector vanuit het CvE wordt aangesteld als de eerste twee correctoren er niet uit komen.



Najaarscorrector – Dit is een corrector die een „audit‟ uitvoert op de eerdere correctie. Deze correctie heeft geen invloed op de al behaalde resultaten.

Examenleverancier – De examenleverancier krijgt van het CvE opdracht tot het construeren en produceren van examens. Examensecretaris – De examensecretaris heeft als hoofdtaak het afnemen van de CBT-examens voor het vo, mbo en NT2. De examensecretaris is verantwoordelijk voor de organisatie rondom de afname van de examens. Hij verzorgt de afnamen door onder andere het inplannen van kandidaten, het afnemen van een examen en het toekennen van correctoren aan deze afname. Veelal begeleidt de examensecretaris zelf ook de afname, al dan niet met behulp van een surveillant. Examinator – De examinator verzorgt de afnamen van minitoetsen gedurende de praktijkexamens. Functioneel beheerder rapportage– De functioneel beheerder rapportage is verantwoordelijk voor het definiëren van rapportagevormen. Deze rapportagevormen worden als standaardrapportage beschikbaar gesteld aan de ketenpartners. IT Beheerder – De IT-Beheerder is verantwoordelijk voor het beheer van de lokale infrastructuur op de examenlocatie. Kandidaat – De kandidaat (leerling) is de persoon die een centraal of staatsexamen aflegt binnen het vo, mbo of NT2.



Onderwijsinspecteur – De inspecteur kan een onafhankelijke inspectie uitvoeren naar (een) afname(n) of correctie(s). Hij bepaalt in principe of een afname of examen in aanmerking komt voor een najaarscorrectie. Surveillant – De surveillant ondersteunt de examensecretaris bij de afname van de examens. Systeembeheerder – De systeembeheerder prepareert de noodzakelijke ITomgeving op de examenlocatie die nodig is voor een afname. Vaksectie – Het CvE heeft een vaksectie per examenvak, met als belangrijkste kerntaak de vaststelling van de centrale examens. De vaksectie bestaat uit een deskundig voorzitter uit het naar boven aanpalend onderwijs en twee of drie leden die ruime ervaring hebben in het lesgeven aan examenkandidaten.

4.3 Diensten en producten Het nieuwe computerexamensysteem definieert op hoog niveau zes diensten (services), waarvan één dienst afgenomen wordt door CvE en vijf diensten aangeboden worden door CvE.

4.3.1 Gedefinieerde diensten

Aanbieden van examens – Het aanbieden van examens aan examenlocaties; deze dienst wordt door de examenlocaties afgenomen van DUO in opdracht van het CvE.  Paragraaf 4.3.4 Aanbieden van examens Aanbieden van handmatige correctie – Het aanbieden van een handmatige correctie voorziet in de behoefte om open opgaven te scoren. Het scoren van open opgaven gebeurt door middel van correctoren. De gesloten opgaven worden op basis van de QTI-standaard automatisch gescoord.  Paragraaf 4.3.5 Aanbieden van handmatige correctie Aanbieden van inzage – Het aanbieden van inzage in afgenomen examens via examenlocaties of via CvE; deze dienst wordt door de kandidaat afgenomen via de examenlocatie of direct via het CvE.  Paragraaf 4.3.6 Aanbieden van inzage Aanbieden van oefenexamen – Het aanbieden van online oefenexamens; deze dienst wordt door de kandidaat op een willekeurig tijdstip en locatie afgenomen van DUO in opdracht van het CvE.  Paragraaf 4.3.7 Aanbieden van oefenexamens Aanbieden van rapportages – Het aanbieden van rapportages, waarbij de verschillende onderdelen van het computerexamensysteem dienen als bronsysteem. De rapportages worden door de diverse ketenpartners afgenomen van DUO in opdracht van het CvE.  Paragraaf 4.3.8 Aanbieden van rapportages Produceren van examens – Het produceren van examens door examenleveranciers; deze dienst wordt door CvE afgenomen van examenleveranciers.  Paragraaf 4.3.3 Produceren van examens



Deze diensten leveren de onderstaande gegevensobjecten op. Deze gegevensobjecten zijn op abstract niveau gedefinieerd en benoemen enkel het resultaat (meerwaarde) van de dienst.

4.3.2 Gedefinieerde gegevensobjecten (producten)

Examen – Een door het CvE vastgesteld examen of examenvariant. Een examen kent een aantal verschijningsvormen. 

Examen: Het „echte examen‟ dat wordt afgenomen. Dit examen wordt op twee manieren aangeboden, vast of flexibel: Vaste examens worden op een vooraf vastgesteld vast tijdstip afgenomen; Flexibele examens worden binnen een vooraf vastgestelde periode afgenomen, waarbij het uiteindelijke tijdstip wordt bepaald door de examenlocatie.



Proefexamen: Het examen dat gebruikt wordt bij de „Proef op de Som‟. Dit examen is bedoeld om de kandidaat te laten wennen aan en oefenen met het computerexamensysteem. Ook geldt het proefexamen als een generale repetitie voor de examenlocatie: Het proefexamen doorloopt de gehele keten gelijk een echt examen. Echter de eindscore van een proefexamen wordt niet gebruikt voor cijferbepaling.



Oefenexamen: Het examen waarmee de kandidaten zelfstandig kunnen oefenen. De kandidaat kan het examen op een willekeurige locatie en willekeurig tijdstip maken. Het examen bevat opgaven die qua niveau gelijk zijn aan een echt examen.



FT-examen: Het examen waarmee een examenlocatie de afnamevoorzieningen functioneel en technisch test. Het FT-examen bevat alle functionaliteit die mogelijk voor zou kunnen komen in de examens van dat examenjaar.

Alle examens kunnen ook als minitoets voorkomen: 

Minitoets: Een verkort flexibel examen dat deel uitmaakt van een praktijkexamen, waarbij: de afnamen door de examensecretaris gedelegeerd kunnen worden aan een examinator; een minitoets geen open opgaven kent en direct aan het einde van het examen de eindscore toont; een minitoets veelal door een enkele kandidaat afgenomen wordt in opdracht van een examinator. Proefexamen

Oefenexamen

FT-examen

Minitoets

Afname op examenlocatie

Examen

Overzicht kenmerken examen

√

√

√

√

√

Anoniem

√

√

Weergeven resultaat

√

Cijferbepalend

√

√

Volledig automatisch scorebaar Handmatige correctie

√ √

√

√



Overzicht omvang van Aantal examen afnamen in 2014 kandidaten (geschat)

Gemiddelde groep

Grootste groep

Aantal scholen met groepen > 60

Vmbo bb algemeen

Onbekend

Onbekend

Onbekend

Onbekend

Vmbo kb Frans

Onbekend

Onbekend

Onbekend

Onbekend

Vmbo kb algemeen

Onbekend

Onbekend

Onbekend

Onbekend

800

12

90

1

65

8

17

0

155

0

22

0

Vmbo gl/tl Biologie

29.000

37

180

106

Vmbo gl/tl Nask 1

16.500

22

110

8

Havo Kunst

8.000

29

98

16

Havo Muziek

1.300

12

38

0

Havo Duits

16.500

35

105

39

Havo Aardrijkskunde

18.000

37

119

60

3.300

16

70

1

800

11

15.500

31

Vmbo gl/tl Muziek Vmbo gl/tl Dans Vmbo gl/tl Drama

Vwo Kunst Vwo Muziek Vwo Aardrijkskunde

0 113

39

Exameneindscore – De eindscore van de kandidaat op een afgenomen examen. Exameneindcijfer – Het eindcijfer van de kandidaat op een afgenomen examen. Het vaststellen van het eindcijfer is een verantwoordelijkheid van de examenlocatie. Examenafnamerespons – De handelingen, inclusief het ingeven van antwoorden, die een kandidaat heeft uitgevoerd. De examenafnamerespons geeft inzicht in het verloop van een afname. Helderheid kandidaat – De gevoelswaarde die een kandidaat overhoudt na het inzien van zijn examen. Oefenresultaat – Een eenvoudig overzicht van het resultaat van een oefenexamen. Het oefenresultaat wordt direct na afname van een oefenexamen digitaal weergegeven. Rapportage – Een rapport dat voorziet in de informatiebehoefte van een ketenpartner.

4.3.3 Produceren van examens



Produceren van examens – De dienst die CvE afneemt van examenleveranciers zoals Cito en Bureau ICE. CvE geeft een constructieopdracht aan de examenleverancier (toetsconstructeur) om te komen tot een examen ofwel een erratum op een bestaand examen. Na de productie en de technische acceptatie van het examen zal dit door de vaksectie van CvE worden vastgesteld, waarna het examen in de repository wordt geplaatst en beschikbaar wordt gesteld aan de examenlocaties voor afname. Constructieopdracht – CvE geeft opdracht tot het produceren van een examen. Erratum op examen – CvE geeft opdracht tot het produceren van een erratum op een bestaand examen. Produceren – De examenleverancier produceert het examen in haar eigen omgeving en test het examen in de „preview‟-omgeving van het computerexamensysteem, waarna het examen technisch wordt geaccepteerd en aangeboden aan de vaksectie van CvE voor (inhoudelijke) vaststelling.  Paragraaf 4.4.1 Hoofdproces: Produceren Vaststellen – De vaksectie binnen CvE stelt het examen vast, waarna het examen gepubliceerd wordt.  Paragraaf 4.4.2 Hoofdproces: Vaststellen Examen – Het door CvE vastgestelde examen dat afgenomen mag worden.

4.3.4 Aanbieden van examens

Aanbieden van examens – De dienst die aan een examenlocatie wordt aangeboden. Examenlocaties kunnen enkel de door het CvE vastgestelde en beschikbaar gestelde examens afnemen. Afhankelijk van het type examenopgaven zullen de examenantwoorden automatisch dan wel handmatig worden gescoord (proces: corrigeren). Start voorbereiden – CvE communiceert en coördineert de start van de voorbereidingen. Voorbereiden – De examenlocatie dient zich voor te bereiden op het afnemen van de examens. Hierbij dient een examenlocatie zeker te stellen dat een kandidaat ten tijde van de afname ongestoord en zonder haperingen het examen kan maken. 

De examenlocatie wordt ingericht tot het afnemen van examens. o

Functionaliteiten worden getest d.m.v. het FT-examen

Het proces en de kandidaten worden voorbereid d.m.v. het proefexamen De (hoofd) examenlocatie verzorgt de autorisaties voor de examensecretarissen en de kandidaten. De afnamen worden ingepland. o

 

 Paragraaf 4.4.3 Hoofdproces: Voorbereiden



Afnemen – Op een vooraf gepland moment worden de examens ook afgenomen door de kandidaten op de examenlocatie. De kandidaat wordt in staat gesteld om het juiste examen ongestoord en zonder haperingen te maken.  Paragraaf 4.4.4 Hoofdproces: Afnemen Afnamerespons – De door het computerexamensysteem vastgelegde handelingen die verricht zijn- en antwoorden die gegeven zijn door de kandidaat.

4.3.5 Aanbieden van handmatige correctie

Aanbieden van handmatige correctie – De dienst die aan een examenlocatie wordt aangeboden. Examenlocaties kunnen de examenantwoorden handmatig scoren. De eindscore en eventueel het eindcijfer zullen na de afname beschikbaar worden gesteld via de dienst „aanbieden van rapportages‟. Afgerond examen – Het afgerond examen wordt door de examensecretaris vrijgegeven voor correctie. Corrigeren – Elke afname leidt tot een eindscore. Hiervoor dient de afname gescoord te worden (de correctie). Dit gebeurt in geval van gesloten opgaven door het systeem en in geval van open opgaven door de toegewezen correctoren. De correctiemethodiek wordt per examen bepaald. Het correctievoorschrift dat ten grondslag ligt aan het scoren en corrigeren van de afnamen wordt in het examenbestand meegegeven.  Paragraaf 4.4.5 Hoofdproces: Corrigeren Normeren – Om de behaalde eindscores te vertalen naar eindcijfers wordt de afnamerespons van alle kandidaten geanalyseerd. Deze analyse wordt veelal uitgevoerd door de examenleverancier die de afnamerespons geanonimiseerd ontvangt. De analyse resulteert in een normeringsadvies dat door CvE wordt gebruikt in de vaststelling van de normering. De vastgestelde normering leidt tot een omzettingstabel die geïmporteerd wordt in het computerexamensysteem. Op basis van de omzettingstabel worden de eindscores vertaald naar een eindcijfer.  Paragraaf 4.4.6 Hoofdproces: Normeren Eindscore – De eindscore van het afgenomen examen. Eindcijfer – Het eindcijfer van het afgenomen examen.



4.3.6 Aanbieden van inzage

Aanbieden van inzage in afname – De dienst die een kandidaat wordt aangeboden. Een kandidaat kan een verzoek doen tot inzage. De examenlocatie of het CvE bepaalt of het verzoek wordt gehonoreerd. De kandidaat heeft een bepaalde periode de gelegenheid tot inzage op de examenlocatie waar het examen is afgenomen. Na deze periode kan de kandidaat zich tot het CvE wenden voor een inzage. Behoefte tot inzage – De kandidaat heeft behoefte tot inzage. Dit kan het geval zijn als een kandidaat niet tevreden is met het resultaat en hierover nader uitleg wil hebben. Inzage geven – Indien de kandidaat recht heeft op inzage, kan de kandidaat onder begeleiding de afname inzien. Een inzage toont de opgaven, antwoorden, het correctievoorschrift en alleen de eindscore.  Paragraaf 4.4.7 Hoofdproces: Inzage geven Helderheid kandidaat – De gevoelswaarde die een kandidaat overhoudt na het inzien van zijn examen.

4.3.7 Aanbieden van oefenexamens

Aanbieden van oefenexamens – De dienst die een kandidaat wordt aangeboden. Kandidaten kunnen op elke willekeurige locatie via het internet een oefenexamen afnemen. Deze oefenexamens worden online aangeboden en geven de kandidaat direct na het maken terugkoppeling in de vorm van een oefenresultaat. Behoefte tot maken oefenexamen – De kandidaat heeft behoefte om een examen te oefenen. Oefenen – Kandidaat kiest een oefenexamen en maakt dit examen.  Paragraaf 4.4.8 Hoofdproces: Oefenen Oefenresultaat – Het overzicht van het resultaat van een gemaakt oefenexamen dat bestaat uit opgaven, antwoorden, in geval van gesloten opgaven de scores, en in geval van open opgaven de correctievoorschriften. Het overzicht wordt na het beëindigen van de (oefen)sessie direct verwijderd.



4.3.8 Aanbieden van rapportages

Aanbieden van rapportages – De dienst aan de ketenpartners die voorziet in hun informatiebehoefte. De rapportageomgeving biedt standaard en veelgebruikte rapporten aan. Het aanbod van rapportages en informatie wordt altijd in overleg met het CvE vastgesteld. Uitgangspunt is dat elke ketenpartner direct en online toegang heeft tot voor hem vastgestelde standaardrapportages. Informatiebehoefte – Ketenpartner heeft een informatiebehoefte. Definiëren rapportage – Indien de ketenpartner een specifieke informatiebehoefte heeft en deze is niet voorhanden als „standaard‟ rapport, dan zal deze samen met de functioneel beheerder rapportage gedefinieerd moeten worden. Als de gewenste rapportagevorm gemaakt en beschikbaar gesteld is, dan kan deze door de ketenpartner geselecteerd worden.  Paragraaf 4.4.9 Hoofdproces: Definiëren rapportage Genereren rapportage – De ketenpartner selecteert op basis van de informatiebehoefte een vooraf gedefinieerde rapportage. Na selectie wordt de rapportage gegenereerd en het resultaat weergegeven in een rapport. Indien gewenst kan het rapport in een aantal vormen beschikbaar worden gesteld, zoals op scherm, print, PDF, CSV of een ander formaat.  Paragraaf 4.4.10 Hoofdproces: Genereren rapportage Rapport – Rapport is het gegenereerde resultaat.

4.4 Processen De paragraaf Diensten en producten beschrijft op globaal niveau de hoofdprocessen, de triggers, het resultaat en de afnemers van de dienst. Deze paragraaf is een verdere uitwerking van de hoofdprocessen en hierin zijn de relevante actoren, processen en applicatieve diensten weergegeven.

4.4.1 Hoofdproces: Produceren

Produceren – Dit hoofdproces voorziet in het ontwerpen, construeren en technisch accepteren van een examen.



Constructieopdracht – CvE geeft een constructieopdracht tot het maken van een nieuw examen. Erratum op examen – CvE geeft opdracht tot het maken van een erratum op een bestaand examen. Ontwerpen examens – De examenleverancier ontwerpt het examen in zijn eigen systeem. Construeren examens – De examenleverancier construeert een nieuw examen of errata op het examen. Testen examens – Zodra het examen gereed is voor testen, wordt het examen in de repository van het computerexamensysteem geplaatst. Het examen kan vervolgens getest worden in de online „preview‟-omgeving van het computerexamensysteem. Dit is een cyclisch proces tot het moment dat het examen gereed is voor technische acceptatie. Toevoegen kenmerken aan examens – De examenleverancier voegt door middel van een beheerinterface kenmerken toe aan het examen en zijn varianten. Technisch accepteren examens – De examenleverancier accepteert het examen technisch. Indien het examen is voorzien van softwarematige modules zal DUO deze specifieke component technisch accepteren. Deze technische acceptatie van DUO moet het risico reduceren dat er problemen ontstaan met de beschikbaarheid van het systeem. Zodra de examenleverancier en eventueel DUO het examen hebben geaccepteerd kan deze worden vastgesteld door de vaksectie van CvE. Examen – De examenleverancier stelt het examen beschikbaar voor vaststelling door CvE. Het examen wordt als één allesomvattend bestand conform de te realiseren QTI+ standaard opgeleverd. Examenbeheerservice  Paragraaf 4.5.1.8 Examenpreviewservice  Paragraaf 4.5.1.9 Het onderstaande overzicht geeft een indicatie per week van het aantal previews examenleverancier dat over een jaar wordt afgenomen.

De aantallen zijn indicatief

4.4.2 Hoofdproces: Vaststellen

Vaststellen – Dit hoofdproces voorziet in het vaststellen en beschikbaar stellen van het examen. Hiermee heeft het examen de productiestatus verkregen, echter, het is nog niet _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 22


zichtbaar voor examenlocaties voor het inplannen, dit gebeurt tijdens „Vrijgeven examen voor planning‟ in het Hoofdproces: Voorbereiden. Technisch geaccepteerd examen – CvE ontvangt van de examenleverancier een getest en technisch geaccepteerd examen. Vaststellen kenmerken – CvE stelt de instellingen en kenmerken vast van het examen, hierbij kan CvE besluiten om taken te delegeren aan DUO. Stel examen vast – CvE-vaksectie stelt het examen vast. Hiermee accepteert de CvEvaksectie het examen inhoudelijk. Examen – CvE stelt het vastgestelde examen beschikbaar voor afname op een examenlocatie. Het examen is hiermee nog niet zichtbaar voor de examenlocaties. Examenbeheerservice  Paragraaf 4.5.1.8 Examenpreviewservice  Paragraaf 4.5.1.9 Het onderstaande overzicht geeft een indicatie per week van het aantal previews CvE dat over een jaar wordt afgenomen.


4.4.3 Hoofdproces: Voorbereiden

Voorbereiden –Dit hoofdproces voorziet in het inplannen van een examen, het koppelen van correctoren aan de afname en het (technisch) inrichten van de examenlocatie. Start voorbereiden – Vanuit CvE wordt de start geïnitieerd voor de voorbereidingen voor de komende examenperiode. Toewijzing school tweede correctie – De school is geselecteerd om correctoren te leveren voor een tweede correctieronde. Vrijgeven examen voor planning –CvE geeft het examen vrij voor planning. Invoeren van kandidaatgegevens – De gegevens kunnen van BRON betrokken worden of via het schooladministratiesysteem van school geïmporteerd worden. Tevens moeten de kandidaatgegevens eventueel op ad-hoc basis handmatig ingevoerd kunnen worden. Plannen afname – Het systeem onderkent twee type planningen, te weten de reguliere



planningen voor VO en MBO scholen en de geïmporteerde planningen voor NT2 en staatsexamens. 



Reguliere planningen – Een afname wordt gepland op basis van kandidaten (vakken) met aanvullende kandidaatskenmerken en op een bepaald tijdstip. Een afname kenmerkt zich door een datum, tijd, examen, kandidaat en examenlocatie. Alvorens er door de examensecretaris gepland kan worden, moet er ieder jaar (rondom maart) de poolinggegevens uit EOS worden geïmporteerd. Dit geldt enkel voor VO scholen. o

De examensecretaris kan filteren en groeperen op basis van:  Leerweg;  Vak;  Kenmerken kandidaat;  Tijdstip;

o

Op basis van plandatum  vakken  kandidaat, waarbij de gebruiker alleen die examens kan selecteren die op die datum afgenomen mogen worden.

o

Op basis van vakken  plandatum  kandidaat, waarbij de gebruiker de beschikbare examens met de mogelijke afnamemomenten te zien krijgt en op basis hiervan een afname kan plannen.

Geïmporteerde planningen – Het plannen van NT2- en staatsexamens vindt via een extern systeem binnen DUO plaats. Het computer examen systeem importeert deze planningen inclusief de gegevens van de kandidaten uit EOS. Hierbij worden de volgende import tijdstippen onderkend: o

Vermoedelijk dagelijks importeren van gegevens voor NT2 examens.

o

Op verzoek importeren van gegevens voor staatsexamens.

Toewijzen corrector aan afname – De examensecretaris wijst een corrector toe aan een afname. Dit kan een 1e, 2e, 3e of een najaarscorrector zijn. Hierbij geldt als uitgangspunt dat de 1e corrector van de eigen examenlocatie komt, de 2e van een gepoolde examenlocatie, en de eventuele 3e corrector een externe corrector is via het CvE. Let wel dat ook andere varianten mogelijk moeten zijn. Denk hierbij aan de najaarscorrectie. Registreren school tweede correctie – Indien een tweede correctie voor een afname noodzakelijk is, dan moeten uit een lijst (pooling) met beschikbare scholen (examenlocaties) een of meerdere scholen geselecteerd worden die correctoren levert voor een tweede correctie. De geselecteerde school krijgt een notificatie dat zij geselecteerd zijn voor een tweede correctieronde en wijst vervolgens zelf de correctoren toe aan de afname. De lijst met beschikbare scholen en capaciteitsaantallen komt uit het EOS (pooling) en wordt aangeleverd door DUO. Uitvoeren rechtmatigheidstoets – Op een vooraf bepaald tijdstip dient de examensecretaris te controleren of de examenkandidaten examen mogen doen volgens de gestelde rechtmatigheidscriteria. Deze toets controleert of de schoolexamenresultaten in BRON bekend zijn en koppelt de resultaten terug. Controleren afnamegegevens – Indien het een offline afname betreft controleert de examensecretaris op een vooraf bepaald tijdstip de beschikbaarheid van deze gegevens op de offline locatie (de lokale infrastructuur). Inrichten infrastructuur – Een gescheiden processtap die tot doel heeft om de noodzakelijke infrastructuur op scholen in te richten zodanig dat deze geschikt is voor het afnemen van examens. In deze stap behoort ook het uitvoeren van een FT-examen waarmee de infrastructuur getest wordt op werking van- en de geschiktheid voor het weergeven van een examen. Afnamekalender – De afnamekalender is het geheel aan ingeplande afnamen gedurende de dan geldende examenperiode. Afnamebeheerservice  Paragraaf 4.5.1.1 Examenafnameservice  Paragraaf 4.5.1.3



Het onderstaande overzicht geeft een indicatie per week van het aantal FT-examens dat over een jaar wordt afgenomen.


Examenbeheerservice  Paragraaf 4.5.1.8 Kandidaatbeheerservice  Paragraaf 4.5.1.13

4.4.4 Hoofdproces: Afnemen

Afnemen – Dit hoofdproces voorziet in het afnemen van het echte examen, de minitoets en het proefexamen (Proef op de Som) bij de kandidaat. Dit proces resulteert in een afnamerespons op basis van het afgenomen examen. Afnametijdstip – Het afnametijdstip is de datum en het tijdstip van de afname. Vrijgeven afname – De examensecretaris (of de examinator, in geval van een minitoets) geeft de afname vrij voor de kandidaten. Met het vrijgeven kan het examen afgenomen worden door de kandidaten. Starten afname – De kandidaat start de afname, waarna de kandidaat zich authentiseert. De examensecretaris kan in het geval van een NT2- examen de afnamen centraal starten. Controleren en bewaken afname – De examensecretaris, en indien aanwezig de surveillant, controleert of de kandidaat het juiste examen maakt, door een visuele controle uit te voeren. Hierbij wordt gebruikt gemaakt van de getoonde informatie van de kandidaat en het examen op het scherm van de kandidaat en eventuele overzichten te verkrijgen via het afnamedashboard. Aanvullend bewaakt de examensecretaris, en indien aanwezig de surveillant, de voortgang van het examen en faciliteert de kandidaat in geval van een probleem met de examenafname. In geval van een NT2-examen kan de examensecretaris centraal alle examens gelijktijdig starten en/of pauzeren. Beantwoorden opgaven – De kandidaat beantwoordt de examenopgaven. Het systeem legt de examenopgaven, karakteristieken en het pad waarin de examenopgaven zijn beantwoord, vast als afnamerespons. Sluiten afname – De kandidaat sluit het examen via een presentatie van een overzicht met daarin opgenomen alle beantwoorde, gemarkeerde en/of onbeantwoorde opgaven. Het sluiten van een examen mag enkel geschieden via het overzicht. Een eenmaal afgesloten examen mag niet meer worden heropend.



Afnamerespons – De door het computerexamensysteem vastgelegde handelingen die verricht zijn- en antwoorden die gegeven zijn door de kandidaat. De handelingen bevatten kenmerken zoals navigatiepad en tijd voor iedere examenopgave. Afnamebeheerservice  Paragraaf 4.5.1.1. Examenafnameservice  Paragraaf 4.5.1.7. Het onderstaande overzicht geeft een indicatie per week van het aantal examens dat over een jaar wordt afgenomen.


Afnamedashboardservice  4.5.1.2.

4.4.5 Hoofdproces: Corrigeren

Corrigeren – Dit hoofdproces voorziet in het corrigeren van de afnamerespons. Hierbij worden de gesloten opgaven automatisch gecorrigeerd door het systeem en de open opgaven worden gecorrigeerd via correctoren. Afgerond examen – Enkel een afgerond examen kan door de examensecretaris vrijgegeven worden voor correctie. Vrijgeven afname voor correctie – De examensecretaris geeft de afname, inclusief afnamerespons, vrij voor correctie. Corrigeren Afnamerespons – Op basis van één of meerdere correctieronden wordt de afnamerespons gecorrigeerd door de toegewezen corrector. Het computerexamensysteem ondersteunt op een eenduidige manier alle correctieronden. 

Open opgaven worden door een corrector gecontroleerd en gescoord.



Gesloten opgaven zijn automatisch door het systeem gescoord.

Vaststellen scores – Indien er sprake is van één correctieronde, dan bepaalt de 1e corrector de scores. In geval van twee correctieronden (2e corrector komt vanuit een andere school), dienen de 1e en 2e correctoren de scores te overleggen en overeen te komen. In geval van een 3e correctieronde wordt de score bepaald door de 3e corrector, waarbij eerdere scores worden genegeerd. In geval van een najaarscorrectie bepaalt de najaarscorrector een nieuwe score, deze score heeft enkel een auditfunctie en heeft geen gevolgen voor de eerder behaalde resultaten. Eindscore – De vastgestelde eindscore die als input wordt gebruikt voor analyse, die aan de eindcijferbepaling ten grondslag ligt. Afnamebeheerservice  Paragraaf 4.5.1.1 Examencorrectieservice  Paragraaf 4.5.1.9 _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 26


Het onderstaande overzicht geeft een indicatie per week van het aantal correcties dat over een jaar wordt uitgevoerd.


4.4.6 Hoofdproces: Normeren

Normeren – Dit hoofdproces voorziet in het analyseren van de afnamerespons en het normeren van het examen, waarna het eindcijfer berekend kan worden. Beëindiging corrigeren – Zodra de eerste afnamen van een examen zijn gecorrigeerd, kan er geanalyseerd worden. Bij een representatieve analyse zal er ook een normeringsadvies komen. Analyseren scores – De afnamerespons kan door de examenleverancier of een andere partij worden geanalyseerd om te komen tot een normeringsadvies. Dit is echter afhankelijk van het type examen. Normeren examens – Op basis van het verkregen normeringsadvies stelt het CvE de definitieve normering vast. Aanbrengen normering – De definitieve normering wordt door CvE aangebracht in de vorm van een omzettingstabel. De omzettingstabel is een translatie van eindscore naar een eindcijfer. Exporteren – De examensecretaris exporteert de eindscores en/of de eindcijfers uit het computerexamensysteem, en kan de toegepaste normering inzien Exameneindscore – De vastgestelde eindscore die als input wordt gebruikt voor analyse en ten grondslag ligt aan de eindcijferbepaling. Exameneindcijfer – Het uiteindelijk bepaalde eindcijfer. De officiële bepaling van het eindcijfer is een verantwoordelijkheid van de examenlocatie. Aanbieden van rapportages – De examenleverancier genereert, met behulp van de dienst aanbieden rapportages, een rapport met daarin de geanonimiseerde afnamerespons inclusief de scores. Afnamebeheerservice  Paragraaf 4.5.1.1. Examenbeheerservice  Paragraaf 4.5.1.8



4.4.7 Hoofdproces: Inzage geven

Inzage geven – Dit hoofdproces voorziet in de mogelijkheid om een afname in te zien. De inzage verloopt altijd in het bijzijn van de examensecretaris of een door hem gemachtigd persoon. In een uitzonderlijk geval kan het CvE ook voorzien in een inzage. Behoefte tot inzage – Een behoefte tot inzage wordt gehonoreerd. Selecteren afname – De examensecretaris of gemachtigde persoon selecteert de afname. Inzage in afname – De inzage verloopt alsof het een reguliere afname is, met dien verstande dat de opgaven inclusief de gegeven antwoorden en eindscore niet meer te wijzigen zijn. Afnamebeheerservice  Paragraaf 4.5.1.1 Exameninzageservice  Paragraaf 4.5.1.10

4.4.8 Hoofdproces: Oefenen

Oefenen – Dit hoofdproces voorziet in de mogelijkheid voor de kandidaat om online een oefenexamen te maken. Behoefte tot maken van oefenexamen – De kandidaat heeft de behoefte om een examen te oefenen. Selecteer oefenexamen – De kandidaat selecteert een oefenexamen dat beschikbaar is gesteld door het CvE. Starten oefenexamen – De kandidaat start het oefenexamen. Beantwoorden examenopgaven – De kandidaat beantwoordt de examenopgaven. Sluiten oefenexamen – De kandidaat sluit het examen via een overzicht met daarin opgenomen alle beantwoorde, gemarkeerde en/of onbeantwoorde opgaven. Het sluiten van een examen mag enkel geschieden via het overzicht. Genereren samenvatting – Het systeem genereert een examenresultaat op basis van opgaven, gegeven antwoorden, scores en correctievoorschrift. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 28


Oefenresultaat – Een overzicht van de resultaten van het gemaakte oefenexamen, deze resultaten worden niet bewaard. Examen oefenservice – Paragraaf 4.5.1.11 Het onderstaande overzicht geeft een indicatie per week van het aantal oefenexamens dat over een jaar wordt gemaakt.


4.4.9 Hoofdproces: Definiëren rapportage

Definiëren rapportage – Dit hoofdproces voorziet in het definiëren en maken van nieuwe, nog niet bestaande rapportages voor een of meerdere ketenpartners. Informatiebehoefte – Ketenpartner heeft een informatiebehoefte. Verzamelen brongegevens – Afhankelijk van de wensen van de ketenpartner selecteert de functioneel beheerder rapportage de brongegevens. Vaststellen rapportagevorm – De functioneel beheerder rapportage definieert de rapportagevorm en stelt deze beschikbaar aan de ketenpartners. Rapportagevorm – Standaard beschikbaar gestelde rapportagevorm. Rapportageservice  Paragraaf 4.5.1.14

4.4.10 Hoofdproces: Genereren rapportage

Genereren rapportage – Dit hoofdproces voorziet in de mogelijkheid om (standaard) vooraf gedefinieerde rapportages te genereren.



Informatiebehoefte – De ketenpartner heeft een informatiebehoefte. De rapportagevorm is standaard aanwezig of deze is al gedefinieerd in Hoofdproces: Definiëren rapportage. Selectie maken – De ketenpartner selecteert een beschikbare rapportagevorm. Rapport genereren – Het systeem verzamelt de gegevens en genereert een rapport en presenteert deze op scherm of in andere gewenste vormen. Rapport – Het rapport. Rapportageservice  Paragraaf 4.5.1.14



4.5 Medewerkers en applicaties In deze laag staan de applicatieve services weergegeven die nodig zijn om het computerexamensysteem te laten werken. Veel van deze componenten moeten worden gebouwd. De overige kunnen als dienst worden afgenomen van DUO.

4.5.1 Applicatieservices Deze paragraaf beschrijft de applicatieve services die het examineren vorm geven. Een applicatieve service is het samenspel van applicaties en gerelateerde services die gezamenlijk de gebruiker van de service ondersteunen. De beschrijving van de service is dan ook vanuit het oogpunt de gebruiker gebeurd. De gebruiker kan zowel een actor als ook een applicatieve component zijn.

4.5.1.1

Afnamebeheerservice

Afnamebeheerservice beheert de afnamen van het computerexamensysteem.

Plannen afname – Het importeren van gegevens uit EOS en het maken van planningen. Functies op service niveau: Importeren van gegevens: Starten Webbrowser  4.5.2.13 Webclient Inloggen functioneel beheerder  4.5.1.15 Zakelijk portaal authenticatie service Importeren gegevens vanuit EOS [4.5.1.6 EOS service]  4.5.2.1 Afnamebeheerapplicatie Weergeven importresultaat  4.5.2.1 Afnamebeheerapplicatie Maken planningen: Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Maken, bewerkingen en verwijderen van planningen  4.5.2.1 Afnamebeheerapplicatie.

Toevoegen corrector aan afname – Toevoegen, wijzigen en verwijderen van een 1ste en eventueel een 2de corrector aan een afname. De 2de corrector kan enkel worden toegevoegd indien de examensecretaris een andere school heeft geregistreerd voor een tweede correctie. Mogelijk kan er ook een 3e en/of najaarscorrector worden toegevoegd. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Maken, bewerkingen en verwijderen van koppelingen examenafname aan corrector  4.5.2.1 Afnamebeheerapplicatie.

Registreren school tweede correctie – Registreren van een school die de 2de corrector levert. De selectie van een andere school is gebaseerd op poolinggegevens die uit EOS komen. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 31


Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteer en registreer een school uit lijst van poolinggegevens  4.5.2.1 Afnamebeheerapplicatie.

Uitvoeren rechtmatigheidstoets – Uitvoeren van een rechtmatigheidstoets op een afname door een kandidaat via BRON te controleren op het mogen deelnemen aan een examen. Het systeem waarschuwt de examensecretaris indien kandidaten niet voldoen aan de rechtmatigheidscriteria. Het systeem controleert enkel de afname waarvan de rechtmatigheid niet is vastgesteld. Functies op service niveau: Uitvoeren rechtmatigheidstoets door systeem: Op basis van gegevens uit BRON [4.5.1.3 BRON service] wordt de rechtmatigheid vastgesteld.  4.5.2.1 Afnamebeheerapplicatie. Het systeem verstuurt een E-mail met het resultaat.  4.5.2.1 Afnamebeheerapplicatie. Bekijken rechtmatigheidstoets door examensecretaris: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Per individuele afname wordt de rechtmatigheid weergegeven door middel van een indicatie  4.5.2.1 Afnamebeheerapplicatie.

Controleren afnamegegevens – Overzichtelijk weergeven van de afnamegegevens. Eventuele uitzonderingen worden door het systeem gerapporteerd. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het weergeven van een overzicht met daarin de afnamen en zijn relevante gegevens.  4.5.2.1 Afnamebeheerapplicatie.

Vrijgeven afname – Vrijgeven van een afname door de examensecretaris op de dag dat de afname plaatsvindt. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het vrijgeven van een of meerdere afnamen.  4.5.2.1 Afnamebeheerapplicatie.

Vrijgeven afname voor correctie – Vrijgeven van de afnamerespons behorende bij een afname voor correctie door de corrector. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het vrijgeven van een of meerdere afnamen voor correctie  4.5.2.1 Afnamebeheerapplicatie.

Corrigeren afname – Starten van de examencorrectieservice waarbij een examenafnamegroep als input dient. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor correctie  4.5.2.1 Afnamebeheerapplicatie. Het starten van de correctieservice  4.5.1.9 Examencorrectieservice

Exporteren – Exporteren van de behaalde eindscores en eindcijfers en het tonen van de toegepaste normering. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 32


Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor het exporteren van de resultaten  4.5.2.1 Afnamebeheerapplicatie. Het tonen van de toegepaste normering  4.5.2.1 Afnamebeheerapplicatie. Het beschikbaar stellen van de geselecteerde afnameresultaten via een bestand  4.5.2.1 Afnamebeheerapplicatie. Exporteren van geselecteerde afnameresultaten naar BRON [4.5.1.3 BRON service]  4.5.2.1 Afnamebeheerapplicatie

Inzage geven afname – Starten van de exameninzageservice waarbij een enkele afname of een examenafnamegroep als input dient. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor correctie  4.5.2.1 Afnamebeheerapplicatie. Het starten van de inzageservice  4.5.1.10 Exameninzageservice.

4.5.1.2

Afnamedashboardservice

Afnamedashboardservice bewaakt real-time de afnamen en beheert op ad-hoc basis de kandidaten en afnamen. Dit is de dashboardfunctionaliteit voor de examensecretaris.

Controleren en bewaken afname – Aanbieden van een beheerinterface aan de examensecretaris. Vanuit deze beheerinterface kunnen de kandidaten en afnamen op ad-hoc basis beheerd worden en kunnen de afnamen real-time worden bewaakt en bestuurd. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service (online afname) of 4.5.1.5 Decentrale authenticatieservice (offline). Beheren kandidaten en afnamen  4.5.2.2 Afnamedashboardapplicatie. Bewaken van de afnamen  4.5.2.2 Afnamedashboardapplicatie.

4.5.1.3

BRON service

BRON is een basisregistratie die onderwijsinformatie bevat. Op basis van een service georiënteerde koppeling voorziet BRON in het leveren en ontvangen van examen gerelateerde informatie.

Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding.



4.5.1.4

DUO Autorisatie service

DUO maakt gebruik van standaard autorisatiediensten binnen de infrastructuur van DUO. Het computerexamensysteem maakt gebruik van deze standaard faciliteiten.


4.5.1.5

Decentrale authenticatieservice Onderzoeksopdracht: DUO zal in de komende periode door middel van een onderzoek de mogelijkheden bestuderen voor een decentrale authenticatievorm. Deze decentrale authenticatie is voor examensecretarissen die bij een offline afname toegang willen krijgen tot de afnamedashboardapplicatie.

4.5.1.6

EOS service Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding.

4.5.1.7

Examenafnameservice

De examenafnameservice voorziet in de afname van een examen, inclusief het verwerken van de handelingen en antwoorden door middel van een Afnamerespons.

Inrichten infrastructuur – Inrichten en toetsen van de lokale infrastructuur op het correct kunnen afspelen van het examen. Functies op service niveau: Starten Examenclient  4.5.2.11 Examenclientapplicatie Inloggen van de gebruiker  4.5.2.6 Examenafnameapplicatie Maken FT-Examen  4.5.2.6 Examenafnameapplicatie

Starten afname – Authenticatie van de kandidaat, gevolgd door een overzichtsscherm waarin zowel gegevens van het examen als de kandidaat worden getoond. Functies op service niveau: Starten Examenclient  4.5.2.11 Examenclientapplicatie Authentiseren van de kandidaat  4.5.2.6 Examenafnameapplicatie



Weergeven introductiescherm  4.5.2.6 Examenafnameapplicatie Controleren (systeem)eisen van de afname  4.5.2.6 Examenafnameapplicatie

Beantwoorden opgaven – Weergeven van de examen opgaven en eventueel hulpmiddelen, en het verwerken van de resultaten in de vorm van antwoorden conform QTI specificatie. Functies op service niveau: Weergeven van een opgave (Item)  4.5.2.6 Examenafnameapplicatie Verwerken van een antwoord (Respons)  4.5.2.6 Examenafnameapplicatie Navigeren door de examenafname  4.5.2.6 Examenafnameapplicatie Aanbieden hulpmiddelen  4.5.2.6 Examenafnameapplicatie

Sluiten afname Indien een afname gesloten wordt dient eerst een overzichtsscherm te worden getoond met daarin opgenomen een overzicht van beantwoorde-, gemarkeerde en onbeantwoorde opgaven en de vraag of het examen echt afgesloten moet worden. Indien het een examen betreft waarin de kandidaat direct terugkoppeling dient te krijgen, worden de opgaven automatisch gescoord en verschijnt er na het afsluiten van de afname een overzicht met daarin het behaalde examenresultaat. Functies op service niveau: Weergeven van een overzichtsscherm voorafgaand aan het beëindigen van de afname  4.5.2.6 Examenafnameapplicatie Indien geval van een minitoets met gesloten vragen kan direct een resultaat worden getoond  4.5.2.3 Afnameresultaatapplicatie

4.5.1.8

Examenbeheerservice

Examenbeheerservice voorziet in een voorziening om de verschillende versies van examens overzichtelijk te beheren. De service beheert een repository met daarin de examens en hun metagegevens.

Testen examens – Importeren van een examenbestand en vervolgens het starten van de examenpreviewservice. Functies op service niveau: Starten Previewclient  4.5.2.10 Examenpreviewclientapplicatie. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Importeren van examenbestand  4.5.2.4 Examenbeheerapplicatie. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Het starten van de examenpreviewservice  4.5.1.12 Examenpreviewservice.

Toevoegen kenmerken aan examens – Beheren van kenmerken door middel van profielen en deze vervolgens toevoegen aan een examen. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 35


Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient. Beheren van profielen met kenmerken en instellingen  4.5.2.4 Examenbeheerapplicatie. Toevoegen van een profiel aan een examen  4.5.2.4 Examenbeheerapplicatie.

Technische acceptatie examens – Selecteren van een examen voor preview en vervolgens het starten van de examenpreviewservice. Functies op service niveau: Starten Previewclient  4.5.2.10 Examenpreviewclientapplicatie. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Het starten van de examenpreviewservice  4.5.1.12 Examenpreviewservice. Wijzig status van examen in acceptatie  4.5.2.4 Examenbeheerapplicatie.

Vaststellen kenmerken – Selecteren van een examen voor het vaststellen van kenmerken. Voor het gemak zijn de kenmerken vastgelegd in profielen. Functies op service niveau: Starten Previewclient  4.5.2.10 Examenpreviewclientapplicatie. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Toevoegen van een profiel met kenmerken aan een examen  4.5.2.4 Examenbeheerapplicatie. Beheren van een profiel  4.5.2.4 Examenbeheerapplicatie.

Vaststellen van een examen – Selecteren van een examen voor preview en vervolgens het starten van de examenpreviewservice. Na akkoord wordt de status van het examen gewijzigd in productie. Functies op service niveau: Starten Previewclient  4.5.2.10 Examenpreviewclientapplicatie. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Het starten van de examenpreviewservice  4.5.1.12 Examenpreviewservice. Kenmerken vaststellen van een examen  4.5.2.4 Examenbeheerapplicatie.

Vrijgeven examen voor planning – Selecteren en vrijgeven van een examen voor planning. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Geef examen vrij voor planning  4.5.2.4 Examenbeheerapplicatie.

Aanbrengen normering – Selecteren van een examenvariant en vervolgens het aanbrengen van een normering. De normering behelst het importeren van de omzettingstabel. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Selecteren examenbestand  4.5.2.4 Examenbeheerapplicatie. Aanbrengen normering  4.5.2.4 Examenbeheerapplicatie.



4.5.1.9

Examencorrectieservice

De examencorrectieservice voorziet in het corrigeren van afnamen en biedt de mogelijkheid tot het aanbrengen van scores en aantekeningen.

Corrigeren afnamerespons – Bieden van een faciliteit voor de corrector om gemaakte afnamen te corrigeren. Hierbij kan de corrector per kandidaat of per afnamegroep corrigeren. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Corrigeren van afnamen  4.5.2.8 Examencorrectieapplicatie.

Vaststellen scores – Bieden van een overzicht waarin de eindscore vermeld staat. In geval van een twee correctieronden dient de service te voorzien een functie die een overeengekomen score tussen beide correctoren vastlegt en accordeert. Het vastleggen van de overeengekomen score gebeurt door de tweede corrector en de eerste accordeert de score. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Tonen eindscore van correcties  4.5.2.8 Examencorrectieapplicatie. Vastleggen van de overeengekomen eindscore  4.5.2.8 Examencorrectieapplicatie.

4.5.1.10

Exameninzageservice

Voorziet in het weergeven van afnamen, correcties en correctievoorschriften, het is niet meer mogelijk om wijzigingen aan te brengen in de afnamen.

Inzage geven afname – Faciliteit voor de examensecretaris of CvE om een gemaakte en gescoorde afname in te zien. In de afname kunnen geen wijzigingen meer worden aangebracht. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Inzage geven in een afnamen  4.5.2.8 Examencorrectieapplicatie.



4.5.1.11

Examen oefenservice

Voorziet in de weergave van examenopgaven en het verwerken van de antwoorden ten behoeve van het individueel oefenen van kandidaten.

Selecteren van een oefenexamen – Selecteren van een oefenexamen door een gebruiker. Functies op service niveau: Starten Webbrowser  4.5.2.13 Webclient. Selecteren van een oefenexamen uit een lijst  4.5.2.9 Examenoefenapplicatie.

Starten van oefenexamen – Starten van het oefenexamen, tijdens het starten wordt de naam van het examen en de tijdsduur van het examen getoond in een introductiescherm. Functies op service niveau: Weergeven introductiescherm  4.5.2.9 Examenoefenapplicatie.

Beantwoorden oefenopgaven – Weergeven van de examenopgaven en het verwerken van de resultaten in de vorm van antwoorden conform QTI specificatie. Functies op service niveau: Weergeven van een opgave (Item)  4.5.2.9 Examenoefenapplicatie. Verwerken van een antwoord (Respons)  4.5.2.9 Examenoefenapplicatie. Navigeren door de examenafname  4.5.2.9 Examenoefenapplicatie.

Sluiten afname Indien een examen gesloten wordt dient alvorens eerst een overzichtsscherm worden getoond met daarin opgenomen een overzicht van beantwoorde-, gemarkeerde en onbeantwoorde opgaven en de vraag of het examen echt afgesloten moet worden. De kandidaat krijgt direct terugkoppeling over het behaalde oefenexamenresultaat en de opgaven worden automatisch gescoord. Functies op service niveau: Weergeven van een overzichtsscherm voorafgaand aan het beëindigen van de afname  4.5.2.9 Examenoefenapplicatie. Tonen van het resultaat  4.5.2.3 Afnameresultaatapplicatie

4.5.1.12

Examenpreviewservice

De examenpreviewservice voorziet in de weergave van examenopgaven met aanvullende gereedschappen voor ontwikkelaars, zoals de mogelijkheid om bijvoorbeeld de broncode in te zien van de examens.



Testen examens –Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Weergeven van een examen  4.5.2.7 Examenpreviewapplicatie.

Technisch accepteren examens – Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Weergeven van een examen  4.5.2.7 Examenpreviewapplicatie.

Vaststellen van een examen – Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Weergeven van een examen  4.5.2.7 Examenpreviewapplicatie.

4.5.1.13

Kandidaatbeheerservice

Kandidaatbeheerservice beheert de examenkandidaten van het computerexamensysteem inclusief het importeren van kandidaatgegevens uit Bron en het schooladminstratiesysteem.

Invoeren van kandidaatsgegevens – De service ondersteunt het proces door het bieden van een importeerfunctie vanuit BRON en de schooladministratiesystemen op basis van een vastgesteld bericht. Aanvullend kunnen de gegevens handmatig ingevoerd en bewerkt worden. Enkel de kandidaatsgegevens die toebehoren aan de examenlocatie mogen worden weergegeven en geïmporteerd. Functies op service niveau:



Starten Webbrowser  4.5.2.13 Webclient. Inloggen van de gebruiker  4.5.1.15 Zakelijk portaal authenticatie service. Importeren kandidaten uit BRON [4.5.1.3 BRON service]  4.5.2.5 Kandidaatbeheerapplicatie. Optioneel importeren kandidaten uit Schooladministratiesysteem. [4.5.2.14Schooladministratiesysteem (SAS)]  4.5.2.5 Kandidaatbeheerapplicatie. Optioneel importeren van Inlognamen  4.5.2.5 Kandidaatbeheerapplicatie. Optioneel opvoeren van kandidaat en inlognaam  4.5.2.5 Kandidaatbeheerapplicatie.

4.5.1.14

Rapportageservice

Rapportageservice voorziet in de informatiebehoefte van ketenpartners.

Vaststellen rapportagevorm – De service ondersteunt het proces door het bieden van een beheerinterface aan de beheerder van de rapportageomgeving. Van hieruit kan deze standaard rapportage samenstellen die beschikbaar worden gesteld aan de ketenpartners. Verzamelen brongegevens – De service ondersteunt het proces door middel van het verzamelen van de benodigde brongegevens uit de relevante databanken. examensecretaris tijdens het examen kandidaten opvoeren en afnamen plannen. Selectie maken – De service ondersteunt het proces door middel van het bieden van een interface voor het selecteren van een rapportagevorm en het definiëren van de reikwijdte van het rapport. Rapport genereren – De rapportageservice levert de mogelijkheid om rapportages op te vragen en de resultaten in de gewenste vorm beschikbaar te stellen. Dit zijn onder andere: scherm, PDF, XML. De service ondersteunt het proces door middel van het genereren van een rapport en deze in het gewenst formaat beschikbaar te stellen aan de ketenpartner.

4.5.1.15

Zakelijk portaal authenticatie service


4.5.2 Applicaties 4.5.2.1

Afnamebeheerapplicatie

Bestaat uit een verzameling JEE-componenten die als doel hebben om de afnamen via het computerexamensysteem te beheren. Het systeem voorziet tevens in het importeren van poolinggegevens vanuit EOS.



Afnamebeheercomponent  Paragraaf 4.5.3.1 Afnameresultaatexportcomponent  Paragraaf 4.5.3.3 EOS-importcomponent  Paragraaf 4.5.3.6 Rechtmatigheidcontrolecomponent  Paragraaf 4.5.3.12 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.2

Afnamedashboardapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om de examensecretaris inzicht te geven in de activiteiten rondom de afnamen en de mogelijk te bieden om op het laatste moment een nieuwe afname in te plannen inclusief het opvoeren van een nieuwe kandidaat. De koppelingen met EOS en BRON ontbreken in deze applicatie, waardoor het niet mogelijk is afname- en kandidaatgegevens te importeren.

Afnamebeheercomponent  Paragraaf 4.5.3.1 Afnamemonitorcomponent  Paragraaf 4.5.3.2 Kandidaatbeheercomponent  Paragraaf 4.5.3.9 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-service  Paragraaf 4.8.2 JEE-Service

4.5.2.3

Afnameresultaatapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om de resultaten van een door de kandidaat afgeronde afname die automatisch gescoord is weer te geven. De applicatie draait als zelfstandige applicatie en kan gestart worden vanuit de afnameapplicatie.

Afnameresultaatcomponent  4.5.4.4 Afnameresultaatcomponent _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 41


Responsverwerkingscomponent  4.5.4.12 Responsverwerkingcomponent DUO Abstration layer  Paragraaf 4.5.3.5 JEE-service  4.8.2 JEE-Service

4.5.2.4

Examenbeheerapplicatie

Bestaat uit een verzameling JEE-componenten die als doel hebben om de examens te beheren, waarbij de examens worden opgeslagen in een repository. De examenbeheerapplicatie biedt voorzieningen om de (nieuwe versies) examens te uploaden in het computerexamensysteem.

Archiveringscomponent  Paragraaf 4.5.3.4 Examenbeheercomponent  Paragraaf 4.5.3.7 Examenimportcomponent  Paragraaf 4.5.3.8 Omzettingstabelimportcomponent  Paragraaf 4.5.3.11 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.5

Kandidaatbeheerapplicatie

Bestaat uit een verzameling JEE-componenten die als doel hebben om de gebruikers van het computerexamensysteem te beheren. Het systeem voorziet tevens in het importeren van gebruikers vanuit BRON en het eigen schooladministratiesysteem.

Kandidaatbeheercomponent  Paragraaf 4.5.3.9 Kandidaatimportcomponent  Paragraaf 4.5.3.10 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.6

Examenafnameapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om examens af te nemen.



Afnamecontrolecomponent  Paragraaf 4.5.4.1 Afnameresponscomponent  Paragraaf 4.5.4.3 Afnameschilcomponent  Paragraaf 4.5.4.5 Hulpmiddelencomponent  Paragraaf 4.5.4.9 QTI Engine component  Paragraaf 4.5.4.11 Startschermcomponent  Paragraaf 4.5.3.13 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.7

Examenpreviewapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om voor ontwikkelaars een weergave te geven van het uiteindelijke examen en hen ook de mogelijkheid te bieden om de broncode van het examen in te zien.

Afnamecontrolecomponent  Paragraaf 4.5.4.1 Afnameresponscomponent  Paragraaf 4.5.4.3 Afnameschilcomponent  Paragraaf 4.5.4.5 Examenpreviewcomponent  Paragraaf 4.5.4.8 Hulpmiddelencomponent  Paragraaf 4.5.4.9 QTI Engine component  Paragraaf 4.5.4.11 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.8

Examencorrectieapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om de correcties uit te kunnen voeren op de afnamerespons van de afgenomen examens en om naderhand de afnamerespons inclusief de correcties in te kunnen zien.



Afnamecorrectiecomponent  Paragraaf 4.5.4.2 Eindscorecomponent  Paragraaf 4.5.4.7 QTI Engine component  Paragraaf 4.5.4.11 Responsverwerkingcomponent  Paragraaf 4.5.4.12 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.9

Examenoefenapplicatie

Bestaat uit een verzameling JEE componenten, die als doel hebben om oefenexamens af te nemen. De dienst wordt via het Internet beschikbaar gesteld aan kandidaten.

Afnameresponscomponent  Paragraaf 4.5.4.3 QTI Engine component  Paragraaf 4.5.4.11 Startschermcomponent  Paragraaf 4.5.3.13 DUO Abstration layer  Paragraaf 4.5.3.5 JEE-Service  Paragraaf 4.8.2

4.5.2.10

Examenpreviewclientapplicatie

Preview client – Voorziet in een client pc waarop een beveiligde webbrowser inclusief maatregelen om het besturingssysteem te beveiligen geïnstalleerd is. De webbrowser dient HTML5 gebaseerde pagina‟s weer te kunnen geven op basis van de W3C standaarden. De W3C standaard voorziet in afspraken rondom de HTML, CSS, XML en Media Standaarden.

Layout engine component  Paragraaf 4.5.4.10 Clientservice – Stelt een reguliere Windows, Linux of Apple PC beschikbaar.



4.5.2.11

Examenclientapplicatie

Voorziet in een client pc waarop een beveiligde webbrowser inclusief maatregelen om het besturingssysteem te beveiligen geïnstalleerd is. De webbrowser dient HTML5 gebaseerde pagina‟s weer te kunnen geven op basis van de W3C standaarden. De W3C standaard voorziet in afspraken rondom de HTML, CSS, XML en Media Standaarden. De extra beveiligingseisen zijn opgesteld omdat tijdens het afnemen van een examen het niet toegestaan is om gebruik te maken van andere applicaties buiten het examen zelf. De client dient afgeschermd te zijn van het Internettoegang en additionele applicaties. De installatie en de-installatie van de examenclientapplicatie moet snel en eenvoudig kunnen geschieden zonder tussenkomst van een beheerder. De installatie mag de werking van de overige onderdelen van de PC niet beïnvloeden.

Layout engine component  Paragraaf 4.5.4.10 Client lockdowncomponent  Paragraaf 4.5.4.6. Clientservice  Paragraaf 4.8.3

4.5.2.12

Rapportageapplicatie

Bestaat uit een verzameling applicatiecomponenten, die als doel hebben om rapportages samen te stellen, gegevens uit bronsystemen te extraheren en data bewerking uit te voeren. De rapportage applicatie maakt gebruik van de bestaande rapportage voorziening die aanwezig is bij DUO.


4.5.2.13

Webclient

De webclient vertegenwoordigt een standaard PC met een standaard webbrowser zoals: Firefox, Internet Explorer, Google Chrome of Safari.

Web Client – voorziet in een reguliere webbrowser. De webbrowser dient HTML5 gebaseerde pagina‟s weer te kunnen geven op basis van de W3C standaarden. [Ref. 10]

http://www.w3.org/

Clientservice – Stelt een reguliere Windows, Linux of Apple PC besturingssysteem beschikbaar



4.5.2.14

Schooladministratiesysteem (SAS)

Het schooladministratiesysteem is een systeem dat beheerd wordt door de examenlocatie. Het computerexamensysteem biedt de mogelijkheid om kandidaatgegevens te importen vanuit het schooladministratiesysteem en afnameresultaten te exporteren naar het schooladministratiesysteem.

4.5.3 DUO Componenten Deze paragraaf beschrijft de individuele componenten die onder verantwoording van DUO gerealiseerd moeten worden.

4.5.3.1

Afnamebeheercomponent

Voorziet in het beheren en de weergave van de afnamen. Aanvullend voorziet de component in een voorziening om E-mails te creëren waarmee examensecretarissen worden uitgenodigd voor het inplannen van een tweede corrector.

Afnameoverzichtsscherm – Het overzichtelijk weergeven van alle afnamen die vallen onder verantwoordelijkheid van de Examensecretaris. De lijst kan verder worden gespecificeerd door middel van selecties en filters. De rechtmatigheid van iedere afname [ Examenafname  Rechtmatigheidsindicatie] wordt duidelijk weergegeven in het afnameoverzichtscherm indien het examen een rechtmatigheidcontrole heeft [ Examenafname  UitvoerenrechtmatigheidControle]. Door middel van signalering dient per afnamegroep inzichtelijk worden gemaakt of aan alle voorwaarden is voldaan voor een goede afname, waarvoor geldt dat: 

OK: Geen problemen. De afnamen kan normaal plaats vinden.



Waarschuwing: Geringe problemen. De afname kan normaal plaats vinden maar er is niet voldaan aan alle (wettelijke) voorwaarden voor een goede afname. Zoals een rechtmatigheidstoets die niet akkoord bevonden is.



Probleem: Grote problemen, De afname kan niet plaatsvinden omdat de juiste gegevens niet beschikbaar zijn. Zoals een offline afname die niet gereed staat op de afname locatie of een verkeerde versie van het examen staat gereed op de afname locatie.

Selecteren kandidaten – Het kunnen selecteren van een of meerdere examenkandidaten [ Examenkandidaat] op basis van een leerweg [ Opleidingniveau] of vak [ Vak]. Aanbrengen Filters – De lijst van beschikbare kandidaten kan beperkt worden door filters aan te brengen op kenmerken. Opmerking: Het attribuut kenmerk is nu enkel functioneel benoemd en heeft nog geen definitieve plek gekregen in het examensysteem of het gegevenswoordenboek. Beheren afnamen – Koppel de kandidaatgegevens [ Examenkandidaat] aan een examenvariant [ Examenvariant] tot een examenafname [ Examenafname] en groepeer deze afnamen tot een examenafnamegroep. Een examenafnamegroep [ Examenafnamegroep] bestaat uit een of meerdere afnamen met als kenmerk dezelfde examenafnamedatum, examenbegintijd en examenlocatie. Op basis van een tijdstip een valide examenvariant [ Examenvariant  BeginGeldigheidsdatum, EindGeldigheidsdatum] inplannen en daar vervolgens de kandidaten [ Examenkandidaat] bij selecteren. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen.



Afname- en correctieblokkade – De component blokkeert automatisch de afname [ Examenafname] voor het afnemen [ ExamenafnameAfnameblokkade] en de correctie [ ExamenafnameCorrectieblokade]. Opheffen afnameblokkade – Vrijgeven [ ExamenafnameAfnameblokkade] van een of meerdere afnamen [ Examenafname] voor een afname. Het vrijgeven van een afname kan pas vanaf instelbaar moment voor het afnametijdstip [ Examenafnamegroep Examenafnamedatum, Examenbegintijd] gebeuren. Opheffen correctieblokkade – Vrijgeven [ ExamenafnameCorrectieblokkade] van een of meerdere afnamen [ Examenafname] voor een afname. Het vrijgeven van correcties kan enkel gebeuren indien de gehele afnamegroep de afname heeft afgesloten. Beheren afnamegroep – Met het aanmaken van een examenafname en daarmee ook een examenafnamegroep moeten er eigenschappen worden vastgelegd over de examenafnamegroep [ Examenafnamegroep]. De volgende eigenschappen moeten kunnen worden aangepast: 

De examenafnamedatum [ ExamenafnamegroepExamenafnamedatum], waarvoor geldt dat deze moet liggen tussen [ Examenvariant  Begingeldigheiddatum] [ Examenvariant  Eindgeldigheiddatum].



Examenbegintijd [



Naam van de examengroep [



Naam van het examenlokaal [

Examenafnamegroep  Examenbegintijd] ExamenafnamegroepNaamExamengroep] ExamenafnamegroepNaamExamenlokaal]

De component blokkeert automatisch de afname [ Examenafname] voor het afnemen [ Examenafname  Afnameblokkade] en correctie [ Examenafname  Correctieblokade]. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren corrector – Koppel een 1ste, 2de of 3de corrector [ aan de geselecteerde afnamen [ Examenafname].

Examenfunctionaris]

Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren school – Koppel een school [ Onderwijsinstelling] die de 2de corrector levert voor de 2de correctieronde aan een afnamegroep [ Examenafnamegroep]. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren voor najaarscorrectie – Indiceer een of meerdere afnamen [ Examenafname] voor het uitvoeren van een najaarscorrectie [ Examenafname  IndicatieNajaarscorrectie] Selecteren najaarscorrector – Koppel een (najaars)corrector [ Examenfunctionaris] aan de geselecteerde afnamen [ Examenafname], indien de afname voorzien is van de indicatie Najaarscorrectie [ ExamenafnameIndicatieNajaarscorrectie] Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Genereren Eenmalig Wachtwoord – Het systeem moet automatisch een eenmalig wachtwoord genereren voor zowel een examenafname [ Examenafname  EenmaligWachtwoord] alsook voor een examenafnamegroep [ Examenafnamegroep  EenmaligWachtwoord]. Het eenmalig wachtwoord is een unieke code die relateren is aan een afname of afnamegroep en biedt een veilige en eenvoudige methode om kandidaten te authentiseren. Starten correctieapplicatie – starten van de examencorrectieapplicatie na selectie van een of meerdere afnamen, door middel van de examencorrectieservice [ StartCorrectieParameters]  4.7.1.2 Examencorrectie.



Beschikbaar stellen examen offline – In geval van een offline afname, worden de benodigde examens naar de offline examenserver gekopieerd. Het system moet de examensecretaris kunnen informeren over de beschikbaarheid van het examen op de offline locatie. Versturen bericht – Opstellen van een E-mailbericht voor de examensecretaris [ ZakelijkGebruiker] van de school die de 2de corrector levert, met daarin een uitnodiging voor het selecteren van een corrector aan een afname. De E-mail wordt verstuurd via de E-mailservice  4.8.6.

4.5.3.2

Afnamemonitorcomponent

De afnamemonitorcomponent geeft een actueel inzicht over de kandidaten die het examen afnemen en ook de kandidaten die wel gepland staan maar niet zijn ingelogd. Daarbij kan de afnamemonitor de voortgang van de afnames beïnvloeden en geeft deze alle fouten weer die zich tijdens het afnemen van het examen voordoen. Weergeven overzicht – Geef een overzicht van actuele gegevens over de afname. Eindtijd wijzigen – Wijzigen van de eindtijd van een afname door het toevoegen van additionele tijd [ Examenafname  AdditioneleTijd] Centraal Starten – Vanuit de afname dashboard kunnen de afnamen allemaal gelijktijdige gestart worden via het zetten van het [ ExamenafnameStuurgegevens  ExamenafnameStarttijdstip]. Als deze functie actief is dan verschijnt er nadat de kandidaat is ingelogd een overzichtsscherm, waarna de kandidaat geblokkeerd wordt tot het moment dat het examen via de dashboard wordt gestart. Centraal Stoppen – Vanuit de afnamedashboard kan het examen centraal gestopt worden via het zetten van het [ ExamenafnameStuurgegevens  ExamenafnameStoptijdstip], kan automatisch gebeuren indien er een bepaalde tijd verstreken is. Centraal Pauzeren – In geval van een korte onderbreking kunnen de afnamen in een bepaalde groep (binnen 1 examenlocatie) tijdelijk gepauzeerd worden via het zetten van het [ ExamenafnameStuurgegevens  ExamenafnameStoptijdstip] en [ ExamenafnameStuurgegevens  ExamenafnameStarttijdstip]. Hiertoe worden de actieve afnamen geselecteerd, waarna deze gelijktijdig worden gepauzeerd. Deze functie kan op twee manieren worden uitgevoerd: 

Per vraag, de kandidaat maken gelijktijdig dezelfde vraag, waarna het examen automatisch onderbroken wordt.



Centraal op een willekeurig moment.

Weergeven van een mededeling – Centraal een mededeling versturen naar een of meerdere werkstations, door middel van het plaatsen van een bericht in [ ExamenafnameStuurgegevens  ExamenafnameMededeling]. Door een of meerdere kandidaten te selecteren en vervolgens een berichtenscherm te tonen kan het bericht worden opgemaakt en vervolgens worden weergegeven via de examenafnameclient. Centraal Verplaatsen – In geval van een calamiteit op een examencliënt kan vanaf de afname dashboard de examensecretaris besluiten om de afname voor de kandidaat tijdelijk te pauzeren, waarna de kandidaat op een ander werkstation het examen kan voortzetten.

4.5.3.3

Afnameresultaatexportcomponent

Voorziet in exporteren van de examenresultaten naar BRON en het schooladministratiesysteem.



Export naar SAS – Exporteer de afnameresultaten [ Examen  Examennaam], [ Examenkandidaat] [Examencorrectie  Eindscoreovereengekomen] en [ Exameneindcijfer] naar het School Administratiesysteem via een XML of CSV bestand. Export naar BRON – Exporteer de afnameresultaten [ Examen  Examennaam], [ Examenkandidaat] [Examencorrectie  Eindscoreovereengekomen] en [ Exameneindcijfer] naar BRON. Inzien normering – Het op verzoek inzien van de normering [ Omzettingstabel] inclusief de toelichting [ Examenvariant  ToelichtingExamenvariant].

4.5.3.4

Archiveringscomponent

Voorziet in het archiveren van het examen en zijn gerelateerde gegevensobjecten zoals kandidaten, afnamen en examenresultaten.


4.5.3.5

DUO Abstration layer

Een abstractielaag die de specifieke koppelingen met externe services en componenten generiek ontsluit voor JEE-componenten.

OSGi – De Java modulen worden gebouwd conform de specificaties van OSGi. Het OSGi-framework biedt een elegant, compleet en dynamisch componentenmodel. [Ref. 11]

http://nl.wikipedia.org/wiki/OSGi

DUO-autorisatieservice – De DUO-Autorisatieservice wordt via JAAS aangeboden. [Ref. 12]

JAAS: http://java.sun.com/javase/technologies/security/

Datastoreservice – De datastoreservice levert opslagfaciliteiten aan de Java componenten. De componenten maken gebruik van de storageservice door middel van DAO  4.9.1 Datastoreservice [Ref. 13]

DAO: http://java.sun.com/blueprints/coreJEEpatterns/Patterns/DataAccessObject.html

Monitorservice – De monitorservice levert beschikbaarheid informatie over het functioneren van het examensysteem.  4.8.5 Monitorservice [Ref. 14]

JMX: http://java.sun.com/javase/technologies/core/mntr-mgmt/javamanagement/




4.5.3.6

EOS-importcomponent

Voorziet in het importeren van de pooling- en planningsgegevens uit het EOS bronsysteem. De staatsexamens worden voorlopig nog gepland in EOS, mogelijk zal deze planningsmodule in EOS worden vervangen door het computerexamensysteem.

Import pooling – Voeg poolinggegevens toe aan het examensysteem door deze handmatig te importen vanuit EOS  4.5.1.6 EOS service. Import planning NT2 – Voeg planningsgegevens toe aan het examensysteem voor NT2-examens door deze handmatig te importeren vanuit EOS  4.5.1.6 EOS service. Import planning staatsexamens – Voeg planningsgegevens toe aan het examensysteem voor staatsexamens door deze handmatig te importeren vanuit EOS  4.5.1.6 EOS service.

4.5.3.7

Examenbeheercomponent

De examenbeheercomponent beheert overzichtelijk de verschillende edities en versies van examens in een repository (depot). De examenbeheercomponent beheert tevens de instellingen die behoren bij het gegevensobjecten examen en examenvariant en kan desgewenst ook aanpassen. Selecteren examens – Selecteren van een examen [ examenvarianten [ Examenvariant] voor bewerking.

Examen] en/of

Beheren examenprofielen – Voor het correct zetten van instellingen en kenmerken op examens en examenvarianten wordt gebruik gemaakt van toepassingsprofielen. Profielen worden door het systeem beheerd en kunnen later worden hergebruikt. Aanbrengen van kenmerken – De kenmerken en instellingen voor een examen worden aangebracht door middel van een toepassingsprofiel. Met het aanbrengen van het toepassingsprofiel worden alle oude instellingen en kenmerken overschreven. Blokkeren voor planning – Blokkeren examen voor planning [ Planningsblokkade]. Vrijgeven voor planning – Vrijgeven examen voor planning [ Planningsblokkade].

Examen  Examen 

Veranderen van status – Veranderen van de status van het examen [ Examenstatus] in test, acceptatie en productie.

Examen 

Starten previewapplicatie – Start een examenpreview door middel van de examenpreviewservice [ StartPreviewParameters]  4.7.1.1 Examenpreview.

4.5.3.8

Examenimportcomponent

De examenimportcomponent voorziet in het importeren van nieuwe (versies van het) examen door examenleveranciers in de repository. Vanaf het plaatsingsmoment van het examen in de repository wordt deze zichtbaar voor CvE die eigenaar is van het examen. Importeren examenbestand – Importeert een examenbestand [ QTI-bestand] en controleert de juistheid en volledigheid door middel van een [ QTI-manifest]. Validatie examenbestand – Op basis van het QTI-manifest [ de inhoud van het examenbestand gevalideerd.

QTI-manifest] wordt

Importeren meta-gegevens – Importeert de examennaam, de examenvariantnaam en de leveranciersnaam vanuit het examenbestand [ QTI-bestand] in het examensysteem [ ExamenExamennaam] [ ExamenvariantExamenvariantnaam] [ Examenleverancier  NaamExamenleverancier] _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 50


Herplaatsen van resources – Indien nodig kan het examenbestand worden uitgepakt en de (media)bestanden een nieuwe – door DUO aan te wijzen – plek krijgen in het examensysteem. Na het herplaatsen dient het QTI-manifest administratief te worden bijgewerkt met de nieuwe locaties. Administreren versies – Iedere versie van het examen wordt uniek geadministreerd in het systeem.

4.5.3.9

Kandidaatbeheercomponent

De kandidaatbeheercomponent voorziet in het beheren van de kandidaat-gegevens en de weergave van de administratie. De geadministreerde gebruiker gegevens moeten eventueel gewijzigd kunnen worden. Administreren van kandidaten – Toevoegen, bewerken en verwijderen van kandidaten [ Examenkandidaat]. Het kenmerk verklankingsindicatie [Examenkandidaat  Examenkandidaat] moet kunnen worden aangepast. Selecteren kandidaten – Het selecteren van een of meerdere examenkandidaten [ Examenkandidaat] op basis van een vak [ Vak]. Aanbrengen Filters – De lijst van beschikbare kandidaten kan beperkt worden door filters aan te brengen op kenmerken. Het attribuut kenmerk is nu enkel functioneel benoemd en heeft nog geen definitieve plek gekregen in het examensysteem of het gegevenswoordenboek.

4.5.3.10

Kandidaatimportcomponent

Voorziet in het importeren van gebruiker gegevens vanuit diverse bronsystemen, waaronder BRON en het eigen schooladministratiesysteem. De import dient bij voorkeur via een SOAP koppeling te verlopen in geval van BRON en via een XML koppeling of SOAP koppeling in geval van het schooladministratiesysteem.

BRON Import – Importeren van kandidaatgegevens [  4.5.1.3 BRON service.

Examenkandidaat] uit BRON

SAS Import – Importeren van kandidaatgegevens [ Examenkandidaat] uit het school administratiesysteem  4.5.2.14 Schooladministratiesysteem (SAS). Inlognaam Import – Importeren van namen [ ExamenkandidaatInlognaam] uit het schooladministratiesysteem ten behoeve van inloggen. Validatie gegevens – Indien bij een import al bestaande gegevens overschreven worden dient het systeem dit te signaleren. De examensecretaris moet kiezen of de bestaande gegevens overschreven dienen te worden.

4.5.3.11

Omzettingstabelimportcomponent

Importeert de omzettingstabel door CvE. Selecties– Selecteer een examen [ Examen] en bijbehorende de variant [ Examen] voor het aanbrengen van de normering Importeren – Importeren van de normering [ Omzettingstabel] in het examensysteem en toevoegen aan een examenvariant [ Examenvariant]. Bewerken toelichting – Toevoegen of bijwerken van de toelichting [ Examenvariant  ToelichtingExamenvariant] die behoort bij een omzettingstabel. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 51


4.5.3.12

Rechtmatigheidcontrolecomponent

Voorziet in het uitvoeren van een rechtmatigheidscontrole op basis van gegevens in BRON. De component dient de gegevens te benaderen via een SOAP koppeling.

Vaststellen rechtmatigheid – Op basis van een instelling [ Examen  Uitvoerenrechtmatigheidcontrole] dient automatisch op een vastgesteld tijdstip [ Examen  RechtmatigheidscontroleDeadline] de rechtmatigheid [ Examenafname  Rechtmatigheidsindicatie] per afname vastgesteld te worden. Via BRON vindt er een controle plaats op het vastgelegde cijfer van het schoolexamen (SE) [ Exameneindcijfer]. Versturen resultaten – De resultaten van de rechtmatigheidcontrole wordt via de Emailservice  4.8.6 naar de examensecretaris verstuurd. Hierin mogen niet de namen van de kandidaten staan

4.5.3.13

Startschermcomponent

De startschermcomponent toont een welkomscherm waarin de kandidaat zich kan authentiseren. Het systeem onderkent twee typen authenticatie methoden, te weten op afnameniveau en afnamegroeps niveau. Op basis van de authenticatiecode selecteert het systeem het juiste examen. Authentiseren Kandidaat – Het examensysteem onderkent twee type authenticatiemechanismen, te weten eenmalig wachtwoord voor een kandidaat of een eenmalig wachtwoord voor de groep: 1. Invoeren van unieke afnamecode [ EenmaligWachtwoord]

Examenafname 

2. Invoeren gebruikersnaam [ Examenkandidaat  Inlognaam] van de kandidaat met een unieke groepscode [ Examenafnamegroep  EenmaligWachtwoord] die behoord bij de afnamegroep. Selecteren Examen – Op basis van de unieke (groeps)code [ Examenafname  EenmaligWachtwoord] of [ Examenafnamegroep  EenmaligWachtwoord] selecteert het systeem de examenvariant. Tonen informatiescherm – Weergeven van informatiescherm [ Onderwijslocatie] [ Examenkandidaat] [ IdentificatieMens] [ Examen  Examennaam] [ Examenvariant  Examenvariantnaam] voor aanvang examen.

4.5.4 Leverancierscomponenten 4.5.4.1

Afnamecontrolecomponent

Verzorgt het definiëren van de controle mechanismen die uitgevoerd moeten worden door de examen client. Deze controle mechanismen voorzien in het controleren van de capaciteiten van de examencliënt.

Controle – Op basis van gegevens in QTI dient de component een controle uit te voeren. Deze controle bestaat uit routinechecks aan client zijde, die aspecten als resolutie en kleurdiepte controleert. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 52


4.5.4.2

Afnamecorrectiecomponent

Tijdens het corrigeren worden de examens inclusief de antwoorden weergegeven via QTI enginecomponent, echter de corrector heeft de mogelijkheid om aantekeningen toe te voegen aan de antwoorden en hieraan scores toe te kennen. De aantekeningen en scores worden als afgeleide van een afnamerespons opgeslagen.

Selecties – Selecteren en weergeven van een examenopgave [ Mediabestanden].

QTI-bestand] [

Indien geldt dat er meerdere afnamen zijn geselecteerd voor correctie, dan krijgt de corrector de mogelijkheid om per vraag alle afnames of per afname alle vragen te corrigeren. Corrigeren – Corrigeren van een Examenvraag [ Afnamecorrectie] [ AfnameItemCorrectie]

QTI-bestand] [

Correctievoorschrift – Op verzoek weergeven van correctievoorschrift [ bestand]. Aantekeningen – Vastleggen van aantekeningen [ AfnameItemCorrectieToelichting]

QTI-

AfnameItemCorrectie 

Zichtbaarheid Correcties – Op basis van instelling [ Correctieronde  ZichtbaarheidHandcorrectie] weergeven score [ KandidaatAntwoordcorrectie] van 1ste corrector aan de 2de corrector en vice versa. Inzage geven - Inzage geven in antwoord van een examenvraag [ QTI-bestand] [ Afnamerespons] [ Examencorrectie] [ KandidaatAntwoordcorrectie] en Correctievoorschrift [ QTI-bestand]. Hierbij mag de score per vraag niet getoond worden.

4.5.4.3

Afnameresponscomponent

Voorziet in het verwerken van de handelingen die verricht zijn- en de antwoorden op de examenopgaven die gegeven zijn door de kandidaat. Deze handelingen worden direct door de applicatie verwerkt (gepersisteerd) en niet in geheugen of cache opgeslagen. Vastleggen handelingen kandidaat - Verwerken van een handeling [ AfnameRespons  AfnameResponsdeel] die door de kandidaat is verricht. Dit kan een navigatie door het examen zijn of een antwoord dat is gegeven. Vastleggen plugin informatie – Het vastleggen van informatie in de [ AfnameRespons  AfnameResponsdeel] die afkomstig is van de Itemselectie plugin  4.5.4.11 QTI Engine component. Automatisch scoren – Met het verwerken van een respons wordt direct de gesloten vraag gescoord, waarna deze score in de respons wordt vastgelegd. [ AfnameRespons  AfnameResponsdeel]. Tevens wordt de berekende score terug gegeven aan de Itemselectie plugin  4.5.4.11 QTI Engine component. Deze score kan benodigd zijn voor het vaststellen van de volgende item. Herstart functie – De afnamerespons is verantwoordelijk voor het correct „afspelen‟ van de afnameresponslog in geval van een herstart van de examenclient. De component verwerkt alle al opgeslagen respons alsof de kandidaat het examen maakt en initialiseert eventueel specifieke ItemSelectie plugin  4.5.4.11 QTI Engine component.



4.5.4.4

Afnameresultaatcomponent

De applicatie geeft terugkoppeling van het gemaakt examen aan de kandidaat door het weergeven van het examenresultaat. Het resultaat kan op verzoek van de kandidaat als PDF/1A document worden gedownload. Weergeven afnameresultaat – Weergeven van een rapport met daarin opgenomen: 

Gegevens kandidaat [ Examenkandidaat Inlognaam] [ NaamgevingMens  voornamen] [ NaamgevingMens  voorvoegsels] [ NaamgevingMens  geslachtsnaam]



Voor de oefenexamen alsook voor de minitoets moet een weergavevorm worden vastgesteld in overleg met CvE

Enkel in het geval van een oefenexamen en indien er geen gebruik gemaakt wordt van een examenclientapplicatie  4.5.2.11 mag de mogelijkheid worden getoond voor een voor het opslaan van het resultaat in de vorm van een rapport. Opslaan rapport – In het geval van een oefenexamen en indien er geen gebruik gemaakt wordt van een examenclientapplicatie  4.5.2.11 kan het afnameresultaat worden gedownload in PDF/1A formaat.

4.5.4.5

Afnameschilcomponent

Bestaat uit een kader waarbinnen het examen wordt weergegeven, en in het kader zelf staat informatie over kandidaat en het te maken examen. De afnameschil beïnvloedt tevens de voortgang van de afnames, via centraal starten, stoppen en pauzeren van het examen door middel van afnamedashboardservice  4.5.1.2.

Weergeven kenmerken – Tijdens de duur van een examenafname dient duidelijk de volgende kenmerken getoond te worden: 

Naam kandidaat [ Examenkandidaat Inlognaam] [ voornamen] [ NaamgevingMens  voorvoegsels] [ geslachtsnaam]



Voortgang van de afname.

NaamgevingMens  NaamgevingMens 

Weergeven tijdsindicaties – De component moet tijdsindicaties kunnen weergegeven die gezet zijn in het QTI bestand dat geïnterpreteerd wordt door de QTI Engine component  4.5.4.11. Beïnvloeden afname – De component kan de voortgang van de afname sturen. Dit doet de component door periodiek de [ ExamenafnameStuurgegevens] uit te lezen die beheerd wordt door de afnamedashboardservice  4.5.1.2. Op basis van deze instellingen worden de volgende handelingen uitgevoerd: 

ExamenafnameStarttijdstip – Het tijdstip waarop alle kandidaten van een examanafnamegroep de afname kunnen starten of voortzetten.



ExamenafnameStoptijdstip – Het tijdstip waarop allen kandidaten van een examenafnamegroep de examenafname moeten onderbreken of stoppen.



ActueleExamenvraag – De actuele vraag die alle kandidaten moeten beantwoorden binnen het gestelde tijdstip.



ExamenafnameMededeling – Presenteert een mededeling aan alle kandidaten door middel van een popup window.

Afsluiten afname – Weergeven van gegevens in een overzichtsscherm tijdens het afsluiten van de afname. In ieder geval dienen de volgende gegevens getoond te worden: 

Naam examen [

Examen  Examennaam].



4.5.4.6



Overzicht van alle opgaven en of deze al dan niet beantwoord [ AfnameRespons  AfnameResponsdeel] zijn.



Benodigde tijd voor het maken van het examen.

Client lockdowncomponent

De clientlockdown voorziet een reguliere Windows, Linux of Apple OS-X systeem van extra beveiligingsmaatregelingen. Deze zijn ter voorkoming van dat de gebruiker, indien de examencliënt actief, andere toepassingen kan starten of op andere wijze het systeem kan beïnvloeden. Afschermen van desktop – De clientlockdown deactiveert tijdelijk de desktop. Met andere woorden de kandidaat is niet in staat om andere applicaties te starten en verbinding met andere systemen op te zetten. Elimineren van autostarten – De clientlockdown elimineert het autostarten van een applicatie indien er een wijziging optreedt in de aangesloten hardware. Bijvoorbeeld het starten van een applicatie indien er een USB device aan de PC wordt gekoppeld. Effecten van tijdelijke aard – Het activeren van de clientlockdown mogen geen blijvende aanpassingen in het systeem tot gevolg hebben. Dit betekent dat enkel gedurende de tijd dat de examenclient actief de beperkingen ten aanzien van het systeem handhaaft. Implementatie van de clientlockdown – Er zijn geen aanvullende beperkingen opgelegd ten aanzien van de realisatie van de clientlockdown. Implementatie kan bijvoorbeeld geschieden door het activeren van een kiosk mode of het beschikbaar stellen van een gemodificeerde desktopomgeving waar enkel de examenclient gestart wordt.

4.5.4.7

Eindscorecomponent

Voorziet in rekenregels voor het bepalen van de eindscore. Weergeven van eindscore – Er dient een apart overzicht beschikbaar worden gesteld, die per afname de eindscores laat zien van de 1ste en 2de correctieronden. Vaststellen eindscore – Op basis van de volgende rekenregels wordt de eindscore bepaald:

4.5.4.8



Indien 1 correctieronde dan berekende scores is eindscore



Indien 2 correctieronden dan vergelijken beide correcties, indien beide berekende scores overeenkomen dan is de berekende score de eindscore. Indien beide berekende scores afwijken dan is overeengekomen score de eindscore.

Examenpreviewcomponent

Voorziet in ontwikkelingshulpmiddelen ten behoeve van de examenleverancier zoals; weergeven van broncode (HTML en QTI XML) van het examen. Weergeven QTI codes – Het op verzoek weergeven van de codes (meta-data en identificerende QTI codes) die behoren bij van de getoonde QTI Items Weergeven sleutels – Het op verzoek weergeven van sleutels van de items, bijvoorbeeld “A” bij een eenvoudig multiple choice item. Weergeven resultaten – Het op verzoek weergeven van het resultaat van verwerking automatische scoringsregels. In het geval van het correct beantwoorden van een multiple choice item dient bijvoorbeeld afgelezen te kunnen worden dat er één ruw scorepunt is toegekend. Weergeven wegingsresultaten – Het op verzoek weergeven van het resultaat van de eventuele automatische weging van de items.



Weergeven broncode – Het op verzoek weergeven van de broncode (XML structuren) van het afgespeelde examen. Geforceerd navigeren – Geforceerd navigeren door het examen, hierbij wordt de QTI linear beperking genegeerd. Afbreken examen – Geforceerd afbreken van een examen, zonder weergave van het overzichtsscherm.

4.5.4.9

Hulpmiddelencomponent

De Hulpmiddelencomponent Verzorgt de weergave en afhandeling van loepfunctie, letterbakje, calculator, woordenboek en verklanking. Het activeren van een hulpmiddel geschiedt door middel van een instelling die in het QTI bestand staat op Item niveau of door middel van een instelling van uit het computer examen systeem.

Verklanking – Verklanking dient zodanig te worden ingericht dat teksten door middel van synthetische stemmen worden verklankt. Hierbij kan de kandidaat kiezen tussen een aantal beschikbaar gestelde stemmen. Voor Nederlands zijn 4 stemmen nodig voor vreemde talen 2 stemmen. De volgende eisen worden gesteld aan verklanking: 

Door de cursor op een bepaalde plaats in de tekst te plaatsen en op een knop te drukken, start de verklanking.



Het systeem leest alle tekst voor vanaf de startplek (de plek van de cursor)



De startknop moet duidelijk herkenbaar zijn



Tijdens het voorlezen moet er een afspeelbalk verschijnen, waarmee de kandidaat de stem kan laten pauzeren/doorgaan en kan vertragen/versnellen.



De mate van vertragen en versnellen ligt tussen factor X en factor Y



Tijdens het voorlezen moet het duidelijk zijn voor de kandidaat welke tekst wordt voorgelezen, bijvoorbeeld door het highlighten van een woord/zin.



Tijdens het examen moet het mogelijk zijn om van stem te wisselen.



Als er niet wordt voorgelezen, is alleen de startknop zichtbaar. Alle andere opties (start/stop, stem wisselen etc) zijn alleen zichtbaar op het moment dat de verklanking loopt.



Ook tekst in een popup-scherm moet verklankt kunnen worden.

Op basis van de instelling [ Examenkandidaat  Verklankingsindicatie] krijgt de kandidaat de mogelijkheid om verklanking te activeren. Letterplankje – Ten behoeve van diakritische tekens en symbolen dient de applicatie een letterplankje beschikbaar te stellen. De functie ondersteunt knippen en plakken van symbolen in het antwoord of kladblok. Op basis van een QTI instelling die geïnterpreteerd wordt door de QTI Engine component  4.5.4.11, krijgt de kandidaat de mogelijkheid om het letterplankje te activeren. Calculator – De applicatie dient een minimale, basis en wetenschappelijke calculator



beschikbaar te stellen. De functie ondersteunt knippen en plakken van het resultaat in het antwoord of kladblok. Op basis van een QTI profiel krijgt de kandidaat de mogelijkheid om een calculator te gebruiken. Spellingscontrole – De applicatie moet standaard de mogelijkheid bieden tot het doen van spellingscontrole op de ingevoerde teksten. De spellingscontrole moet foutieve woorden markeren en op verzoek suggesties tonen. De spellingscontrole kan op verzoek gedeactiveerd worden. Het systeem moet de mogelijkheid kunnen bieden om meerdere woordenboeken te activeren en te ondersteunen. De spellingscontrole dient aan de volgende eisen voldoen: 

Spelling: Een woordenlijst voor het Nederlands dient zich volledig aan de voorgeschreven spelling te houden. Normaliter zal dit de Officiële Nederlandse spelling uit 2005 zijn, die voorgeschreven is voor ambtelijk gebruik en onderwijs. Bij voorkeur is de woordenlijst voorzien van het Keurmerk Spelling van de Nederlandse Taalunie (http://taalunieversum.org/spelling/keurmerk/).



Lemmata en verbogen vormen: Een woordenlijst dient voor elk opgenomen begrip zowel de lemma-vorm als verbogen vormen te bevatten.



Af te dekken domeinen: Naast de algemeen gangbare Nederlandse woorden dienen gangbare eigennamen (zoals plaatsnamen en namen van personen, bedrijven en organisaties) in onverbogen en verbogen vorm opgenomen te zijn in de woordenlijst. Daarnaast dienen voldoende woorden uit specifieke domeinen vertegenwoordigd te zijn (wiskunde, biologie, scheikunde, etc). Bij voorkeur is het eenvoudig de woordenlijst uit te breiden met woorden, namen, etc. die in het eindexamen worden gebruikt.



Samenstelbaarheid: De woordenlijst bevat bij voorkeur samenstellingsregels. Door een samenstellingsmechanisme, dat mede gebruik maakt van woordsoortinformatie, is het mogelijk om met een woordenlijst van gemiddelde omvang (ca. 500.000 basiswoorden) een veelvoud van correcte samenstellingen te kunnen herkennen en suggereren. De combinatie van de samenstellingsregels en de bijbehorende software (speller engine) zorgt ervoor dat ook complexere, nog niet eerder verwerkte samenstellingen correct worden geanalyseerd en gesuggereerd. Elk jaar blijkt ca. 75 % van de “nieuwe” Nederlandse woorden volgens dit mechanisme al afgedekt te zijn door de bestaande spellers.



Speller engine: Niet de woordenlijst maar de software (speller engine) bepaalt welke woorden worden herkend en gesuggereerd. Voor herkenning zoekt de software op een slimme manier in de woordenlijst of probeert woorden te vormen volgens de samenstellingsregels. De software moet daarbij in zeer korte tijd grote stukken tekst kunnen analyseren (duizenden woorden per seconde). Een goed spellingcontrole herkent tenminste 90% van de woorden terecht als correct of incorrect (precision > 90%).

Op basis van de instelling [ Examen  SpellingscontroleIndicatie] krijgt de kandidaat de mogelijkheid om de spellingscontrole te activeren. Loep – De applicatie moet standaard de optie weergeven om een loep/vergrootglas te gebruiken. Vergroting moet relatief eenvoudig en bewust te starten en te stoppen zijn door de kandidaat. De loep mag de bladspiegel niet beïnvloeden. Naslagwerken – De applicatie moet op verzoek naslagwerken kunnen raadplegen en doorzoeken. Op basis van een QTI profiel dat geïnterpreteerd wordt door de QTI Engine component  4.5.4.11, krijgt de kandidaat de mogelijkheid om een naslagwerk te raadplegen. Meetlat & GEO-driehoek – De applicatie moet op verzoek een meetlat of een GEOdriehoek kunnen tonen en gebruiken. Op basis van een QTI profiel dat geïnterpreteerd wordt door de QTI Engine component  4.5.4.11, krijgt de kandidaat de mogelijkheid om een meetlat en/of geodriehoek te gebruiken.



Kladblok – De applicatie moet op verzoek basis van een instelling een kladblok functionaliteit tonen. Op basis van de instelling [ Examen  GebruikKladbokindicatie] krijgt de kandidaat de mogelijkheid om het kladblok te activeren.

4.5.4.10

Layout engine component

De layout engine is verantwoordelijk voor het weergeven van webpagina‟s die door een examenwebservice gegenereerd worden. Dezelfde look-and-feel – Alle platformen gebruiken dezelfde layout engine, waarmee een zelfde „look-and-feel‟ gewaarborgd wordt. Open Standaarden – De component moet de volgende webstandaarden ondersteunen: HTML5, CSS3 en Javascript Platform ondersteuning – De component moet de volgende platformen ondersteunen: Windows, Mac OSX en Linux (Ubuntu en Red Hat). Flash ondersteuning – Alhoewel het de intentie is om alle interacties (interactieve QTI-items) via Javascript af te handelen dient er voor de oudere examens een mogelijkheid bestaan om interacties op basis van flash te ondersteunen. Hierbij dient het mogelijk te zijn dat de antwoorden die ingegeven zijn in flash, als resultaat wordt aangeboden aan de examenafname applicatie.

4.5.4.11

QTI Engine component

De QTI enginecomponent is primair verantwoordelijk voor het correct verwerken van een examen dat gebaseerd is op de QTI standaard.

Itemselectie plugin – Een examen gebaseerd op QTI kent een gelaagde structuur, bestaande uit één of meerdere Test/SectionParts, AssessmentSections en AssessmentItemRefs (ook wel verkort testparts, secties en items genoemd). Het selecteren (trekken) van een item gebeurt binnen QTI op sectie-niveau. De component voorziet in een plugin structuur alwaar kennismodulen kunnen worden toegevoegd met daarin opgesloten algoritmen voor het trekken van Items. Het plugin-raamwerk moet de volgende functies (interfaces) ondersteunen: 

Initialize(in: sectiedefinitie): voor het laden van een item selectie interface is een sectie-definitie nodig, de invulling hiervan bepaalt het gedrag van de sectie. Het resultaat van het initialiseren zou als resultaat opgeleverd worden (succes, fout, etc.).



GetNextitem(uit: itemID): vervolgens wordt het eerste/volgende item opgevraagd, dit gaat door tot de sectie leeg getrokken is, er geen itemID meer geretourneerd wordt; vervolgens wordt de volgende sectie in de hiërarchie (boomstructuur) gestart.



SetItemScore(in: itemID, score): na het presenteren van het item aan de kandidaat en het geven van een antwoord wordt dit automatisch gescoord en het (gedichotomiseerde) resultaat doorgegeven aan het item selectie



algoritme. Het is aan het algoritme hier al dan niet wat mee te doen. 

ListReports(uit: lijst rapporten): het algoritme kan eigen rapportages hebben, middels deze functie wordt de lijst met beschikbare rapportages opgeleverd.



GetReport(in: rapportID, uit: waarde): middels deze functie kan de waarde van de rapportage opgevraagd worden.



Finalize(geen parameters): het algoritme dient netjes afgesloten te worden om systeembronnen vrij te kunnen geven, deze functie voorziet hierin.



GetRestartInfo (uit: herstartinfo): De component ontvangt informatie van plugin die via Afnamerespons  4.5.4.3 Afnameresponscomponent wordt verwerkt. De informatie bevat instellingen die benodigd zijn in geval van een herstart van de clientapplicatie.



Restart(in: herstartinfo):De component ontvangt herstartinformatie van de Afnamerespons  4.5.4.3 Afnameresponscomponent en geeft deze de plugin, die hiermee opnieuw geïnitialiseerd wordt.

[Ref. 15]

http://www.imsglobal.org/question/qtiv2p1pd2/imsqti_infov2p1pd2.html#section10093

Het system wordt opgeleverd met een sequentiële Itemselectie en random Itemselectie plugin. De adaptieve module zal op termijn in samenwerking worden aangeleverd door Cito. QTI opmaak – Het correct weergeven van examenopgaven inclusief mediabestanden [ QTI-bestand] [ Mediabestanden]. De opmaak van een examen wordt bepaald in geval van een web gebaseerd computerexamensysteem door HTML opmaak code en de cascade style sheet (CSS). QTI bevat een aantal opmaak elementen maar deze zijn niet voldoende voor een regulier examen. Daar waar de standaard niet voldoet zal deze door middel van een extensie of afspraak moeten worden uitgebreid in de vorm van de QTI+ standaard. In deze tabel zijn functioneel de opmaakkenmerken beschreven waaraan een examen moet voldoen. 

Tekstformatering (QTI): Gebruik van vet, cursief, onderstrepen, superscript, subscript, etc.



Tabellen en lijsten (QTI): Gebruik van tabellen voor inhoud én uitlijning (bijvoorbeeld tweekoloms opmaak)



Popups (QTI+): Voor het toelichten van bronnen, uitvergroten van plaatjes, etc. Toelichting: Op zich met HTML binnen body te regelen. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard.



Layout binnen interacties (QTI+): Binnen interacties (bijvoorbeeld een lijst alternatieven) moet het mogelijk zijn om opmaak te specificeren (bijvoorbeeld positionering keuzerondje, alternatieven in kader, etc.) Toelichting: Dit is niet afdoende te regelen in QTI. Er moeten gezamenlijke afspraken gemaakt worden over de manier van vastleggen.

[Ref. 16]

http://lists.ucles.org.uk/public/ims-qti/2010-January/001552.html

QTI Interactions – De Interactions van een examen vormen de daadwerkelijke opgaven van het examen. Daar waar de standaard niet voldoet zal deze door middel van een extensie of afspraak moeten worden uitgebreid en vastgelegd in de QTI+ standaard. In deze tabel zijn functioneel de interactions beschreven waaraan een examen moet voldoen. Een gedeelte van de interactions is als voorbeeld beschikbaar via de University of Cambridge. [Ref. 17]

http://qtitools.caret.cam.ac.uk/qtiv2/examples/V2examples.html



Matrix vraag (QTI): Standaard matrix vraag op basis van matchInteraction, simpleAssociableChoice, simpleMatchSet en gapMatchInteraction.



Multiple choice (QTI): Standaard multiple choice vraag op basis van: ChoiceInteraction.



Multiple response (QTI): Standaard multiple response





Open gaten vraag (QTI): Vraag waarbij een of meerdere gaten in een lopende tekst gevuld moeten worden op basis van textEntryInteraction en choiceInteraction.



Kort antwoord (QTI+): Kort antwoord opgaven met filtering van input (bijvoorbeeld numeriek), geavanceerde scoringsspecificatie, voorbewerkingregels, etc. op basis van TextEntryInteraction. Toelichting: Mogelijkheid automatische uniformeringbewerkingen te doen op Responsevariable zoals diakrieten, hoofdletters en spaties. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard.



Essay vraag (QTI+): Lang antwoord vraag met specificatie van opmaak en gedrag van invoerveld (rijen, kolommen, etc.) op basis van extendedTextInteraction. Toelichting: Formaat kan preformatted of XHTML zijn. De breedte van het antwoordveld ontbreekt in QTI, wat in voorkomende geval tot een attribuutextensie zal leiden.



Grafisch oriënteren (QTI/QTI+): Het oriënteren van een object op basis van sliderInteraction. Opmerking: Doel is om een object dat zich op een (vaste) positie bevindt daar om een bepaalde as te draaien, sliderInteraction (bijv. 0-360) , de extensie zal nodig zijn om aan te geven hoe en waar de gebruiker kan draaien. o

Oriënteren: Een object kan om zijn as gedraaid worden

o

Positierange: boog-schaal, evt. gecombineerd met 1- of 2-schaal



Grafisch positioneren (QTI): Puntselectie en objectplaatsing op basis van graphicOrderInteraction, positionObjectInteraction en selectPointInteraction.



Grafisch toewijzen (QTI): Puntselectie of Objectplaatsing op basis van graphicGapMatchInteraction en hotspotInteraction. o

Hotspot: Positiemogelijkheden voor puntselectie of objectplaatsing eventueel voorverkaveld door voor de kandidaat zichtbare vlakken.

o

Positierange: Element uit lijst van hotspots, zoals een rechthoek, cirkel, "knop" of een andere vorm binnen het canvas.



Grafisch schalen (QTI+): Positiemogelijkheden voor puntselectie of object(zoals schuif) op waardeschaal of het toepassen bij "schalen" van een object, op basis van sliderInteraction. Toelichting: Doel is om een object te schalen met behoud van zijn (2 dimensionale) verhouding, bijvoorbeeld een cirkelvorm, waarbij de straal schaalt. Eventueel ook zonder behoud van verhouding, dan zijn er 2 schalen. sliderInteraction is een optie, de extensie zal nodig zijn om aan te geven hoe en waar de gebruiker kan schalen (bijvoorbeeld aan het object).



Grafisch verbinden (QTI+): Het grafisch verbinden van twee objecten – bijvoorbeeld het plaatsen van een verbindingsboog tussen noten op notenbalkop – op basis van graphicAssociateIntercation. Toelichting: Doel is om een relatie te leggen tussen twee "objecten", de extensie zal nodig zijn om aan te geven hoe de gebruiker de verbinding kan leggen: grafisch, uit een lijst, op basis van positie.



Grafisch vormen (QTI+): Het grafisch creëren en manipuleren van grafische objecten op basis van drawingInteraction. Toelichting: Doel is om een relatie te leggen tussen twee "objecten", de extensie zal nodig zijn om aan te geven hoe de gebruiker de verbinding kan leggen: grafisch, uit een lijst, op basis van positie.



Spraak (QTI+): Het geven van een antwoord op basis van opgenomen spraak op basis van uploadInteraction en customInteraction. Voorbeeld: Kandidaat geeft antwoord door middel van opgenomen spraak. QTI hulpmiddelen – Hulpmiddelen vormen ondersteunende functionaliteiten van een examen die niet direct toebehoren aan het examen zelf. Echter vanuit het examen kunnen hulpmiddelen op item niveau worden geactiveerd. 

Symbolen (QTI): Gebruik van diakritische tekens in de tekst.





Wiskundige formules (QTI): Beschrijven van wiskundige formules middels MathML.



Letterplankje (QTI+): Op basis van een profiel met daarin opgenomen de beschikbare symbolen wordt een Invoerscherm getoond  4.5.4.9 Hulpmiddelencomponent



Calculator (QTI+): Op basis van een profiel met daarin opgenomen drie typen calculators wordt een calculator getoond. Het profiel onderscheidt een simpele, basis en een wiskundige calculator  4.5.4.9 Hulpmiddelencomponent



Mediabesturing (QTI+): Op basis van QTI instellingen wordt de mediabesturing vastgelegd, zoals; Welke knoppen zichtbaar zijn, hoe vaak iets mag worden afgespeeld, automatisch stoppen/starten/etc. Toelichting: QTI media biedt al een aantal attributen zoals: maxplays. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard.



Meetlat, geodriehoek (QTI+): Op basis van een profiel wordt een meetlat en/of geodriehoek getoond  4.5.4.9 Hulpmiddelencomponent



Naslagwerken: Op basis van een QTI profiel moet een hulpbron geraadpleegd kunnen worden (bijvoorbeeld BINAS).  4.5.4.9 Hulpmiddelencomponent



Kladblok: Op basis van een QTI profiel moet een kladblok functionaliteit beschikbaar worden gesteld.  4.5.4.9 Hulpmiddelencomponent

[Ref. 18]

http://www.w3.org/Math/

QTI systeem – Systeem vormt systeemfunctionaliteit ten behoeve van correct kunnen afnemen van een examen. Hierbij valt te denken aan itemselectie en het zetten van tijdslimieten. 

Navigatiepad (QTI): Op basis van een QTI instelling (linear en non-linear) dient de QTI-engine het navigatiepad te definiëren. Hierbij geldt dat: o

Linear – Is gelijk aan forward-only en dwingt de kandidaat om enkel naar een volgende item te gaan na beantwoorden van de vraag. De kandidaat kan op geen enkele wijze terugkeren naar een voorgaande vraag.

o

Non-linear – Betekent dat er geen beperkingen zijn opgelegd op de wijze van navigeren door het examen. Dit betekent dat de kandidaat enkele vragen naar voren mag springen en terug mag keren naar een voorgaande vraag.



Sequentiële itemselectie (QTI): Op basis van een QTI-instelling op sectieniveau worden de items sequentieel getrokken. Sequentiële itemselectie staat gelijk aan het van voor naar achter doorlopen van een sectie in het examen. Het selecteren van de volgende item gebeurt door de Itemselectie plugin.



Random Itemselectie (QTI): Op basis van een QTI-instelling op sectieniveau worden de items willekeurig getrokken. Random itemselectie bestaat uit het op sectieniveau door elkaar „husselen‟ van de items en deze vervolgens van voor naar achter te doorlopen. Het selecteren van de volgende item gebeurt door de Itemselectie plugin.



Adaptieve Itemselectie (QTI+): Op basis van een QTI-instelling op sectieniveau worden de items op basis van een psychometrische algoritme getrokken. Het selecteren van de volgende item gebeurt door de Itemselectie plugin.



Tijdslimieten (QTI+): Op basis van QTI-instellingen worden tijdslimieten gezet op examen, sectie en item niveau. Indien de tijd gezet wordt op examenniveau wordt hiermee ook de beschikbare tijd [ Examen  Examenduur] overschreven. Indien de tijdverstreken is wordt de huidige vraag automatisch afgesloten waarbij deze als niet beantwoord wordt beschouwd. Tevens wordt een indicatie weergegeven via de afnameschilcomponent  4.5.4.5.



4.5.4.12



Technische vereisten (QTI+): Op basis van instellingen wordt er een controle uitgevoerd door de afnamecontrolecomponent  4.5.4.1. Toelichting: Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard.



Waarschuwingen (QTI+): Te tonen teksten voor bevestigen van overgeslagen items, niet volledig gemaakte toets, etc. Toelichting: Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard.



ZaaiItem (QTI+): Examen kunnen zaai items bevatten. Zaai items zijn vragen die niet primair bedoeld zijn voor het beoordelen van de kandidaat, maar meer voor onderzoek van de examenleverancier. Op basis van QTIinstellingen worden de zaai items geïdentificeerd.

Responsverwerkingcomponent

Voorziet in het afspelen van de afnamerespons, waarna de al gescoorde vragen overgezet worden in de database en de open vragen door middel van de Afnamecorrectiecomponent gescoord wordt. Afspelen responslog – De responslog [ AfnameRespons] wordt opnieuw afgespeeld waarbij de gesloten vragen automatisch worden opgeslagen in de AfnameItemscore [ AfnameItemCorrectie  AfnameItemScore]. Open vragen – De vragen die nog niet gescoord zijn moeten handmatig gescoord worden. Afhankelijk van of er wel of niet een handmatige correctie wordt uitgevoerd reageert de component als volgt: 

Handmatige correctie – De afnamecorrectiecomponent  4.5.4.2 handelt het handmatig scoren af.



Geen handmatige correctie – De vraag wordt uitgesloten van een correctie en hiermee ook een score.

4.6 Berichten en gegevens Deze paragraaf is grotendeels gebaseerd op het gegevenswoordenboek Computerexamensysteem dat opgesteld is door DUO. De detailuitwerking van de relevante gegevensobjecten zijn dan ook in dat document beschreven.

Examen – Een examen is een unieke samenstelling van leerweg [ Opleidingniveau] en Vak [ Vak]. De examenmeta-gegevens bevatten gegevens over houdbaarheid en toepasbaarheid van een examen. Verder bevat het examen een URI verwijzing [ _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 62


Examen  Examenbestand] naar het fysieke examenbestand [

QTI-bestand].

Examenvariant – Is een variant van een examen. Een variant kan een regulier Examenvariant zijn of een Herkansingvariant. Beide variantentypen worden in hetzelfde QTI-bestand aangeboden. Examenalias – Een omzettingstabel die een alternatieve naam genereert voor een examenvariant. Het genereren gebeurt op basis van het BRIN-nummer. Mediabestanden – De mediabestanden die onderdeel uitmaken van het examen, zie paragraaf 4.6.1, Mediabestanden voor de uitwerking. Examenafnamegroep – Groep van examenafnames met hetzelfde examen op dezelfde plaats en tijd. ExamenafnameStuurgegevens – Gegevens die gebruikt worden tijdens de examenafname om centraal te kunnen starten, pauzeren, stoppen, of de getoonde vragen te synchroniseren. Omzettingstabel – Tabel waarin per examenscore is aangegeven tot welk examencijfer dit leidt. Examenleverancier – Organisatie die het examen produceert en levert. Correctieronden – Inrichting van een correctieronde. Examenafname – Onderzoek naar de kennis of kundigheden van iemand door ondervraging. Examenkandidaat – Een mens dat examen doet. AfnameRespons – Het product van het afleggen van een examen. [Ref. 19]

http://www.imsglobal.org/question/qtiv2p1pd2/imsqti_infov2p1pd2.html#section10082

Afnamecorrectie – Het geheel van gecorrigeerde antwoorden, scores en toelichting door de corrector AfnameItemCorrectie – De door een corrector uitgevoerde correctie op een antwoord op een examenitem. Examenfunctionaris – Een mens die verbonden is aan een onderwijslocatie en een bepaalde rol heeft met betrekking tot het examen. QTI-bestand – Bevat het examenmateriaal dat bestaat uit de opgaven en de structuren voor antwoorden, en is samengevat in de QTI-standaard. De QTIstandaard wordt beheerd door het IMS Global Learning Consortium.



Examen – Een QTI-bestand bevat één examen. Een examen is een samenstelling van een vak [ Vak] en een leerweg [ Opleidingaanbod]. Een examen is opgebouwd uit 1 of meerdere examenvarianten en/of herkansingsvarianten.



Examenvariant – Een examenvariant is een QTI-testdescription.



Herkansingsvariant – Een herkansingsvariant is een QTI-testdescription.





QTI-test description – Een QTI-test description definieert een examenvariant of herkansingsgvariant, en bevat verwijzingen naar QTIItembanken, mediabestanden, toetsmodules, en toetsdrivers.



QTI manifest – Het QTI Manifest is een verwijzingstabel naar alle resources die benodigd zijn voor een examen. De verwijzingen worden door middel van URI notatie vastgelegd.



QTI-Itembank – Een QTI-Itembank kan bestaan uit meerdere itembanken alwaar een QTI-testdescription Items uit onttrekt. In een itembank zijn de examenvragen opgeslagen en meerdere QTI-testdescription kunnen gebruik maken van dezelfde Itembanken.



Mediabestanden – Indien een Item (examenvraag) ondersteuning nodig heeft door middel van media (plaatje, beeld en geluid), dan worden deze bestanden gescheiden toegevoegd aan een Examen. De locatie wordt geadministreerd in het QTI-manifest.



Toets module – De toets module bestaat uit een stuk software die via Itemselectie plugin in de QTI Engine component  4.5.4.11 wordt aangeroepen. De toets module bevat algoritmen om een volgende item te selecteren, door deze functionaliteit kunnen er op eenvoudige wijze adaptieve toetsen worden ontwikkeld. De toetsmodule heeft een sterke relatie met het examen en de toets driver.



Toets driver – De toets driver bevat in geval van adaptieve toetsen de psychometrische informatie die benodigd is voor het selecteren van een volgende Item via Itemselectie plugin in de QTI Engine component  4.5.4.11.

[Ref. 20]

Website: http://www.imsglobal.org/question/index.html

[Ref. 21]

Content Packaging: http://www.imsglobal.org/content/packaging/index.html

4.6.1 Mediabestanden Het beschrijven en selecteren van goede (open) mediabestanden blijft een complexe materie; hierbij spelen patenten die op een aantal mediastandaarden liggen, een grote rol. In essentie kunnen media worden onderverdeeld in drie categorieën; afbeeldingen, audio en video. In deze paragraaf zijn enkel populaire formaten vergeleken die nu of in de nabije toekomst een grote rol spelen bij het weergeven van afbeeldingen, audio en video. Hierbij is het uitgangpunt dat de groen gemarkeerde standaarden primair opgenomen worden in het computerexamensysteem.



4.6.1.1

Afbeeldingen

Ten aanzien van de afbeeldingen is de keuze eenvoudig, momenteel zijn er drie formaten die als veelgebruikte open standaard aangemerkt kunnen worden: PNG – Portable Network Graphics is een niet gepatenteerde open standaard, die zonder kwaliteitsverlies afbeeldingen comprimeert. De bestandsgrootte van dit formaat is groter dan die van het JPEG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. PNG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op pixels en waarvan er (kwaliteits)verlies van gegevens niet is toegestaan voor het examen. JPEG – Joint Photographic Experts Group is een gepatenteerde open standaard, die met kwaliteitsverlies afbeeldingen comprimeert. De bestandsgrootte van dit formaat is kleiner dan die van het PNG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. JPEG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op pixels en waarvan er (kwaliteits)verlies van gegevens is toegestaan voor het examen. SVG – Scalable Vector Graphics is een niet gepatenteerde open standaard, die met hoge kwaliteit afbeeldingen kan genereren op basis van vectoren. De afbeelding is in XML beschreven. Door gebruik te maken van de vectoren zijn de bestanden van grotere afbeeldingen veelal kleiner dan die van afbeeldingen die gebaseerd zijn op PNG- of JPEG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. SVG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op vectoren voor het examen.

4.6.1.2

Video

Ten aanzien van video liggen de mogelijkheden iets complexer, en bestaat er een onderscheid tussen de container en codec. De codec is de compressietechniek die wordt toegepast om beelden te distribueren en weer te geven, en de container bundelt de gescheiden video- en audiocodecs tot een formaat, waarbij de container veelal aanvullende functionaliteit biedt om te zoeken in videobestanden door middel van hoofdstukken en het gebruik van ondertiteling. [Ref. 22]

http://en.wikipedia.org/wiki/Comparison_of_container_formats

[Ref. 23]

http://en.wikipedia.org/wiki/Container_format_(digital)

[Ref. 24]

http://en.wikipedia.org/wiki/Video_compression

Mediacontainer AVI – Audio Video Interleave is een gepatenteerd en gesloten containerformaat dat in beheer is bij Microsoft. De container is gedateerd en kent vele beperkingen die veelal door middel van de kleine modificaties buiten standaard opgelost worden. AVI biedt geen directe ondersteuning voor hoofdstukken en ondertitelingen en ondersteunt matig de H264-, V8- en OGG-formaten. AVI wordt aangemerkt als ongewenste standaard voor het containerformaat voor het weergeven van video. WEBM – WEBM is een niet gepatenteerd en open containerformaat dat onlangs is gedoneerd door Google. De container is gebaseerd op het MKV-formaat en zal in principe enkel ondersteuning bieden aan open audio- en videocodecs, zoals V8 en OGG. WEBM is een potentiële kandidaat om opgenomen te worden als standaard voor de HTML5-standaard. De exacte specificaties zijn vooralsnog onduidelijk. WEBM zal afhankelijk van de ontwikkelingen in de toekomst mogelijk als de facto standaard worden aangemerkt voor het containerformaat voor het weergeven van video. _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 65


MKV – Matroska Multimedia Container is een niet gepatenteerd en open containerformaat, dat overweg kan met zo goed als alle vormen audio- en videoformaten. Aangevuld met de ruime mogelijkheden op het gebied van toevoegen van hoofdstukken en ondertiteling is MKV een flexibel en zeer goed containerformaat. MKV wordt als de facto standaard aangemerkt voor het containerformaat voor het weergeven van video. MPEG-4 – Moving Picture Experts Group is een gepatenteerd en open containerformaat, dat overweg kan met een ruim aantal audio- en videoformaten. Daarbij biedt MPEG-4 ruime mogelijkheden op het gebied van toevoegen van hoofdstukken en ondertiteling. MPEG-4 wordt als alternatief aangemerkt voor het containerformaat voor het weergeven van video. Flash – Flash van Adobe is een gepatenteerd en gesloten containerformaat, dat overweg kan met een beperkt aantal audio- en videoformaten. Daarbij biedt Flash geen ondersteuning op het gebied van toevoegen van hoofdstukken en ondertiteling. Flash wordt als ongewenst beschouwd als containerformaat voor het weergeven van video.

Videocodecs H264 / MPEG-4 AVC – Advanced Video Coding is een gepatenteerd en open containerformaat dat tegenwoordig veelal wordt toegepast voor het weergeven van videobeelden. De eventuele betalingen voor de patenten zijn in 2010 met vijf jaar uitgesteld. Dit betekent dat de standaard tot en met 2015 zondervergoeding gebruikt mag worden. H264 wordt aangemerkt als de facto standaard voor videocompressie (als codec) voor de korte termijn. VP8 – VP8 is een niet gepatenteerd en open containerformaat dat onlangs is vrijgegeven door Google met als doel om te dienen als open videocodec voor HTML5. De VP8-codec maakt een onderdeel uit van de WEBM-standaard. De kwaliteit is iets slechter dan het H264-formaat. VP8 zal afhankelijk van de ontwikkelingen in de toekomst mogelijk als de facto standaard worden aangemerkt voor het containerformaat voor het weergeven van video.

4.6.1.3

Audio

Audio wordt op vele manieren vastgelegd in digitaal formaat. Allereerst bepaalt de bemonsteringsfrequentie (sampling rate) de kwaliteit van een digitaal fragment. Deze bemonsteringsfrequentie dient voor kwalitatief hoogwaardige audio-opnamen in stereo ten minste 44 KHz te zijn. De tweede bepalende factor is de bitrate die gebruikt wordt voor compressie van audioformaten zoals MP4, MP3 en OGG. Deze bitrate bepaalt vervolgens hoeveel bits per seconde gebruikt mogen worden voor het vastleggen van een digitale geluidsstroom: hoe hoger de waarde, des te dichter benadert het gecomprimeerde audiofragment de originele weergaven. Op dit moment is 192 Kbit/s een gangbare norm voor OGG.

AAC / MP4 – Advanced Audio Coding is een gepatenteerde open standaard, die met hoge kwaliteit audio kan comprimeren en die tevens als opvolger van MP3 wordt gezien. AAC wordt als alternatief aangemerkt voor audiobestanden. MP3 – MPEG-1 of 2 Audio Layer III is een gepatenteerde open standaard, die de grondlegger was van verspreiding van digitale audio via het internet. Ondanks grote ondersteuning in software en hardware heeft de standaard beperkingen ten aanzien van de kwaliteit en wordt steeds meer vervangen door AAC.



MP3 wordt aangemerkt als ongewenste standaard voor audiobestanden. OGG – OGG Vorbis is een niet gepatenteerde open standaard, die met hoge kwaliteit hoge kwaliteit audio kan comprimeren. OGG heeft een betere kwaliteit dan de MP3standaard, maar de acceptatie van de standaard in hardware verloopt moeizaam. OGG wordt als de facto standaard aangemerkt voor het weergeven van audio voor het examen.

4.7 Informatie-uitwisseling Deze paragraaf beschrijft vooralsnog de berichten die uitgewisseld worden tussen de beheerservices en de QTI specifieke services (te weten; preview, correctie en inzage) services. De examenafnameservice staat op zichzelf en wordt niet gestart via een beheerservice. Als subonderdeel van de QTI standaard is LTI gedefinieerd. Deze Learning Tools Interoperability (LTI) standaard is open en dient de interoperabiliteit te bevorderen tussen de verschillende applicatieve onderdelen die gelieerd zijn aan de QTI standaard. Nader onderzoek moet uitwijzen of deze standaard meerwaarde biedt voor de informatie-uitwisseling tussen services en antwoord geven of deze service past binnen het authenticatiebeleid binnen DUO. [Ref. 25]

http://www.imsglobal.org/lti/index.html

Uitwerking volgt: Deze en onderliggende paragrafen zullen in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding.

4.7.1.1

Examenpreview

Het starten van de examenpreviewservice  4.5.1.12 geschiedt via de examenbeheerservice  4.5.1.8. Deze laatste service draagt zorg voor de authenticatie. Na selectie van een examen kan de examenpreviewservice service gestart worden.

StartPreviewParameters – De examenpreviewservice wordt gestart door middel van een applicatiekoppeling. Hierbij is enkel het examen dat gestart moet worden relevant. Gegevens: Examen  Examenid

4.7.1.2

Examencorrectie

Het starten van de examencorrectieservice  4.5.1.9 geschiedt via de afnamebeheerservice  4.5.1.1. Deze laatste service draagt zorg voor de authenticatie. Na selectie van een of meerdere afnamen kan de examencorrectieservice gestart worden.



StartCorrectieParameters – De examencorrectieservice wordt gestart door middel van een applicatiekoppeling. Gegevens: Examen  Examenid ZakelijkeGebruiker  GebruikerID Examenkandidaat  KandidaatID Examencorrectie  Correctiesoort

4.7.1.3

Exameninzage

Het starten van de exameninzageservice  4.5.1.10 geschiedt via de afnamebeheerservice  4.5.1.1. Deze laatste service draagt zorg voor de authenticatie. Na selectie van een afname kan de exameninzageservice gestart worden.

StartInzageParameters – De exameninzageservice wordt gestart door middel van een applicatiekoppeling. Gegevens: Examen  Examenid ZakelijkeGebruiker  GebruikerID Examenkandidaat  KandidaatID

4.8 Technische componenten Uitwerking volgt: Deze en onderliggende paragrafen geven een conceptuele weergave van de infrastructuur. In samenwerking met DUO zal deze paragrafen verder uitgewerkt worden.



4.8.1 Algeheel concept De kern van het computerexamensysteem bestaat uit examenservers die onderling informatie uitwisselen en zo gezamenlijk een groot systeem vormen (horizontale schaling). De examenservers worden op zowel de ontwikkelomgeving van de examenleverancier, de examenlocaties (lokaal) als ook bij DUO (centraal) geplaatst. De essentie van het ontwerp is dat de inrichting van de examenservers over alle locaties grotendeels gelijk is.

De uiteindelijke inrichting van de servercomponenten wordt tijdens de ontwerpfase vastgesteld.

4.8.1.1

Examenleverancier

Voor de ontwikkeling van examens wordt een speciaal geprepareerde examenserver geleverd in de vorm van een virtuele systeem, die in Open Virtualization Format (OVF) wordt opgeleverd. Dit systeem bevat alle noodzakelijke componenten om snel en efficiënt een examen inclusief adaptieve componenten te kunnen testen. Daartoe heeft de examenleverancier de noodzakelijke rechten om snel nieuwe versie van het examen toe voegen aan het systeem, om die vervolgens te kunnen testen via de examenpreviewservice  4.5.1.12.

4.8.1.2

Examenlocatie

De basis van de lokale serveromgeving wordt gevormd door een virtueel systeem die in Open Virtualization Format (OVF) wordt opgeleverd. Deze OVF kan op willekeurige serverinfrastructuren op de examenlocatie worden geplaatst. Het exploiteren van OVF kan door zowel commerciële als door open-sourceoplossingen gebeuren.



De ontwikkelen lokale examenservers bevatten alle voor de examenlocatie noodzakelijke informatie (data), zodat eventueel het systeem zonder problemen kan schakelen tussen een online en offline afname.

4.8.1.3

DUO

4.8.1.3.1 Examenafnameapplicatie De basis van de DUO-examenserver wordt gevormd door grotendeels dezelfde bouwstenen toe te passen als examenserver op de examenlocatie. De inrichting van dit platform zal verder uitgewerkt worden door DUO.

4.8.1.4

Centrale examenbeheeromgeving

De basis van de DUO-examenserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de beheerserver afwijken van die van de afnameserver, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO.



4.8.1.5

Centrale correctieomgeving

De basis van de DUO-correctieserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de correctieomgeving afwijken van die van de afnameserver, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO.

4.8.1.6

Centrale oefenexamenomgeving

De basis van de DUO-oefenexamenserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de oefenomgeving afwijken van die van de overige servers, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO.



4.8.1.7

Centrale examenpreviewomgeving

De basis van de DUO-examenpreviewserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de beheerserver afwijken van die van de afnameserver, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO.

4.8.2

JEE-Service

DUO levert een JEE service in de vorm van een Java Enterprise Edition (JEE) platform. Het platform zal in ieder geval een implementatie van een open source product kennen, om de operationele (licentie)kosten voor de lokale applicatieserver omgevingen te reduceren.

4.8.3 Clientservice De examenclient wordt als applicatie geïnstalleerd op x86-PC‟s, hierbij worden de volgende recente versies van besturingssystemen ondersteund: Windows, Linux (Ubuntu en Red Hat) en Apple OS-X.

4.8.4 Examenafnameclientomgeving



De afnameclient wordt als applicatie geïnstalleerd op x86-PC‟s die op de examenlocaties staan en ondersteunt hierbij in ieder geval de volgende recente versies van besturingssystemen: Windows, Linux (Ubuntu en Red Hat) en Apple OS-X. Alle platformen gebruiken dezelfde layout engine, waarmee een zelfde „look-and-feel‟ gewaarborgd wordt. De installatie en de-installatie van de applicatie moet automatisch en zonder manuele interventie van de beheerder geschieden. Omdat de PC buiten examentijd als reguliere PC dienstdoet, mag de installatie de werking van de overige onderdelen van de PC niet beïnvloeden indien de afnameclient niet actief is. Indien de afnameclient geactiveerd is, mag de kandidaat geen mogelijkheid meer hebben om andere applicatieonderdelen te starten buiten de afnameclient om. Deze beveiliging wordt geregeld in de client lockdown component. Tijdens het starten van een examenafname wordt de werking van de client lockdown gecontroleerd.

4.8.5 Monitorservice De monitorservice zal geïntegreerd worden in de JEE omgeving, waarbij mogelijk gebruik wordt gemaakt van de JMX interface. De concrete inrichting en configuratie zullen tijdens de ontwerpfase worden vastgesteld.

4.8.6 E-mailservice DUO levert standaard SMTP mail functionaliteit, alwaar het computerexamensysteem van gebruik kan maken.

4.9 Gegevensopslag 4.9.1 Datastoreservice DUO levert een datastoreservice. Dit platform levert een geclusterde dataopslag die vermoedelijk is gebaseerd op een no-sql databaseplatform. Het platform zal in ieder geval een implementatie van een open source product kennen, om de operationele (licentie)kosten voor de lokale gegevensopslag omgevingen te reduceren. De DUO Abstration layer  4.5.3.5 ontkoppelt de datastoreservice van de applicatieve componenten, zodat de uiteindelijke keuze van de datastoreservice geen effect heeft op de gebruikte code.

4.10

Netwerk Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding.



5 Ontwikkeling Het aspect ontwikkeling beschrijft de afspraken, processen en technieken die noodzakelijk zijn voor het ontwikkelen van het computerexamensysteem. Hierbij behoren ook aspecten als eigenaarschap en licentievormen van de software en methoden om deze software te ontwikkelingen.

5.1 Van architectuur naar ontwerp Het programma van eisen en de architectuur geven de leveranciers inzicht in de samenhang en omvang van de programmatuur. In de vervolgprocessen dienen het programma van eisen en de architectuur vertaald te worden naar ontwerpen. Hierbij dient per applicatie een globaal ontwerp te worden gemaakt en per component een detail ontwerp. Op basis van deze ontwerpen zal de definitieve acceptatiefasering worden vastgesteld waarbij paragraaf 9.3 Acceptatiefasering computerexamensysteem als uitgangspunt telt.

5.2 Overzicht verantwoordelijkheid van de componenten Het computerexamensysteem wordt samengesteld uit diverse componenten en services die door verschillende partijen worden aangeleverd. Onderstaande matrix geeft inzicht in de verantwoordelijkheidsgebieden tijdens ontwikkeling en oplevering van de componenten en services.

DUO

Leverancier

Omschrijving

Duo levert alle logistieke applicatiecomponenten inclusief de infrastructuur die behoort bij de centrale oplossingen en de virtuele infrastructuur die behoort bij de decentrale oplossing. Tevens draagt DUO zorg voor het packagen van Javacomponenten tot volwaardige Javaapplicaties.

De leverancier heeft de focus voornamelijk op het correct verwerken van de QTI-standaard. Daarbij dient de leverancier gebruik te maken van een aantal dat geleverd worden door DUO en de examenleverancier.

Notatievorm in diagrammen

De DUO-componenten worden gemarkeerd als oranje componenten. De applicaties en services kennen een geel patroon.

De componenten die volledig onder verantwoordelijkheid vallen van de leverancier zijn gemarkeerd als groene componenten.

Applicatiecomponenten



Applicaties met eigen componenten

DUO applicaties met componenten van de leverancier

5.3 Eisen gesteld aan de functionele documentatie 5.3.1 Opleveren van lijst met functionele ontwerpproducten Eis: Specificatie:

Meetvoorschrift:

Er is een lijst beschikbaar waarin is aangegeven welke functionele ontwerpproducten opgeleverd worden. Per product is aangegeven:  Identificatie/nummer  Titel/naam, eventueel een nummer  Versienummer en versiedatum  Wijzigingen ten opzichte van de vorige versie  Status  Auteur(s)  Documentnaam (indien van toepassing) Controle op aanwezigheid lijst en of de lijst volledig en juist is.  Volledigheid: aantal opgeleverde producten komt overeen met het aantal producten op de lijst.  Juistheid: de informatie op de lijst moet overeenkomen de informatie die per product is vastgelegd.

5.3.2 Opleveren van documentatie in voor DUO herkenbare formaten Eis:

Specificatie:

Meetvoorschrift:

Het functioneel ontwerp moet beschikbaar gesteld worden in bestandsformaten die gelezen en bewerkt kunnen worden met hulpmiddelen die binnen DUO beschikbaar zijn. Dit geldt voor teksten en schema's. Per opgeleverd product moet het bestandsformaat herkenbaar zijn. Bij voorkeur te gebruiken bestandsformaten:  Microsoft-indelingen (.doc, .xls, .ppt, enz.)  OpenDocumentFormat (.odf) Bij afwijking op hierboven genoemde formaten en wanneer gebruik wordt gemaakt van een UML modelleringstool, wordt het op te leveren formaat in onderling overleg bepaald." Controle steekproefsgewijs van een aantal documenten/producten met de binnen DUO beschikbare tooling.

5.3.3 Opleveren van documentatie in het Nederlands Eis: Specificatie: Meetvoorschrift:

Alle ontwerpdocumentatie is in het Nederlands opgesteld. (ICT-)jargon, bepaalde vaste begrippen, of uitdrukkingen kunnen in het Engels zijn. Controle steekproefsgewijs of de documenten in het Nederlands zijn



opgesteld.

5.3.4 Vastlegging ontwerpbeslissingen Eis:

Specificatie: Meetvoorschrift:

De ontwerpbeslissingen zijn vastgelegd en te relateren aan het product/de producten waarop een beslissing betrekking heeft. De beslissing is zo beschreven dat duidelijk is wanneer de beslissing genomen is, welke beslissing genomen is, wat de evt. gevolgen van die beslissing zijn en wat het effect daarvan is op het product. Controle steekproefsgewijs of ontwerpbeslissingen beschreven zijn.

5.3.5 Vastlegging openstaande punten Eis:

Specificatie: Meetvoorschrift:

Openstaande punten zijn duidelijk herkenbaar en te relateren aan het product/de producten waarop de punten betrekking hebben. Het openstaande punt is zo beschreven dat duidelijk is waar nog aandacht voor moet zijn met eventueel de uit te voeren acties en een tijdspad. Per punt is een duidelijke probleemomschrijving aanwezig met de datum waarop het punt is ontstaan, een indicatie van de ernst, groei en urgentie aangevuld met mogelijke oplossingsrichtingen en een instructie wanneer het punt opgepakt moet worden. Controle steekproefsgewijs of openstaande punten expliciet beschreven zijn. In teksten mogen geen vragen en vraagtekens of op andere wijze impliciet aangeduide openstaande punten voorkomen.

5.3.6 Vastlegging samenhang tussen systeemfuncties Eis: Specificatie:

Meetvoorschrift:

De samenhang tussen de verschillende systeemfuncties is beschreven. De volgende aspecten komen daarin aan bod:  een korte beschrijving van de systeemfuncties;  volgorde waarin de deze systeemfuncties uitgevoerd worden;  keuzemomenten en condities (indien van toepassing) die bepalend zijn voor de volgorde van uitvoeren. Controle of de producten die de samenhang beschrijven en of de geëiste aspecten daarin voorkomen.

5.3.7 Beschrijving functioneel bouwblok Eis: Specificatie:

Meetvoorschrift:

Elk Functioneel bouwblok is volledig beschreven. Volledig beschreven houdt het volgende in:  doel en gebruik;  geautoriseerde gebruikersrol;  procesbeschrijving (stappen, keuzemomenten, controles);  uitvoerproductbeschrijving (indien van toepassing);  gebruikte schermen en schermverloop (indien van toepassing);  specifieke eisen (indien van toepassing);  kwantitatieve gegevens over gebruik. Indien een aspect niet van toepassing is dan is dat aangegeven. Controle steekproefsgewijs of de aspecten beschreven zijn.

5.3.8 Vastlegging analyse gebruik DAO laag Eis: Specificatie:

Meetvoorschrift:

Per functioneel bouwblok is een 'analyse' aanwezig op het gebruik van de DAO-laag. De analyse bevat minimaal welke services en/of service-operaties en eventueel andere interfaces gebruikt worden en hoe de aanroep plaatsvindt. Controle steekproefsgewijs of de aspecten beschreven zijn.

5.3.9 Vastlegging eigenschappen scherm Eis: Specificatie:

Elk scherm is beschreven. Per scherm:



  

Meetvoorschrift:

naam van het scherm; schermgedrag; rubrieken, per rubriek of het een invoer of uitvoerrubriek is, verplicht/optioneel in te vullen;  werking van knoppen;  meldingen. Controle steekproefsgewijs of de schermbeschrijvingen aan de eisen voldoen.

5.3.10 Vastlegging gegevensstructuren Eis: Specificatie:

Meetvoorschrift:

De gegevensstructuur is beschreven in een conceptueel gegevensmodel (bijvoorbeeld een informatiemodel). Minimaal de volgende aspecten zijn beschreven:  een diagram met alle entiteiten en alle onderlinge relaties;  per entiteit een definitie en de attribuutsamenstelling;  per attribuut een definitie, lengte, type, waardenbereik, uniciteit, afleidingsregels;  per relatie de optionaliteit en cardinaliteit;  eventuele constraints/regels. Controle of de genoemde producten en aspecten beschreven zijn.

5.3.11 Vastlegging begrippen Eis: Specificatie:

Meetvoorschrift:

Begrippen zijn gedefinieerd. Alle begrippen die voorkomen in het ontwerp moeten voorzien zijn van een definitie. Een deel van de begripsdefinities is vastgelegd in het gegevensmodel. Begrippen die worden gehanteerd en niet in het gegevensmodel terugkomen, moeten ook van definitie worden voorzien en beschikbaar zijn. Controle of begrippen gedefinieerd zijn. Deze controle wordt gecombineerd met andere controles.

5.3.12 Vastlegging SOA-service Eis:

Per SOA-service is een volledige specificatie aanwezig die voldoet aan de eisen.

Specificatie:

De specificatie van een SOA-service voldoet aan de volgende eisen (bezien vanuit de leveranciersrol en uiteraard indien van toepassing):  per service de naam van service en één of meer contracten;  per contract het versienummer en de operaties;  per operatie de in- en uitgaande berichten;  per operatie een functionele beschrijving van de werking van de operatie;  per bericht de rubrieken;  per rubriek een 'type-koppeling' met een samengesteld of enkelvoudig gegevenstype in het DUO Gegevenswoordenboek of een zelf gedefinieerd type;  per rubriek de samenstelling (indien het een samengestelde rubriek betreft);  per rubriek een beschrijving, lengte, type. Controle per service of de beschrijving aan de eisen voldoet.

Meetvoorschrift:

5.4 Eisen gesteld aan de technische (code)componenten 5.4.1 Stap-voor-stap beschrijving ontwikkelomgeving Eis: Specificatie:

De bron code is voorzien van een stap-voor-stap beschrijving hoe deze in een (open source) ontwikkelomgeving op te nemen. Het stappenplan kan zonder vragen doorlopen worden, en er blijven geen andere dan de gedocumenteerde warnings (géén errors) over.



Doel is om snel een ingerichte ontwikkelomgeving te hebben zodat de code beheerd kan worden.

Meetvoorschrift:

Toelichting: Het gaat bijvoorbeeld voor Java om de stappen om de bron code in de aangeleverde vorm in Eclipse (of Netbeans) te krijgen. Dit inclusief alle stappen en Eclipse instellingen om zonder errors en/ of (ongedocumenteerde) warnings over te blijven." Controle van beschreven stappen met de standaard ontwikkelomgeving voor het betreffende platform.

5.4.2 Deployment handleiding Eis:

Specificatie:

Meetvoorschrift:

Er dient een deployment handleiding te zijn. Welke stappen moeten doorlopen worden om de opgeleverde module werkend op te nemen in de uiteindelijke applicatie. Het stappenplan kan zonder vragen doorlopen worden en leidt tot een uitvoerbare vorm van de applicatie, inclusief opgeleverde module in de voor die applicatie relevante omgeving. Voorbeeld: Componenten voor examenafnameapplicatie: Beschrijf de stappen die nodig zijn om de module in de examenapplicatie werkend te krijgen (incl. settings, properties, etc). Lever hierbij eventueel een test-frame om de werking eenvoudig aan te kunnen tonen. Controle van de beschreven stappen met de standaard ontwikkelomgeving voor het betreffende platform.

5.4.3 Code is voorzien van technisch ontwerp Eis: Specificatie:

Meetvoorschrift:

De code is voorzien van technische documentatie (een technisch ontwerp). De technische documentatie bevat altijd het technische overzicht, datamodel en de noodzakelijke instellingen. Het technisch overzicht toont minimaal de modules binnen de applicaties, waar gegevens uit de database gebruikt worden en externe connecties (zoals aanroep ander systeem, ESB aanroepen, koppeling via batch/ bestand). Het datamodel mag (mits deze overeenkomen) een copy of verwijzing zijn naar het logisch en/ of informatiemodel. Indien er afwijkingen tussen logisch datamodel (of informatie model) en technisch datamodel zijn, is het technische datamodel aanwezig en het waarom achter deze afwijkingen aanwezig. Indien de code specifieke constructies bevat in verband met performance en/ of beveiliging is een toelichting aanwezig. Toelichting: Er kunnen om specifieke voorwaarden ogenschijnlijk minder voor de hand liggende keuzes gemaakt worden. De technische documentatie dient om deze redenen duidelijk te maken." Controle of de technische documentatie minimaal een technisch overzichtsschema, het datamodel, de noodzakelijke instellingen, (indien afwijkend van het logisch datamodel) een toelichting op het technisch datamodel en (indien relevant) specifieke performance of beveiligingskeuzes bevat.

5.4.4 Vastlegging bouwtesten (unittesten) Eis: Specificatie:

De code is voorzien van een beschreven bouwtest met gladde gevallen die conform beschrijving foutloos draaien De gladde gevallen kunnen zonder vragen uitgevoerd worden waarbij de uitkomsten overeenkomen met de beschrijving. Het totaal van gladde gevallen toont aan dat alle onderdelen van de applicatie technisch samenwerken. Of andersom, indien een tabel, module of ESB service wordt verwijderd of uitgeschakeld, zal tenminste één geval in de bouwtest niet meer uitvoerbaar zijn of tot een afwijkend resultaat leiden. Toelichting: Als het bijvoorbeeld gaat om een webapplicatie bestaande



Meetvoorschrift:

uit 4 modules waar gegevens uit een database en een ESB servicecall komen, is een set gladde gevallen die elke module, de database connectie en de ESB servicecall minimaal één keer raakt afdoende. De voorkeur gaat uit naar een realistisch gebruikelijk normaal goedgeval." Controle van de beschreven proefgevallen met de applicatie en vergelijkt de uitkomsten met de beschrijving.

5.4.5 Kwaliteitscontrole van de broncode Eis: Specificatie:

Om de kwaliteit van de code te kunnen waarborgen, is een controle van de code een vast onderdeel van het acceptatieproces. De kwaliteit van de broncode wordt getoetst door middel van Sonar. [Ref. 26]

Meetvoorschrift:

http://www.sonarsource.org/

Indien onderstaande grenswaarden worden overschreven, zal de code niet geaccepteerd worden Sonar measurement Evaluation Error Coverage < 70% Rules compliance < 80% Blocker violations > 0 / KLOC Critical violations > 0 / KLOC Major violations > 10 / KLOC Duplicated lines > 2,5% Unit test success < 100% Complexity / method > 2,5



6 Release management Release management beschrijft alle noodzakelijke processen en technieken die nodig zijn voor het in productie brengen van een nieuwe versie van het computerexamensysteem.


6.1 Release-examen De dienst kent twee fasen om de processen te doorlopen. De eerste of initiële fase voorziet in het opleveren van een nieuw examen. De vervolgfase voorziet in het aanpassen en opleveren van een nieuwe versie van het eerder opgeleverd examen, door middel van een erratum op het examen. Een vastgesteld erratum kan leiden tot een aanpassing van het examen of het correctievoorschrift bij het examen. Afhankelijk van het erratum zal besloten worden of het procedureel kan worden opgelost of dat het examen ook daadwerkelijk aangepast dient te worden. Beide fasen doorlopen exact dezelfde processen en leveren uiteindelijk een bepaalde versie op van een examen. De vervolgfase kan meerdere keren voorkomen. Initiële fase (versie 1.0 van het examen)

Vervolgfase (versie 1.1 van het examen) Vervolgfase (versie 1.2 van het examen) Een aanpassing van het examen kan tot 48 uur voor de eerste afname van het examen worden doorgevoerd.

6.2 QTI Lifecycle De lifecycle van de QTI-standaard wordt grotendeels bepaald door de roadmap van de standaard en kent een lange levenscyclus. Op dit moment is versie 1.2 de officiële versie, echter, versie 2.1 zal deze standaard op korte termijn gaan vervangen. Het examensysteem is ontworpen voor gebruik van de 2.1 versie. Versieveranderingen hebben veelal een grote impact op de werking van het systeem, daarom zal een versie van een bepaalde standaard nooit van de ene op de andere dag veranderen, maar altijd een bepaalde acceptatie- of implementatiefase kennen. Het is van belang dat het computerexamensysteem de lifecycle van de standaard volgt en adaptief nieuwe versies van de standaard adopteert.



7 Operationeel beheer Zodra het computerexamensysteem in productie genomen is, moet het ook operationeel onderhouden worden. Hiervoor zijn processen en technieken nodig die de beschikbaarheid van het systeem bewaken en garanderen. Deze processen en technieken zijn binnen DUO belegd.


7.1 Ketenmonitoring Daar de correcte werking van het systeem cruciaal is voor de afnamen van examen door de examenlocaties is het goed monitoren van het systeem belangrijk. Mede door de verschillende verantwoordelijkheidsgebieden die het computerexamensysteem in de gehele keten onderkent tijdens een afname, maakt het monitoren van de gehele keten noodzakelijk.

7.2 Performancekarakteristieken Het computerexamensysteem is ontworpen met in het achterhoofd de flexibiliteit en kracht van horizontale schaling. Dit betekent dat het geheel (dat wil zeggen de infrastructurele en applicatieve componenten) in staat moet zijn om capaciteit bij te kunnen plaatsen zonder dat dit tot een performancedegradatie leidt. In essentie moet het bijplaatsen van capaciteit volgens een lineaire grafiek verlopen, waarbij het verlies niet meer mag bedragen dan 15%.

Aantal systemen vs capaciteit Capaciteit

15 10

Nominaal

5

Ondergrens

0 n

2n

3n

4n

5n

6n

7.3 Ondersteuningsmodel De ondersteuning en het beheer van het digitale examenproces en het computerexamensysteem dienen compleet en effectief te zijn. Om dit te realiseren zal uitgegaan worden van het onderstaande model:





8 Beveiliging Beveiliging stelt richtlijnen en procedures op die de beschikbaarheid en integriteit van het examensysteem met de bijbehorende informatie en data garanderen. De afspraken en procedures zijn vastgelegd in diverse documenten op departements- en sectorniveau.

8.1 Autorisatie op gegevensobjecten Grofweg kunnen de volgende autorisaties op de samengestelde gegevensobjecten geïdentificeerd worden. De autorisaties worden door middel van Role Based Acces Control (RBAC) opgelegd. [Ref. 27]

http://nl.wikipedia.org/wiki/RBAC

R

R RU RU

Functioneel beheerder rapportage

Vaksectie

R R R

Corrector

R R R

Surveillant

Kandidaat

Examensecretaris

IT-beheerder

Examenleverancier

R R R

Examinator

CvE

CRU CRU CRU R

Rol RD RUD RUD CRUD CRUD CRUD D

Gegevensobject QTI-bestand Examen Examenvariant Examenleverancier Correctieronden Omzettingstabel Examenalias Examenafnamegroep Examenafname Examenkandidaat Mens Geboorte NaamgevingMens IdentificatieMens Afnamerespons ExamenAfnameStuurgegevens Afnamecorrectie AfnameItemcorrectie Examenfunctionaris Zakelijkgebruiker Onderwijslocatie Onderwijsdeelname Vak

R R CR CRUD CRUD CRUD CRUD CRUD CRUD CRUD

R R R R R R R R R CRUD

CRU R R R

CRUD CRUD R R R

R R R R R R R R CRUD R

R R R R R R R R R CRU CRU R R R R R R R C=Create, R=Read, U=Update, D=Delete

R

8.2 Authenticatiemechanismen Vaksectie

Functioneel beheerder rapportage

√

Corrector

√

Surveillant

Kandidaat

Examensecretaris √ √

IT-beheerder

Examenleverancier √ √

Examinator

CvE √ √

Rol

√ √

√ √

√ √

Authenticatiemechanisme Wachtwoord Token

8.3 Securitydomeinen Omdat voortijdig beschikbaar komen („uitlekken‟) van examens en het niet correct kunnen afnemen van het examen een hoog aandachtsgehalte heeft van zowel de overheid alsook van de burgers, is de integriteit en de beschikbaarheid van het systeem van groot belang. Een fout in het systeem heeft een groot afbreukrisico in het vertrouwen in en de acceptatie van het systeem.



Voor het garanderen van de integriteit en de beschikbaarheid zijn een aantal conceptuele maatregelen gedefinieerd, die in deze paragraaf zijn uitgewerkt. Het gehele systeem is hiervoor in beveiligingsdomeinen ingedeeld, waarbij de kleur indicatief is voor de risicoklasse.




9 Bijlagen 9.1 Afkortingen Term

Beschrijving

AVO BRON BSN BVE CBT CE CSE CSPE EOS Havo Mbo Mavo NORA NT2 PO PGN ROC SA / SAS SCORM SE STEX Vavo Vbo Vmbo - bb - kb - gl - tl Vo Vwo

Algemeen Vormende Vakken Basisregister Onderwijs Burger Service Nummer Beroepsonderwijs en Volwasseneneducatie Computer Based Test(ing) Centraal Examen Centraal Schriftelijk Examen Centraal Schriftelijk en Praktisch Examen Examen Organisatie Systeem (voor NT2-examens) Hoger algemeen voortgezet onderwijs Middelbaar beroepsonderwijs Middelbaar algemeen voortgezet onderwijs Nederlandse Overheid Referentie Architectuur Nederlands als tweede taal Primair onderwijs Persoonsgebonden nummer Regionaal Opleidingscentrum Schooladministratie Systeem Sharable Content Object Reference Model Schoolexamen Staatsexamen Voortgezet Algemeen Volwassenen Onderwijs Voorbereidend beroepsonderwijs Voorbereidend middelbaar beroepsonderwijs Basisberoepsgerichte leerweg Kaderberoepsgerichte leerweg Gemengde leerweg Theoretische leerweg Voortgezet onderwijs Voorbereidend wetenschappelijk onderwijs



9.2 Begrippen en definities Een architectuur start met een eenduidig en gemeenschappelijk beeld van begrippen en definities. Om die reden is de volgende begrippen en definitielijst toegevoegd:

9.2.1 Aanvulling op correctievoorschrift Oorsprong: Definitie: Zie (ook):

College voor Examens Aanpassing van een correctievoorschrift Correctievoorschrift, Erratum, Correctie

9.2.2 Adaptieve toets Oorsprong: Definitie:

Zie (ook):

College voor Examens Een examen waarbij de zwaarte van de opgaven en de volgorde van de opgaven dynamisch wordt bepaald tijdens de afname, afhankelijk van de gegeven antwoorden. Computerexamen

9.2.3 Afname Oorsprong: Definitie: Zie (ook):

College voor Examens De plaats, datum en tijd waarop een kandidaat het digitale examen wordt afgenomen. De gebeurtenis van het afnemen van een examen. Examenlocatie, Kandidaat, Examen

9.2.4 Afnamegroep Oorsprong: Definitie:

Zie (ook):

College voor Examens Een afnamegroep staat voor een groepering van kandidaten die onder dezelfde voorwaarden, voornamelijk examen, locatie en tijd, een examen wordt afgenomen. Afname

9.2.5 ArchiMate Oorsprong: Definitie:

Zie (ook):

Architectuur / The Open Group ArchiMate is een modelleringtechniek die toegepast wordt voor het vormgeven van enterprise-architecturen. ArchiMate is van oorsprong ontwikkeld door de Universiteit van Twente met medewerking van een aantal Nederlandse overheidsinstellingen en bedrijven. http://www.archimate.org/

9.2.6 Authenticatie Oorsprong: Definitie:

Zie (ook):

IT Authenticatie is het proces waarbij iemand een computer of applicatie nagaat of een gebruiker, een andere computer of applicatie daadwerkelijk is wie hij beweert te zijn. Bij de authenticatie wordt gecontroleerd of een opgegeven bewijs van identiteit overeenkomt met echtheidskenmerken, bijvoorbeeld het in het systeem geregistreerde bewijs. De authenticiteit van het object moet worden nagegaan. Er zijn verschillende vormen van authenticatie die eventueel gecombineerd kunnen worden om een hoger of lager niveau van beveiliging op te leveren. Daarbij zijn drie vormen van bewijs bruikbaar:  iets wat je weet (zoals een wachtwoord)  iets wat je bezit (zoals een token)  iets wat je bent (persoonlijke eigenschap, zoals een irisscan) http://nl.wikipedia.org/wiki/Authenticatie

9.2.7 Autorisatie Oorsprong: Definitie:

IT Autorisatie in de informatica is het proces waarin een subject (een persoon of een proces) rechten krijgt op het benaderen van een object (een bestand, een systeem). De autorisatie wordt toegekend door de objecteigenaar. Het leidende principe daarbij is „need-to-know‟: je mag alleen zien wat je voor je functie nodig hebt. Er bestaat een direct



Zie (ook):

verband met administratieve organisatie. Authenticatie, http://nl.wikipedia.org/wiki/Autorisatie

9.2.8 Beschikbaar stellen examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Het in de repository plaatsen van een vastgesteld computerexamen, zodat deze beschikbaar is voor de examenlocaties. Het betreft hier expliciet niet het openbaar maken van een computerexamen. Computerexamen, Repository, Openbaar maken examen

9.2.9 Bevoegd gezag Oorsprong: Definitie:

College voor Examens Instantie die wettelijk verantwoordelijk is voor een of meerdere onderwijsinstellingen en daarmee voor de gegevensleveringen door die onderwijsinstelling(en)

9.2.10 Bouwstenen Oorsprong: Definitie:

Zie (ook):

Architectuur (vrije vertaling Building Block) Bouwstenen zijn standaard blokken met duidelijk gedefinieerde grenzen die veelal een relatie hebben met andere bouwstenen. TOGAF definieert deze bouwstenen als ABB‟s en SBB‟s. Architecture Building Block, Solution Building Block

9.2.11 BRIN Oorsprong: Definitie:

Dienst Uitvoering Onderwijs Code bestaand uit twee cijfers plus twee letters waarmee een onderwijsinstelling uniek wordt geïdentificeerd binnen de Basis Registratie Instellingen. BRIN wordt vaak uitgebreid met een tweecijferige locatiecode.

9.2.12 CBT-examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Een computerexamen waarbij alle opgaven van een examen op het scherm getoond worden, de antwoorden op de computer worden ingegeven en ook de correctie op de computer plaatsvindt. Compex-examen, Computerexamen

9.2.13 Centraal Examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Het Centraal Examen is een landelijk examen en voor alle scholen gelijk. Het maakt samen met het schoolexamen deel uit van het eindexamen voor het voorbereidend wetenschappelijk onderwijs (vwo), hoger algemeen voortgezet onderwijs (havo), middelbaar algemeen voortgezet onderwijs (mavo) en de algemene vakken in het voorbereidend beroepsonderwijs. Eindexamen, Examen

9.2.14 Compex-examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Een papieren examen op het vmbo-gl/tl, havo, vwo, waarbij de computer bij een aantal opgaven als hulpmiddel moet worden gebruikt om die opgaven te kunnen beantwoorden. CBT-examen, Computerexamen

9.2.15 Computerexamen (Digitaal examen) Oorsprong: Definitie:

Zie (ook):

College voor Examens Algemene term waarmee alle examens worden aangeduid waarbij de computer een rol speelt. Hieronder vallen de „Compex-‟ en CBTexamens. Compex-examen, CBT-examen



9.2.16 Computerexamensysteem Oorsprong: Definitie:

College voor Examens Het geheel van software, hardware en functionele onderdelen dat het mogelijk maakt om CBT-examens (beeldschermexamens) af te nemen, te oefenen, in te zien en te corrigeren.

9.2.17 Constructieopdracht Oorsprong: Definitie: Zie (ook):

College voor Examens Opdracht van CvE aan een examenleverancier tot het maken van een (computer)examen Computerexamen, CBT-examen

9.2.18 Correctie Oorsprong: Definitie: Zie (ook):

College voor Examens Het handmatig (corrector) of automatisch (systeem) scoren van het afgenomen examen Correctievoorschrift

9.2.19 Correctiemethodiek Oorsprong: Definitie:

Zie (ook):

College voor Examens Beschrijving van specifieke kenmerken van de correctie voor een bepaald examen. Een voorbeeld van een kenmerk is het aantal correctieronden voor een examen. Correctie, Correctievoorschrift

9.2.20 Correctievoorschrift Oorsprong: Definitie:

Zie (ook):

College voor Examens Het voorschrift dat de corrector moet hanteren bij handmatige correctie van een opgave. Op basis van het correctievoorschrift worden scores toegekend. Correctie, Correctiemethodiek, Erratum

9.2.21 Dienst Oorsprong: Definitie:

Zie (ook):

College voor Examens De volgende definitie is grotendeels ontleend aan de NORA: een dienst is het resultaat of effect van een afgeronde inspanning die de aanbieder op basis van vooraf gemaakte afspraken (contracten) levert en waarmee in een behoefte van een afnemer wordt voorzien. http://e-overheid.nl/onderwerpen/architectuur-en-nora

9.2.22 Eindexamen Oorsprong: Definitie:

Zie (ook):

College voor Examens Het eindexamen van het voorbereidend wetenschappelijk onderwijs (vwo), hoger algemeen voortgezet onderwijs (havo), middelbaar algemeen voortgezet onderwijs (mavo) en de algemene vakken in het voorbereidend beroepsonderwijs (vbo) bestaat uit twee delen: het schoolexamen en het centraal examen. Het schoolexamen wordt door de school georganiseerd en afgenomen; het centraal examen is een landelijk examen en voor alle scholen gelijk. Centraal Examen, Schoolexamen



9.2.23 Eindscore Oorsprong: Definitie: Zie (ook):

College voor Examens Het totaal aan verkregen scores per opgave na correctie van het afgenomen examen Correctie, Correctievoorschrift

9.2.24 Erratum Oorsprong: Definitie:

College voor Examens Een aanpassing op een al vastgesteld examen dat leidt tot een aanpassing van het bestaande (en verspreide) examenbestand.

9.2.25 Examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Een examen is een afsluiting van een opleiding of een deel van een opleiding. Het voorbereidend wetenschappelijk onderwijs (vwo), het hoger algemeen voortgezet onderwijs (havo), het middelbaar algemeen voortgezet onderwijs (mavo) en de algemene vakken in het voorbereidend beroepsonderwijs (vbo) zijn voltooid na het examen. De meeste opleidingen in beroepsonderwijs en educatie kunnen worden afgesloten met een examen of een staatsexamen. Centraal Examen, Staatsexamen

9.2.26 Examenalias Oorsprong: Definitie: Zie (ook):

Dienst Uitvoering Onderwijs Alternatieve naam (alias) voor een examen (variant). De alias varieert per examenlocatie. Examen, Examenvariant

9.2.27 Examenbestand Oorsprong: Definitie: Zie (ook):

College voor Examens Het fysieke bestand in QTI-formaat dat het inhoudelijke examen bevat. QTI, Examen

9.2.28 Examenleider (STEX) Oorsprong: Definitie:

Zie (ook):

College voor Examens De examenleider is namens de voorzitter van de staatsexamencommissie (STEX) en onder diens verantwoordelijkheid belast met de leiding van het examen op de plaats waar dit wordt afgenomen. Staatsexamen VO, Staatsexamen NT2

9.2.29 Examenlocatie Oorsprong: Definitie:

Zie (ook):

College voor Examens De fysieke geografische locatie waar een computerexamen kan worden afgenomen. Dit kan zijn een staatsexamenlocatie of (vestiging van een) school. Onderwijslocatie

9.2.30 Examensecretaris Oorsprong: Definitie:

Zie (ook):

College voor Examens Regisseur van de digitale examens op een examenlocatie ten aanzien van alle zaken die relevant zijn, zoals: 1. welk examen wordt aangeboden; 2. welke leerlingen aan het examen deelnemen; 3. op welke dag/dagen de leerlingen dit examen kunnen maken; 4. welke docent zorgt voor de correctie van de open opgaven (indien van toepassing). Examen, Afname, Afnamegroep, Correctie

9.2.31 ExamenTester Oorsprong:




Definitie: Zie (ook):

De examensoftware die op dit moment in gebruik is voor de CBTexamens. Voorheen was dit CitoTester. Computerexamensysteem

9.2.32 Examenvariant Oorsprong: Definitie: Zie (ook):

College voor Examens Voor hetzelfde examenvak kunnen meerdere varianten worden gemaakt. Examen, Examenalias

9.2.33 Examinator Oorsprong: Definitie:

Zie (ook):

College voor Examens Specifieke rol verantwoordelijk voor de zelfstandige afname van minitoetsen, waarbij de examinator de rol van examensecretaris tijdelijk overneemt. Examensecretaris

9.2.34 Flexibel examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Examenvorm waarbij een school meerdere varianten van een examen ontvangt. De school kan de examens zelf plannen, dit geldt ook voor het inhalen en herkansen. Examen

9.2.35 FT-Examen Oorsprong: Definitie:

Zie (ook):

College voor Examens Het functionaliteitentestexamen voor examenlocaties om te testen of de lokale voorzieningen (met name ICT) de digitale examens goed kunnen weergeven en afnemen. Computerexamensysteem, Examenlocatie

9.2.36 Herkansingvariant Oorsprong: Definitie: Zie (ook):

College voor Examens Gelijk de examenvariant kunnen voor hetzelfde vak meerdere varianten worden gemaakt. Examen, Examenalias

9.2.37 Horizontale schaling Oorsprong: Definitie:

Zie (ook):

IT Het op rendabele wijze toevoegen en verwijderen van capaciteit aan live draaiende toepassingen. Met veel gestandaardiseerde systemen wordt een totaalsysteem gebouwd die een grote capaciteit heeft. Deze wijze wordt ook wel scale out genoemd, de tegenhanger van horizontale schaling is verticale schaling (scale up). http://en.wikipedia.org/wiki/Scalability

9.2.38 Kandidaat Oorsprong: Definitie: Zie (ook):

College voor Examens Natuurlijk persoon dat een centraal of staatsexamen in het VO of NT2examen wordt afgenomen. Examen, Afname

9.2.39 Afnamerespons Oorsprong: Definitie:

Zie (ook):

Dienst Uitvoering Onderwijs Het totaal van alle antwoorden en psychometrische gegevens van een kandidaat die behoren bij een afname. Het formaat is tevens vastgelegd in de QTI standaard http://www.imsglobal.org/question/qtiv2p1pd2/imsqti_infov2p1pd2.html #section10082, Afname

9.2.40 Layout engine Oorsprong:

WWW



Definitie:

Zie (ook):

Een layout engine, rendering engine of opmaakengine is software die webinformatie (zoals HTML, XML, plaatjes etc.) en opmaakinformatie (zoals CSS, XSL etc) weergeeft op het scherm. Een layout engine wordt meestal gebruikt door webbrowsers, e-mailclients of andere programma's die webinformatie weergeven. Voorbeelden van layout engines zijn: Gecko, Presto en KHTML. http://nl.wikipedia.org/wiki/Layout_engine

9.2.41 Leerweg Oorsprong: Definitie: Zie (ook):

College voor Examens Specifieke richting binnen het vmbo Vmbo, Schooltype

9.2.42 N-term Oorsprong: Definitie:

Zie (ook):

College voor Examens De N-term of normeringsterm is een omrekeningsfactor die gebruikt wordt bij het omzetten van een score naar een cijfer van een centraal VO-examen. Omzettingstabel

9.2.43 Najaarscorrectie Oorsprong: Definitie: Zie (ook):

College voor Examens Een collectieve controle (audit) van het handmatige correctiewerk van examens Correctie

9.2.44 Normering Oorsprong: Definitie: Zie (ook):

College voor Examens De door het College van Examen vastgestelde regels voor de omzetting van de scores in cijfers Omzettingstabel

9.2.45 Niet geregistreerde kandidaat Oorsprong: Definitie:

Zie (ook):

College voor Examens Kandidaat die niet bekend is in het basisregister onderwijs (BRON) en onbekend is in het Examen Organisatie Systeem (EOS) en die op een examenlocatie een examen wordt afgenomen. Kandidaat

9.2.46 Omzettingstabel Oorsprong: Definitie: Zie (ook):

College voor Examens Een omrekeningstabel waarin voor een bepaald examen bij ieder mogelijke score het cijfer wordt gegeven Eindscore

9.2.47 Offline afname Oorsprong: Definitie: Zie (ook):

College voor Examens Een afname waarbij het CBT-examen via een lokale (decentrale) voorziening op de examenlocatie wordt afgenomen Afname, Online afname

9.2.48 Online afname Oorsprong: Definitie:

Zie (ook):

College voor Examens Een afname waarbij het CBT-examen via een centrale (via internet te bereiken) voorziening op de examenlocatie wordt afgenomen. Hiervoor is een continu werkende internetverbinding met voldoende capaciteit nodig. Afname, Offline afname

9.2.49 Openbaar maken examen Oorsprong:




Definitie: Zie (ook):

Het openbaar publiceren van een (gebruikt) examen Beschikbaar stellen examen

9.2.50 Opgave (examenopgave) Oorsprong: Definitie:

Zie (ook):

College voor Examens De wijze waarop de bekwaamheid van een kandidaat wordt getoetst binnen een examen. Veelal in de vorm van een open of gesloten vraag of verzoek tot uitvoeren van handelingen. Examen

9.2.51 Opleiding Oorsprong: Definitie:

Zie (ook):

College voor Examens  Opleiding Schoolsoort  Vwo vwo  Havo havo  Vmbo mavo en vbo Schoolsoort

9.2.52 Pooling Oorsprong: Definitie:

Zie (ook):

College voor Examens Automatisch en rekenkundig toekennen van een school (examenlocatie) waarvan verwacht wordt dat die de tweede correctie op een afname zal uitvoeren. De poolinggegevens zijn beschikbaar via EOS. Afname, Correctie, Examenlocatie

9.2.53 QTI Oorsprong: Definitie:

Zie (ook):

IMS Global Learning Consortium IMS Question and Test Interoperability (QTI) is een standaard die voorziet in het uitwisselen van opgavereeksen, zoals deze gebruikt worden tijdens een examen. Het examensysteem is gebaseerd op versie 2.1. In principe legt de QTI-standaard geen opmaak specifieke aspecten vast. QTI+, http://www.imsglobal.org/question/

9.2.54 QTI+ Oorsprong: Definitie:

Zie (ook):

College voor Examens De QTI+ bevat de QTI-standaard inclusief de uitbreidingen (extensies) die noodzakelijk zijn om de gewenste CBT-examens weer te geven. Deze extensies maken geen onderdeel uit van de QTI-standaard en zijn vastgesteld door het CvE en de examenleverancier. QTI

9.2.55 Rechtmatigheidscontrole Oorsprong: Definitie:

Zie (ook):

College voor Examens Een controle binnen het voortgezet onderwijs op een correcte registratie van de kandidaat in BRON volgens vastgestelde voorwaarden om rechtmatig deel te mogen nemen aan een examen. Afname

9.2.56 Repository Oorsprong: Definitie:

Zie (ook):

IT Een faciliteit waar computergegevens, data of software en dergelijke opgeslagen worden. Veelal is een repository een gecentraliseerde bewaarplaats waar vandaan vele afnemers op een eenduidige manier (software)componenten kunnen betrekken. http://repository.kennisnet.nl/repository



9.2.57 Schoolsoort Oorsprong: Definitie:

Zie (ook):

College voor Examens Schoolsoort Vwo Havo Mavo Vbo Opleiding

    

Opleiding vwo havo vmbo vmbo

9.2.58 Staatsexamen VO Oorsprong: Definitie:

Zie (ook):

College voor Examens Examen dat volwassenen in staat stelt diploma‟s en getuigschriften te behalen die gelijkwaardig zijn aan die van het onderwijs voor jongeren. Van deze examenvorm wordt gebruikgemaakt door een aantal groepen, te weten: scholen die geen examenbevoegdheid hebben en personen die niet verbonden zijn aan een school. Staatsexamen NT2, Centraal examen, Examen

9.2.59 Staatsexamen NT2 Oorsprong: Definitie:

Zie (ook):

College voor Examens Het Staatsexamen NT2 is een examen Nederlands voor mensen met een andere moedertaal die op latere leeftijd Nederlands hebben geleerd. Zij kunnen met het Staatsexamen NT2 laten zien dat zij de Nederlandse taal voldoende beheersen om in Nederland te kunnen werken of studeren. Staatsexamen VO

9.2.60 Spraaksynthese Oorsprong: Definitie:

College voor Examens Spraaksynthese is het kunstmatig produceren van menselijke spraak. Ook wel: text-to-speech (TTS), computerstem, tekst-naar-Spraak, kunstmatige spraak. Het is onder meer een onderzoeksgebied binnen de kunstmatige intelligentie. Met behulp van spraaksynthesesoftware wordt geschreven (orthografische of fonetische) tekst omgezet in gesproken tekst.

9.2.61 Verklanking Oorsprong: Definitie:

Zie (ook):

College voor Examens Het vertalen van tekst naar spraak. Dit kan door middel van het vooraf inspreken van teksten in een digitaal audioformaat of het direct automatisch synthetisch verklanken van tekst. Spraaksynthese

9.2.62 Vraag Oorsprong: Definitie: Zie (ook):

College voor Examens Een open of gesloten vorm van een (examen)opgave Opgave

9.2.63 Vmbo Oorsprong: Definitie:

College voor Examens Opleiding voor voorbereidend middelbaar beroepsonderwijs Bb Basisberoepsgerichte leerweg Kb Kaderberoepsgerichte leerweg Gl Gemengde leerweg Tl Theoretische leerweg

Zie (ook):

Mavo, Vbo en Opleiding



9.2.64 Vwo College voor Examens Schoolsoort en opleiding voor voorbereidend wetenschappelijk onderwijs Mavo, Vbo en Opleiding

Oorsprong: Definitie: Zie (ook):

9.2.65 Zakelijk portaal Dienst Uitvoering Onderwijs Het portaal of de ingang die door DUO beschikbaar wordt gesteld voor het ontsluiten van eigen webdiensten voor zakelijk gebruik. De (zakelijke) gebruikers zijn voornamelijk onderwijsinstellingen en overheidsinstellingen. Authenticatie

Oorsprong: Definitie:

Zie (ook):

9.3 Acceptatiefasering computerexamensysteem

Cl i entlockdowncomponent

Afnamecorrectieapplicatie

x x

Examenoefenapplicatie

Afname Clientapplicatie

Afnameresultaatapplicatie

Preview Clientapplicatie

x

La youtengi necomponent

Examenafnameapplicatie

Afnamedashboardapplicatie

QTI-Engi necomponent

Examenpreviewapplicatie

Afnamebeheerapplicatie

Rapportageapplicatie

Examenbeheerapplicatie

Component / Applicatie

Kandidaatbeheerapplicatie

Gedurende het project zijn vijf formele acceptatiemomenten gedefinieerd, dit is inclusief acceptatie van de ontwerpen. Tijdens deze acceptatiemomenten zal op basis van onderstaande fasering de functionele samenhang van het gehele systeem getest worden door middel van een ketentest. De ketentest zal plaatsvinden van examenleverancier tot en met de examenlocatie alwaar een afname plaatsvindt. CvE zal hiervoor de juiste partijen op de juiste acceptatiemomenten laten aanhaken.

Wie

x

x

Aa nbes tedi ng

Fase 1

x

Aa nbes tedi ng

x

Aa nbes tedi ng

Hul pmi ddel encomponent

x

Exa menprevi ewcomponent

x

Afna mes chi l component

x

x

Aa nbes tedi ng

Afna mecontrol ecomponent

x

x

Aa nbes tedi ng

x

Aa nbes tedi ng

Afna meres pons ecomponent

x

x x

Afna meres ul taa tcomponent

x

Aa nbes tedi ng

x

Aa nbes tedi ng

x

Aa nbes tedi ng

x

DUO

DUO Abs tra ctiel a a g (DAO)

x

Exa menbeheercomponent

x

DUO

x

DUO

Ka ndi da a tbeheercomponent

x

Ka ndi da a timportcomponent

x

x

x

x

x

EOS-i mportcomponent

x x

Omzetti ngtabel i mportcomponent

x

Archi veri ngs component

x

100 100

x

Fase 7 100

50

100

50

100

x

50

100 100 25

50

100 50 100

50

100

50

100

100

50

50 100

100 100 25

DUO DUO

50

DUO DUO x

DUO

Afna meres ul taa texportcomponent

x

DUO

Uitloop

100

DUO

Rechtma tighei dcontrol ecomponent

Fase 8

100

DUO

x

Afna memoni torcomponent

50 50

Fase 6 90

50

DUO x

Afna mebeheercomponent

25

DUO

x

Starts chermcomponent

Fase 5 70

Aa nbes tedi ng

x

Afna mecorrectiecomponent x

Fase 4 50

Aa nbes tedi ng

Ei nds corecomponent

x

Fase 3 30 100

100

Aa nbes tedi ng

x

Res pons everwerki ngcomponent

Exa meni mportcomponent

Fase 2 10

Ontwerpen

1e Acceptatie

2e Acceptatie

3e Acceptatie

100 100 100 100 100 100 4e Acceptatie

De kleuren en de getallen in de acceptatiefasering geven de geschatte percentages van de gevraagde functionaliteit die opgeleverd dient te worden.

Ontwerpen – In deze initiële fase dienen de volgende resultaten opgeleverd te worden:  functionele en technische ontwerpen, die aantonen dat zowel de aan te besteden partij als DUO de eisen juist geïnterpreteerd hebben  afgestemd berichten- en woordenboek voor de DAO 1e acceptatie – In deze fase dienen de volgende resultaten opgeleverd te worden, die vervolgens in samenhang getest gaan worden in een geïsoleerde testomgeving:  ten aanzien van de exameninhoud: een deel van de automatisch scoorbare opgaven, minimaal de multiplechoiceopgaven  navigatie en lay-out van het examen, het maken en afsluiten van een examen  verwerken van de Afnamerespons  examenbeheer dient gereed te zijn, met uitzondering van de omzettingstabel _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 94


 

de basisinfrastructuur moet er liggen om met een examenlocatie te kunnen testen QTI bestand: o Opmaak: Tekstformattering o Opmaak: Tabellen en lijsten o Interactions: Matrixvraag o Interactions: Multiple choice o Interactions: Multiple response o Hulpmiddelen: Symbolen o Systeem: Random

2e acceptatie – In deze fase dienen de volgende resultaten opgeleverd te worden, die vervolgens in samenhang getest gaan worden in een geïsoleerde testomgeving en bij de examenleverancier:  ten aanzien van de exameninhoud: alle automatisch scoorbare opgaven  alle automatisch scoorbare opgaven dienen ook daadwerkelijk automatisch gescoord te worden  previewapplicatie voor examenleveranciers  alle hulpmiddelen, minimaal de verklanking en loepfunctie  kandidaatbeheer dient gereed te zijn, met uitzondering van de schooladministratie-importfunctionaliteit  startscherm voor authenticatie dient gereed te zijn  QTI bestand: o Interactions: Opengatenvraag 3e acceptatie – In deze fase dienen de volgende resultaten opgeleverd te worden, die vervolgens in samenhang getest gaan worden in een testomgeving bij de examenleverancier en op de examenlocatie:  ten aanzien van de exameninhoud: alle open opgaven  examenclient met de lockdownfuncties  alle afnamecontroles dienen gereed te zijn  correctie dient gereed te zijn, met uitzondering van verwerken aantekeningen  afnamebeheer dient gereed te zijn, met uitzondering van EOS-import van staatsexamengegevens (kandidaten en planning)  QTI bestand: o Opmaak: Pop-ups o Opmaak: Layout binnen interacties o Interactions: Kort antwoord o Interactions: Essayvraag o Interactions: Grafisch positioneren o Interactions: Grafisch toewijzen o Hulpmiddelen: Letterplankje o Systeem: Tijdslimieten o Systeem: Mediabesturing o Systeem: Technische vereisten o Systeem: Waarschuwingen 4e acceptatie – In deze laatste fase dient het gehele systeem volgens specificatie opgeleverd te worden om vervolgens in samenhang getest te worden door alle ketenpartners:  verwerken correctie aantekeningen  inzageapplicatie  afnamemonitor  omzettingstabelfunctionaliteit  rechtmatigheidscontrole.  EOS-import functionaliteit staatsexamengegeven.  schooladministratie-importfunctionaliteit (kandidaten, logins)  schooladministratie-exportfunctionaliteit (scores en cijfers)  rapportages  archiveringsfunctionaliteit  eindscorecomponent  QTI bestand: o Interactions: Grafisch oriënteren o Interactions: Grafisch schalen o Interactions: Grafisch verbinden o Interactions: Grafisch vormen o Interactions: Spraak o Hulpmiddelen: Wiskundige formules o Hulpmiddelen: Calculator _____________________________________________________________________________ ____ Versie 1.0 Publicatiedatum: 07-02-2011 Pagina 95


o o

Hulpmiddelen: Naslagwerken Systeem: Adaptieve toetsen

9.4 ArchiMate Archimate is een open beschrijvende taal die ontwikkeld is binnen de Universiteit Twente in samenwerking met diverse Nederlandse (overheids)organisaties. De taal is in 2009 geadopteerd door The Open Group en zal naar alle verwachting op termijn geïncorporeerd worden in TOGAF. [Ref. 28]

ArchiMate: http://www.archimate.org/

[Ref. 29]

The Open Group: http://www.opengroup.org/

Object – Een object vertegenwoordigt bedrijfsinformatie. Actor – Een actor vertegenwoordigt een persoon of een organisatie(onderdeel). Role – Een role vertegenwoordigt de rol die een persoon heeft binnen een bepaald proces. Product – Een product vertegenwoordigt het te bewerken of te leveren product vanuit een proces. Service – Een service vertegenwoordigt een dienst op bedrijfsniveau. Proces – Een proces vertegenwoordigt een processtap die uitgevoerd wordt in een keten, een proces kan zelf weer bestaan uit deelprocessen en/of -functies. Trigger – Een trigger vertegenwoordigt een gebeurtenis die leidt tot een reactie. Added value – Een added value vertegenwoordigt een toegevoegde waarde. Role – Een role vertegenwoordigt een rol. Component – Een component vertegenwoordigt een (applicatieve) component. Function – Een functie beschrijft specifiek gedrag van de applicatie. Object – Een object vertegenwoordigt applicatieve informatie. Node – Een node vertegenwoordigt een technische component zoals een firewall of een infrastructurele applicatie. Device – Een device vertegenwoordigt een systeem. Network –Een network vertegenwoordigt het netwerk of een segment van het netwerk.

Realization – Realisatie: Het bronobject realiseert iets ten behoeve van het doel-object. Triggering – Alarmering of signalering: Het bronobject alarmeert het doelobject. Access – Benadering: Het bronobject benadert of gebruikt het doelobject. Used by – Wordt gebruikt door: Het bronobject gebruikt het doelobject.


Overall Architectuur. Computerexamensysteem

Recommend Documents