IMPLEMENTATIEHANDLEIDING

IMPLEMENTATIEHANDLEIDING VOOR DOMEINBEHEERDERS EN ONTWIKKELAARS

TESTVISION ONLINE VERSIE : DATUM :

5 J UNI 2014

I MPLEMENTATIEHANDLEIDING T ESTV ISION O NLINE

INHOUDSOPGAVE Inhoudsopgave ..................................................................................... 1 1.

Werken met deze implementatiehandleiding .......................................... 4

1.1 1.2 1.3 1.4 1.5

Inleiding .............................................................................................................. 4 De onderdelen van TestVision Online ................................................................... 4 Rollen en taken ................................................................................................... 5 Hoe beginnen? .................................................................................................... 5 Voor wie is deze handleiding bedoeld? ................................................................. 6

2.

Mappen inrichten voor het beperken van toegang .................................. 8

2.1 2.1.1 2.1.2 2.2 2.3 2.3.1 2.3.2 2.3.3

Inleiding .............................................................................................................. 8 Gewone mappen .................................................................................................. 8 Hulpmappen ........................................................................................................ 8 Wat is belangrijk om te weten? ............................................................................ 9 Scenario’s voor het beperken van toegang via de mappenstructuur ....................... 9 Meest eenvoudige scenario .................................................................................. 9 Scenario’s voor ontwikkelaars met specifieke taken ............................................. 11 Eenvoudig scenario voor gescheiden kandidaatbeheer bij meer domeinen ............ 12

3.

Toegang en rechten toewijzen .............................................................. 14

3.1 3.2 3.3 3.3.1 3.3.2 3.3.3 3.3.4

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het gebruik van toegang en rechten ............................................ Meest eenvoudige scenario ................................................................................ Scenario’s voor het toekennen van rechten voor vraag- en toetsontwikkeling ....... Scenario’s voor het toekennen van rechten voor het plannen van afnames ........... Scenario’s voor het toekennen van rechten voor het bekijken van resultaten ........

4.

Vraagkenmerken instellen ................................................................... 22

4.1 4.2 4.3 4.3.1 4.3.2

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Vraagkenmerken gebruiken ............................................................................... Vraagkenmerken op applicatieniveau ................................................................. Vraagkenmerken op domeinniveau .....................................................................

5.

Toetstemplates instellen ...................................................................... 25

5.1 5.2 5.3 5.3.1 5.3.2

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Een toetstemplate toevoegen ............................................................................ De instructiepagina instellen .............................................................................. De resultaatpagina instellen...............................................................................

6.

Mappen inrichten om objecten te beheren ........................................... 28

6.1 6.1.1 6.1.2 6.2 6.3

Inleiding ............................................................................................................ Gewone mappen ................................................................................................ Hulpmappen ...................................................................................................... Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het inrichten van mappen in Vragen ...........................................

14 15 16 16 16 19 20

22 22 23 23 24

25 25 25 25 26

28 28 28 29 29


6.3.1 Meest eenvoudige scenario ................................................................................ 29 6.3.2 Scenario’s voor het gebruik van hulpmappen bij het toetsen samenstellen ............ 30 6.4 Mapinrichting in Toetsen, Kandidaten en Afnames .............................................. 32

7.

Toetsen samenstellen .......................................................................... 33

7.1 7.2 7.3 7.3.1 7.3.2 7.3.3 7.3.4 7.3.5 7.4 7.4.1 7.4.2

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het samenstellen van toetsen ..................................................... Meest eenvoudige scenario ................................................................................ Eenvoudige scenario’s voor het samenstellen van standaard- en at random samengestelde toetsen ...................................................................................... Scenario’s voor het samenstellen van toetsen met behulp van hulpmappen .......... Scenario’s voor het samenstellen van toetsen op basis van twee criteria .............. Scenario’s voor het samenstellen van toetsen met deelblokken ............................ Toetseigenschappen instellen ............................................................................ De maximale tijdsduur instellen .......................................................................... De cesuur instellen.............................................................................................

8.

Vragen en toetsen beheren .................................................................. 45

8.1 8.2 8.3 8.4 8.4.1 8.4.2 8.4.3 8.5 8.5.1 8.5.2 8.5.3 8.5.4

Inleiding ............................................................................................................ 45 Wat is belangrijk om te weten? .......................................................................... 45 Scenario’s voor het doorvoeren van wijzigingen in vragen ................................... 46 Scenario’s voor het doorvoeren van wijzigingen in een gepubliceerde toets ......... 47 Een wijziging doorvoeren in de toetssamenstelling .............................................. 48 Een wijziging doorvoeren in de toetsinstellingen ................................................. 50 Redenen voor het ongeldig worden van een toets ................................................ 52 Scenario’s voor het beheren van vragen en toetsen die niet (meer) gebruikt mogen worden ............................................................................................................. 53 Toetsafnames (tijdelijk) stopzetten ..................................................................... 54 De status Uit gebruiken in het ontwikkelproces van vragen .................................. 55 De status Afgeschreven gebruiken in het ontwikkelproces van vragen en toetsen .. 55 Vragen en toetsen archiveren in de mappenstructuur .......................................... 56

9.

Kandidaten beheren ............................................................................ 58

9.1 9.2 9.3 9.4

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Meest eenvoudige scenario ................................................................................ Scenario’s voor het importeren van groepen kandidaten .....................................

10.

Afnames plannen ................................................................................ 60

10.1 10.2 10.3 10.3.1 10.3.2 10.3.3 10.4

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het plannen van afnames ........................................................... Meest eenvoudige scenario ................................................................................ Scenario’s met meer afnames voor dezelfde toets ............................................... Scenario’s voor gescheiden verantwoordelijkheden ............................................. Overige scenario’s .............................................................................................

11.

Toetsen met open vragen beheren ........................................................67

11.1 11.2 11.3 11.3.1 11.3.2

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het toewijzen van beoordelaars .................................................. Meest eenvoudige scenario ................................................................................ Scenario’s voor het toewijzen van meer beoordelaars ..........................................

33 33 34 34 35 38 39 41 42 43 43

58 58 58 59

60 60 61 61 62 63 64

67 67 68 68 68


11.4 Scenario’s voor het uitvoeren van de beoordeling ............................................... 69 11.4.1 Meest eenvoudige scenario ................................................................................ 70 11.4.2 Scenario’s voor het beoordelen met meer beoordelaars ....................................... 70

12.

Resultaten beheren ............................................................................. 73

12.1 12.2 12.3 12.3.1 12.3.2 12.4 12.4.1 12.4.2

Inleiding ............................................................................................................ Wat is belangrijk om te weten? .......................................................................... Scenario’s voor het gebruiken van de analysegegevens ....................................... Meest eenvoudige scenario ................................................................................ Scenario’s voor het gebruiken van de analyse voor het beheer van vragen ............ Scenario’s voor het aanpassen van resultaten ..................................................... Meest eenvoudige scenario’s .............................................................................. Scenario’s voor het doorvoeren van complexere aanpassingen .............................

73 73 73 74 74 76 76 77

Begrippenlijst TestVision Online .......................................................... 80 Index ................................................................................................. 81


1. WERKEN MET DEZE IMPLEMENTATIEHANDLEIDING

1.1

Inleiding Deze handleiding geeft u informatie over hoe u TestVision Online het best kunt gebruiken binnen uw organisatie. Het is geen Help of uitleg over hoe de knoppen werken, maar het beschrijft hoe u de verschillende mogelijkheden van TestVision Online optimaal kunt inzetten, zoals het inrichten van mappen of het werken met de toetsmatrijs. Hiertoe bevat deze handleiding onder meer een aantal scenario’s. Meestal beschrijven we bij elk hoofdstuk eerst het meest eenvoudige scenario, gevolgd door een aantal meer complexe werkwijzen. We adviseren u om eerst het eenvoudige scenario te gebruiken en daarna te kijken welke scenario’s nog meer voor uw organisatie bruikbaar zijn. In dit eerste hoofdstuk beschrijven we kort de onderdelen van TestVision Online voor de verschillende gebruikers, de rollen en taken die moeten worden belegd en welke zaken als eerste moeten worden geregeld. Ook geven we aan welke hoofdstukken van deze implementatiehandleiding voor wie zijn bedoeld. Meer informatie over het werken met TestVision Online vindt u in de Help in het programma zelf en op de website.

1.2

De onderdelen van TestVision Online In onderstaande tabel ziet u de onderdelen van TestVision Online voor de verschillende gebruikers. Applicatiebeheerder

Domeinbeheerder

Ontwikkelaar

Kandidaat

Domeinen Instellingen Standaardteksten Kenmerken Skins Toetsmomenten

Ontwikkelaars Kenmerken Toetstemplates

Ontwikkelen: Vragen Toetsen

Toets maken Resultaat bekijken

Afname en Resultaten: Gepubliceerde toetsen Kandidaten Afnames

4


1.3

Rollen en taken Om goed te kunnen werken met TestVision Online zal een aantal rollen moeten worden toebedeeld aan medewerkers, inclusief de bij behorende taken. Het betreft de volgende rollen en taken: Rol

Taken

Applicatiebeheerder (1 per organisatie)

           

Domeinbeheerder (1 of meer per domein)

Ontwikkelaar (1 of meer per domein)

Domeinen creëren Domeinbeheerders invoeren Applicatiebrede instellingen beheren Ontwikkelaars invoeren Rechten aan ontwikkelaars toekennen Domeinkenmerken instellen Toetstemplates instellen Vragen en toetsen ontwikkelen en beheren Kandidaten invoeren Afnames plannen Open vragen beoordelen Resultaten beheren

Soms kunnen meer rollen bij dezelfde persoon worden belegd. Als wordt gewerkt met één domein, kan de applicatiebeheerder bijvoorbeeld ook domeinbeheerder zijn. En domeinbeheerders zullen vrijwel altijd (ook) ontwikkelaar zijn. Voor de taken geldt dat ze niet altijd door iedereen zullen worden uitgevoerd. Zo kan het beheren van domeinkenmerken en toetstemplates het best bij één domeinbeheerder worden belegd. Ontwikkelaars hebben, zeker in grotere organisaties, vaak specialistische taken. Zo zullen er ontwikkelaars zijn die zich uitsluitend bezig houden met het ontwikkelen van vragen en toetsen en de kwaliteitsbewaking daarvan en ontwikkelaars die alleen verantwoordelijk zijn voor het plannen van afnames en het beheren van de resultaten. In kleinere organisaties zijn ontwikkelaars vaak verantwoordelijk voor het totale ontwikkeltraject en voeren ze dus alle taken van de ontwikkelaar uit.

1.4

Hoe beginnen? Nadat TestVision Online door de systeembeheerder is geïnstalleerd en geconfigureerd, wijst de applicatiebeheerder eerst per domein een of enkele domeinbeheerders aan. Vervolgens kunnen deze domeinbeheerders aan de slag met het inrichten van het domein, het invoeren van ontwikkelaars en het instellen van toegang en rechten. Daarna is het de beurt aan de ontwikkelaars. We adviseren nieuwe gebruikers om eerst de korte instructiefilmpjes te bekijken die beschikbaar zijn op www.testvision.nl. Deze geven een goede eerste indruk van de werking van TestVision Online. Vervolgens kunt u rondkijken in de verschillende onderdelen van TestVision Online en indien nodig daarbij de Help te raadplegen.

5


We adviseren de domeinbeheerder(s) om in ieder geval in het begin van het traject goed na te denken over de volgende vragen:  Geef ik alle ontwikkelaars onbeperkt toegang? Zo nee, via welke mappenstructuur wil ik de toegang beperken? (Zie voor meer informatie hoofdstuk 2 van deze handleiding.)  Geef ik alle ontwikkelaars onbeperkt rechten? Zo nee, welke soorten ontwikkelaars wil ik onderscheiden en welke rechten horen daarbij? (Zie voor meer informatie hoofdstuk 3 van deze handleiding.)  Alleen als sprake is van twee of meer domeinen: hoe richten we de domeinoverstijgende mappenstructuur van het onderdeel Kandidaten gezamenlijk in? (Zie voor meer informatie paragraaf 2.3.3 en 6.4 van deze handleiding.). In overleg met de ontwikkelaars, moeten daarnaast de volgende vragen worden beanwoord:  Welke vraagkenmerken willen we gebruiken voor het beheren van de toetsvragen en/of het samenstellen van toetsen? (Zie voor meer informatie hoofdstuk 4 en 7 van deze handleiding.)  Welke toetstemplates zijn er nodig? Welke instellingen moeten gelden voor die toetstemplates? (Zie voor meer informatie hoofdstuk 5 van deze handleiding). Nadat de domeinbeheerder(s) het domein hebben ingericht en klaargemaakt voor gebruik, kunnen de ontwikkelaars aan de slag. Zij vinden in deze handleiding uitgebreide informatie over het inrichten van de mappen en het beheren van vragen en toetsen, het samenstellen van toetsen met behulp van de toetsmatrijs, het plannen van afnames en het beheren van resultaten.

1.5

Voor wie is deze handleiding bedoeld? Deze handleiding is bedoeld voor degenen die als domeinbeheerders en ontwikkelaars aan de slag gaan met TestVision Online. In onderstaand overzicht ziet u voor wie de verschillende hoofdstukken zijn bedoeld. Hoofdstuk

Rol

2

Mappen inrichten voor het beperken van toegang

Domeinbeheerders

3

Toegang en rechten toewijzen

Domeinbeheerders

4

Vraagkenmerken instellen

Domeinbeheerders

5

Toetstemplates instellen

Domeinbeheerders

6

Mappen inrichten om objecten te beheren

Ontwikkelaars van vragen en toetsen

7

Toetsen samenstellen


8

Vragen en toetsen beheren


9

Kandidaten beheren

Afnameplanners

10

Afnames plannen

Afnameplanners

11

Toetsen met open vragen beheren

Afnameplanners, Beoordelaars van open vragen

12

Resultaten beheren

Beheerders van toetsresultaten, Beoordelaars van de kwaliteit van vragen en toetsen

6


T IP ! We raden domeinbeheerders aan de hele implementatiehandleiding door te nemen, ook als ze zelf geen of weinig ontwikkelwerk uitvoeren. Voor applicatiebeheerders is een eigen, beknopte implementatiehandleiding beschikbaar. Voor kandidaten is er een uitgebreide Help en geen aparte handleiding.

7


2. MAPPEN INRICHTEN VOOR HET BEPERKEN VAN TOEGANG

2.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : DOMEINBEHEERDERS In elk onderdeel van TestVision Online heeft de ontwikkelaar de beschikking over twee soorten mappen: gewone mappen en hulpmappen. Tot welke mappen elke ontwikkelaar toegang heeft, hangt af van de toegang die voor hem is ingesteld door u als domeinbeheerder (zie later in dit hoofdstuk en in hoofdstuk 3).

2.1.1

Gewone mappen Gewone mappen vormen de structuur waarin een ontwikkelaar zijn objecten (vragen, toetsen, kandidaten en afnames) beheert. U kunt dit vergelijken met de mappenstructuur die u waarschijnlijk ook gebruikt om de bestanden op uw computer te beheren. Elke vraag, toets, kandidaat of afname slaat een ontwikkelaar in één specifieke gewone map op.

2.1.2

Hulpmappen Hulpmappen kan de ontwikkelaar gebruiken om andere dwarsdoorsnedes van de inhoud van gewone mappen te maken. Hij maakt daarbij referenties naar de objecten uit de gewone mappen. U kunt een objectreferentie beschouwen als een snelkoppeling. Via een snelkoppeling kan de ontwikkelaar een object bekijken en/of bewerken. De ontwikkelaar kan in verschillende hulpmappen zo vaak naar dezelfde objecten refereren als hij wil. De hulpmappen zijn bedoeld voor het maken van andere dwarsdoorsnedes van objecten, bijvoorbeeld om te gebruiken in een toetsmatrijs, voor het redigeren van vragen, het koppelen van toetsen aan afnames of het bekijken van resultaten van specifieke afnames. Er zijn twee soorten hulpmappen:  publieke hulpmappen, die een ontwikkelaar deelt met andere gebruikers (deze zijn onder meer bedoeld voor gebruik in een toetsmatrijs of voor het redigeren van vragen);  persoonlijke hulpmappen, waartoe een ontwikkelaar alleen zelf toegang heeft (deze zijn bedoeld voor het maken van dwarsdoorsnedes voor eigen gebruik, bijvoorbeeld toetsvragen waarover een ontwikkelaar nog niet tevreden is).

8


In de onderdelen Vragen en Kandidaten is er nog een speciaal soort hulpmap voor importeren, waarin de vragen en kandidaten staan die vanuit een ander domein of andere database zijn geïmporteerd. Deze vragen en kandidaten moeten eerst worden verplaatst voordat ze kunnen worden bewerkt, zie voor meer informatie de Help. In importhulpmappen kunt u geen referenties plaatsen of mappen aanmaken.

2.2

Wat is belangrijk om te weten? 











2.3

In de Help van TestVision Online staat beschreven hoe u mappen kunt toevoegen, hernoemen, verwijderen, kopiëren of verplaatsen en hoe u in de mappen navigeert. Wat een ontwikkelaar kan doen in de diverse mappen (mappen beheren, nieuwe objecten maken en/of bestaande objecten bewerken), hangt af van de voor hem ingestelde rechten. De domeinbeheerder kan voor ontwikkelaars een gewone en/of publieke hulpmap als startmap instellen. De ontwikkelaar ziet dan alleen de mappenstructuur vanaf die map. Daardoor is het mogelijk dat de ene ontwikkelaar een andere mappenstructuur ziet dan een andere ontwikkelaar. Als een ontwikkelaar geen gewone mappen tot zijn beschikking heeft, maar wel publieke hulpmappen, kan hij alleen objecten bewerken via de objectreferenties (snelkoppelingen) in de publieke hulpmappen. De ontwikkelaar kan dan geen nieuwe objecten ontwikkelen. In persoonlijke hulpmappen kan een ontwikkelaar altijd mappen beheren en objectreferenties aanmaken. Of hij de objecten ook kan bewerken, hangt af van zijn rechten en zijn toegang in de gewone en publieke hulpmappen. Het onderdeel Kandidaten is domeinoverstijgend. Dit betekent dat de mappenstructuur in dit onderdeel voor alle domeinen gelijk is .

Scenario’s voor het beperken van toegang via de mappenstructuur Als de mappenstructuur wordt gebruikt om de toegang te beperken, zult u als domeinbeheerder eerst een (basale) mappenstructuur moeten ontwikkelen. Als dit niet nodig is, hoeft er alleen een mappenstructuur voor het beheer van objecten te worden ingericht. Meer informatie daarover vindt u in hoofdstuk 6.

2.3.1

Meest eenvoudige scenario S CENARIO 2.1: DE MAPPENSTRUCTUUR IS OPGEDEELD IN BEPAALDE VAKGEBIEDEN , AFDELINGEN OF LEERJAREN OF EEN ANDERE ONDERVERDELING WAARIN ALLEEN EEN SPECIFIEKE GROEP VRAAG - OF TOETSONTWIKKELAARS AAN HET WERK GAAT

WANNEER GEBRUIKT U DEZE MAPPEN STRUCTUUR ?

Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van een specifiek deel van de vragen en toetsen, bijvoorbeeld voor een specifiek(e) vakgebied, afdeling of leerjaar. De mappenstructuur is zo ingericht, dat de ontwikkelaars slechts in een deel daarvan mogen werken.

9


H OE RICHT U DE MAPPEN STRUCTUUR IN ?

We adviseren u om in ieder geval voor de onderdelen Vragen en Toetsen voor de gewone mappen én de publieke hulpmappen dezelfde mappenstructuur aan te maken. U kunt het best direct onder de map Top de onderverdeling maken. Bijvoorbeeld:  Top  Wiskunde  Natuurkunde  Biologie  Scheikunde  Nederlands  Frans  Engels  … U geeft vervolgens een ontwikkelaar toegang tot één specifieke startmap en publieke starthulpmap, bijvoorbeeld Wiskunde. Als er (veel) ontwikkelaars zijn die in meer mappen moeten kunnen werken, kunt u een indeling met meer niveaus maken. Bijvoorbeeld:  Top  Exacte vakken  Wiskunde  Natuurkunde  Biologie  Scheikunde  Talen  Nederlands  Frans  Engels  … Bij deze inrichting kunt u voor de ene ontwikkelaar als startmap Talen instellen, en voor de andere ontwikkelaar Nederlands.

WAT IS HET EFFECT ?

Elke ontwikkelaar ziet slechts een deel van de mappen en kan (afhankelijk van zijn rechten) alleen in deze mappen objecten aanmaken of bewerken en mappen beheren. Voor de ontwikkelaar is de startmap de bovenste map (in plaats van de map Top). In het voorbeeld is dat dus de map Talen of Nederlands. LET OP ! Als u alleen voor de gewone mappen een mappenstructuur aanmaakt voor het instellen van startmappen en niet voor de hulpmappen, kunt u de toegang tot de vragen en toetsen niet goed beperken. Zodra er in de publieke hulpmappen objectreferenties worden gemaakt, kunnen ontwikkelaars ook de objecten uit gewone mappen waartoe ze geen toegang hebben bewerken. Ze kunnen in deze mappen alleen geen nieuwe objecten ontwikkelen.

10


T IP ! Op vergelijkbare wijze kunt u een mappenstructuur aanmaken voor de onderdelen Kandidaten en Afnames. U kunt op die manier bijvoorbeeld specifieke ontwikkelaars verantwoordelijk maken voor specifieke afdelingen, cursusgroepen, klassen of leerjaren. 2.3.2

Scenario’s voor ontwikkelaars met specifieke taken S CENARIO 2.2A : D E MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS EEN SPECIFIEKE SET VRAGEN OF TOETSEN TE LATEN BEKIJKEN EN / OF AANPASSEN



WAT IS HET EFFECT ?

Voor (externe) ontwikkelaars die u wilt inzetten voor het controleren en aanpassen van bestaande vragen of toetsen, bijvoorbeeld leden van een vaststellings- of examencommissie. Deze ontwikkelaar kan zelf geen nieuwe vragen of toetsen toevoegen. U ontwikkelt hiervoor in de publieke hulpmappen een aparte mappenstructuur, waarin u bijvoorbeeld een submap opneemt met de naam van de betreffende ontwikkelaar. Deze submap stelt u in als publieke startmap. In deze submap plaatst u (of een andere ontwikkelaar) objectreferenties naar de vragen of toetsen die de ontwikkelaar moet bekijken en/of aanpassen. De ontwikkelaar ziet in de publieke hulpmappen alleen de specifieke hulpmap met zijn eigen naam en de daarin opgenomen objecten. Hij kan deze objecten bewerken (op voorwaarde dat hij schrijfrechten heeft in het betreffende onderdeel). S CENARIO 2.2B: D E MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS EEN SPECIFIEKE EIGEN ONTWIKKELOMGEVING TE GEVEN

WANNEER GEBRUIKT U

Voor (externe of beginnende) ontwikkelaars die u in een eigen stukje van de mappenstructuur wilt laten werken aan vragen en/of toetsen.

DEZE MAPPEN STRUCTUUR ?


WAT IS HET EFFECT ?

U ontwikkelt hiervoor in de gewone én de publieke hulpmappen een aparte mappenstructuur, waarin u bijvoorbeeld een submap opneemt met de naam van de betreffende ontwikkelaar. Deze submappen stelt u in als gewone en publieke startmap. De ontwikkelaar ziet alleen een gewone en publieke hulpmap met zijn eigen naam. Daarin kan hij risicoloos mappen aanmaken, objecten ontwikkelen en objectreferenties maken. Na goedkeuring kan de domeinbeheerder of een andere ontwikkelaar de betreffende vragen verplaatsen naar andere mappen.

11


S CENARIO 2.2 C: DE MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS DE RESULTATEN VAN EEN SPECIFIEKE GROEP TE LATEN BEKIJKEN

WANNEER GEBRUIKT U

Voor een ontwikkelaar die u alleen specifieke resultaten wilt laten bekijken, bijvoorbeeld van zijn eigen groep kandidaten of van een bepaalde afname.



WAT IS HET EFFECT ?

2.3.3

Voor het bekijken van de resultaten van een specifieke groep kandidaten maakt u in het onderdeel Kandidaten objectreferenties naar deze kandidaten in een specifieke publieke hulpmap. Voor het bekijken van de resultaten van een specifieke afname plaatst u in het onderdeel Afnames de betreffende afname in een specifieke publieke hulpmap. Deze hulpmap stelt u in als de publieke startmap van de ontwikkelaar. Via het onderdeel Kandidaten respectievelijk Afnames kan de ontwikkelaar alleen de resultaten bekijken en eventueel aanpassen uit de hulpmap waartoe hij toegang heeft. Welke mogelijkheden de ontwikkelaar heeft in de onderdelen Kandidaten respectievelijk Afnames, hangt af van de verder ingestelde rechten. Eenvoudig scenario voor gescheiden kandidaatbeheer bij meer domeinen Het onderdeel Kandidaten is als enige onderdeel domeinoverstijgend. Dit betekent dat voor dit onderdeel in alle domeinen dezelfde mappenstructuur van toepassing is. Voor alle ontwikkelaars in alle domeinen zijn dus alle kandidaten zichtbaar. De mappenstructuur van het onderdeel Kandidaten zal door de domeinbeheerders in onderling overleg moeten worden vastgesteld. Via de mappenstructuur kan eventueel ook de volledige toegang worden ingeperkt. Dit is alleen aan te raden als de kandidaten nooit in verschillende domeinen worden getoetst. Dit hangt dus sterk af van de indeling van de domeinen binnen uw organisatie. S CENARIO 2.3: DE MAPPENSTRUCTUUR IN HET ONDERDEEL KANDIDATEN WORDT GEBRUIKT OM ONTWIKKELAARS ALLEEN TOEGANG TE GEVEN TOT MAPPEN VAN HUN EIGEN DOMEIN

WANNEER GEBRUIKT U

Als u een scheiding wilt aanbrengen tussen de kandidaten van de verschillende domeinen.



WAT IS HET EFFECT ?

Eén van de domeinbeheerders maakt in het onderdeel Kandidaten direct onder Top een hoofdmappenstructuur met de domeinen aan, zowel voor de gewone mappen als voor de hulpmappen. De domeinbeheerders stellen in hun eigen domein de domeinmappen als startmap respectievelijk starthulpmap voor de ontwikkelaars in. In het onderdeel Kandidaten kunnen de ontwikkelaars alleen kandidaten toevoegen en bewerken in de mappen van hun eigen domein.

12


LET OP ! Het is niet mogelijk (en ook niet efficiënt) om kandidaten vaker in te voeren onder dezelfde Aanmeldnaam. Als er veel kandidaten zijn die in twee of meer domeinen toetsen moeten maken, kunt u dus beter niet kiezen voor deze scheiding. Eventueel kunt u dan alleen een gescheiden mappenstructuur maken en geen gescheiden hulpmappenstructuur. U kunt dan de betreffende kandidaten via de hulpmappen beschikbaar stellen voor de andere domeinen, zonder dat de ontwikkelaars in de domeinmappen alle kandidaten zien.

13


3. TOEGANG EN RECHTEN TOEWIJZEN 3.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : DOMEINBEHEERDERS Aan elke ontwikkelaar in TestVision Online kunnen door de domeinbeheerder(s) individuele rechten en toegangen worden toegekend.

F IGUUR 1. I NSTELLEN VAN RECHTEN VAN EEN ONTWIKKELAAR U kunt deze rechten en toegangen bijvoorbeeld gebruiken om te zorgen dat een ontwikkelaar alleen objecten kan bekijken (leesrecht) of alleen een bepaald deel van de objecten kan bewerken (schrijfrecht in specifieke mappen). Ook kunt u een ontwikkelaar uitsluiten van toegang tot specifieke onderdelen. U kunt er ook voor kiezen een ontwikkelaar geen toegang te geven tot het onderdeel Vragen, maar voor dezelfde ontwikkelaar de vragen wel beschikbaar te stellen in het onderdeel Toetsen voor het samenstellen van toetsen. Deze ontwikkelaar kan de vragen dan niet bewerken, maar wel bekijken (in het onderdeel Toetsen).

14


3.2

Wat is belangrijk om te weten?   















 

In de Help van TestVision Online staat beschreven hoe u ontwikkelaars toevoegt en hen rechten geeft. U kunt zelf aangeven welke onderdelen u in het hoofdmenu van de ontwikkelaar wilt tonen. U kunt de toegang van ontwikkelaars beperken door slechts een deel van de mappenstructuur beschikbaar te maken. Dit doet u door de startmap op een lager niveau dan /Top of /Publiek in te stellen. Een ontwikkelaar heeft toegang tot alle mappen die vallen onder de ingestelde startmap. De toegang die u geeft tot specifieke mappen van een bepaald onderdeel, geldt ook in de andere onderdelen. De startmappen voor het onderdeel Vragen zijn ook van toepassing bij de selectie van vragen in het onderdeel Toetsen, de startmappen van Toetsen en Kandidaten zijn van toepassing bij het plannen van afnames in het onderdeel Afnames. Bij het onderdeel Toetsen kunt u aangeven of een ontwikkelaar toetsen mag publiceren (beschikbaar stellen voor afname). Voor een ontwikkelaar die zelf geen toetsen mag publiceren, kunt u desgewenst het onderdeel Gepubliceerde toetsen wel beschikbaar stellen. Bij het onderdeel Afnames kunt u aangeven of een ontwikkelaar de inhoud van vragen en toetsen mag inzien (review/preview). Dit geldt voor de onderdelen Gepubliceerde toetsen, Kandidaten en Afnames. Als u een ontwikkelaar het recht geeft mappen te beheren , dan kan deze mappen toevoegen en/of verwijderen en de namen van mappen wijzigen. Als u een ontwikkelaar het recht geeft objecten te bewerken, betekent dit dat de ontwikkelaar:  nieuwe objecten kan toevoegen;  bestaande objecten kan verplaatsen, verwijderen, kopiëren en/of aanpassen. Het bekijken van resultaten gaat via de onderdelen Gepubliceerde toetsen, Kandidaten en Afnames. De startmappen die u instelt voor deze onderdelen, bepalen dus ook van welke toetsen, kandidaten en afnames een ontwikkelaar de resultaten kan bekijken. Voor het onderdeel Resultaten kunt u per ontwikkelaar de volgende vier opties instellen:  Resultaten bekijken: de ontwikkelaar heeft ‘leesrecht’ en mag alleen resultaten bekijken.  Resultaten aanpassen: de ontwikkelaar mag resultaten ongeldig maken en resultaten aanpassen (zie paragraaf 12.4).  Analysegegevens vastleggen: de ontwikkelaar mag analysegegevens vastleggen in de meta-informatie van vragen en toetsen (zie paragraaf 12.3).  Open vragen beoordelen: de ontwikkelaar mag de open vragen van kandidaten beoordelen (zie paragraaf 11.4);  Beoordelingen vastleggen: de ontwikkelaar mag de beoordelingen van open vragen vastleggen zie paragraaf 11.4). Een ontwikkelaar die geen mappen mag beheren, kan wel mappen maken in zijn persoonlijke hulpmappen. Een ontwikkelaar die geen objecten mag bewerken, kan wel referenties naar de objecten maken in zijn persoonlijke hulpmappen.

15


3.3

Scenario’s voor het gebruik van toegang en rechten

3.3.1

Meest eenvoudige scenario S CENARIO 3.1: DE ONTWIKKELAAR HEEFT TOEGANG TOT ALLE ONDERDELEN , MAG MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN MET VOLLEDIGE RECHTEN

WANNEER GEBRUIKT U DIT SCENARIO ?

H OE STELT U

Als u geen onderscheid wilt maken tussen ontwikkelaars en iedereen volledig toegang en alle rechten krijgt. In de praktijk zal dit veel voorkomen bij organisaties met relatief weinig gebruikers/ontwikkelaars, die verantwoordelijk zijn voor alle activiteiten: het ontwikkelen van vragen, het samenstellen van toetsen, het invoeren van kandidaten én het plannen van afnames. 

DEZE RECHTEN IN ?

Als u een nieuwe ontwikkelaar toevoegt, zijn diens rechten standaard op deze manier ingesteld:  Alle startpunten van de gewone mappen staan op /Top en van de publieke hulpmappen op /Publiek.  Voor alle onderdelen staan de opties In menu tonen, Mappen beheren en [Objecten] bewerken uit (voor Resultaten de opties Resultaten bekijken, Resultaten aanpassen, Analysegegevens vastleggen en Open vragen beoordelen).  Deze opties zet u allemaal aan. Ook de optie Toetsen publiceren en Gepubliceerde toetsen in menu tonen in het onderdeel Toetsen zet u aan.

T IP ! U kunt deze rechten in één keer toekennen via de knop Toekennen alle rechten. WAT IS HET EFFECT ? 3.3.2

De ontwikkelaar ziet in zijn hoofdmenu alle onderdelen. In elk onderdeel kan hij mappen toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) en alle objecten bekijken én bewerken. Scenario’s voor het toekennen van rechten voor vraag- en toetsontwikkeling S CENARIO 3.2A : D E ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN V RAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN EN MAG IN DIE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN


H OE STELT U DEZE RECHTEN

Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van vragen en toetsen en het controleren van de kwaliteit daarvan. De ontwikkelaar mag de toets ook beschikbaar stellen voor afname (publiceren). Het is daarbij geen probleem dat deze ontwikkelaars toegang hebben tot alle vragen en toetsen die in het domein beschikbaar zijn. 

Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen.

IN ?

16








WAT IS HET EFFECT ?

Zet de startpunten van de gewone mappen van Vragen en Toetsen op /Top en van de publieke hulpmappen van Vragen en Toetsen op /Publiek. Zet voor de onderdelen Vragen en Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan.

De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In die onderdelen kan hij mappen toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) en alle objecten bekijken én bewerken. Toetsresultaten kan deze ontwikkelaar bekijken en beheren via het onderdeel Gepubliceerde toetsen. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken.

T IPS! Als de ontwikkelaar de resultaten niet mag aanpassen of de analysegegevens niet mag vastleggen, kunnen die opties worden uitgezet. U kunt er ook voor kiezen de resultaten helemaal niet beschikbaar te stellen. Daarvoor zet u ook de optie Resultaten bekijken uit. U kunt er natuurlijk ook voor kiezen om de beschreven toegang en rechten alleen te verlenen tot het onderdeel Vragen. De ontwikkelaar kan dan alleen in dat onderdeel de beschreven taken uitvoeren. Ook kunt u de ontwikkelaar geen recht geven om de toetsen te publiceren. Als er sprake is van toetsen met open vragen, is de ontwikkelaar in dit scenario de aangewezen persoon om de open vragen te mogen beoordelen. In dat geval zet u ook de optie Open vragen beoordelen aan. S CENARIO 3.2B: D E ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN V RAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN EN MAG IN DIE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN EEN SPECIFIEK DEEL VAN DE MAPPENSTRUCTUUR


H OE STELT U DEZE RECHTEN IN ?

Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van een specifiek deel van de vragen en toetsen en het controleren van de kwaliteit daarvan. De mappenstructuur is zo ingericht, dat de ontwikkelaars slechts in een deel daarvan mogen werken. In dit scenario betreft dit het gedeelte Leerjaar 2.   



WAT IS HET EFFECT ?

Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen. Zet de startpunten van de gewone mappen en van de publieke hulpmappen van Vragen en Toetsen op /Leerjaar2. Zet voor de onderdelen Vragen en Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan.

De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In die onderdelen kan hij mappen

17


toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) binnen het mappengedeelte dat valt onder de map Leerjaar2 en alle objecten in die mappen bekijken én bewerken. Toetsresultaten kan deze ontwikkelaar uitsluitend bekijken en beheren via het onderdeel Gepubliceerde toetsen en vanuit de mappen onder Leerjaar2. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken. S CENARIO 3.2 C: DE ONTWIKKELAAR HEEFT TOEGANG TOT HET ONDERDEEL V RAGEN, HEEFT ALLEEN TOEGANG TOT PUBLIEKE HULPMAPPEN MET RECHT OP VRAGEN BEWERKEN



Voor ontwikkelaars die u wilt inzetten voor het controleren en aanpassen van bestaande vragen, bijvoorbeeld leden van een vaststellingscommissie. Deze ontwikkelaar kan zelf geen nieuwe vragen toevoegen.

  

WAT IS HET EFFECT ?

Zet alle opties van de onderdelen Toetsen, Kandidaten, Afnames en Resultaten uit en de start(hulp)mappen op Geen. Zet het startpunt van de gewone mappen van Vragen op Geen en van de hulpmappen op /Publiek (al dan niet op een lager niveau). Zet voor Vragen de opties In menu tonen en [Objecten] bewerken aan en de optie Mappen beheren uit.

De ontwikkelaar ziet in zijn hoofdmenu alleen het onderdeel Vragen. Hij kan de vragen bewerken vanuit de publieke hulpmap. Hij heeft geen mogelijkheid om nieuwe vragen te maken, omdat dat alleen kan als je toegang hebt tot gewone mappen. Refereren naar een persoonlijke map is wel mogelijk. Zodra de vraag echter niet meer beschikbaar is in de publieke hulpmap, kan de ontwikkelaar de vraag alleen nog maar bekijken (inclusief meta-informatie) en niet meer bewerken. S CENARIO 3.2D : DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN V RAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN , HEEFT IN HET ONDERDEEL V RAGEN ALLEEN TOEGANG TOT DE PUBLIEKE HULPMAPPEN ZONDER RECHT OP VRAGEN BEWERKEN EN MAG IN HET ONDERDEEL TOETSEN IN ALLE MAPPEN OBJECTEN BEWERKEN



Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het samenstellen van toetsen en het controleren van de kwaliteit daarvan. De toegang tot het onderdeel Vragen is uitsluitend bedoeld voor het kunnen selecteren van vragen voor een toetsvragenset.    

1

Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen. 1 Zet het startpunt van de gewone mappen van Vragen op Geen en van de hulpmappen op /Publiek. Zet voor Vragen de opties In menu tonen, Mappen beheren en [Objecten] bewerken uit. Zet het startpunt van de gewone mappen van Toetsen op /Top en van de hulpmappen op /Publiek.

Als u toetsen samenstelt met behulp van gewone mappen, stelt u hier wel een startmap in.

18






WAT IS HET EFFECT ?

3.3.3

Zet voor Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan.

De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In het onderdeel Toetsen kan de ontwikkelaar de vragen alleen bekijken en selecteren vanuit de publieke hulpmappen van het onderdeel Vragen. Toetsresultaten kan deze ontwikkelaar uitsluitend bekijken en beheren via het onderdeel Gepubliceerde toetsen. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken. Scenario’s voor het toekennen van rechten voor het plannen van afnames S CENARIO 3.3: DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN KANDIDATEN, A FNAMES EN R ESULTATEN EN MAG IN DEZE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN



Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het invoeren van kandidaten, het plannen van afnames en het terugkoppelen en beheren van de resultaten.  

 



WAT IS HET EFFECT ?

Zet alle opties van het onderdeel Vragen uit en de start(hulp)mappen op Geen. Zet de startpunten van de gewone mappen van Toetsen, Kandidaten en Afnames op /Top en van de publieke hulpmappen van Toetsen, Kandidaten en Afnames in op /Publiek. Zet voor het onderdeel Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken en Toetsen publiceren uit. Zet voor de onderdelen Kandidaten en Afnames de opties In menu tonen, Mappen beheren en [Objecten] bewerken aan. Zet ook de optie Inzien inhoud vragen en toetsen (preview/review) bij Afnames aan aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan.

Deze ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Kandidaten en Afnames. In die onderdelen kan hij mappen toevoegen en/of verwijderen en alle objecten bekijken én bewerken, inclusief preview. Toetsresultaten kan deze gebruiker bekijken via de onderdelen Kandidaten en Afnames. Hij kan via deze onderdelen ook de meta-informatie en de analysegegevens van toetsen bekijken en vastleggen en de gemaakte toetsen reviewen. U kunt een variant op dit scenario maken met aangepaste startmappen voor een of meer onderdelen, bijvoorbeeld voor Toetsen en Afnames. In dat geval maakt u verschillende ontwikkelaars verantwoordelijk voor specifieke delen van de in te plannen afnames.

T IP ! Als de ontwikkelaar geen vragen en toetsen mag bekijken, kunt u de optie Inzien inhoud vragen en toetsen (preview/review) uitzetten.

19


3.3.4

Scenario’s voor het toekennen van rechten voor het bekijken van resultaten S CENARIO 3.4A : D E ONTWIKKELAAR MAG ALLEEN DE RESULTATEN VAN EEN SPECIFIEKE GROEP KANDIDATEN BEKIJKEN EN DE OPEN VRAGEN BEOORDELEN

WANNEER GEBRUIKT U

Voor een ontwikkelaar die u alleen resultaten wilt laten bekijken , bijvoorbeeld van zijn eigen groep kandidaten.

DEZE RECHTEN ?


 

 

WAT IS HET EFFECT ?

Zet alle opties van de onderdelen Vragen, Toetsen en Afnames uit en de (start)hulpmappen op Geen. Stel de startpunten van de gewone mappen van Kandidaten in op Geen en van de publieke hulpmappen van Kandidaten in op /Cursistgroep x. Zet voor het onderdeel Kandidaten de optie In menu tonen aan en de opties Mappen beheren en [Objecten] bewerken uit. Zet de opties Resultaten bekijken, Resultaten aanpassen, Open vragen beoordelen en Beoordelingen vastleggen aan.

Deze ontwikkelaar ziet in het hoofdmenu alleen het onderdeel Kandidaten. Hij kan alleen de resultaten van zijn eigen groep cursisten bekijken en desgewenst aanpassen. Ook kan hij eventuele open vragen beoordelen (daarvoor moet hij wel door de planner als beoordelaar aan de afname gekoppeld worden, zie paragraaf 11.3).

T IP ! Als de ontwikkelaar de resultaten niet mag aanpassen of geen open vragen mag beoordelen en/of geen beoordelingen mag vastleggen, kunnen die opties worden uitgezet. Hetzelfde geldt voor het mogen inzien van de inhoud van vragen en toetsen. S CENARIO 3.4B: D E ONTWIKKELAAR MAG ALLEEN DE RESULTATEN VAN EEN SPECIFIEKE AFNAME BEKIJKEN

WANNEER GEBRUIKT U

Voor een ontwikkelaar die u alleen resultaten wilt laten bekijken, bijvoorbeeld van een bepaalde afname.

DEZE RECHTEN ?


 

 

Zet alle opties van de onderdelen Vragen, Toetsen en Kandidaten uit en de (start)hulpmappen op Geen. Stel de startpunten van de gewone mappen van Afnames in op Geen en van de publieke hulpmappen van Afnames in op de map waarin de afname is opgenomen. Zet voor het onderdeel Afnames de optie In menu tonen aan en de opties Mappen beheren en [Objecten] bewerken uit. Zet de opties Resultaten bekijken en Resultaten aanpassen aan.

20


WAT IS HET EFFECT ?

Deze ontwikkelaar ziet in het hoofdmenu alleen het onderdeel Afnames. Hij kan alleen de resultaten van de specifieke afname bekijken en desgewenst resultaten op kandidaatniveau ongeldig maken.

T IPS! Als de ontwikkelaar de resultaten niet mag aanpassen, kan die optie worden uitgezet. Hetzelfde geldt voor het mogen inzien van de inhoud van vragen en toetsen. Als de ontwikkelaar ook open vragen moet kunnen beoordelen en/of beoordelingen moet kunnen vastleggen, kunnen die opties worden aangezet.

21


4. VRAAGKENMERKEN INSTELLEN 4.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : DOMEINBEHEERDERS TestVision Online heeft geen vooraf vastgelegde kenmerken. Elke organisatie kan zelf kiezen welke kenmerken ze wil gebruiken. Dit wordt op instellingsniveau vastgelegd. Daarbij maken we onderscheid tussen applicatiekenmerken, die voor alle domeinen hetzelfde zijn en domeinkenmerken, die per domein kunnen worden vastgelegd. U kunt vraagkenmerken gebruiken voor het beheer van de vragen, maar ook bij het samenstellen van toetsen. In dit hoofdstuk beschrijven we onder meer een aantal voorbeelden voor het gebruik van applicatie- en domeinkenmerken. U moet vooraf, in overleg met de beheerders van andere domeinen, bepalen welke kenmerken voor alle domeinen moeten gelden en welke niet. De kenmerken die voor alle domeinen moeten gelden, moet de applicatiebeheerder invoeren als applicatiekenmerken. De domeinkenmerken voor uw eigen domein voert u als domeinbeheerder zelf in.

4.2

Wat is belangrijk om te weten?  



 

 

In de Help van TestVision Online staat beschreven hoe u domeinkenmerken kunt toevoegen en bewerken. We maken onderscheid tussen verplichte en niet-verplichte kenmerken. Een verplicht kenmerk wordt automatisch met een standaardwaarde aan een nieuwe vraag gekoppeld. Een niet verplicht kenmerk moet door de ontwikkelaar handmatig aan de vraag worden gekoppeld. Een kenmerk kent een aantal waarden, die u zelf kunt definiëren. De kenmerkwaarden worden (in een lijstvenster) in alfabetische volgorde aan de ontwikkelaar getoond. U kunt in het onderdeel Vragen filteren op kenmerkwaarden. Een kenmerk heeft altijd een standaardwaarde, die u zelf opgeeft. Dit is de waarde die automatisch aan de vraag wordt toegekend. De ontwikkelaar kan (via een lijstvenster) een andere kenmerkwaarde kiezen. Ook kan de ontwikkelaar voor een aantal geselecteerde kenmerken tegelijk de kenmerkwaarden aanpassen. Een kenmerk moet uniek zijn. Op applicatie- en domeinniveau mogen dus niet dezelfde kenmerken voorkomen. U kunt een kenmerk of kenmerkwaarde uitzetten. Het kenmerk of de kenmerkwaarde kan dan niet meer door ontwikkelaars worden gebruikt. Een standaardwaarde kan niet worden uitgezet. Het uitzetten van kenmerken of kenmerkwaarden heeft geen consequenties voor toetsmatrijzen van bestaande toetsen.

22




Kenmerken en kenmerkwaarden kunnen alleen verwijderd worden als ze niet gebruikt worden bij vragen en/of in toetsmatrijzen.

4.3

Vraagkenmerken gebruiken

4.3.1

Vraagkenmerken op applicatieniveau Op applicatieniveau kunt u vraagkenmerken invoeren voor bijvoorbeeld het vastleggen van de moeilijkheidsgraad en de taxonomiecode. Via de vraagkenmerken kunt u bijvoorbeeld ook de ontwikkelaars de ontwikkelstatus van een vraag laten vastleggen. De kenmerken moeilijkheidsgraad en taxonomiecode kunnen ontwikkelaars bijvoorbeeld gebruiken bij het samenstellen van toetsen op basis van een toetsmatrijs (zie paragraaf 7.3.4). Voorbeeld van applicatiekenmerk

Voorbeelden van bijbehorende kenmerkwaarden (cursieve waarde is de standaardwaarde)

Moeilijkheid

Gemiddeld Makkelijk Moeilijk

Taxonomie (Bloom)

1 Kennis 2 Begrip 3 Toepassen

Taxonomie (Bloom, uitgebreid)

1 Kennis 2 Begrip 3 Toepassen 4 Analyseren 5 Evalueren 6 Creëren

Taxonomie (Romizowski)

1F 2B 3 RV 4 PV

Taxonomie (Romizowski uitgebreid)

1.1 Ff 1.2 Fp 2.1 Bb 2.2 Bp 3.1 Rc 3.2 Rpm 3.3 Ri 3.4 Rr 4.1 Pc 4.2 Ppm 4.3 Pi 4.4 Pr

Ontwikkelstatus

01 In ontwikkeling 02 Onder redactie 03 Goedgekeurd 04 Afgekeurd 05 Verouderd 06 Te vaak gebruikt

23


Vragen met de ontwikkelstatus afgekeurd, verouderd of te vaak gebruikt, zouden bij voorkeur als status U it of Afgeschreven moeten hebben, zodat ze niet (opnieuw) in een toets gepubliceerd kunnen worden. U kunt er voor kiezen dat alleen goedgekeurde vragen de status Aan mogen hebben. Meer informatie over het aan- en uitzetten en afschrijven van vragen leest u in paragraaf 8.5.

LET OP ! Een specifieke ontwikkelstatus betekent niet dat de vraag automatisch op U it of Afgeschreven wordt gezet. De ontwikkelaars moeten de vragen zelf handmatig de status Uit of Afgeschreven geven.

T IP ! U kunt de kenmerkwaarden nummeren om een logische volgorde aan te brengen. Gebruik een 0 als voorloopcijfer (01, 02, 03…) om ook met meer dan tien waarden de gewenste volgorde te verkrijgen. 4.3.2

Vraagkenmerken op domeinniveau We adviseren om op domeinniveau de vraagkenmerken vast te leggen die alleen gelden binnen dat domein. Daarbij kunt u bijvoorbeeld denken aan het vakgebied of een onderwerp, maar ook aan een niveau of een redacteur. Welke keuze u maakt, hangt af van de situatie binnen uw organisatie. Voorbeeld van domeinkenmerk

Voorbeelden van bijbehorende kenmerkwaarden (cursieve waarde is de standaardwaarde)

Vakgebied

Anatomie Fysiologie Kinesiologie Pathologie Ademhaling Hart- en vaatstelsel Overig Spijsvertering Zenuw- en zintuigstelsel 1 VMBO 2 HAVO 3 VWO 4 Onbekend Albert Bram Christine Dirk Onbekend

Onderwerp

Niveau

Redacteur

De domeinkenmerken niveau en redacteur zouden ook op applicatieniveau kunnen worden vastgelegd. Als de kenmerkwaarden voor alle domeinen gelijk zijn, kunt u ze zelfs beter als applicatiekenmerk laten invoeren.

24


5. TOETSTEMPLATES INSTELLEN 5.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : DOMEINBEHEERDERS Toetstemplates kunt u gebruiken om voor diverse toetssoorten (een oefentoets, een diagnostische toets, een examen) een vaste instructie - en resultaatpagina in te stellen. De ontwikkelaar kan dan op toetsniveau een toetstemplate aan de toets koppelen.

5.2

Wat is belangrijk om te weten?  





5.3

In de Help van TestVision Online staat beschreven hoe u toetstemplates kunt toevoegen en bewerken. Er is altijd een toetstemplate als standaard aangewezen. Deze toetstemplate wordt automatisch gekoppeld aan een nieuwe toets. De ontwikkelaar kan een andere template kiezen. Toetstemplates kunnen worden uitgezet of zelfs verwijderd. De standaardtoetstemplate kan echter niet worden verwijderd. Een template die in een bestaande toets wordt gebruikt, kan evenmin verwijderd worden. Als u een toetstemplate uitzet, kan deze niet worden gebruikt in nieuw te ontwikkelen toetsen. Voor bestaande toetsen blijft de template gewoon beschikbaar.

Een toetstemplate toevoegen Als u een toetstemplate toevoegt, staan de opties volgens een standaard ingesteld. We beschrijven hier de standaardinstellingen en geven tips over het kiezen van de overige instellingen.

5.3.1

De instructiepagina instellen Op de instructiepagina kunt u de volgende aspecten instellen:  de informatie die u wilt tonen op de instructiepagina: het aantal vragen in de toets, de tijd die de kandidaat krijgt om de toets te maken, de cesuur (in procenten), de daarvoor te behalen score (in punten) en een toelichting op de gebruikte scoringregel (die aangeeft of wel of geen sprake is van puntenaftrek voor foute antwoorden);  de informatie de de kandidaat kan opvragen tijdens de toets : de instructiepagina, de feedback, de leerstofverwijzingen en de Help;  een aanvullende (algemene) instructietekst. Standaard geldt de volgende instelling: op de instructiepagina word en het aantal vragen, de tijdsduur en de toelichting op de gebruikte scoringsregel getoond. Gedurende de toets is alleen de Help opvraagbaar.

25


U kunt de andere opties bijvoorbeeld om de volgende redenen aanzetten:  Cesuur en/of benodigde score: U wilt dat kandidaten van tevoren weten hoeveel procent (cesuur) of punten ze moeten halen voor een voldoende. Denk er daarbij wel aan dat bij toetsen met een cesuur gebaseerd op de kansscore, u het best de benodigde score kunt tonen , omdat deze informatie het duidelijkst is. En bij een at random samengestelde toets ziet elke kandidaat in dat geval een (iets) andere benodigde score. Als u de cesuur achteraf wilt aanpassen of instellen, kunt u deze beter niet tonen op de instructiepagina.  Instructiepagina opvraagbaar tijdens toets: Het aantal vragen en de tijdsduur zijn ook in de toets zelf te bekijken. Als u wilt dat de kandidaat de cesuur, de benodigde score of de scoringsregel opnieuw kan bekijken, kunt u deze optie aanzetten.  Feedback opvraagbaar tijdens toets: Het aanzetten van deze optie is alleen aan te bevelen voor een oefentoets, waarbij het resultaat niet van belang is. De kandidaat kan dan namelijk zijn antwoord aanpassen nadat hij de feedback heeft gelezen.  Leefstofverwijzing opvraagbaar tijdens toets: Als u deze optie aanzet, kan de kandidaat eventuel leerstof (al dan niet op internet) raadplegen terwijl hij de toets aan het maken is. Ook deze optie is vooral aan te bevelen voor een oefentoets.  Instructietekst: Hier kunt u een algemene instructie invoeren, bijvoorbeeld: Veel succes bij het maken van deze toets! De ontwikkelaar kan op toetsniveau deze instructie aanpassen of uitbreiden. 5.3.2

De resultaatpagina instellen Op de resultaatpagina kunt u instellen welke informatie de kandidaat ziet direct na afloop van de toets en bij het later terugkijken van de pagina. Bij de standaardinstellingen wordt het volgende getoond:  het aantal toetsvragen;  de bestede toetstijd;  het scorepercentage;  het aantal goed, gedeeltelijk goed, fout en niet beantwoorde vragen;  of de kandidaat is geslaagd of niet (alleen als bij de toets een cesuur is ingesteld);  het cijfer dat de kandidaat heeft behaald (alleen als bij de toets een cesuur is ingesteld);  het vraagoverzicht met per vraag vermeld of deze goed, gedeeltelijk goed, fout of niet is beantwoord. Al deze instellingen kunt u indien gewenst uitzetten. U kunt de resultaatpagina uitbreiden met de volgende informatie:  de score per vraag (vooral relevant voor toetsen met gedeeltelijk gescoorde vragen);  deelscores op deelblokken;  een studieadvies met leerstofverwijzingen per vraag;  de mogelijkheid de vraag nogmaals te bekijken;  de mogelijkheid feedback bij de vraag te bekijken;  de mogelijkheid een leerstofverwijzing bij de vraag te bekijken.

26


De laatste vier opties kunt u alleen direct na afloop van de to ets mogelijk maken of ook bij het later terugkijken van de toets. Als u de vragen niet te veel bekend wilt laten worden, zet u deze opties bijvoorbeeld alleen aan direct na afloop van de toets en niet bij het later terugkijken. Ten slotte kunt u op de resultaatpagina een algemene tekst opnemen, maar ook een tekst op resultaatniveau voor geslaagde of niet geslaagde kandidaten en voor een toets zonder cesuur.

27


6. MAPPEN INRICHTEN OM OBJECTEN TE BEHEREN

6.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS In elk ontwikkelonderdeel van TestVision Online heeft u als ontwikkelaar de beschikking over twee soorten mappen: gewone mappen en hulpmappen. Tot welke mappen u als ontwikkelaar toegang heeft, hangt af van de toegang die voor u is ingesteld door de domeinbeheerder (zie hoofdstuk 2 en hoofdstuk 3).

6.1.1

Gewone mappen Gewone mappen vormen de structuur waarin u uw objecten (vragen, toetsen, kandidaten en afnames) beheert. U kunt dit vergelijken met de mappenstructuur die u waarschijnlijk ook gebruikt om de bestanden op uw computer te beheren. Elke vraag, toets, kandidaat of afname slaat u in één specifieke gewone map op.

6.1.2

Hulpmappen Hulpmappen kunt u gebruiken om andere dwarsdoorsnedes van de inhoud van uw gewone mappen te maken. U maakt daarbij referenties naar de objecten uit de gewone mappen. U kunt een objectreferentie beschouwen als een snelkoppeling. Via een snelkoppeling kunt u een object bekijken en/of bewerken. U kunt in verschillende hulpmappen zo vaak naar dezelfde objecten refereren als u wilt. De hulpmappen zijn bedoeld voor het maken van andere dwarsdoorsnedes van objecten, bijvoorbeeld om te gebruiken in een toetsmatrijs, voor het redigeren van vragen, het koppelen van toetsen aan afnames of het bekijken van resultaten van specifieke afnames. Er zijn twee soorten hulpmappen:  publieke hulpmappen, die u deelt met andere gebruikers (deze zijn onder meer bedoeld voor gebruik in een toetsmatrijs of voor het redigeren van vragen);  persoonlijke hulpmappen, waartoe u alleen zelf toegang heeft (deze zijn bedoeld voor het maken van dwarsdoorsnedes voor eigen gebruik, bijvoorbeeld toetsvragen waarover u nog niet tevreden bent).

28


In de onderdelen Vragen en Kandidaten is er nog een speciaal soort hulpmap voor importeren, waarin de vragen en kandidaten staan die vanuit een ander domein of andere database zijn geïmporteerd. Deze vragen en kandidaten moeten eerst worden verplaatst voordat ze kunnen worden bewerkt, zie voor meer informatie de Help. In importhulpmappen kunt u geen referenties plaatsen of mappen aanmaken.

6.2












6.3

In de Help van TestVision Online staat beschreven hoe u mappen kunt toevoegen, hernoemen, verwijderen, kopiëren of verplaatsen en hoe u in de mappen navigeert. Wat u kunt doen in de diverse mappen (mappen beheren, nieuwe objecten maken en/of bestaande objecten bewerken), hangt af van de voor u ingestelde rechten. De domeinbeheerder kan voor u als ontwikkelaar een gewone en/of publieke startmap instellen. U ziet dan alleen de mappenstructuur vanaf die startmap. Daardoor is het mogelijk dat u een andere mappenstructuur ziet dan een andere ontwikkelaar. Als u geen gewone mappen tot uw beschikking heeft, maar wel publieke hulpmappen, kunt u alleen objecten bewerken via de snelkoppelingen (objectreferenties) in de publieke hulpmappen. U kunt dan geen nieuwe objecten ontwikkelen. In persoonlijke hulpmappen kunt u altijd mappen beheren en objectreferenties aanmaken. Of u de objecten ook kunt bewerken, hangt af van uw rechten en uw toegang in de gewone en publieke hulpmappen. Het onderdeel Kandidaten is domeinoverstijgend. Dit betekent dat de mappenstructuur in dit onderdeel voor alle domeinen gelijk is.

Scenario’s voor het inrichten van mappen in Vragen In Vragen kunt u de mapinrichting gebruiken voor het ordenen van uw vragen, bijvoorbeeld met het oog op het samenstellen van uw toetsen. De (hulp)mappen functioneren dan als toetstermen (van een toetsmatrijs). Het hangt van de samenstelling van uw itembank af of u mappen of hulpmappen gebruikt voor het samenstellen van toetsen. Als vragen vooral in dezelfde toetssamenstelling worden gebruikt, kunt u de gewone mappen gebruiken (zie scenario 6.1). Als u uw vragen in verschillende dwarsdoorsnedes in verschillende toetsen gebruikt, stelt u ze bij voor keur samen met behulp van hulpmappen (zie scenario 6.2a en 6.2b).

6.3.1

Meest eenvoudige scenario S CENARIO 6.1: DE GEWONE (SUB ) MAPPENSTRUCTUUR IS OPGEDEELD IN TE TOETSEN ONDERWERPEN , BINNEN ELK ONDERWERP WORDEN DE GEWONE (SUB )MAPPEN GEBRUIKT ALS TOETSTERMEN

29




Als u uw vragen altijd in ongeveer dezelfde toetssamenstelling gebruikt voor vergelijkbare toetsen en hertoetsen. U gebruikt vragen dus niet in verschillende dwarsdoorsnedes voor bijvoorbeeld verschillende doelgroepen. Per te toetsen onderwerp maakt u een (sub)map aan, met daarin een aantal submappen voor elke toetsterm. Bijvoorbeeld:  Top  Nederlands  Zinsdelen (te toetsen onderwerp)  Naamwoordelijk gezegde  Voorzetselvoorwerp  Bijvoeglijke bepaling  Bijwoordelijke bepaling U ontwikkelt in deze mappenstructuur vervolgens uw vragen over het onderwerp Zinsdelen.

WAT IS HET EFFECT ? 6.3.2

In het onderdeel Toetsen kunt u deze submappen gebruiken voor het samenstellen van uw toets (zie paragraaf 7.3.1). Scenario’s voor het gebruik van hulpmappen bij het toetsen samenstellen S CENARIO 6.2A : U GEBRUIKT DE HULPMAPPENSTRUCTUUR VOOR HET MAKEN VAN SELECTIES VAN TOETSVRAGEN VOOR EEN TOETS


H OE RICHT U DE MAPPEN STRUCTUUR IN ? WAT IS HET EFFECT ?

Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit eenvoudige scenario gebruikt u één hulpmap per samen te stellen toets. Per toets maakt u één hulpmap aan, waarin u vanuit de gewone mappenstructuur een referentie maakt naar de vragen die u in de toets wilt opnemen. In het onderdeel Toetsen gebruikt u de hulpmap voor het rechtstreeks samenstellen van de toetsvragenset en vervolgens van de toets (zie paragraaf 7.3.3).

LET OP ! Dit scenario is minder geschikt als u bij het samenstellen van de toets nog invloed wilt uitoefenen op de samenstelling van de toets op onderwerpniveau, bijvoorbeeld bij een at random samengestelde toets. In dat geval kunt u beter kiezen voor scenario 6.2B.

30


S CENARIO 6.2B: U GEBRUIKT DE HULPMAPPENSTRUCTUUR OM TOETSEN SAMEN TE STELLEN OP BASIS VAN TOETSTERMEN , WAARBIJ TOETSVRAGEN IN VERSCHILLENDE DWARSDOORSNEDES WORDEN GEBRUIKT



Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit meer complexe scenario gebruikt u de hulpmappen als basis voor de toetsmatrijs. De gewone mappenstructuur kunt u gebruiken om uw toetsvragen naar eigen inzicht in te delen, dit hoeft dan dus niet noodzakelijk gericht te zijn op het samenstellen van de toetsen. Bijvoorbeeld:  Top  Wiskunde  Statistiek  Frequentietabellen  Frequentieverdelingen  Centrummaten  Spreidingsmaten  Algebra  Functies en grafieken  Lijnen en hoeken In de hulpmappen maakt u een mappenstructuur aan voor het samenstellen van de toetsen met behulp van een toetsmatrijs. Bijvoorbeeld:  Top  Wiskunde  HAVO-4 Statistiek - H4 Frequentietabellen - H4 Frequentieverdelingen - H4 Centrummaten - H4 Spreidingsmaten  VWO-3 Statistiek  …  VWO-4 Statistiek  … Waar u in de gewone mappen alle vragen over een bepaald onderwerp in dezelfde map opslaat, kunt u in de hulpmappen de vragen in andere dwarsdoorsnedes bij elkaar zetten, in dit voorbeeld is dat op niveau en jaar. U maakt referenties van de vragen vanuit de gewone mappen naar de hulpmappen structuur. Zo kunt u van een bepaalde vraag bijvoorbeeld een referentie opnemen in een hulpmap voor VWO-3, maar ook voor HAVO-4.

WAT IS HET EFFECT ?

In het onderdeel Toetsen kunt u de hulpmappen gebruiken voor het samenstellen van toetsen (zie paragraaf 7.3.3).

31


T IP ! U kunt toetsen ook samenstellen met behulp van vraagkenmerken. Zie daarvoor paragraaf 7.3.4.

6.4

Mapinrichting in Toetsen, Kandidaten en Afnames Zoals al beschreven in paragraaf 2.3, kan de domeinbeheerder ook in de onderdelen Toetsen, Kandidaten en Afnames de mappenstructuur gebruiken om de toegang van ontwikkelaars te beperken. Daarnaast zult u de mappenstructuur in deze onderdelen vooral gebruiken voor het overzichtelijk indelen van uw toetsen, kandidaten en afnames. Bijvoorbeeld:  Toetsen: een gewone mappenstructuur ingedeeld op opleiding of vakgebied en een hulpmappenstructuur voor het plannen van afnames, ingedeeld op week of docent.  Kandidaten: een gewone mappenstructuur ingedeeld op klas, afdeling of functiegroep en een hulpmappenstructuur voor het plannen van afnames ingedeeld op week, docent of type kandidaat (dyslectisch, faalangstig). U kunt deze mappen gebruiken om in één keer een hele groep kandidaten aan een afname te koppelen (zie hoofdstuk 10). Als er sprake is van meer domeinen, is het belangrijk dat de domeinbeheerders overleggen over de gezamenlijke mappenstructuur. Het onderdeel Kandidaten is domeinoverstijgend en dus is de mappenstructuur in alle domeinen gelijk.  Afnames: een gewone mappenstructuur ingedeeld op opleiding of vakgebied en een hulpmappenstructuur voor het eenvoudig beschikbaar stellen van resultaten, ingedeeld op groep of docent.

32


7. TOETSEN SAMENSTELLEN 7.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS In het onderdeel Toetsen kunt u toetsen samenstellen. Daarbij heeft u diverse mogelijkheden. U kunt kiezen tussen een toets met een vaste samenstelling (elke kandidaat krijgt dezelfde vragen voorgelegd, eventueel wel in een willekeurige volgorde) of een at random samengestelde toets (elke kandidaat krijgt dan zijn eigen selectie van vragen uit een door u samengestelde vragenset). Beide toetsvormen kunt u op verschillende manieren samenstellen.

7.2




 

  

In de Help van TestVision Online staat de werking van het onderdeel Toetsen beschreven. In deze handleiding besteden we aandacht aan de diverse keuzes die u kunt maken bij het samenstellen van toetsen. We maken bij het samenstellen van toetsen onderscheid tussen de vragenset en de toetsvragenset. De vragenset is de selectie van vragen die in de toets kunnen worden opgenomen. De toetsvragenset is de selectie van vragen die daadwerkelijk in de toets zijn opgenomen (deze set wordt voor een at random samengestelde toets voor elke kandidaat opnieuw samengesteld). Via een toetsmatrijs kunt u de toetsvragenset uit de vragenset selecteren (dan is de vragenset groter dan de toetsvragenset), maar u kunt ook de vragenset direct als toetsvragenset gebruiken (dan zijn vragenset en toetsvragenset dus exact gelijk). Hoe u een vragenset samenstelt en een toetsmatrijs gebruikt, beschrijven we in de scenario’s van dit hoofdstuk. U kunt bij het samenstellen van de vragenset gebruikmaken van vraagfilters. Deze definieert u zelf in het onderdeel Vragen. Als u mappen of hulpmappen wilt gebruiken als criterium in de toetsmatrijs, is het belangrijk dat u vragen via de te gebruiken map toevoegt aan de vragenset. U kunt een toetsmatrijs ook op basis van kenmerken instellen. U kunt uw toets onderverdelen in blokken. De domeinbeheerder heeft een of meer toetstemplates samengesteld. Hierin heeft hij een aantal keuzes voor u vastgelegd, zoals:  de informatie die een kandidaat voorafgaand aan de toets te zien krijgt, bijvoorbeeld de tijdsduur en de cesuur;  de informatie die een kandidaat na afloop van de toets te zien krijgt, bijvoorbeeld de behaalde score, het aantal goed, fout of niet beantwoorde vragen, het kunnen inzien van de vragen en bijbehorende feedback en of de kandidaat is geslaagd of niet;  een instructie- en resultaattekst, die u desgewenst kunt uitbreiden of aanpassen op toetsniveau.

33








U kunt aan elke toets een specifieke toetstemplate koppelen. Wilt u meer weten over de in uw organisatie beschikbare toetstemplates of wilt u een specifieke template laten samenstellen, dan kunt u het best contact opnemen met de domeinbeheerder. Er zijn ook eigenschappen die u zelf vastlegt, namelijk:  de tijdsduur van de toets (deze kunt u eventueel op afnameniveau nog verlengen, bijvoorbeeld voor kandidaten met dyslexie, zie hoofdstuk 10);  de cesuur van de toets, hierbij kunt u onder andere kiezen voor de opties Puntenaftrek bij fout antwoord en Kansscore meewegen (zie paragraaf 7.4.2). U kunt in het onderdeel Toetsen een PDF-versie van de toets maken, bijvoorbeeld voor redactie of bespreking in een vaststellingsvergadering. U kunt zelf instellen welke (meta -)informatie u bij de toets wilt afdrukken. Deze afdruk is niet bedoeld voor afname op papier! Deze maakt u in het onderdeel Afname.

7.3

Scenario’s voor het samenstellen van toetsen

7.3.1

Meest eenvoudige scenario S CENARIO 7.1: U STELT DE TOETSVRAGENSET SAMEN OP BASIS VAN EEN GEWONE MAPPENSTRUCTUUR


H OE STELT U DE TOETSVRAGEN SET EN DE TOETS (EN ) SAMEN ?

Als u uw vragen altijd in ongeveer dezelfde toetssamenstelling gebruikt voor vergelijkbare toetsen en hertoetsen. U gebruikt vragen dus niet in verschillende dwarsdoorsnedes voor bijvoorbeeld verschillende doelgroepen en heeft geen hulpmappen nodig. U hebt de mappenstructuur ingericht volgens het scenario uit paragraaf 6.3.1. Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens geeft u het aantal vragen dat de toets moet bevatten op en indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna de toetsmatrijs in. Daarna genereert u de toets.

T IP ! U kunt bij het samenstellen van de vragenset gebruikmaken van een vraagfilter. Zo kunt u bijvoorbeeld filteren op specifieke vraagvormen of op vragen met een p-waarde tussen 0,3 en 0,7. Voor dit laatste moet u analysegegevens van eerdere afnames hebben vastgelegd (zie paragraaf 12.3).

WAT IS HET EFFECT ?

U heeft op eenvoudige wijze een toets samengesteld, waarbij u via de toetsmatrijs geen of relatief weinig invloed uitoefent op de samenstelling.

34


7.3.2

Eenvoudige scenario’s voor het samenstellen van standaard - en at random samengestelde toetsen S CENARIO 7.2: VIA EEN SUBMAPPENSTRUCTUUR LAAT U T EST VISION O NLINE EEN SELECTIE MAKEN VAN TOETSVRAGEN UIT EEN GROTERE SET

WANNEER GEBRUIKT U DIT

Als u een ruime set vragen heeft, waaruit u een aantal keren een toets wilt genereren, bijvoorbeeld een toets-hertoetscombinatie.

SCENARIO ?


Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens stelt u de toetsmatrijs in en genereert u een toets. De samenstelling van deze toets kunt u d esgewenst handmatig aanpassen. TestVision Online controleert automatisch voor u of de toets nog voldoet aan de toetsmatrijs. Als dit niet het geval is, ziet u een foutmelding die aangeeft op welk punt de toets niet overeenkomt met de toetsmatrijs.

LET OP ! U kunt een toets die niet voldoet aan de toetmatrijs, niet publiceren en dus ook niet afnemen. WAT IS HET EFFECT ?

U oefent via de toetsmatrijs invloed uit op de samenstelling van uw toets.

T IP ! U kunt een toets via de knop Opslaan als dupliceren, bijvoorbeeld voor een hertoets. Daarna kunt u de toets opnieuw genereren en zorgen voor een andere samenstelling.

LET OP ! TestVision Online kiest bij Opslaan als niet automatisch andere toetsvragen dan in de oorspronkelijke toets. U moet hier dus zelf voor zorgen. VOORBEELD S CENARIO 7.2: D E TOETSMATRIJS VOOR HET SAMENSTELLEN VAN EEN TOETS VAN 10 VRAGEN KAN ER ZO UIT ZIEN :

35


T EST VISION O NLINE SELECTEERT WILLEKEURIG 10 VRAGEN VOLGENS BOVENSTAANDE CRITERIA . D E GEGENEREERDE TOETS IS ALS VOLGT SAMENGESTELD :

D E TOETS BEVAT TWEE VRAGEN UIT DE MAP ALGEMEEN, DRIE VRAGEN UIT DE MAP G EOGRAFIE EN VIJF VRAGEN UIT DE MAP GESCHIEDENIS . OP HET MOMENT DAT U EEN VRAAG UIT DE MAP A LGEMEEN HANDMATIG VERVANGT DOOR EEN VRAAG UIT DE MAP G EOGRAFIE , CONTROLEERT T EST VISION O NLINE OF DIT OVEREENKOMT MET DE TOETSMATRIJS EN GEEFT EEN FOUTMELDING :

36


I N DIT GEVAL KUNT U AAN DE RODE 2 EN 3 BIJ DE MINIMUM - EN MAXIMUMWAARDEN VAN DE MAPPEN ALGEMEEN EN GEOGRAFIE ZIEN WAAR DE TOETSVRAGEN NIET OVEREENKOMEN MET DE INSTELLINGEN IN DE TOETSMATRIJS . U KUNT DIT HANDMATIG HERSTELLEN ( DOOR HET AANPASSEN VAN DE TOETSMATRIJS OF DE TOETSVRAGENSET ) OF DE TOETS OPNIEUW GENEREREN . U ZOU IN DIT GEVAL WEL ZONDER PROBLEMEN EEN VRAAG UIT DE MAP GESCHIEDENIS IN DE TOETSVRAGENSET KUNNEN VERVANGEN DOOR EEN VRAAG UIT DE MAP WATER . D IE WIJZIGING PAST NAMELIJK WEL BINNEN DE RANDVOORWAARDEN VAN DE TOETSMATRIJS .

S CENARIO 7.3: VIA EEN SUBMAPPENSTRUCTUUR LAAT U T EST VISION O NLINE VOOR ELKE AFZONDERLIJKE KANDIDAAT AT RANDOM EEN SELECTIE MAKEN VAN TOETSVRAGEN UIT EEN GROTERE SET


Als u een ruime set vragen heeft, waaruit u voor elke kandidaat een andere selectie wilt genereren. Zo kunt u bijvoorbeeld gedurende een langere periode bij kandidaten de toets afnemen, zonder dat de toetsvragen bekend raken.

LET OP ! Voor een goede at random samengestelde toets heeft u een goed gevulde vragenset nodig. Wij hanteren als vuistregel een minimum van drie vragen per te selecteren toetsvraag. Voor een toets van 25 vragen heeft u dan dus een vragenset van minimaal 75 vragen nodig. H OE STELT U DE TOETSVRAGEN SET EN DE TOETS (EN ) SAMEN ?

Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens stelt u de toetsmatrijs in. U hoeft geen toets te genereren en u kunt de toetsvragenset dus ook niet handmatig wijzigen.

37


WAT IS HET EFFECT ?

7.3.3

U oefent via de toetsmatrijs invloed uit op de at random samenstelling van elke toets. Zo zorgt u ervoor dat elke kandidaat een inhoudelijk gelijkwaardige toets krijgt, met (ongeveer) evenveel vragen over de verschillende onderwerpen. Scenario’s voor het samenstellen van toetsen met behulp van hulpmappen S CENARIO 7.4A : V IA EEN HULPMAPPENSTRUCTUUR STELT U MET BEHULP VAN ÉÉN HULPMAP EEN TOETS SAMEN



WAT IS HET EFFECT ?

Als u uw toetssamenstelling niet wilt baseren op de gewone mappenstructuur, omdat u de vragen in verschillende dwarsdoorsnedes wilt gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit eenvoudige scenario gebruikt u één hulpmap per samen te stellen toets. U heeft een hulpmappenstructuur gemaakt conform scenario 6.2a in paragraaf 6.3.2. Voor de vragenset selecteert u de hulpmap waarin u objectreferenties heeft opgenomen naar de vragen die u in de toets wilt opnemen. U kunt de betreffende vragen in een keer toevoegen aan de set. Indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna eerst de toetsmatrijs in. U kunt ook direct een toets genereren. U heeft via de hulpmappen een toets samengesteld, waarbij u via de toetsmatrijs geen of relatief weinig invloed uitoefent op de samenstelling. S CENARIO 7.4B: V IA EEN HULPMAPPENSTRUCTUUR STELT U TOETSEN SAMEN OP BASIS VAN TOETSTERMEN, WAARBIJ TOETSVRAGEN IN VERSCHILLENDE DWARSDOORSNEDES WORDEN GEBRUIKT



WAT IS HET EFFECT ?

Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit meer complexe scenario gebruikt u de hulpmappen als basis voor de toetsmatrijs. U heeft een hulpmappenstructuur gemaakt conform scenario 6.2b in paragraaf 6.3.2. Voor de vragenset selecteert u de hulpmappen met objectreferenties naar vragen die u in de toets wilt opnemen, bijvoorbeeld alle hulpmappen onder Statistiek HAVO-4 als u een toets voor die doelgroep wilt samenstellen. U kunt de betreffende vragen in een keer toevoegen aan de set. Indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna eerst de toetsmatrijs in. U kunt ook direct een toets genereren. U heeft via de hulpmappen en eventueel de toetsmatrijs een toets samengesteld voor een specifieke doelgroep, in dit voorbeeld HAVO-4. De

38


betreffende vragen kunnen ook worden gebruikt voor andere doelgroepen, zoals VWO-3. 7.3.4

Scenario’s voor het samenstellen van toetsen op basis van twee criteria S CENARIO 7.5: U STELT EEN TOETS SAMEN OP BASIS VAN EEN MAPPENSTRUCTUUR GECOMBINEERD MET EEN ZELF GEDEFINIEERD KENMERK , ZOALS TAXONOMIECODE OF MOEILIJKHEID



WAT IS HET EFFECT ?

Als u niet alleen invloed wilt uitoefenen op de te toetsen onderwerpen, maar ook op de te toetsen vaardigheid of de moeilijkheid van de toets. Dit kunt u bijvoorbeeld gebruiken bij een at random samengestelde toets. Elke kandidaat krijgt dan een zo gelijkwaardig mogelijke toets. U kunt de vragenset naar eigen inzicht samenstellen, op basis van mappen of hulpmappen. Nadat u de vragenset heeft samengesteld, kiest u als eerste criterium de mappen en als tweede criterium het gewenste kenmerk. Vervolgens stelt u in de matrix de minimum- en maximumwaarden van uw toetsmatrijs in. U zorgt dat elke at random samengestelde toets (ongeveer) hetzelfde aantal vragen met een specifiek kenmerk bevat. Hierdoor oefent u bijvoorbeeld invloed uit op de moeilijkheidsgraad van de toets. VOORBEELD 1 TOETSMATRIJS SCENARIO 7.5:

I N DEZE TOETSMATRIJS IS HET AANTAL VRAGEN PER ONDERWERP EXACT VASTGELEGD (DE MINIMUM - EN MAXIMUMWAARDEN ZIJN AAN ELKAAR GELIJK ). O P HET TWEEDE KENMERK ( TAXONOMIE ) ZIJN WEL VERSCHILLENDE MINIMUM - EN MAXIMUMWAARDEN AANGEGEVEN . E LKE TOETS ZAL BINNEN DEZE RANDVOORWAARDEN WORDEN SAMENGESTELD. OOK BIJ EEN MATRIJS MET TWEE CRITERIA VOERT TEST VISION O NLINE DIVERSE CONTROLES UIT TUSSEN DE TOETSMATRIJS EN DE VRAGENSET ( ZIE HET VOORBEELD BIJ SCENARIO 7.2), MAAR OOK OP CONSISTENTIE IN DE TOETSMATRIJS . ZO GEEFT T EST VISION O NLINE EEN FOUTMELDING ALS EEN INSTELLING NIET MOGELIJK IS :

39


I N DIT GEVAL KOMEN DE INGESTELDE MINIMUMWAARDEN VOOR HET TWEEDE KENMERK OP ONDERWERP 2 NIET OVEREEN MET DE INGESTELDE TOTALE MINIMUMWAARDE VOOR HET ONDERWERP. DE ONTWIKKELAAR MOET EEN VAN DE INSTELLINGEN WIJZIGEN . VOORBEELD 2 TOETSMATRIJS SCENARIO 7.5:

U KUNT ER VOOR KIEZEN OM OOK DE TOTALEN PER ONDERWERP VARIABEL TE MAKEN, DOOR DE MINIMUM - EN MAXIMUMWAARDEN VERSCHILLEND IN TE STELLEN . I N DIT VOORBEELD SELECTEERT TEST VISION O NLINE PER ONDERWERP VOOR ELKE TOETS EEN ANDERE VERDELING VAN VRAGEN OVER DE ONDERWERPEN . DAARBIJ HOUDT TEST VISION O NLINE OOK REKENING MET DE INGESTELDE MINIMUM - EN MAXIMUMWAARDEN VOOR DE TAXONOMIE .

40


7.3.5

Scenario’s voor het samenstellen van toetsen met deelblokken S CENARIO 7.6: U WILT IN EEN TOETS MET DEELONDERWERPEN EEN DEELSCORE KUNNEN GEVEN PER ONDERWERP


H OE STELT U DE DEELBLOKKEN IN ?

WAT IS HET EFFECT ?

Als er binnen de toets sprake is van een aantal duidelijke deelonderwerpen, waarop u graag apart een score wilt terugkoppelen aan de kandidaten, zodat ze beter zicht krijgen op hun kennis op de verschillende onderdelen. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. Bij een vast samengestelde toets, geeft u aan welke vragen in elk deelblok thuishoren. Bij een at random samengestelde toets, geeft u aan welke matrijscriteria (dit zullen meestal (hulp)mappen zijn) bij elk deelblok horen. U kunt elk deelblok een naam geven en eventueel ook een blokintroductie invoeren. U moet in dit scenario kiezen voor een template dat de deelscores op de blokken toont. De kandidaat ziet bij het maken van de toets dat de toets in blokken is verdeeld en ook op de resultaatpagina ziet hij de blokken en bijbehorende deelscores terug. Als u een blokintroductie invoert, ziet de kandidaat voorafgaand aan de vragen in het blok deze informatie op een aparte pagina. De pagina heeft dan ook een eigen blokje in het vraagoverzicht. Op de resultaatpagina ziet de kandidaat in het vraagoverzicht altijd de namen van de deelblokken.

T IP ! U kunt de deelblokken indien gewenst in willekeurige volgorde laten tonen. Binnen elk deelblok kunt u de vragen ook in willekeurige volgorde laten tonen. Dit kunt u voor elk deelblok apart instellen.

LET OP ! Het gebruik van deelblokken is niet bedoeld om twee of meer toetsen samen te voegen tot één toets. De cesuur wordt altijd toegepast over de totale score. Op een of meer deelblokken kan een kandidaat dus beneden de cesuur scoren en toch een voldoende halen voor de totale toets. S CENARIO 7.7: U WILT ENERZIJDS DE VRAGEN IN WILLEKEURIGE VOLGORDE AANBIEDEN , MAAR ANDERZIJDS EEN OF MEER SETS VRAGEN BIJ ELKAAR HOUDEN



Als er in de toets een of meer sets vragen voorkomen die direct na elkaar (al dan niet in vaste volgorde) getoond moeten worden aan de kandidaat, terwijl u de overige vragen bij voorkeur in willekeurige volgorde wilt tonen. Zo’n set kan bestaan uit een situatie waarop in de opeenvolgende vragen wordt voortgeborduurd (vaste volgorde) of uit vragen die over een zelfde onderwerp gaan. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. U plaatst de sets vragen elk in een eigen deelblok en de overige vragen samen in één deelblok. Vervolgens stelt u in of de deelblokken in vaste of willekeurige volgorde worden getoond. Hetzelfde doet u per deelblok voor de vragen. U kunt zelf bepalen of een blokintroductie nodig is en of u de blokpagina wilt tonen. U kunt in dit

41


scenario het best kiezen voor een template dat de deelscores op de blokken niet toont. WAT IS HET EFFECT ?

Afhankelijk van uw keuzes ten aanzien van de blokintroductie ziet d e kandidaat bij het maken van de toets dat de toets in blokken is verdeeld. De vragen die bij elkaar horen, worden bij elkaar getoond, maar u kunt toch ook een zekere mate van willekeurige volgorde in de totale toets bewerkstelligen.

T IP ! U kunt deelblokken ook gebruiken om in een toets met zowel gesloten als open vragen, deze vraagvormen bij elkaar te houden. De kandidaat krijgt dan eerst alle gesloten vragen en daarna alle open vragen (of andersom).

S CENARIO 7.8: U WILT ERVOOR ZORGEN DAT EEN KANDIDAAT NIET TERUG KAN NAAR SPECIFIEKE VRAGEN NADAT HIJ BEPAALDE ANDERE VRAGEN HEEFT GEZIEN (ALLEEN VOOR VAST SAMENGESTELDE TOETSEN ) WANNEER GEBRUIKT U DIT SCENARIO ?


WAT IS HET EFFECT ?

7.4

Als u in één toets bijvoorbeeld enkele casussen met bijbehorende vragen heeft opgenomen, waarbij sprake is van enige afhankelijkheid tussen de vragen. U wilt dat de kandidaat deze casussen één voor één maakt en niet terug kan naar eerdere casussen. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. U plaatst de sets vragen bij een casus elk in een eigen deelblok. In dit scenario ligt het voor de hand de blokken in vaste volgorde te tonen, maar dit is niet noodzakelijk. Vervolgens geeft u bij de Eigenschappen aan dat de deelblokken eenmalig moeten worden afgenomen. We adviseren u om de kandidaten hierover te informeren op de blokintroductiepagina. U kunt in dit scenario het best kiezen voor een template dat de deelscores op de blokken niet toont, tenzij u de kandidaat wilt informeren op de score per casus. De kandidaat ziet bij het maken van de toets dat de toets in blokken is verdeeld. Zodra de kandidaat een blok verlaat, krijgt hij de waarschuwing dat het blok dan definitief wordt afgesloten en hij er niet maar naar terug kan. Op dat moment kan de kandidaat nog naar het blok terugkeren. Wil de kandidaat later vanuit een ander blok terug gaan naar een al afgesloten blok, dan krijgt de kandidaat een melding dat dit niet kan.

Toetseigenschappen instellen U kunt op toetsniveau verschillende eigenschappen instellen. In deze paragraaf geven we op de algemene eigenschappen een korte toelichting. De toelichting op het eenmalig afnemen van deelblokken vindt u in de paragraaf hiervoor, scenario 7.8.

42


7.4.1

De maximale tijdsduur instellen De standaard ingestelde tijd bedraagt 60 minuten. U kunt dit naar eigen inzicht aanpassen of zelfs kiezen voor een onbeperkte tijdsduur. In de literatuur worden diverse aanwijzingen gegeven over de gemiddelde antwoordtijd van een een-uit-meervraag, waarbij de antwoordtijd toeneemt naar mate het aantal alternatieven toeneemt. Zo zou de gemiddelde antwoordtijd van een tweekeuzevraag 50 seconden bedragen, van een driekeuzevraag 60 seconden en van een vierkeuzevraag 75 seconden. Wij zijn zeer terughoudend in het hanteren van dergelijke vuistreg els. We adviseren u om vooral de inhoud en moeilijkheid van de toetsvragen te laten meewegen in het vaststellen van de toetstijd. U kunt natuurlijk ook op basis van een proefafname de toetstijd instellen. Ten slotte is het mogelijk om voor een specifieke afnamegroep (bijvoorbeeld kandidaten met dyslexie) de tijdsduur op afnameniveau te verlengen (zie paragraaf 10.3.2).

7.4.2

De cesuur instellen U kunt er voor kiezen om een cesuur in te stellen en daarbij al dan niet de kansscore mee te wegen. Zonder cesuur kan een kandidaat niet slagen of zakken voor een toets. Ook kunt u kiezen voor de optie Puntenaftrek bij fout antwoord. Deze optie is alleen beschikbaar bij toetsen die uitsluitend uit een -uit-meervragen bestaan. Alleen dan is deze scoringsregel voor kandidaten namelijk voldoende transparant. Deze scoringsregel betekent dat kandidaten voor elk fout antwoord aftrek krijgen op basis van de kansscore van de vraag. Een fout beantwoorde tweekeuzevraag betekent een vol punt aftrek, een fout beantwoorde driekeuzevraag een half punt aftrek en een fout beantwoorde vierkeuzevraag een derde punt aftrek. Op deze manier kunt u ontmoedigen dat kandidaten gokken als ze het antwoord op een vraag niet weten. U moet er wel rekening mee houden dat u bij het toepassen van deze scoringsregel niet alleen kennis en vaardigheden toetst, maar ook persoonlijkheidskenmerken zoals zelfvertrouwen. Bij de cijferbepaling kunt u kiezen tussen een cijfer in hele of tiende punten. Als u geen cijferbepaling instelt, ziet de kandidaat alleen een scorepercentage en de aanduiding geslaagd of gezakt (als er een cesuur is ingesteld). De standaardinstelling bij een ingestelde cesuur is een cijferbepaling in tiende punten. Als u een cesuur en cijferbepaling heeft ingesteld, betekent dit niet automatisch dat de kandidaat direct na de toetsafname een uitslag ziet. Dit hangt af van de instellingen van de aan de toets gekoppelde toetstemplate (zie paragraaf 7.2).

43


T IP ! Meer informatie over het instellen van de cesuur en de afwegingen daarbij vindt u in ons boek Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?.

44


8. VRAGEN EN TOETSEN BEHEREN 8.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS Het is belangrijk dat u het beheer van uw vragen en toetsen goed organiseert. Dit geldt natuurlijk nog sterker als u met meer ontwikkelaars gebruik maakt van dezelfde toetsen en/of vragen. In dit hoofdstuk beschrijven we enkele scenario’s die kunnen voorkomen bij het beheer van vragen en toetsen. In tegenstelling tot andere hoofdstukken, beschrijven we hier geen ‘meest eenvoudige’ scenario. Het meest eenvoudige scenario is: vragen ontwikkelen, een toets samenstellen en daarna publiceren. Waarop u moet letten als u een toets samenstelt, leest u in hoofdstuk 7. Hoe u vragen ontwikkelt en hoe het publiceren in zijn werk gaat, is beschreven in de Help van TestVision Online. In dit hoofdstuk beschrijven we enkele scenario’s voor het aanpassen van vragen of toetsen na de publicatie van de eerste versie van de toets.

8.2








Er zijn drie statussen voor vragen en toetsen: U it, Aan en Afgeschreven. Deze statussen hebben consequenties voor de beschikbaarheid van (nieuwe en bestaande) toetsen. U leest hierover meer in paragraaf 8.5. U kunt een toets pas door kandidaten laten maken als deze is gepubliceerd. U kunt een toets publiceren, als ze aan de eisen voldoet:  Alle vragen in de toets moeten de status Aan of Afgeschreven hebben.  De selectie met toetsvragen moeten voldoen aan de instellingen van de toetsmatrijs (zie het voorbeeld in paragraaf 7.3.2). Een gepubliceerde toets kunt u in een afname opnemen. Aan een afname koppelt u de kandidaten die de toets gaan maken. Over het plannen van afnames leest u meer in hoofdstuk 10. Als u wijzigingen aanbrengt in een gepubliceerde toets, zoals een aanpassing in een vraag, het vervangen van een vraag of een wijziging in de eigenschappen van een toets, moet u de toets opnieuw publiceren voordat de wijzigingen zichtbaar zijn voor de kandidaten. In het overzicht van toetsen kunt u de publicatiestatus van de toets zien. De volgende statussen zijn mogelijk:  Niet gepubliceerd: om de toets te kunnen afnemen, moet u deze eerst publiceren. TestVision Online controleert daarbij of de toets aan de eisen voldoet (zie hiervoor).  Gepubliceerd: deze toets kan worden afgenomen en de versie die wordt afgenomen is gelijk aan de actuele versie.

45


Niet synchroon: deze toets kan worden afgenomen, maar de gepubliceerde versie die wordt afgenomen is niet gelijk aan de actuele versie. Er zijn wijzigingen in de toets aangebracht. U moet de toets opnieuw publiceren om de wijzigingen door te voeren in de versie die wordt afgenomen. TestVision Online controleert daarbij of de toets aan de eisen voldoet (zie hiervoor). TestVision Online maakt bij het opslaan van wijzigingen van vragen en toetsen onderscheid tussen hoofd- en subversies. Hoofdversies worden genummerd met 1.0, 2.0, 3.0 et cetera. Subversies hebben als nummer 1.1, 1.2, 1.3 et cetera. Dit onderscheid is van belang voor de toetsen itemanalyse die u van een toets kunt maken. Voor elke hoofdversie van een toets maakt u desgewenst een aparte toetsen itemanalyse. Over subversies die bij dezelfde hoofdversie horen, kunt u één toetsen itemanalyse maken. Een toets krijgt een nieuwe hoofdversie als:  de vraagvorm, sleutel of wegingsfactor van een vraag is gewijzigd;  een alternatief bij een vraag is verwijderd of toegevoegd;  gedeeltelijk scoren bij een vraag is aan- of uitgezet;  puntenaftrek bij een fout antwoord is aan- of uitgezet;  er vragen uit een toets zijn verwijderd, toegevoegd of vervangen. In de historie van een toets kunt u zien wanneer en door wie een toets is opgeslagen en/of gepubliceerd en onder welk versienummer dit is vastgelegd. Ook voor vragen kunt u de historie inzien. 





LET OP ! Als u analysegegevens heeft vastgelegd (zie paragraaf 12.3), worden deze gekoppeld aan de versie van de vraag zoals die is opgenomen in de gepubliceerde toets en aan de versie van de gepubliceerde to ets. Als u een grote wijziging aanbrengt in een vraag (bijvoorbeeld de sleutel wijzigt of een alternatief toevoegt), of de toets (bijvoorbeeld een wijziging in de samenstelling), krijgt de vraag of toets een nieuwe hoofdversie . De vastgelegde analysegegevens worden dan verwijderd. Als u dit niet wilt, kunt u de gewijzigde vraag of toets het best onder een andere naam opslaan. Ook als u een gepubliceerde vraag of toets ingrijpend verandert (bijvoorbeeld voor een andere doelgroep), adviseren we u om de vraag of toets eerst onder een andere naam op te slaan.

8.3

Scenario’s voor het doorvoeren van wijzigingen in vragen S CENARIO 8.1A: U WILT EEN WIJZIGING DOORVOEREN IN EEN VRAAG IN EEN GEPUBLICEERDE TOETS


H OE VOERT U DE WIJZIGING DOOR ?

Als u een vraag wijzigt die in een al gepubliceerde toets is opgenomen, bijvoorbeeld omdat een kandidaat tijdens een afname een fout in de vraag heeft ontdekt.

Ten eerste wijzigt u de vraag in het onderdeel Vragen. Daarna ziet u in het onderdeel Toetsen dat de toets waarin de vraag is opgenomen niet synchroon is. U publiceert deze toets opnieuw.

46


T IPS! Als u eerst moet overleggen over een oplossing voor het probleem, kunt u de toets tijdelijk niet beschikbaar maken voor afname door hem U it te zetten. Zie voor meer informatie de scenario’s in paragraaf 8.5. Het kan ook voorkomen dat u als beheerder of eigenaar van een specifieke toets ontdekt dat deze niet synchroon is, terwijl u zelf geen wijzigingen in de vragen heeft aangebracht. Dit zal dan het werk zijn van een collegaontwikkelaar. In het publicatievenster kunt u controleren welke vraag of vragen in de toets zijn gewijzigd. U kunt er dan voor kiezen om de toets(en) wel of niet opnieuw te publiceren. Als het om meer wijzigingen in meer vragen gaat, kunt u alleen kiezen voor het doorvoeren van alle wijzigingen.

LET OP ! Een at random toets is niet synchroon als een gewijzigde vraag in de vragenset is opgenomen. Een standaardtoets is niet synchroon als een gewijzigde vraag is geselecteerd voor de toetsvragenset. WAT IS HET EFFECT ?

Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de gewijzigde vraag. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke versie van de vraag. Als het een kleine wijziging betreft (bijvoorbeeld een typfoutje), blijft de hoofdversie van toets gelijk (het versienummer gaat van 1.0 naar 1.1). Als het een grotere wijziging betreft (bijvoorbeeld een sleutelfout), krijgt de toets een nieuwe hoofdversie (het versienummer gaat van 1.0 naar 2.0). S CENARIO 8.1B: U WILT EEN WIJZIGING DOORVOEREN IN EEN VRAAG DIE NOG NIET IS OPGENOMEN IN EEN GEPUBLICEERDE TOETS


H OE VOERT U DE

Als u een vraag wijzigt die nog niet in een toets is opgenomen of is opgenomen in een nog niet gepubliceerde toets, bijvoorbeeld tijdens het corrigeren naar aanleiding van een redactieslag.

U hoeft de vraag alleen te wijzigen in het onderdeel Vragen.

WIJZIGING DOOR ?

WAT IS HET EFFECT ?

8.4

Het versienummer van de vraag zal wijzigen. Afhankelijk van het type wijziging krijgt de vraag een nieuwe sub- of hoofdversie. Als de vraag in een nog niet gepubliceerde toets is opgenomen, wordt bij het publiceren automatisch de laatste versie van de vraag meegenomen.

Scenario’s voor het doorvoeren van wijzigingen in een gepubliceerde toets U kunt altijd zonder verdere consequenties wijzigingen doorvoeren in een niet gepubliceerde toets. In deze paragraaf beschrijven we de consequenties van het doorvoeren van wijzigingen in een toets die u al wel heeft gepubliceerd.

47


8.4.1

Een wijziging doorvoeren in de toetssamenstelling S CENARIO 8.2: U WILT EEN OF MEER VRAGEN IN DE TOETSVRAGENSET VERVANGEN



Als een of meer van de vragen in de toetsvragenset niet meer up-to-date zijn. Wellicht heeft u zo’n vraag in het onderdeel Vragen al de status Uit gegeven. In dit geval kunt u het best zelf handmatig de betreffende vraag of vragen verwijderen en de vervangende vraag of vragen toevoegen. U kunt de toets ook opnieuw genereren, maar daarmee wijzigt u de totale samenste lling van de toets (afhankelijk van de omvang van de vragenset). Daarna publiceert u de toets opnieuw.

T IP ! Als u veel wijzigingen in de toets hebt aangebracht, kunt u de toets beter onder een andere naam opslaan. WAT IS HET EFFECT ?

Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de vervangende vraag. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke vraag. De toets krijgt bij het publiceren een nieuwe hoofdversie. S CENARIO 8.3: U WILT DE VRAGEN IN EEN ANDERE (VASTE ) VOLGORDE TONEN (ALLEEN STANDAARDTOETS )


Als u na publicatie ontdekt dat u de vragen toch in een andere volgorde wilt tonen, bijvoorbeeld in een vaste volgorde.

SCENARIO ?

H OE VOERT U DE WIJZIGING

U vinkt de optie Willekeurige volgorde op het tabblad Toets uit. Daarna publiceert u de toets opnieuw.

DOOR ?

WAT IS HET EFFECT ?

Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, krijgen de vragen in de volgorde van de nieuwe instelling. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de vragen in de volgorde waarin zij ze hebben gemaakt. De toets krijgt bij het publiceren een nieuwe subversie. S CENARIO 8.4: U WILT DE VRAGENSET VAN EEN AT RANDOM SAMENGESTELDE TOETS AANPASSEN



Als u nieuwe vragen wilt toevoegen of als u bestaande vragen wilt verwijderen, bijvoorbeeld omdat ze bekend zijn geraakt of er veel commentaar van kandidaten op is gekomen. U voegt de vragen toe aan de vragenset of verwijdert ze. Daarna publiceert u de at random samengestelde toets opnieuw.

DOOR ?

48


WAT IS HET EFFECT ?

Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, wordt een at random selectie getrokken uit de nieuwe vragenset. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Als zij een verwijderde vraag voorgelegd hebben gekregen, zien ze die bij het reviewen van de toets. De toets krijgt bij het publiceren een nieuwe hoofdversie. S CENARIO 8.5: U WILT VAN EEN AT RANDOM SAMENGESTELDE TOETS EEN STANDAARDTOETS MAKEN ( OF OMGEKEERD )



WAT IS HET EFFECT ?

Als het aantal vragen te klein is geworden om nog een goede at random samengestelde toets af te nemen, of als uw voorraad vragen juist zo groot is dat u at random een toets kunt samenstellen.

U wijzigt indien nodig de vragenset. Daarna vinkt u de optie At random samengesteld aan of uit. Bij de overgang naar een standaardtoets moet u deze nu eerst opnieuw genereren. In beide gevallen moet u de toets opnieuw publiceren. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de nieuw gepubliceerde versi e. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets, zij zien de door hen gemaakte versie. De toets krijgt bij het publiceren in beide gevallen een nieuwe hoofdversie. De toets i s natuurlijk wel ingrijpend veranderd.

T IP ! U kunt er ook voor kiezen een toets eerst te dupliceren door deze onder een andere naam op te slaan en hem daarna pas aan te passen.

S CENARIO 8.6A : U WILT DE TOETSMATRIJS VAN EEN VASTE TOETS AANPASSEN WANNEER GEBRUIKT U DIT

Als u over een bepaald onderwerp meer vragen wilt stellen of meer vragen met een specifiek kenmerk.

SCENARIO ?


WAT IS HET EFFECT ?

U wijzigt indien nodig de vragenset. Vervolgens wijzigt u de toetsmatrijs en past de toets handmatig aan of genereert de toets opnieuw (daarbij zal de totale samenstelling van de toets wijzigen). Daarna publiceert u de toets opnieuw. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de toets in de aangepaste samenstelling. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke toets. De toets krijgt bij het publiceren een nieuwe hoofdversie.

49


S CENARIO 8.6B: U WILT DE TOETSMATRIJS VAN EEN AT RANDOM SAMENGESTELDE TOETS AANPASSEN


Als u over een bepaald onderwerp meer vragen wilt stellen of meer vragen met een specifiek kenmerk.

SCENARIO ?


U wijzigt indien nodig de vragenset. Vervolgens wijzigt u de toetsmatrijs. Daarna publiceert u de toets opnieuw.

DOOR ?

WAT IS HET EFFECT ?

8.4.2

Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, wordt een at random selectie getrokken volgens de nieuwe toetsmatrijs. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Zij zien bij het reviewen van de toets hun oorspronkelijke selectie vragen volgens de oude toetsmatrijs. De toets krijgt bij het publiceren een nieuwe subversie. Een wijziging doorvoeren in de toetsinstellingen S CENARIO 8.7A: U WILT DE CESUUR VAN EEN TOETS AANPASSEN



Als u de cesuur van een toets wilt aanpassen. U wilt bijvoorbeeld de cesuur verlagen omdat de toets moeilijker blijkt dan verwacht of de cesuur verhogen omdat de cesuur oorspronkelijk verkeerd is ingesteld.

U kunt de cesuurinstelling op toetsniveau aanpassen. Daarna publiceert u de toets opnieuw.

DOOR ?

WAT IS HET EFFECT ?

Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, geldt de gewijzigde cesuur. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. De toets krijgt bij het publiceren een nieuwe subversie.

T IP ! Wilt u dat ook voor de kandidaten die de toets al hebben gemaakt de gewijzigde cesuur geldt? Dan kunt u ook de resultaten van de oudere subversies van de toets aanpassen (zie scenario 12.4 in paragraaf 12.4.2). De cesuurwijziging geldt dan voor iedereen. S CENARIO 8.7B: U WILT OVERIGE TOETSEIGENSCHAPPEN AANPASSEN WANNEER GEBRUIKT U DIT

Als u de tijdsduur of de wijze van cijferbepaling van een toets wilt aanpassen.

SCENARIO ?

50


LET OP ! We raden u af om na publicatie alsnog de opties Puntenaftrek voor een fout antwoord, Cesuur toepassen of Kansscore meewegen aan of uit te zetten. U kunt dan beter een duplicaat van de toets maken door deze onder een andere naam op te slaan en daarna de wijziging doorvoeren. H OE VOERT U DE WIJZIGING

U wijzigt de tijdsduur in minuten of u wijzigt de manier van cijferbepaling. Daarna publiceert u de toets opnieuw.

DOOR ?

WAT IS HET EFFECT ?

Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, geldt de gewijzigde tijdsduur of manier van cijferbepaling. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Zij zien de oude tijdsduur (als in de template de tijdsduur wordt getoond op de instructiepagina) en hun cijfer volgens de oorspronkelijke manier van cijferbepalen (tenzij de cijferbepaling ook achteraf bij de resultaten is aangepast). De toets krijgt in beide gevallen bij het publiceren een nieuwe subversie. S CENARIO 8.8: U WILT DE TEKST OP DE INSTRUCTIE - OF RESULTAATPAGINA WIJZIGEN EN/ OF EEN ANDERE TOETSTEMPLATE KIEZEN


Als de gekozen template niet geschikt blijkt te zijn (voor meer informatie over toetstemplates, zie paragraaf 7.2) of als u op de instructie- of resultaatpagina extra informatie aan de kandidaten wilt geven (bijvoorbeeld over een te gebruiken hulpmiddel of over de consequentie van een specifiek toetsresultaat).

LET OP ! Als u pas enige tijd na een afname de resultaatpagina beschikbaar wilt stellen, kunt u dit opgeven in het onderdeel Afnames. U hoeft dat dus niet via het kiezen van een andere toetstemplate te regelen. H OE VOERT U DE WIJZIGING

U selecteert een andere template en/of wijzigt de instructie- of resultaattekst. Daarna publiceert u de toets opnieuw.

DOOR ?

WAT IS HET EFFECT ?

Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de andere template of de gewijzigde tekst. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. De toets krijgt in alle gevallen bij het publiceren een nieuwe subversie.

51


VOORBEELD S CENARIO 8.8:

I N DIT VOORBEELD WORDEN SLECHT SCORENDE KANDIDATEN DOORVERWEZEN NAAR EEN BIJSPIJKERCURSUS . DE AANGEPASTE RESULTAATTEKST KOMT IN DE PLAATS VAN DE TEKST UIT DE TEMPLATE . D ESGEWENST KUNT U DE TEKST VAN DE TEMPLATE AAN UW EIGEN TEKST TOEVOEGEN .

LET OP ! De domeinbeheerder kan ook een wijziging doorvoeren in de gekoppelde template. Een dergelijke wijziging is direct beschikbaar in een gepubliceerde toets en de betreffende toets hoeft dus niet opnieuw gepubliceerd te worden. 8.4.3

Redenen voor het ongeldig worden van een toets In de vorige paragrafen beschrijven we diverse wijzigingen in een toets, die ervoor zorgen dat een toets niet meer synchroon is en opnieuw gepubliceerd moet worden. Soms is dat publiceren niet mogelijk, omdat de toets niet aan de eisen voldoet. Meestal zal het u al snel duidelijk zijn hoe dat komt, omdat u zelf de vragenset, de toetsmatrijs of de toetsvragenset heeft gewijzigd (zie paragraaf 7.3.2). De problemen kunnen ook zijn ontstaan doordat er wijzigingen in het onderdeel Vragen zijn doorgevoerd, zoals:  Een of meer vragen zijn verwijderd of uitgezet, waardoor de toetsvragenset niet meer compleet is.  Een of meer vragen zijn naar een andere map verplaatst, waardoor de toetsmatrijs die is gebaseerd op de mappenstructuur, niet meer in overeenstemming is met de toetsvragenset.  De kenmerkwaarde van een of meer vragen is gewijzigd, waardoor de toetsvragenset niet meer in overeenstemming is met de toetsmatrijs die is gebaseerd op het betreffende kenmerk. Als een toets niet (opnieuw) gepubliceerd kan worden omdat de toetsmatrijs en de toetsvragenset niet met elkaar overeenkomen, kunt u dit op verschillende manieren oplossen:  U breidt de vragenset uit, zodat er voldoende vragen beschikbaar zijn om aan de toetsmatrijs te voldoen.

52


  

8.5

U genereert een nieuwe toetsvragenset, die wel voldoet aan de eisen van de toetsmatrijs. U past de toetsmatrijs aan, zodat deze wel past bij de (toets)vragenset. U past de toetsvragenset handmatig aan, zodat deze wel past bij de toetsmatrijs.

Scenario’s voor het beheren van vragen en toetsen die niet (meer) gebruikt mogen worden Vragen en toetsen kunnen drie statussen hebben: U it, Aan en Afgeschreven. Vragen en toetsen met de status Aan zijn gewoon te gebruiken. De statussen U it en Afgeschreven zijn bedoeld om vragen en toetsen die (tijdelijk) niet gebruikt of afgenomen mogen worden te beheren. De betekenis van deze statussen is als volgt: Status

Vraag

Toets

Uit

De vraag kan worden opgenomen in toetsen, maar een toets met een of meer vragen die uit staan, kan niet (opnieuw) worden gepubliceerd. Deze status kunt u bijvoorbeeld gebruiken voor een vraag die nog niet af is. Als de vraag al eerder in een toets is gepubliceerd en daarna wordt uitgezet, blijft de vraag gewoon beschikbaar voor afname.

De toets kan niet (opnieuw) worden gepubliceerd. Als de toets al eerder is gepubliceerd en opgenomen in een afname en daarna wordt uitgezet, is de afname niet zichtbaar voor kandidaten waarvoor de afname klaar staat. Als een kandidaat de toets al gemaakt heeft, kan hij het resultaat gewoon bekijken. U kunt deze status gebruiken voor een al gepubliceerde toets waarin een fout is geconstateerd.

Afgeschreven

De vraag kan niet aan nieuwe of bestaande toetsen worden toegevoegd. In bestaande toetsen blijft de vraag gewoon beschikbaar. U kunt deze status bijvoorbeeld gebruiken voor een vraag die al vaak is gebruikt of is verouderd.

De toets kan niet aan een nieuwe of bestaande afname worden toegevoegd. In bestaande afnames blijft de toets gewoon beschikbaar. De toets kan wel worden aangepast en opnieuw gepubliceerd. U kunt deze status bijvoorbeeld gebruiken voor een toets die al vaak is afgenomen.

LET OP ! U kunt een vraag waarin een fout is geconstateerd uitzetten, maar als de vraag al eerder in een toets is gepubliceerd, kan deze gewoon worden afgenomen. U moet de toets(en) waarin de vraag is opgenomen dan uitzetten om ervoor te zorgen dat de vraag niet meer wordt afgenomen.

53


8.5.1

Toetsafnames (tijdelijk) stopzetten S CENARIO 8.9A: U WILT EEN OF MEER TOETSAFNAMES TIJDELIJK STOPZETTEN OMDAT ER EEN FOUT IN EEN VRAAG ZIT


H OE ZET U DE TOETSAFNAME TIJDELIJK STOP ?

WAT IS HET EFFECT ?

Als u heeft ontdekt dat er een fout in een vraag zit, bijvoorbeeld omdat een kandidaat heeft geklaagd over de formulering van een vraag. U kunt deze fout niet direct herstellen.

U kunt in de meta-informatie van de vraag zien in welke toetsen de vraag is opgenomen. U kunt via de knop Plaats in hulpmap in een keer een hulpmap met objectreferenties naar deze toetsen maken. Vervolgens kunt u in het onderdeel Toetsen de toetsen in de hulpmap de status U it geven. Alle afnames waarin de toets is opgenomen worden niet meer getoond aan de kandidaten waarvoor de afname is klaargezet. Een kandidaat die al aan de afname is begonnen, kan deze gewoon afmaken. Als een kandidaat een toets al gemaakt heeft, kan hij het resultaat wel bekijken.

T IPS! Wilt u dat ook de resultaten van een toets (tijdelijk) niet meer te zien zijn voor de kandidaten? Dit kunt u regelen door bij de afnames waarin de toets is opgenomen de optie Resultaatpagina tonen uit te zetten. U kunt via de meta-informatie van de toets een hulpmap met referenties naar de gekoppelde afnames maken. Nadat u de fout in de vraag heeft hersteld, kunt u de toetsen weer de status Aan geven en opnieuw publiceren. Zie hiervoor het scenario 8.1A in paragraaf 8.3. S CENARIO 8.9B: U WILT EEN TOETSAFNAME TIJDELIJK STOPZETTEN OMDAT ER EEN FOUT IN DE TOETS ZIT


Als u heeft ontdekt dat er een fout in een toets zit, bijvoorbeeld een verkeerde cesuur, en u deze fout niet direct kunt herstellen.

SCENARIO ?

H OE ZET U DE

U zet in het onderdeel Toetsen de toets uit.

TOETSAFNAME TIJDELIJK STOP ?

WAT IS HET EFFECT ?

Alle afnames waarin de toets is opgenomen worden niet meer getoon d aan de kandidaten waarvoor de afname is klaargezet. Een kandidaat die al aan de afname is begonnen, kan deze gewoon afmaken. Als een kandidaat de toets al gemaakt heeft, kan hij het resultaat wel bekijken.

54


T IPS! Wilt u dat ook de resultaten van een toets (tijdelijk) niet meer te zien zijn voor de kandidaten? Dit kunt u regelen door bij de afnames waarin de toets is opgenomen de optie Resultaatpagina tonen uit te zetten. U kunt via de meta-informatie van de toets een hulpmap met referenties naar de gekoppelde afnames maken. Nadat u de fout in de toets heeft hersteld, kunt u de toets weer de status Aan geven en opnieuw publiceren. Zie hiervoor het scenario 8.7A in paragraaf 8.4.2. 8.5.2

De status U it gebruiken in het ontwikkelproces van vragen S CENARIO 8.10: U WILT AFDWINGEN DAT NOG NIET GOEDGEKEURDE VRAGEN NIET KUNNEN WORDEN AFGENOMEN


Als u in het ontwikkelproces uitgaat van een procedure waarin vragen niet mogen worden gebruikt voor toetsafname als ze nog niet zijn goedgekeurd.

SCENARIO ?

H OE STELT U DEZE STATUS IN ?

WAT IS HET EFFECT ?

8.5.3

U moet met de ontwikkelaars afspreken dat een toetsvraag pas mag worden aangezet als deze is goedgekeurd. Bij het ontwikkelen krijgt een vraag automatisch de status Aan, tenzij de vraag technisch niet correct is (er is bijvoorbeeld geen sleutel ingevoerd). De ontwikkelaar moet dit dus handmatig aanpassen. Vragen met de status Uit kunnen alvast in een toets opgenomen worden. Een toets waarin vragen zijn opgenomen die uit staan, kan echter niet worden gepubliceerd en daarmee niet worden afgenomen. Zodra de vragen zijn goedgekeurd en de status Aan hebben, kan de samengestelde toets alsnog worden gepubliceerd. De status Afgeschreven gebruiken in het ontwikkelproces van vragen en toetsen S CENARIO 8.11: U WILT VRAGEN DIE (TE ) VAAK ZIJN AFGENOMEN OF NIET MEER ACTUEEL ZIJN , NIET MEER BESCHIKBAAR STELLEN VOOR NIEUWE TOETSEN


Als u in het ontwikkelproces uitgaat van een procedure waarin vragen na een bepaald aantal afnamemomenten niet meer mogen worden gebruikt.

SCENARIO ?


U moet de status Afgeschreven zelf instellen via het onderdeel Vragen. Als de analysegegevens zijn vastgelegd via het onderdeel Gepubliceerde toetsen (zie paragraaf 12.3), kunt u in de meta-informatie eenvoudig zien hoe vaak een vraag al is afgenomen.

55


T IP! U kunt bijvoorbeeld filteren op vragen waarop meer dan 500 resultaten beschikbaar zijn en deze vragen afschrijven. Maar u kunt ook filteren op vragen die al langer dan een bepaalde periode niet zijn afgenomen of vragen met een erg lage rit-waarde en die vragen afschrijven. WAT IS HET EFFECT ?

Vragen met de status Afgeschreven kunnen niet meer aan een toets worden toegevoegd. Het blijft echter wel gewoon mogelijk om een vraag met de status Afgeschreven aan te passen en, als deze in een toets is opgenomen, opnieuw te publiceren.

LET OP ! Vragen met de status Afgeschreven blijven gewoon beschikbaar in bestaande toetsen, ook als u een toets kopieert. Op die manier kan een afgeschreven vraag dus ook in een ‘nieuwe’ toets worden gepubliceerd. Als u wilt dat een vraag echt niet meer gepubliceerd kan worden, moet u de vraag de status U it geven. S CENARIO 8.12: U WILT TOETSEN DIE (TE ) VAAK ZIJN AFGENOMEN , NIET MEER BESCHIKBAAR STELLEN VOOR NIEUWE AFNAMES


Als u in het ontwikkelproces uitgaat van een procedure waarin toetsen na een bepaald aantal afnamemomenten niet meer mogen worden gebruikt.

SCENARIO ?


WAT IS HET EFFECT ?

U moet de status Afgeschreven zelf instellen via het onderdeel Toetsen. . Als de analysegegevens zijn vastgelegd via het onderdeel Gepubliceerde toetsen (zie paragraaf 12.3), kunt u in de meta-informatie eenvoudig zien hoe vaak een toets al is afgenomen. U kunt hierop ook filteren, zie de tip in het vorige scenario. Toetsen met de status Afgeschreven, kunnen niet meer aan een afname worden toegevoegd. Het blijft echter wel gewoon mogelijk om een toets met de status Afgeschreven aan te passen en opnieuw te publiceren.

LET OP ! Toetsen met de status Afgeschreven blijven gewoon beschikbaar in bestaande afnames, ook als u een afname kopieert. Op die manier kan een afgeschreven toets dus via een ‘nieuwe’ afname worden afgenomen. Als u wilt dat een toets echt niet meer afgenomen kan worden, moet u de toets de status Uit geven. 8.5.4

Vragen en toetsen archiveren in de mappenstructuur De vragen en toetsen die u de status Afgeschreven heeft gegeven, blijven gewoon beschikbaar in de bestaande mappenstructuur. Vindt u dit niet handig, maar wilt u de vragen en toetsen nog niet verwijderen, dan kunt u de mappenstructuur aanpassen om de vragen en toetsen te archiveren. U kunt dat op verschillende manieren doen, bijvoorbeeld:  U kunt een hoofdmap Archief aanmaken met daaronder een kopie van uw mappenstructuur, waarin u de afgeschreven vragen en toetsen in ‘dezelfde map’ archiveert.

56




U kunt een mappenstructuur maken waarin u de afgeschreven vragen en toetsen ‘op datum’ archiveert, bijvoorbeeld:  Afgeschreven jan 2014  Afgeschreven feb 2014  enzovoort

LET OP ! Als u vragen met de status Afgeschreven nog gebruikt in toetsmatrijzen op basis van een mappenstructuur, heeft het verplaatsen van de vragen gevolgen voor de toetsmatrijzen. U kunt de afgeschreven vragen in dat geval beter pas archiveren als u zeker weet dat de bijbehorende toetsen ook zijn afgeschreven en gearchiveerd en niet meer opnieuw gepubliceerd hoeven te worden.

57


9. KANDIDATEN BEHEREN 9.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS Via het onderdeel Kandidaten voert u kandidaten in. Het beheren van kandidaten is relatief eenvoudig. We beschrijven in dit hoofdstuk daarom alleen enkele scenario’s voor het importeren van kandidaatgegevens.

9.2


  





9.3

In de Help van TestVision Online staat beschreven hoe u een nieuwe kandidaat toevoegt of de gegevens van een bestaande kandidaat wijzigt. Een kandidaat kan zich alleen aanmelden als hij of zij Aan staat. Welke kandidaatgegevens u moet invoeren hangt af van de instellingen die de applicatiebeheerder heeft ingesteld. Elke kandidaat moet een unieke aanmeldnaam hebben. Als de aanmeldnaam die u wilt invoeren al bestaat, krijgt u daarover een melding. U kunt ook geen kandidaten importeren met een aanmeldnaam die al voorkomt in TestVision Online. Het onderdeel Kandidaten is domeinoverstijgend. Dit betekent dat de mappenstructuur in dit onderdeel voor alle domeinen gelijk is. Als sprake is van twee of meer domeinen, is het belangrijk dat de domeinbeheerders overleggen over de inrichting van de mappenstructuur van het onderdeel Kandidaten. U kunt de (hulp)mappen in het onderdeel Kandidaten ook gebruiken om op efficiënte wijze afnames te plannen (zie hoofdstuk 10).

Meest eenvoudige scenario S CENARIO 9.1: U WILT ENKELE NIEUWE KANDIDATEN IMPORTEREN IN T EST VISION O NLINE


Als u een (klein) aantal individuele nieuwe kandidaten wilt toevoegen aan de bestaande mappenstructuur in het onderdeel Kandidaten.

SCENARIO ?

H OE IMPORTEERT U

U verplaatst de kandidaten vanuit de hulpmap Import naar de map waarin ze thuishoren (bijvoorbeeld de betreffende klas of afdeling).

DE KANDIDATEN ?

58


WAT IS HET EFFECT ?

9.4

De kandidaten zijn op vergelijkbare wijze beschikbaar als na handmatig invoeren. U kunt desgewenst referenties naar de kandidaten maken in hulpmappen en toetsen aan de kandidaten toewijzen.

Scenario’s voor het importeren van groepen kandidaten S CENARIO 9.2: U WILT KANDIDATEN DIRECT IN GROEPEN IMPORTEREN


Als u kandidaten direct in groepen wilt toevoegen aan de bestaande mappenstructuur in het onderdeel Kandidaten.

SCENARIO ?

H OE IMPORTEERT U DE KANDIDATEN ?

WAT IS HET EFFECT ?

U neemt in het importbestand een veld op met de groepsnaam. De kandidaten worden in de hulpmap Import direct in een map met de betreffende groepsnaam geplaatst. U kunt deze hele map in één keer verplaatsen naar de juiste plaats in de mappenstructuur. De kandidaten zijn op vergelijkbare wijze beschikbaar als na handmatig invoeren. U kunt desgewenst referenties naar de kandidaten maken in hulpmappen en toetsen aan de kandidaten toewijzen.

LET OP ! Kandidaten met een Aanmeldnaam die al bestaat, worden bij het verplaatsen niet meegenomen. Deze kandidaten zijn in de hulpmap Import in oranje weergegeven. S CENARIO 9.3: U WILT DAT NA HET IMPORTEREN VAN KANDIDATEN DIRECT EEN TOETSAFNAME VOOR HEN KLAAR STAAT


Als u werkt met het toewijzen van toetsen aan afnames via (hulp)mappen (zie hoofdstuk 10).

SCENARIO ?

H OE IMPORTEERT U DE KANDIDATEN ?

WAT IS HET EFFECT ?

U verplaatst de individuele of groepen kandidaten direct naar de map die al is gekoppeld aan een afname. Als u een hulpmap heeft gekoppeld aan de afname, moet u de kandidaten eerst naar de map verplaatsen en vervolgens naar de hulpmap refereren. De kandidaten zijn op vergelijkbare wijze beschikbaar als na handmatig invoeren. De afnames die aan de (hulp)map zijn gekoppeld, kunnen direct plaatsvinden.

59


10. AFNAMES PLANNEN 10.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS Via het onderdeel Afnames wijst u de verschillende toetsen aan kandidaten toe. Daarbij zijn verschillende werkwijzen mogelijk. Zo kunt u elke toets aan één enkele afname koppelen en die gebruiken voor alle kandidaten. Maar u kunt afnames ook gebruiken om verschillende groepen te maken, die de toets bijvoorbeeld op verschillende tijdstippen of met een verschillende tijdsduur kunnen maken. Er zijn ook organisaties waarbij het ontwikkelen van toetsvragen en toetsen en het plannen van de afnames door verschillende medewerkers wordt uitgevoerd. In dit hoofdstuk beschrijven we diverse scenario’s voor het plannen van afnames.

10.2












 

In de Help van TestVision Online staat beschreven hoe u de diverse opties van een afname kunt instellen en hoe u kandidaten voor een afname selecteert. Een afname kan alleen daadwerkelijk door kandidaten worden gemaakt als de afname aan staat en als er een toets aan is gekoppeld met de status Aan of Afgeschreven. Standaard staat voor elke afname het aantal pogingen op 1. Maar u kunt ook opgeven dat een kandidaat een toets vaker mag proberen. TestVision beschouwt dan het hoogste resultaat als het geldende resultaat. U kunt voor elke afzonderlijke afname een periode opgeven, waarbinnen de toets gemaakt moet worden. U kunt hier ook niets opgeven. De kandidaat kan de toets dan op elk willekeurig moment starten. U kunt een afnamewachtwoord invoeren. Dit wachtwoord moet elke kandidaat invoeren om na de instructiepagina daadwerkelijk met de eerste vraag van de toets te kunnen beginnen. Dit is een extra beveiliging waarmee u bijvoorbeeld kunt voorkomen dat een kandidaat te vroeg of vanaf een ongewenste locatie aan de toets begint. Als u een eindtijd opgeeft voor de afnameperiode, wordt een gestarte afname op dat moment afgesloten. Een kandidaat die bij het aanmelden minder dan 75% van de ingestelde afnametijd tot zijn beschikking heeft, krijgt daarover een waarschuwing. Elke kandidaat krijgt vijf minuten voor het einde van de afnametijd een waarschuwing dat de toetstijd bijna om is. U kunt de tijdsduur die voor een toets is ingesteld op afnameniveau verlengen, bijvoorbeeld voor een groep kandidaten met dyslexie. U kunt voor toetsen met open vragen een of meer beoordelaars aan de afname koppelen (zie paragraaf 11.3).

60


 



 





U kunt een toetsen itemanalyse maken voor alle afnames tegelijk of voor een selectie van afnames (zie paragraaf 12.3). U kunt voor één toets om diverse redenen meer dan een afname plannen, bijvoorbeeld:  omdat u voor elke groep een eigen afnameperiode wilt instellen;  omdat u voor een bepaalde groep een langere tijdsduur wilt instellen;  omdat u een bepaalde groep meer dan één kans wilt geven om de toets te maken;  omdat u voor elke groep (een) andere beoordelaar(s) wilt inzetten;  omdat u een bepaalde groep niet wilt meenemen in de toetsen itemanalyse. U kunt op afnameniveau aangeven of de resultaatpagina moet worden getoond. Standaard staat deze optie aan. Welke gegevens de kandidaat op de resultaatpagina ziet, hangt af van de instellingen van de gekoppelde template. Elke wijziging die u doorvoert in een actieve afname, wordt direct verwerkt. U kunt individuele kandidaten koppelen aan een afname, maar ook (hulp)mappen. Alle kandidaten die in zo’n map zijn opgenomen, kunnen de afname starten. Hiermee kunt u rekening houden bij het inrichten van de (hulp)mappenstructuur van het onderdeel Kandidaten. Aan de afname is een standaardskin gekoppeld. De skin bepaalt hoe de toets er voor de kandidaat uitziet (kleurgebruik, achtergrond, lettertype en –grootte). De standaardskin is ingesteld door de applicatiebeheerder. Zijn er andere skins beschikbaar en wilt u er daar één van gebruiken, dan kunt u deze selecteren. U kunt desgewenst een PDF-versie van de toets in de afname maken voor afname op papier, samen met een antwoorden sleutelformulier.

In de toekomst zullen de functionaliteiten in het onderdeel Afnames worden uitgebreid met onder meer de volgende functionaliteiten:  Het koppelen van meer dan een toets aan een afname; als de kandidaat de toets gaat maken, kiest TestVision Online (willekeurig of volgens een specifieke volgorde) een toets.  Het opgeven van een minimale tijdsduur tussen twee pogingen van een afname.  Het zelf kunnen instellen of het hoogste of het laatste resultaat als geldende resultaat bij meer pogingen per afname.

10.3

Scenario’s voor het plannen van afnames

10.3.1

Meest eenvoudige scenario S CENARIO 10.1: U MAAKT VOOR ELKE TOETS ÉÉN AFNAME , DIE U GEBRUIKT VOOR ALLE KANDIDATEN


Als u geen onderscheid wilt maken tussen specifieke groepen en iedereen de toets in dezelfde periode of met dezelfde tijdsduur maakt.

SCENARIO ?

61


H OE PLANT U DE AFNAME ?

U selecteert de toets waarvoor u de afname wilt plannen. Indien gewenst kunt u een andere naam aan de afname geven, maar in dit scenario ligt dat niet voor de hand. U kunt indien gewenst een afnameperiode instellen. Vervolgens selecteert u ((hulp)mappen met) kandidaten die de toets moeten maken. U kunt altijd later kandidaten aan de selectie toevoegen of verwijderen.

T IP ! Als u (hulp)mappen aan de afname koppelt in plaats van individuele kandidaten, dan worden alle kandidaten die later aan de betreffende (hulp)mappen worden toegevoegd, automatisch ook aan de afname gekoppeld. WAT IS HET EFFECT ?

De toets is beschikbaar voor iedereen die is geselecteerd voor de afname onder de ingestelde condities (zoals afnameperiode, aantal pogingen).

T IP ! U kunt een afname zonder vaste periode plannen. De kandidaten kunnen dan zelf beslissen wanneer ze de toets maken. Dit is bijvoorbeeld geschikt voor een oefentoets. Als u de kandidaten ook onbeperkt de tijd wilt geven om de toets te maken, geeft u dat op bij de eigenschappen van de toets. 10.3.2

Scenario’s met meer afnames voor dezelfde toets S CENARIO 10.2: U PLANT VOOR ELKE GROEP KANDIDATEN (KLAS , AFDELING) EEN EIGEN AFNAME



Als u voor elke groep kandidaten een eigen afnametijd wilt instellen of als u de resultaten van de groepen eenvoudig gescheiden wilt kunnen bekijken.

U selecteert de toets waarvoor u de afname wilt plannen. Indien gewenst kunt u een andere naam aan de afname geven, bijvoorbeeld de toetsnaam gecombineerd met een code voor de groep. U kunt indien gewenst een afnameperiode instellen. Vervolgens selecteert u (mappen met) kandidaten die de toets moeten maken. U kunt altijd later kandidaten aan de selectie toevoegen of verwijderen. Deze handeling herhaalt u voor alle groepen waarvoor u een afname wilt plannen.

T IP ! U kunt gebruik maken van de optie Opslaan als om een afname snel te dupliceren voor een volgende groep. U hoeft dan alleen de afwijkende instellingen aan te passen, zoals afnamenaam en/of afnameperiode. WAT IS HET EFFECT ?

Elke groep kan de toets gedurende een eigen afnameperiode maken. Via de knop Resultaten kunt u de resultaten per afnamegroep bekijken.

62


S CENARIO 10.3: U PLANT EEN APARTE AFNAME VOOR EEN SPECIFIEKE GROEP KANDIDATEN WANNEER GEBRUIKT U DIT SCENARIO ?


Als u voor een groep kandidaten een specifieke conditie wilt instellen, bijvoorbeeld een verlengde afnametijd (voor kandidaten met dyslexie) of een herhaalde afname (voor kandidaten die u eerst wilt laten oefenen met de toets). U selecteert de toets waarvoor u de afname wilt plannen. Indien gewenst kunt u een andere naam aan de afname geven, bijvoorbeeld de toetsnaam gecombineerd met een code voor de groep. U kunt indien gewenst een afnameperiode instellen. Vervolgens selecteert u (mappen met) kandidaten die de toets moeten maken. U kunt altijd later kandidaten aan de selectie toevoegen of verwijderen.

T IP ! U kunt voor het samenstellen van dit soort groepen het best gebruikmaken van de hulpmappen in het onderdeel Kandidaten. U kunt een kandidaat namelijk maar in één map opnemen, maar wel in meer, verschillende hulpmappen.

T IP ! Voor kandidaten met dyslexie kunt u ook gebruik maken van het kenmerk Extra tijd. Op die manier kunt u ze via een filter snel vinden. Maar u kunt er ook voor kiezen om geen aparte afname te maken en bij een ge wone afname de optie Extra tijd aan te zetten. WAT IS HET EFFECT ?

10.3.3

De groep kan de toets onder eigen specifieke condities maken. Via de knop Resultaten zijn de resultaten gescheiden van andere afnames van dezelfde toets. U kunt er daarbij voor kiezen om de betreffende gegevens bijvoorbeeld niet mee te nemen in de toetsen itemanalyse (zie ook paragraaf 12.3). Scenario’s voor gescheiden verantwoordelijkheden S CENARIO 10.4: O NTWIKKELAAR A PUBLICEERT TOETSEN , WAARBIJ DOOR ONTWIKKELAAR B DE AFNAMES WORDEN GEPLAND


H OE WORDT DEZE SCHEIDING AANGEBRACHT ?

Als het ontwikkelen en publiceren van toetsen door andere ontwikkelaars wordt uitgevoerd dan het plannen van afnames. Meestal zal de ontwikkelaar die de afnames plant, dan ook de kandidaten invoeren en beheren. Feitelijk is er onderscheid tussen ontwikkelaars die toetsinhouden ontwikkelen en ontwikkelaars die de administratieve/organisatorische kant van de toetsing beheren. Meestal hebben de ontwikkelaars in dit scenario beperkte rechten in de onderdelen waar ze niet in werken (zie paragraaf 3.3.2 en 3.3.3), maar kunnen ze wel in alle mappen. Ontwikkelaar A publiceert toetsen en zet ze klaar in een specifieke (hulp)map. Hij geeft deze informatie door aan ontwikkelaar B, die een afname kan plannen met de toets. Dit gaat op dezelfde manier als beschreven in de scenario’s in de voorgaande paragrafen.

63


WAT IS HET EFFECT ?

10.4

Het effect hangt af van de afname-instellingen en is hetzelfde als beschreven in de scenario’s in de voorgaande paragrafen.

Overige scenario’s S CENARIO 10.5: U WILT EEN AFNAME (TIJDELIJK ) STOPZETTEN


H OE ZET U DE AFNAME STOP ? WAT IS HET EFFECT ?

Als er een probleem is met de instellingen van de afname, omdat de verkeerde toets of kandidaten aan de afname zijn gekoppeld of omdat de toetsperiode verkeerd is ingevoerd. U zet de afname uit in het overzichtsscherm van het onderdeel Afname.

Kandidaten kunnen de afname niet meer starten. Kandidaten die eventueel al aan de afname bezig zijn, kunnen deze gewoon afmaken. Als een kandidaat de toets in de afname al gemaakt heeft, kan hij het resultaat wel bekijken.

T IPS! Als het probleem met de afname is opgelost, kunt u de afname weer aanzetten. De kandidaten kunnen de afname dan weer starten. Als het probleem te maken heeft met een vraag of een toetsinstelling, kunt u beter de toets uitzetten om de afname te stoppen (zie paragraaf 8.5.1). S CENARIO 10.6: U WILT DE TOETS IN EEN AFNAME VERVANGEN DOOR EEN ANDERE TOETS WANNEER GEBRUIKT U DIT SCENARIO ?

H OE VERVANGT U DE TOETS ?

WAT IS HET EFFECT ?

Als u tot de ontdekking komt dat u voor een specifieke afname een andere toets wilt gebruiken. Oorzaken daarvoor kunnen zijn: een fout bij het plannen van de afname of het bij nader inzien niet geschikt zijn van de toets door de doelgroep. Dit hangt af van het stadium waarin de afname verkeert. Als er nog geen resultaten beschikbaar zijn en nog niemand met de afname is gestart, kunt u de toets gewoon vervangen door een andere toets. Als er al wel kandidaten zijn gestart of resultaten beschikbaar zijn, kunt u de huidige afname inactief maken en vervolgens dupliceren. Aan de gedupliceerde afname koppelt u de vervangende toets. In de gedupliceerde afname worden alle nog openstaande toewijzingen automatisch meegenomen. Indien gewenst kunt u de afname opnieuw toewijzen aan de kandidaten die al hebben deelgenomen aa n de oorspronkelijke afname. S CENARIO 10.7A : U WILT DAT EEN KANDIDAAT EEN AFNAME NOGMAALS LATEN MAKEN


Als een kandidaat per ongeluk de toets heeft afgesloten voordat hij klaar was of als er een ander probleem is opgetreden tijdens de afname. In

SCENARIO ?

64


overleg met de toezichthouder is besloten dat de kandidaat opnieuw een kans krijgt. H OE MAAKT U DE AFNAME

U maakt via de knop Resultaten het resultaat van de kandidaat op de toets ongeldig.

OPNIEUW BESCHIKBAAR ?

WAT IS HET EFFECT ?

De kandidaat kan de afname opnieuw starten (ook als het aantal pogingen op 1 staat). Het eerste resultaat blijft beschikbaar, maar is niet meer geldig.

LET OP ! Het is technisch ook mogelijk de kandidaat te koppelen aan een andere afname waarin de toets is opgenomen. We raden dit echter af, omdat de kandidaat dan twee geldige resultaten op de toets heeft en niet duidelijk is wat het werkelijke resultaat is. Dit kan bovendien de statistische analyse van de toets (zie paragraaf 12.3) negatief beïnvloeden. S CENARIO 10.7B : U WILT EEN HELE AFNAME OPNIEUW LATEN MAKEN WANNEER GEBRUIKT U DIT SCENARIO ?

H OE MAAKT U DE AFNAME OPNIEUW

Als tijdens een afname door een groep kandidaten iets is gebeurd waardoor alle toetsresultaten niet bruikbaar zijn, bijvoorbeeld als de stroom is uitgevallen. U maakt via de knop Resultaten alle resultaten op de afname ongeldig. De afname zelf wordt automatisch uitgezet. Vervolgens dupliceert u de betreffende afname en past indien nodig de afname-instellingen aan.

BESCHIKBAAR ?

WAT IS HET EFFECT ?

Alle kandidaten kunnen de afname opnieuw maken. Het eerste resultaat blijft beschikbaar, maar is niet meer geldig.

T IP ! U kunt dit scenario ook gebruiken als u alle resultaten van een afname wilt laten vervallen omdat de hele groep heeft gefraudeerd. In dat geval zult u waarschijnlijk niet (direct) een nieuwe afname klaarzetten, maar eerst een vervangende toets samenstellen. S CENARIO 10.8A : U WILT EEN KANDIDAAT AAN EEN AFNAME TOEVOEGEN WANNEER GEBRUIKT U DIT SCENARIO ?

H OE VOEGT U DE KANDIDAAT TOE ?

WAT IS HET EFFECT ?

Als een kandidaat niet aan een geplande afname heeft kunnen deelnemen of als er een nieuwe kandidaat (leerling, collega) aan een groep is toegevoegd. Als u de kandidaten via een (hulp)map aan een afname heeft gekoppeld, kunt u volstaan met het opnemen van de kandidaat in de betreffende (hulp)map. Soms is dat niet handig, omdat de kandidaat niet in de betreffende map thuishoort. In dat geval kunt u de kandidaat handmatig aan de afname koppelen. Dat doet u natuurlijk ook als u de overige kandidaten ook handmatig aan de afname heeft gekoppeld.

65


De toegevoegde kandidaat kan de afname starten.

LET OP ! TestVision Online controleert (nog) niet of u een kandidaat ook al via een andere afname aan dezelfde toets heeft gekoppeld. U moet dus zelf voorkomen dat een kandidaat dezelfde toets twee keer kan maken. S CENARIO 10.8B : U WILT EEN KANDIDAAT BIJ EEN AFNAME VERWIJDEREN WANNEER GEBRUIKT U DIT

Als blijkt dat een kandidaat een toets niet hoeft te maken , maar de toets wel voor de kandidaat is klaargezet.

SCENARIO ?

H OE

U verwijdert de kandidaat uit de kolom met geselecteerde kandidaten.

VERWIJDERT U DE KANDIDAAT ?

LET OP ! Als u de kandidaten via een (hulp)map aan de afname hebt gekoppeld, is het niet mogelijk om de toewijzing via het onderdeel Afnames te verwijderen. U moet dan de kandidaat in het onderdeel Kandidaten uit de (hulp)map verwijderen. WAT IS HET EFFECT ?

De verwijderde kandidaat kan de afname niet meer starten.

T IP ! Als een kandidaat uw opleiding, afdeling of bedrijf heeft verlaten, kunt u hem ook helemaal verwijderen in het onderdeel Kandidaten. Eventuele toetsresultaten zijn dan niet meer beschikbaar via het onderdeel Kandidaten, maar nog wel via de onderdelen Afnames en Gepubliceerde toetsen.

66


11. TOETSEN MET OPEN VRAGEN BEHEREN

11.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS Als u open vragen in uw toetsen opneemt, vraagt dat een aantal extra handelingen ten opzichte van een toets met alleen gesloten vraagvormen. Ook moet u rekening houden met enkele aandachtspunten. In dit hoofdstuk benoemen we deze aandachtspunten en beschrijven we enkele scenario’s voor het beheren van toetsen met open vragen.

11.2












 

In de Help van TestVision Online staat beschreven hoe u een open vraag ontwikkelt en beoordeelt. In deze handleiding besteden we aandacht aan de wijze waarop u uw toetsen met open vragen optimaal kunt beheren. Kenmerkend voor toetsen met open vragen is dat ze niet (volledig) door TestVision Online beoordeeld kunnen worden, maar dat de open vragen beoordeeld moeten worden door een ontwikkelaar. Toetsen met open vragen moeten beoordeeld worden door een ontwikkelaar die daarvoor rechten heeft (zie hoofdstuk 3) én die is aangewezen als beoordelaar van een afname waaraan de betreffende toets is gekoppeld. Voor toetsen met open vragen kunt u het best werken met afnames met een einddatum of met afnames die u op een bepaalde datum uit zet. U kunt wel voor het verstrijken van de einddatum beginnen met beoordelen. U kunt open vragen beoordelen via het onderdeel Resultaten. Dit kan zowel op kandidaat- als op afnameniveau. U wijst de beoordelaars toe op afnameniveau. Nadat alle antwoorden van een kandidaat zijn beoordeeld, kan de beoordeling worden vastgelegd. Daarna kunnen er geen wijzigingen in de beoordeling meer worden aangebracht via het beoordelingsscherm. Pas nadat een beoordeling is vastgelegd, is er sprake van een ‘resultaat’. Direct na het afronden van een toets met open vragen, kan nog geen volledig resultaat worden getoond. TestVision Online kan al wel aangeven wat de resultaten op de (eventuele) gesloten vragen zijn. Als u dit liever nog niet aan de kandidaten wilt tonen zolang de open vragen nog niet zijn beoordeeld, kunt u op afnameniveau de resultaatpagina in eerste instantie uitzetten en deze pas aanzetten als alle open vragen zijn beoordeeld.

67






Het is mogelijk om met twee of meer beoordelaars dezelfde afname te beoordelen (bijvoorbeeld met een verdeling per vraag en/of per kandidaat). Een individuele open vraag kan in deze versie van TestVision Online door één beoordelaar worden beoordeeld. In de toekomst zal dit mogelijk worden uitgebreid met een tweede beoordelaar per vraag.

11.3

Scenario’s voor het toewijzen van beoordelaars

11.3.1

Meest eenvoudige scenario S CENARIO 11.1: U LAAT DE OPEN VRAGEN DOOR ÉÉN BEOORDELAAR BEOORDELEN (UZELF OF EEN ANDERE ONTWIKKELAAR )


Als er maar één persoon (bijvoorbeeld een docent) de open vragen gaat beoordelen en de beoordelingen gaat vastleggen.

SCENARIO ?

H OE WIJST U DE BEOORDELAAR TOE ?

U maakt op de gebruikelijke manier een afname aan voor de toets (zie hoofdstuk 10). Vervolgens wijst u aan deze afname de betreffende persoon als beoordelaar toe.

LET OP ! De ontwikkelaar die u wilt toewijzen om te beoordelen en vast te leggen, moet daarvoor wel de rechten hebben (zie hoofdstuk 3). Als de ontwikkelaar geen rechten heeft om vragen te beoordelen, kunt u hem ook niet aan de afname toewijzen als beoordelaar. WAT IS HET EFFECT ?

11.3.2

De open vragen in de toets kunnen uitsluitend worden beoordeeld door de ontwikkelaar die u aan de afname heeft toegewezen. Andere o ntwikkelaars zien gemaakte toetsen wel staan bij de resultaten, maar kunnen de vragen niet beoordelen. Scenario’s voor het toewijzen van meer beoordelaars S CENARIO 11.2: E R ZIJN TWEE OF MEER BEOORDELAARS VOOR ALLE OPEN VRAGEN VAN ÉÉN TOETS


H OE WIJST U DE BEOORDELAARS TOE ?

Als er twee of meer personen zijn die de beoordeling van alle kandidaten gaan uitvoeren, zonder dat u daar nog verder onderscheid in wilt maken. De beoordelaars mogen zelf kiezen welke kandidaten ze beoordelen. Onderling kunnen ze eventueel wel afspraken maken over wie welke vraag beoordeelt. U maakt op de gebruikelijke manier een afname aan voor de toets (zie hoofdstuk 10). Vervolgens wijst u aan deze afname de betreffende personen die gaan beoordelen toe. U kunt er eventueel voor kiezen om slechts een van beiden het recht te geven om beoordelingen vast te leggen.

68


WAT IS HET EFFECT ?

De open vragen in de toets kunnen worden beoordeeld door de ontwikkelaars die u aan de afname heeft toegewezen. Andere ontwikkelaars zien gemaakte toetsen wel staan bij de resultaten, maar kunnen de vragen niet beoordelen. S CENARIO 11.3: U WILT BEPAALDE BEOORDELAARS KOPPELEN AAN EEN SPECIFIEKE GROEP KANDIDATEN


H OE WIJST U DE BEOORDELAARS TOE ?

WAT IS HET EFFECT ?

Als er twee of meer personen zijn die de beoordeling van de open vrage n gaan uitvoeren, en u daarbij wilt kunnen bepalen wie welke kandidaten beoordeelt. Bijvoorbeeld omdat u een docent zijn eigen klas wilt laten beoordelen, of juist niet. U maakt op de gebruikelijke manier een aantal afnames aan voor de toets (zie hoofdstuk 10). Daarbij wijst u de kandidaten in de gewenste samenstelling toe aan de afnames. U maakt een afname per (groep) beoordelaar(s). Vervolgens wijst u aan deze afname de gewenste beoordelaars toe. De open vragen in de toets kunnen worden beoordeeld door de ontwikkelaars die u aan de afnames heeft toegewezen. Elke beoordelaar kan bovendien alleen die kandidaten beoordelen die u via de afname aan hem heeft toegewezen. Van de andere afnames kunnen ze wel de resultaten bekijken, dus als u ervoor kiest een docent juist niet zijn eigen kandidaten te laten beoordelen, dan kan hij of zij wel de resultaten van die kandidaten inzien.

T IP ! U kunt natuurlijk ook om andere redenen kiezen voor meer afnames met verschillende beoordelaars, bijvoorbeeld beoordelaars per afnameperiode.

11.4

Scenario’s voor het uitvoeren van de beoordeling In deze versie van TestVision Online zijn er (nog) geen uitgebreide mogelijkheden beschikbaar voor het inplannen van het beoordelen. Het is dus belangrijk dat u zelf het proces van het beoordelen stroomlijnt. Aandachtspunten daarbij zijn:  in welke periode wordt er door wie beoordeeld;  wie is verantwoordelijk voor het vastleggen van de beoordeling;  wie houdt in de gaten of alle kandidaten beoordeeld zijn;  op welk moment krijgt de kandidaat zijn resultaat te zien. In de scenario’s in deze paragraaf geven we enkele voorbeelden van hoe u de beoordeling kunt organiseren.

T IP ! U houdt het best grip op het beoordelingsproces als u aan de afname een einddatum koppelt of de afname op een bepaalde datum uit zet. Vanaf dat moment komen er geen nieuwe te beoordelen toetsen meer bij en kunt u dus met zekerheid vaststellen dat alle kandidaten zijn beoordeeld.

69


T IP ! We gaan er in enkele scenario’s vanuit dat niet alle beoordelaars resul taten mogen vastleggen. Dit is ook instelbaar bij de rechten. Zorg ervoor dat u de rechten dan ook op die manier instelt. 11.4.1

Meest eenvoudige scenario S CENARIO 11.4: E ÉN BEOORDELAAR BEOORDEELT EN LEGT VAST


Als er maar één beoordelaar is toegewezen, die alle open vragen beoordeelt en dit ook zelf vastlegt.

SCENARIO ?

H OE GAAT DE BEOORDELING IN ZIJN WERK ?

WAT IS HET EFFECT ?

De beoordelaar kan kiezen tussen beoordelen per afname of per kandidaat. Bij beoordeling per afname, kan er ook per vraag worden beoordeeld. De beoordelaar beoordeelt dan steeds dezelfde vraag voor alle kandidaten die de toets al hebben gemaakt. Zodra voor een kandidaat alle open vragen zijn beoordeeld, kan de beoordeling worden vastgelegd. Omdat de beoordelaar als enige beoordeelt, heeft hij of zij voldoende zicht op d e voortgang om te kunnen beslissen of een beoordeling kan worden vastgelegd. Zodra een beoordeling is vastgelegd, kan de kandidaat het resultaat zien op zijn resultatenpagina. Hij krijgt daarover geen aparte melding.

T IP ! Wilt u liever dat alle kandidaten tegelijk het resultaat kunnen inzien? Zet dan de resultatenpagina via de afname in eerste instantie uit. Zodra alle kandidaten zijn beoordeeld en vastgelegd, kunt u de resultatenpagina aanzetten. U kunt de kandidaten daarover indien gewenst informeren, bijvoorbeeld via e-mail. 11.4.2

Scenario’s voor het beoordelen met meer beoordelaars S CENARIO 11.5: TWEE OF MEER BEOORDELAARS BEOORDELEN IN OVERLEG DE OPEN VRAGEN EN LEGGEN ALLEMAAL BEOORDELINGEN VAST


Als er twee of meer beoordelaars zijn toegewezen en is afgesproken dat ze allemaal de beoordelingen mogen vastleggen.

SCENARIO ?


Dit scenario werkt het best als de beoordelaars onderling goed afspreken wie welke kandidaten beoordeelt. De beoordeling kan dan ook het best per kandidaat worden uitgevoerd. Zodra voor een kandidaat alle open vragen zijn beoordeeld, kan de beoordeling worden vastgelegd, maar een beoordelaar kan ook besluiten dit pas te doen als hij al zijn kandidaten heeft beoordeeld. Het is wel verstandig om het vastleggen per kandidaat te doen en niet per afname, om te voorkomen dat er beoordelingen worden vastgelegd waarvan dat nog niet de bedoeling was. Een collega -beoordelaar wil misschien nog een wijziging aanbrengen in een beoordeling.

70


T IP ! De beoordelaars kunnen ook afspreken allemaal een andere periode voor hun rekening te nemen. In die periode zijn ze dan feitelijk de enige beoordelaar en kunnen ze scenario 11.4 volgen. Ze kunnen dan desgewenst ook per afname beoordelen en vastleggen. WAT IS HET EFFECT ?

Zodra een beoordeling is vastgelegd, kan de betreffende kandidaat het resultaat zien op zijn resultatenpagina. Hij krijgt daarover geen aparte melding.

T IP ! Het door alle beoordelaars laten vastleggen, brengt een zeker risico met zich mee, namelijk dat er per ongeluk een beoordeling wordt vastgelegd waarvan dit nog niet de bedoeling was. Als u dit soort problemen wilt voorkomen, kunt u het best één beoordelaar aanwijzen die het vastleggen voor zijn rekening neemt. De andere beoordelaars kunnen dan bij hem aangeven dat ze klaar zijn met beoordelen. S CENARIO 11.6: E LKE VRAAG WORDT DOOR EEN SPECIFIEKE BEOORDELAAR BEOORDEELD, ÉÉN BEOORDELAAR LEGT DE BEOORDELINGEN VAST



Als bij elke open vraag een specifieke beoordelaar hoort, bijvoorbeeld degene die de vraag heeft ontwikkeld of die de meeste kennis van het betreffende onderwerp heeft. Bij beoordelen per vraag, kunt u het best kiezen voor één beoordelaar die vastlegt. Deze beoordelaar kan dan ook de voortgang van de beoordeling controleren. Elke beoordelaar beoordeelt via beoordelen per afname en per vraag de aan hem toegewezen vragen. Nadat alle kandidaten de toets hebben gemaakt en alle beoordelaars hebben aangegeven klaar te zijn met beoordelen, legt de verantwoordelijke beoordelaar alle beoordelingen vast.

T IP ! Desgewenst kunnen de beoordelingen ook tussentijds worden vastgelegd, dus als nog niet alle kandidaten de toets hebben gemaakt. Het is wel belangrijk dat de vastleggende beoordelaar zeker weet dat alle beoordelaars echt klaar zijn en geen beoordelingen meer willen wijzigen (bijvoorbeeld na raadplegen van een collega). WAT IS HET EFFECT ?

Zodra de beoordelingen zijn vastgelegd, kunnen de kandidaten het resultaat zien op hun resultatenpagina. Zij krijgen daarover geen aparte melding. S CENARIO 11.7: E LKE KANDIDAAT WORDT DOOR EEN EERSTE BEOORDELAAR BEOORDEELD. E EN TWEEDE BEOORDELAAR CONTROLEERT DEZE BEOORDELING EN LEGT ZE DAARNA VAST


Als het gewenst is dat elke beoordeling wordt gecontroleerd, bijvoorbeeld omdat het om een belangrijk examen gaat of om een toets die vaak aanleiding geeft tot discussie over de beoordeling.

71


ZIJN WERK ?

Nadat de eerste beoordelaar de beoordeling van een kandidaat of afname heeft afgerond, geeft hij dit door aan de tweede beoordelaar. Deze kijkt of hij zich kan vinden in de beoordeling, overlegt indien nodig over de beoordeling met de eerste beoordelaar, past de beoordeling indien nodig aan en legt de beoordeling uiteindelijk vast (per kandidaat of voor een hele afname).

WAT IS HET EFFECT ?

Zodra de beoordelingen zijn vastgelegd, kunnen de kandidaten het resultaat zien op zijn resultatenpagina. Zij krijgen daarover geen aparte melding.

H OE GAAT DE BEOORDELING IN

72


12. RESULTATEN BEHEREN 12.1

Inleiding D IT HOOFDSTUK IS BEDOELD VOOR : ONTWIKKELAARS Via de onderdelen Gepubliceerde toetsen, Kandidaten en Afnames kunt u de resultaten op alle toetsen die door kandidaten zijn gemaakt bekijken en beheren. U kunt hier ook zien voor welke kandidaten nog afnames klaar staan en welke kandidaten nog beoordeeld moeten worden. In dit hoofdstuk beschrijven we hoe u de resultaten optimaal kunt beheren. We gaan er in dit hoofdstuk vanuit dat eventuele beoordelingen van open vragen al zijn uitgevoerd. Scenario’s voor het beoordelen van open vragen vindt u in paragraaf 11.4.

12.2




 

12.3

In de Help van TestVision Online staat beschreven hoe u de resultaten kunt bekijken. In deze handleiding besteden we aandacht aan de wijze waarop u uw resultaten optimaal kunt beheren. U kunt resultaten via drie verschillende onderdelen bekijken:  Onderdeel Gepubliceerde toetsen: dit onderdeel kiest u als u van een specifieke toets alle resultaten wilt bekijken en u op basis van de analysegegevens de kwaliteit van de toets wilt beoordelen.  Onderdeel Kandidaten: dit onderdeel kiest u als u van een specifieke kandidaat al zijn toetsresultaten wilt bekijken.  Onderdeel Afnames: dit onderdeel kiest u als u de resultaten van een specifieke afnamegroep op een toets wilt bekijken. U kunt vanuit elk onderdeel eenvoudig via de pijltjes schakelen naar het bekijken van resultaten vanuit een ander onderdeel. U kunt geen resultaten verwijderen. Alleen als zowel de afname, de toets als de kandidaat in de bijbehorende onderdelen zijn verwijderd, zijn de resultaten helemaal niet meer beschikbaar. Als u bijvoorbeeld een toets verwijdert, blijven de resultaten gewoon beschikbaar via de onderdelen Afnames en Kandidaten.

Scenario’s voor het gebruiken van de analysegegevens U kunt de analysegegevens rechtstreeks in TestVision Online bekijken. U selecteert daarvoor de toets en de afname(s) die u wilt analyseren. U ziet twee tabbladen: een tabblad met toetsgegevens en een tabblad met itemgegevens. Op het tabblad met itemgegevens is via een kleur een eerste indicatie van de kwaliteit aangegeven. Deze indicatie is gebaseerd op de volgende waarden: p-waarde, a-waarde en r it -waarde (indien beschikbaar). Meer informatie over het interpreteren van deze gegevens vindt u in ons boek ‘Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?.

73


T IP ! Voor een betrouwbare analyse heeft u minimaal 50 en liefst 100 afnamegegevens nodig. Tegelijkertijd kan het verstandig zijn een afname waarvan u weet dat deze de analyse ongunstig beïnvloedt (bijvoorbeeld omdat er problemen bij de afname waren) niet in de analyse te betrekken.

LET OP ! U kunt ook analyses maken van toetsen die kandidaten meer dan een keer mogen maken. In de analyse wordt het hoogste resultaat meegenomen, dat kan dus een tweede of derde poging zijn. Dit beïnvloedt de betrouwbaarheid van de analyse. We adviseren u om terughoudend te zijn bij het gebruik van de analysegegevens van toetsen die meer dan een keer gemaakt mogen worden. Alleen bij at random samengestelde toetsen met een grote vragenset hoeft u in dit geval minder voorzichtig te zijn. 12.3.1

Meest eenvoudige scenario S CENARIO 12.1: U WILT DE KWALITEIT VAN EEN TOETS EN DE AFZONDERLIJKE ITEMS CONTROLEREN


H OE GAAT DE CONTROLE IN ZIJN WERK ?

WAT KUNT U BESLUITEN ?

Als u de analysegegevens alleen wilt gebruiken voor het controleren van de kwaliteit van de toets en de afzonderlijke vragen, bijvoorbeeld om te bepalen of er reden is om de resultaten aan te passen. U kunt de belangrijkste toetsen itemgegevens controleren op kwaliteit. U kunt uitproberen wat het effect van het uitzetten van specifieke items op de kwaliteit van de toets is. U kunt op basis van de analysegegevens een aantal beslissingen nemen:  de cesuur wordt verlaagd of verhoogd (zie paragraaf 12.4);  een of meer items worden bij iedereen goedgerekend of niet meegeteld (zie paragraaf 12.4);  een item moet worden aangepast voordat het vaker wordt gebruikt. De meest voorkomende aanpassingen op basis van de analyse zijn:  het laten vervallen of vervangen van een afleider, omdat deze niet vaak genoeg wordt gekozen (de vraag is dan vaak te makkelijk);  het beter formuleren van de sleutel, omdat te veel kandidaten voor een ander antwoord kiezen (de vraag is dan vaak te moeilijk);  het beter formuleren van een afleider, omdat te veel kandidaten ervoor kiezen (de vraag is dan vaak te moeilijk);  het ontwikkelen van een parallelle versie van vragen die goed uit de analyse komen (vragen met een mooie p- en r it -waarde).

12.3.2

Scenario’s voor het gebruiken van de analyse voor het beheer van vragen S CENARIO 12.2: U LEGT DE ANALYSEGEGEVENS VAST IN DE META - INFORMATIE VAN VRAGEN EN TOETSEN

74



H OE EN WAN NEER LEGT U DE GEGEVENS VAST ?

Als u de analysegegevens wilt gebruiken bij het beheer van vragen en toetsen, bijvoorbeeld bij het instellen van kenmerken, het afschrijven van vragen of het samenstellen van toetsen. U kunt voor een toets zelf enkele keuzes maken ten aanzien van de vast te leggen gegevens:  welke afnames u wilt meenemen in de analyse;  welk items u wilt meenemen in de analyse. Als u bijvoorbeeld weet dat er bij een bepaalde afnamegroep verst oringen zijn geweest die de kwaliteit van de gegevens kunnen beïnvloeden kunt u deze afname beter niet selecteren voor de analyse. En als een item slecht functioneert (bijvoorbeeld een negatieve r it -waarde heeft), kunt u dit item uitzetten in de analyse voordat u de gegevens vastlegt. U kunt de analysegegevens het best vastleggen op het moment dat de afname van een toets is afgerond. Als een toets later opnieuw (in dezelfde hoofdversie) wordt afgenomen, kunt u de gegevens eenvoudig aanvullen en overschrijven.

WAT IS HET EFFECT ?

In de meta-informatie van een vraag ziet u de volgende analysegegevens:  p-waarde (aantal resultaten);  p(corr)-waarde (aantal resultaten);  r it -waarde (aantal resultaten). De gegevens kunnen zijn gebaseerd op afnames in verschillende toetsen of toetsversies. Als dat zo is, ziet u bij de r it -waarde twee gegevens staan, te weten de laagste en hoogste waargenomen r it -waarde. Tussen haakjes is steeds het aantal resultaten waarop de waarneming is gebaseerd vermeld. In de meta-informatie van een toets ziet u de de volgende analysegegevens:  gemiddelde p/p’-waarde (aantal resultaten);  betrouwbaarheid;  standaardmeetfout.

LET OP ! De analysegegevens worden gekoppeld aan de vraag zoals die is opgenomen in de gepubliceerde toets en aan de gepubliceerde toets. Als u een grote wijziging aanbrengt in de vraag (bijvoorbeeld de sleutel wijzigt of een alternatief toevoegt) of de toets (bijvoorbeeld een wijziging in de samenstelling), krijgt de vraag of toets een nieuwe hoofdversie en worden de vastgelegde analysegegevens verwijderd (zie paragraaf 8.2 voor meer informatie over versies). Als u dit niet wilt, kunt u de gewijzigde vraag of toets het best onder een andere naam opslaan. WAT ZIJN MOGELIJKE TOEPASSINGEN ?

U kunt de informatie bijvoorbeeld gebruiken voor de volgende toepassingen:  U kunt op basis van de vastgelegde p-waarde de waarde op het kenmerk moeilijkheid van de vragen aanpassen (of voor het eerst toekennen) en dit kenmerk vervolgens gebruiken voor het samenstellen van de vragenset of in de toetsmatrijs.

75






12.4

U kunt een vraag afschrijven, omdat uit de vastgelegde gegevens blijkt dat de vraag al erg vaak is gebruikt of omdat de r it -waarde onvoldoende is (zie paragraaf 8.5). U kunt een vraag aanpassen (zie ook scenario 12.1) voor toekomstig gebruik. We raden u in dit geval aan om de aangepaste vraag onder een andere naam op te slaan en de oorspronkelijke vraag (die dus niet goed blijkt te voldoen) af te schrijven.

Scenario’s voor het aanpassen van resultaten U heeft de volgende mogelijkheden voor het aanpassen van resultaten:  U kunt de resultaten van een individuele kandidaat of van een totale afname ongeldig maken.  U kunt resultaten aanpassen op individueel niveau.  U kunt resultaten aanpassen op toetsniveau (collectief). Daarbij kunt u aangeven voor welke afnames u de aanpassing wilt laten gelden. Collectieve aanpassingen kunt u alleen doorvoeren op afgesloten afnames. Het ongeldig maken van resultaten zorgt ervoor dat een kandidaat of groep kandidaten dezelfde toets opnieuw kan maken. De hierbij horende scenario’s vindt u in paragraaf 10.4. In deze paragraaf beschrijven we enkele scenario’s voor het aanpassen van resultaten.

12.4.1

Meest eenvoudige scenario’s S CENARIO 12.3A: U WILT DE SCORE OP EEN VRAAG VAN EEN INDIVIDUELE KANDIDAAT AANPASSEN


H OE VOERT U DE AANPASSINGEN DOOR ?

WAT IS HET EFFECT ?

Als de kandidaat een antwoord heeft gegeven dat u achteraf wilt goed rekenen. Op individueel niveau zal dit meestal een invulvraag of een wijziging op de beoordeling van een open vraag zijn. U kunt bij een invulvraag (en bij alle andere gesloten vraagvormen) het antwoord achteraf goed rekenen. Bij een open vraag kunt u de toegekende score naar boven (of beneden) bij stellen. Het resultaat van de kandidaat wordt gewijzigd, zowel het scorepercentage als het eventuele cijfer. In het overzicht met resultaten is aan de aanduiding ** te zien dat het resultaat individueel is aangepast. Ook de kandidaat ziet in zijn overzicht het aangepaste resultaat. Op de detailpagina staat vermeld dat het een aangepast resultaat betreft. S CENARIO 12.3B: U WILT HET RESULTAAT OP EEN VRAAG COLLECTIEF AANPASSEN


Als er een vraag in de toets is opgenomen waarvan achteraf blijkt dat deze niet goed is, bijvoorbeeld omdat:  er discussie is ontstaan over het juiste antwoord (de sleutel);  uit de analyse blijkt dat de vraag zeer onbetrouwbaar is (de r it -waarde is negatief).

76



U kunt de vraag voor alle afnames waarin de vraag in een toets is opgenomen goed rekenen of niet meetellen. U moet de betreffende afnames wel eerst afsluiten. Als nog niet alle kandidaten de afname hebben gemaakt en/of de afnameperiode nog niet is verstreken, krijgt u daarvan een melding bij het afsluiten. Indien gewenst kunt u voor de betreffende kandidaten een nieuwe afname klaarzetten met een verbeterde versie van de toets. Voordat u de aanpassing doorvoert, krijgt u een overzicht te zien met h et effect van de aanpassing op de resultaten.

LET OP ! Als u kiest voor niet meetellen, kan dit in het nadeel zijn van de kandidaten die de vraag goed hebben. Het is zelfs mogelijk dat ze door de aanpassing niet meer slagen maar zakken. We adviseren u daarom om in dit scenario te kiezen voor de optie goed rekenen. WAT IS HET EFFECT ?

Het resultaat van alle kandidaten wordt gewijzigd (voor zover van toepassing), zowel het scorepercentage als het eventuele cijfer. In het overzicht met resultaten is aan de aanduiding * te zien dat een resultaat collectief is aangepast. De kandidaten ziet in hun overzicht het aangepaste resultaat. Op de detailpagina staat vermeld dat het een aangepast resultaat betreft.

LET OP ! Een individuele aanpassing gaat altijd boven een collectieve aanpassing. Als u dus op individueel niveau een vraag heeft goed gerekend en deze vervolgens op collectief niveau niet meetelt, geldt de individuele aanpassing voor de individuele kandidaat. Ook na een collectieve aanpassing kunt u desgewenst alsnog een individuele wijziging doorvoeren op dezelfde vraag. 12.4.2

Scenario’s voor het doorvoeren van complexere aanpassingen S CENARIO 12.4: U WILT DE CESUUR NAAR BOVEN OF NAAR BENEDEN BIJSTELLEN



Als u de cesuur van een toets (eventueel al gedurende de afname) wilt aanpassen, bijvoorbeeld verlagen omdat de toets moeilijker blijkt dan verwacht of verhogen omdat de cesuur oorspronkelijk verkeerd is ingesteld. U heeft de cesuurinstelling in de toets zelf ook aangepast (zie scenario 8.7A in paragraaf 8.4.2). Voor de kandidaten die de toets al hebben gemaakt wilt u de toetsresultaten aanpassen. U moet eerst de afnames waarvan u de cesuur wilt wijzigen afsluiten. Als nog niet alle kandidaten de afname hebben gemaakt en/of de afnameperiode nog niet is verstreken, krijgt u daarvan een melding bij het afsluiten. Indien gewenst kunt u voor de betreffende kandidaten een nieuwe afname klaarzetten met de versie van de toets met een aangepaste cesuur (zie ook scenario 8.7A in paragraaf 8.4.2).

77


U wijzigt de cesuur van de betreffende toetsversie bij de toetsresultaten. U kunt het effect van de aanpassing (zoals het aantal geslaagden en gezakten) controleren, voordat u de aanpassing doorvoert. WAT IS HET EFFECT ?

De resultaten van alle kandidaten worden aangepast. In het overzicht met resultaten is aan de aanduiding * te zien dat het resultaat collectief is aangepast.

LET OP ! Als in de template de cesuur wordt getoond op de instructiepagina, zien de kandidaten bij review daar nog de oude cesuur vermeld staan.

S CENARIO 12.5: U WILT PAS ACHTERAF EEN CESUUR VOOR DE TOETS INSTELLEN WANNEER GEBRUIKT U DIT SCENARIO ?


WAT IS HET EFFECT ?

Als u de (definitieve) cesuur pas bepaalt nadat de toetsafname is afgerond, bijvoorbeeld mede op basis van de resultaten of de analysegegevens. We adviseren u om in dit scenario de resultaatpagina bij de afname in eerste instantie uit te zetten en de cesuur niet te tonen op de instructiepagina (via de toetstemplate). U kunt nadat alle kandidaten de toets hebben gemaakt de afname afsluiten. Daarna stelt u de gewenste cesuur bij de toetsresultaten. U kunt het effect van de cesuur (zoals het aantal geslaagden en gezakten) controleren, voordat u de aanpassing doorvoert. De resultaten van alle kandidaten worden uitgebreid met de codering gezakt/geslaagd en eventueel een cijfer. In het overzicht met resultaten is aan de aanduiding * te zien dat het resultaat collectief is aangepast. Als u vervolgens de resultaatpagina bij de afname aanzet, kunnen de kandidaten in hun overzicht het resultaat zien.

LET OP ! Op de detailpagina met het resultaat staat vermeld dat het om een aangepast resultaat gaat. Eventueel kunt u in de toelichting uitleggen dat de aanpassing te maken heeft met het achteraf instellen van de cesuur. S CENARIO 12.6: U WILT EEN AANTAL (PROEF )VRAGEN NIET MEETELLEN IN HET RESULTAAT WANNEER GEBRUIKT U DIT SCENARIO ?


WAT IS HET EFFECT ?

Als u van enkele vragen wel analysegegevens wilt verzamelen, maar deze niet mee wilt laten tellen in het resultaat. We adviseren u om in dit scenario de resultaatpagina bij de afname in eerste instantie uit te zetten. U kunt nadat alle kandidaten de toets hebben gemaakt de afname afsluiten. Daarna geeft u voor de betreffende vragen aan dat ze niet mee moeten tellen in het resultaat. U kunt het effect van de aanpassing eerst controleren voordat u de aanpassing doorvoert. De resultaten van alle kandidaten worden gewijzigd. In het overzicht met resultaten is aan de aanduiding * te zien dat het resultaat collectief is aangepast. Als u vervolgens de resultaatpagina bij de afname aanzet, kunnen de kandidaten in hun overzicht het resultaat zien.

78


LET OP ! Op de detailpagina met het resultaat staat vermeld dat het om een aangepast resultaat gaat. Eventueel kunt u in de toelichting uitleggen dat de aanpassing te maken heeft met het achteraf niet meetellen van enkele proefvragen. S CENARIO 12.7: U WILT BIJ ÉÉN SPECIFIEKE AFNAMEGROEP EEN AANPASSING OP VRAAGNIVEAU DOORVOEREN



WAT IS HET EFFECT ?

Als u voor één bepaalde afnamegroep een vraag bij iedereen wilt goed rekenen, bijvoorbeeld omdat is gebleken dat in deze groep de stof niet of verkeerd is behandeld. U selecteert alleen de afgesloten afname waarvoor u de wijziging wilt doorvoeren en geeft aan dat de vraag bij iedereen moet worden goed gerekend. Voordat u de aanpassing doorvoert, krijgt u een overzicht te zien met het effect van de aanpassing op de resultaten. Het resultaat van alle kandidaten uit de afnamegroep wordt gewijzigd (voor zover van toepassing), zowel het scorepercentage als het eventuele cijfer. In het overzicht met resultaten is aan de aanduiding * te zien dat een resultaat collectief is aangepast. De kandidaten ziet in hun overzicht het aangepaste resultaat. Op de detailpagina staat vermeld dat het een aangepast resultaat betreft.

79


BEGRIPPENLIJST TESTVISION ONLINE Begrip

Omschrijving

Aan

Een object met de status Aan kan gewoon worden gebruikt.

Afgeschreven

Een vraag of toets met de status Afgeschreven kan niet meer worden toegevoegd aan (nieuwe) toetsen of afnames.

Domein

Een domein is een afgebakende omgeving van vragen, toetsen en afnames.

Eigenaar

De ontwikkelaar die een object in eerste instantie heeft gemaakt.

Hulpmap

Een map met één of meer objectreferenties.

Leesrecht

Het recht op toegang tot een onderdeel van TestVision, zonder dat je objecten mag bewerken.

Kenmerk

Een zelf te definiëren eigenschap van vragen, zoals moeilijkheid, taxonomiecode, onderwerp. Bij een kenmerk horen kenmerkwaarden.

Mapbeheer

De mogelijkheid om de mappenstructuur te wijzigen.

Mappenlijst

Een overzicht van de hiërarchische structuur van gelijksoortige objecten.

Meta-informatie

Een verzameling objectgerelateerde kenmerken en/of eigenschappen.

Object

Een vraag, toets, kandidaat of afname.

Objectreferentie

Een verwijzing in een hulpmap naar een object in een map (vergelijkbaar met een snelkoppeling in Windows).

Overzichtsscherm

Een overzicht van de inhoud (objecten) van een map uit de mappenlijst.

Prullenbak

Een verzamelbak van verwijderde objecten die nog kunnen worden teruggeplaatst in een map. Elk objecttype (vraag, toets, afname, kandidaat) heeft een eigen prullenbak.

Referentie

Zie Objectreferentie.

Resultaat

De score van een kandidaat op een toets, nadat eventuele open vragen zijn beoordeeld.

Schrijfrecht

Het recht om objecten te wijzigen of toe te voegen.

Skin

De skin van een toets bepaalt hoe de toets er voor de kandidaat uitziet (kleurgebruik, achtergrond, lettertype en –grootte).

Submap

Een map in een map.

Toetsmatrijs

Een hulpmiddel om aan de hand van zelf in te stellen criteria uit een vragenset een toetsvragenset samen te stellen.

Toetstemplate

Een door de domeinbeheerder vast te leggen combinatie van instellingen op de instructie- en resultaatpagina die gekoppeld kan worden aan een toets.

Toetsvragenset

De selectie van vragen die samen een toets vormen. Een at random samengestelde toets heeft geen toetsvragenset.

Uit

Een object met de status Uit kan beperkt worden gebruikt: een vraag kan niet worden gepubliceerd, een toets en een afname zijn niet beschikbaar en een kandidaat kan zich niet aanmelden.

Vragenset

De selectie van vragen die gebruikt wordt voor het samenstellen van een toets via de toetsmatrijs. De vragenset kan gelijk zijn aan de toetsvragenset.

80


INDEX Afname (hulp)mappen koppelen 61 aantal pogingen 59 kandidaat toevoegen 64 kandidaat verwijderen 65 periode 59 resultaatpagina 60 resultaten ongeldig maken 64 skin 60 stopzetten (tijdelijk) 63 tijdsduur verlengen 59, 62 wachtwoord 59 Applicatiebeheerder 5 Applicatiekenmerk 23 Beoordeling vastleggen 66, 70 Deelblokken 40 eenmalig afnemen 41 Domeinbeheerder 5 Domeinkenmerk 24 Gewone mappen 8, 28 Hulpmappen 8, 28, 37 import 9, 29 persoonlijke 8, 28 publieke 8, 28 Instructiefilmpje 5 Kandidaten Domeinoverstijgend 6, 12, 32, 57 importeren 57 importeren in groepen 58 Kenmerk niet verplicht 22 standaardwaarde 22 verplicht 22 Leesrecht 14, 15 Mapbeheer 15 Mappenstructuur afnames 32 kandidaten 32 toetsen 32 voor beperken van toegang 9

vragen 29, 34 Objectreferentie Zie Referentie Ontwikkelaar 5 Open vraag 66 één beoordelaar 67, 69 twee of meer beoordelaars 67, 69 Publicatiestatus 44 Referentie 8, 28 Resultaten 72 aanpassen 75 aanpassing collectief 76 aanpassing individueel 75 analysegegevens vastleggen 74 ongeldig maken 64, 75 statistische analyse 72 toegang 72 Rollen 5 Schrijfrecht 14, 15 Snelkoppeling Zie Referentie Startmap 9, 15, 29 Status Aan 52 Afgeschreven 52, 54 U it 52, 54 Taken 5 Tijdsduur 42 verlengen 42 Toegang 14 Toets achiveren 55 at random samengesteld 33, 37, 38, 48 deelblokken 40 hoofdversie 45, 74 ongeldig 51 open vragen 66 publiceren 44 status 52 stopzetten (tijdelijk) 53 vaste samenstelling 33, 34, 48

81


versiebeheer 45 vragen bij elkaar houden 41 Toetseigenschappen 42 aanpassen 49 Toetsmatrijs 29, 33, 35, 44, 51 twee criteria 38 Toetsmatrijs aanpassen at random samengestelde toets 49 vaste toets 48 Toetstemplate 25, 33 aanpassen 50 cesuur 26 instructiepagina 25 resultaatpagina 26 standaard 25 Toetstermen 29 Toetsvragenset 33, 51 aanpassen 47 Vraag archiveren 55 hoofdversie 45, 74 open 66 status 52 Vragenset 33, 51 aanpassen 47

82

IMPLEMENTATIEHANDLEIDING

Recommend Documents