Seminar Hoe selecteer ik een digitaal toetssysteem?

Seminar ‘Hoe selecteer ik een digitaal toetssysteem?’

September 2011

Elf leveranciers beschrijven de functionaliteit, gebruiksvriendelijkheid, infrastructuur en architectuur, financiële aspecten en toekomstvastheid van hun digitale toetssystemen.

Inhoudsopgave Compass

3

Egel

6

FastTEST Web

9

Leerstation Zorg

15

LPLUS

19

Maple T.A.

25

OWL Testing Software

30

Surpass

35

TestVision

40

Quayn

44

Questionmark Perception

49

2 Seminar: ‘Hoe selecteer ik een digitaal toetssysteem?’

COMPASS

COMPASS Adresgegevens Atos Contactpersoon: Dhr. B. van der Lelie E: [email protected] T: +31 (0)6 836 384 22 W: nl.atos.net

Atos: Online toetsen en examineren ComPass is de online dienst van Atos voor toetsen en examineren waarmee u zonder investering vooraf met maximale flexibiliteit toetsen en examens kunt afnemen. We bieden u de service om hoogwaardige toetsen en examens te ontwikkelen en te evalueren. • • • • • • •

Betrouwbaar en veilig Altijd beschikbaar Geen investering vooraf Vaste prijs per leerling / leraar Geen technisch onderhoud en beheer van software of hardware advies en begeleiding Een hoogwaardige en veilige toets en examendienst

Examen ontwerp

Toets samenstelling

Analyse resultaten Examen afname

Correctie

ComPass is een online dienst die 24/7 management informatie geeft om de prestaties van uw totale onderwijsinstelling te monitoren, positief te beïnvloeden en zodoende de kwaliteit van uw toetsprocessen te verbeteren. De informatie is actueel en betrouwbaar waardoor u in een zeer vroeg stadium kunt bijsturen. Dit geldt voor het management maar evengoed voor het inzicht wat docenten krijgen in de prestaties en leerdoelen van de individuele student. Met ComPass zijn studenten beter dan ooit in staat hun focus op de juiste facetten van hun studie te leggen. ComPass is ontwikkeld in nauwe samenwerking met Andriessen. Andriessen is één van de belangrijkste dienstverleners op het gebied van online examineren in Nederland. Andriessen is vooruitstrevend in het combineren van proceskennis en hun ervaring met internettechnologie. Toetsproces van ComPass Er zijn verschillende elementen die afhankelijk van elkaar zijn en gezamenlijk een succesvol toetsproces vormen. In onderstaande afbeelding zijn deze elementen weergegeven. De functionaliteiten van onze toetsen examenservice komen hierin naar voren. Examenontwerp U geeft zelf vorm en inhoud aan uw itembank(en). U bepaalt hoe de itembank moet worden opgebouwd en welke toetsen uit deze bank gegenereerd moeten worden. Idealiter vormt een toetsmatrijs die aansluit op de eindtermen, de basis voor de itembank.


COMPASS Voor het vullen van de itembanken zijn in de meeste gevallen bestaande vragen te hergebruiken. Het ontwikkelen van nieuwe vragen valt ook binnen deze stap. Dit is vaak nodig om de hele toetsmatrijs voldoende te dekken. We raden aan om in deze processtap onderscheid te maken tussen vakinhoudelijke expertise en toetskundige expertise om de kwaliteit van de items te waarborgen. Soms vallen deze expertgebieden samen in één persoon. Vraagtypen: combinaties van meerkeuzevragen, multiple select vragen, tekstuele en numerieke invulvragen, uploadvragen, hotspotvragen, dynamische rekenvragen, open vragen en multimedia. Toetssamenstelling In de toetsmatrijs staat aan welke eisen de samenstelling van een toets moet voldoen. In deze stap kiest u een toetsvorm of -soort. Compass biedt hiervoor verschillende mogelijkheden. Uw keuze hangt af van het doel van de toets. Wilt u een toets voor de niveaubepaling van een kandidaat, een (individuele) oefentoets met feedback, of is het een officieel examen om een diploma te halen? Met betrekking tot het samenstellen van een digitale toets heeft u twee mogelijkheden: u stelt de toets vooraf samen of de toets wordt bij aanvang automatisch (random) gegenereerd. Wanneer u zelf de toets samenstelt, werkt u met (één of meer) vaste versies die voor alle kandidaten gelijk zijn. Een digitale vragenbank leent zich echter uitstekend voor het aanbieden van random gegenereerde toetsen waarbij iedere kandidaat een unieke toets aangeboden krijgt. Ook als een kandidaat een toets voor de tweede keer maakt. Examen/toets afname Bij online toetsafname is het van groot belang dat u op de techniek kunt vertrouwen. Atos garandeert zowel de veiligheid als de beschikbaar, ook bij grote volumes op het zelfde tijdstip. Wij hebben ruime ervaring in zeer kritische opdrachten zoals het beheer van betaalplatforms als iDeal maar ook de volledige online informatie voorziening tijdens de Olympische Spelen is al jaren in beheer van Atos. Wij beheren onze eigen datacenters waardoor wij volledig onafhankelijk zijn. Bij de inrichting van een toetsproces hoort ook de keuze voor omstandigheden waaronder u de toetsen wilt (laten) afnemen en de mate van invloed die een kandidaat heeft op het moment en de plaats van afname. De mogelijkheden variëren van het geven van een toegangscode waarmee een kandidaat binnen een bepaalde periode (op een tijdstip naar keuze, zonder toezicht, op een eigen pc) een toets kan maken, tot inschrijving voor een toets op een vaste locatie en een vast moment. Naast de techniek is de inrichting van de toetsplek medebepalend voor een ongestoorde examenafname. Als kandidaten thuis mogen toetsen, heeft u hier geen invloed op. Daarom is thuis toetsen met name interessant voor diagnostische toetsen. Wij adviseren graag over de inrichting van uw eigen locaties om online toetsen af te nemen. Analyse van de resultaten Om de kwaliteit van uw toetsen en toetsproces te bewaken is het belangrijk dat u over analyses van de behaalde resultaten en de kwaliteit van items kunt beschikken. Wij raden aan om zowel individuele items te analyseren, als de validiteit van complete examens. Examenvragen worden doorgaans zorgvuldig samengesteld. Toch blijkt in de praktijk dat niet alle vragen dezelfde kwaliteit hebben en daarmee de betrouwbaarheid van de toets als geheel verkleinen. Door analyse van p-waarden, a-waarden en Ritwaarden, kunt u de vragen met de laagste kwaliteit verbeteren of (tijdelijk) uit de itembank verwijderen. Zo is de kwaliteit van uw examen optimaal. Naast rapportages gericht op de kwaliteit van toetsen, moet u ook nadenken over de


COMPASS rapportages die nodig zijn om het hele toetsproces te kunnen monitoren. Denk aan rapportages met betrekking tot inschrijvingen, uitslagen, correctoren, enz. Correctielogistiek Digitaal toetsen heeft diverse voordelen in het correctieproces. Gesloten vraagvormen kunnen direct door het toetssysteem gecorrigeerd worden, waardoor er ook direct een uitslag bekend kan worden gemaakt. De correctielogistiek van open vragen vindt vaak via het toetssysteem plaats. Als een toets open vragen bevat, moet u nadenken over de inrichting van het correctieproces. Hoeveel correctoren moeten de toets beoordelen, binnen welke tijd moet de uitslag bekend zijn en in welke gevallen vindt er een hercorrectie plaats? Om het uiteindelijke resultaat van een kandidaat te kunnen bepalen, stelt u in deze processtap ook de cesuur voor een toets vast.

Gebruiksvriendelijkheid Atos biedt Compass als dienst aan om zodoende u als onderwijsinstantie op technisch vlak te ontzorgen, en dat geldt dus ook voor de gebruikersinterface. Maatstaf voor Compass is dat leerlingen zonder extra uitleg een toets moeten kunnen volbrengen. Zo wordt Compass bijvoorbeeld ook ingezet bij het inburgeringsexamen. De extra uitleg die leraren nodig hebben heeft geen betrekking op de gebruikersinterface, maar op de logistiek rondom het toetsingsproces en de extra mogelijkheden die leraren krijgen om de kwaliteit van toetsen te verbeteren.

IT & Financiën ComPass is geen traditionele software, maar een online dienst. U betaalt een paar euro per leerling per maand. U heeft dus geen licenties nodig of specifieke hardware, en het beheer kost u weinig of geen tijd, mensen en geld. Het enige wat u nodig heeft is een computer met internetverbinding en een gangbare browser. Wij adviseren u graag of uw huidige IT- infrastructuur geschikt is voor ComPass middels een quickscan. Is uw organisatie er klaar voor? Dit is echter een klein onderdeel van de quickscan want veel belangrijker is of uw organisatie klaar is voor deze nieuwe manier van werken. Deze scan is onderdeel van een bewezen model waarbij wij kijken naar uw huidige IT voorzieningen maar ook naar de processen, mensen, cultuur en de content. De aanbevelingen die hieruit volgen baseren wij op jarenlange ervaring bij toetsen en examens. Middels onze ComPass consulting services garanderen wij een goede implementatie en borging binnen uw school wat cruciaal is voor een succesvolle invoering van een online toetssysteem.


EGEL

EGEL Achtergrond informatie Het toetspakket Egel (ExamenGEnerator Leiden) werd in 1986 ontwikkeld bij de Sectie Medische Informatica van de Universiteit Leiden. Om aan de alsmaar stijgende vraag naar Itembank-software tegemoet te komen, richtten de makers van Egel in 1999 het bedrijf Toko bv op. Naast de ontwikkeling van Egel en de daarbij behorende dienstverlening, heeft Toko zich in de loop der jaren eveneens gespecialiseerd in het ontwikkelen van nieuwe hardware- en softwarematige toepassingen voor gebruik in het onderwijs. Adresgegevens Toko bv Niels Bohrweg 11-13, 2333 CA Leiden T: (071) 521 72 56 W: www.tokobv.nl E: [email protected]

Functionaliteit Gebied 1: Itembank- en itemconstructie Egel biedt de gesloten vraag (deelscores mogelijk), de open vraag (met nakijkmodule), Long-Menuvraag (hybride vraagtype met open invoer maar een ’gesloten’ antwoord) en hiervan afgeleide vraagtypen (hotspotvraag, interactieve casus). Bij elk vraagtype kunnen afbeeldingen, geluids- en videofragmenten worden toegevoegd aan de vraagelementen. Automatisch inlezen van antwoordformulieren is mogelijk. Bij elke vraag kunnen metadata worden ingevoerd, zoals: auteur, eigenaar, kennisniveau, vraaggewicht, in- en uitsluitingen en eventuele blokkeringen. Egel houdt automatisch de p-waarden en Rit-waarden bij, hoe vaak een vraag in een toets is opgenomen en wanneer voor het laatst. Uitgangspunt is een multi-user omgeving, maar via gebruikersrechten is de toegankelijkheid van vragen te beperken. Kwaliteitscontrole via statistische toetsanalyse en commentaar kandidaten per vraag. Gebied 2: Samenstellen van toetsen uit itembank De structuur van de Itembank is: Studie – Blok – Onderwerp, waarbij de items aan Onderwerp ‘hangen’. Toetsen kunnen automatisch of handmatig worden gegenereerd op basis van een aanpasbaar profiel (toetsmatrijs). Items worden per Onderwerp of per Blok uit de Vragenbank geselecteerd. Voor maximale controle kan een lege toets handmatig gevuld worden met items. Adaptieve toetsen zijn mogelijk met behulp van een Dynamische Vragenreeks (vragenboom), waarbij het antwoord van de kandidaat de vervolgvraag bepaalt. Van elke toets kan een statistische analyse worden gegenereerd. Via Microsoft Excel zijn deze resultaten te koppelen aan andere systemen. Gebied 3: Afnemen van toetsen Elke Toets is in beginsel geschikt voor beeldscherm en (via Microsoft Word) voor papier. Lettertype, -kleur en –grootte zijn per vraag instelbaar in Egel Docent (voor beeldschermtoetsen) of in Microsoft Word (voor papieren toetsen). Beeldschermtoetsen kunnen via een lokaal netwerk worden afgenomen (Egel Student geïnstalleerd op kandidaatcomputers), via Terminal Server (Egel Student alleen op server geïnstalleerd) of online, evt. via safe web browser (alleen browser nodig). Egel Student beschikt over een spraakmodule, waarmee vragen kunnen worden voorgelezen en antwoorden worden ingesproken. Dit biedt o.a. mogelijkheden voor respondenten met een visuele


EGEL functiebeperking. De toets kan worden gestart vanaf ThinClients (VMWare-VDI), waarbij de authenticatie van de kandidaat –en dus de juiste toets- verloopt via Smartcards. Gebied 4: Evaluatie van toetsen Op basis van de toetsresultaten kan per afgenomen toets een statistisch rapport worden gegenereerd in een voorgeprogrammeerde Excel-sheet. Deze analyse is gebaseerd op de klassieke toetsanalyse van SPSS (Betrouwbaarheid, Standaard meetfout, B-index, etc.). Toetsresultaten kunnen bovendien worden weggeschreven in de Vragenbank, zodat cumulatieve p-waarden en Rit-waarden in Egel Docent beschikbaar zijn. Daarnaast kunnen verschillende score-overzichten per kandidaat of per toets worden afgedrukt via Microsoft Word. Aangepaste rapporten zijn mogelijk. Gebied 5: Overige functionaliteit Bij online toetsen kan gebruik worden gemaakt van digitale bijlagen in jpg-, pdf- of htmlformaat (bijvoorbeeld naslagwerken). Via hyperlinks in de tekst kunnen externe en interne websites worden geopend.

Gebruikersvriendelijkheid Egel Student, de module waarmee toetsen worden afgenomen, is zeer eenvoudig in het gebruik; kandidaten behoeven geen nadere instructie. Docenten voeren nieuwe vragen in één overzichtelijk scherm en genereren toetsen via een heldere wizard. Het opzetten en beheren van de Vragenbank vereist relatief de meeste investering, maar is eenvoudig voor een geroutineerde Vragenbankbeheerder. In hoeverre een toets daadwerkelijk voldoet aan de minimumeisen voor digitale toegankelijkheid, ook voor kandidaten met een functiebeperking, is afhankelijk van de keuzes van de samensteller van de toets. Egel biedt echter alle instrumenten aan om dit te realiseren. Opmaak van de vragen kan geheel plaatsvinden in Microsoft Word. De inhoud kan in Rich Text Formaat worden gesleept of geplakt in Egel Docent. Voor online toetsen converteert Egel de RTF-tekst inclusief alle afbeeldingen, tekeningen en symbolen naar HTML.

Infrastructuur en architectuur Het pakket Egel bestaat uit drie samenhangende componenten: Egel Student voor het afnemen van toetsen, Egel Docent voor het aanmaken/beheren van vragen en toetsen en Egel Beheer voor het voorbereiden van af te nemen toetsen en het verwerken van de resultaten. Van Egel Student is zowel een desktop-versie als een online-versie beschikbaar met volledige functionaliteit. Egel Docent en Egel Beheer zijn momenteel uitsluitend leverbaar als desktop-versie. Wel is een beveiligde webmodule ontwikkeld, waarmee de belangrijkste beheerstaken ook online kunnen worden uitgevoerd (kandidaatgegevens, toetsbeheer en roosters, toetsresultaten). Egel draait onder alle versies van Microsoft Windows en communiceert met Microsoft SQL Server, MySQL, Microsoft Word en Excel. De desktop-versies van de Egel-componenten dienen lokaal geïnstalleerd te worden, maar kunnen ook worden aangeboden via Terminal Server hosting. Voor de online-componenten is uitsluitend een browser (Internet Explorer) vereist. Beveiliging vindt plaats door middel van gebruikersnaam en wachtwoord met additionele controle (en eventuele blokkering) van IP-adres. Voor online toetsing is een safe web browser ontwikkeld, die ongeautoriseerd browsen tegengaat. De items zelf zijn niet ontworpen om te kunnen worden uitgewisseld met andere programma’s. De toetsresultaten, toetsanalyses en kandidaatgegevens kunnen echter gemakkelijk worden geëxporteerd naar of gekoppeld aan andere programma’s, respectievelijk via Excel/Word. Verdergaande mogelijkheden voor koppeling aan kandidateninschrijfsystemen zijn in ontwikkeling.


EGEL

Financiële aspecten Kosten van het systeem In principe wordt voor iedere klant afzonderlijk een jaarlijks licentiebedrag berekend, waarvoor per locatie een onbeperkt aantal toetsen kan worden afgenomen. Dit bedrag wordt mede berekend aan de hand van de grootte van de organisatie, de toetsfrequentie, het aantal deelnemers, de grootte van de Vragenbank(en). Maatwerk dat op verzoek van een cliënt wordt gedaan na het aangaan van de licentie-overeenkomst wordt apart berekend. Standaard model Uitgaande van een organisatie waar per jaar 30.000 toetsen worden afgenomen, bedragen de licentiekosten voor Egel 1 € per toets: € 30.000 (ex btw). Het aantal docenten en toetsvragen is niet relevant. Organisatie en beheer Voor een optimale inbedding van Egel in de organisatie is ten minste een Vragenbankbeheerder nodig die verantwoordelijk is voor het opzetten en beheren van de Vragenbank, de gebruikersrechten, de toetsplanning en het netwerkbeheer. De benodigde arbeid varieert van 0,1 fte bij een kleine organisatie die driemaal per jaar toetst, tot enkele fte’s bij een grote onderwijsinstelling met meerdere Vragenbanken waar dagelijks getoetst wordt. Daarnaast behoort het genereren en actualiseren van content, alsmede kwaliteitsmonitoring tot de taak van de verschillende docenten. Gebruik van Egel leidt daarbij tot een aanzienlijke besparing in de benodigde tijd.

Toekomstvastheid Al sinds haar oprichting richt Toko bv zich primair op de actuele vraag naar mogelijkheden voor digitale toetsing. Technologische innovaties worden geïncorporeerd in het toetspakket voor zover zij daadwerkelijk tot innovatieve toetsvormen kunnen leiden. De laatste jaren heeft Toko zich intensief beziggehouden met de inzet (en aanpassing) van Egel op roc’s en in de elektrotechniek- en autotechniekbranches. In nauwe samenwerking met Innovam is een toetsprocedure gerealiseerd die naadloos aansluit bij de verschillende onderwijstrajecten. Mede dankzij het vele maatwerk dat Toko jaarlijks verricht, blijft het pakket Egel voortdurend in ontwikkeling. Uitbreidingen worden met enige regelmaat meegenomen in nieuwe releases. Sedert 4 jaar laat het Collegium Chirurgicum Neerlandicum alle assistenten chirurgie in opleiding (ca. 200) in Nederland twee maal per jaar via Internet examineren mbv Egel. Op het maken van de items na, verzorgt Toko met succes het gehele traject.


FastTEST Web

FastTEST Web: Advanced Exam Development and Online Testing Background FastTEST Web (www.fasttestweb.com) is a best-in-class online testing solution designed to provide a user-friendly but psychometrically sophisticated system for test development, test assembly, paper or online test delivery, and results management. FTW contains a number of features not available in competing systems. • • • Other • • • • • • •

Computerized adaptive testing (CAT), cutting testing time 50% or more Item response theory (IRT) test assembly, scoring, and subscoring Modified-Angoff system for cutscores salient features include: Unparalleled item banking and item review Role-based access for security Randomized test delivery, including item option randomization Customizable and individualized score reports Secure test delivery via lockdown browser Psychometric analysis Extensive reporting.

Contact information The website of FastTEST Web is www.fasttestweb.com, and provides overview information, resources, tutorials, login pages, and a sign-up for a free trial. Direct inquiries regarding FastTEST Web are welcome. Kimberly Bennett, MBA Director of Sales and Marketing ASC 2233 University Avenue, Suite 200 Saint Paul, MN 55114 USA E: [email protected] FastTEST Web is developed jointly by two leaders in their fields: ASC (www.assess.com) is a leader in the assessment and testing industry since 1979 and was first to introduce software for CAT in 1984; 4ROI (www.4roi.com) has built over 500 assessment systems for clients ranging from Fortune 100 organizations to single-person consulting firms.

Functionality Overview FastTEST Web is a complete solution for developing and managing a testing program. It is arranged into four tabs that correspond to the four functionality areas specified by SURF. Area 1: Item bank and item construction The Item Explorer tab provides a collaborative workplace for item writers and reviewers in the development of an unlimited number of test questions. As seen in Figure 1, items are intuitively organized into categories (folders).


FastTEST Web

Figure 1: The test development interface

The text of the item, as well as all metadata, can be entered or modified via an Item Editor window (Figure 2). Item types include: multiple choice, multiple answer, essay, short answer, survey, Likert matrix, and instructional. Figure 2: Item content tab

Multimedia can easily be inserted by uploading for a local file, or by connecting to files stored in association with a bank. The table below lists currently supported formats. Multimedia Image Video Audio

Supported formats .jpg, .jpeg, .png, .gif, .bmp .avi, .flv, .mpg, .mpeg, .mpe, .mpv2, .mp2v .mp3

Metadata includes: name, author, description, keywords, source, status, version, date created, and tests in which the item is used. Users can create new fields. Statistical metadata is stored and graphed for each item (Figure 3), but is also directly used in test


FastTEST Web assembly, scoring, and adaptive testing. The Item Editor also provides a comment/discussion system, an item review module, and learning objectives. Figure 3: Item statistics tab

Area 2: Compilation of tests (from an item bank) The Test Assembler interface (Figure 4) looks similar to the Item Explorer, except that it manages test forms. It provides a straightforward system to build and manage tests, and controls administrative functionalities such as printing forms to paper, managing printed versions, constructing subscores, and specifying options for online testing. Figure 4: Test Assembler

The item bank structure is intended to be built according to the educational purpose, curriculum, and other specifications. When tests are assembled, this structure not only guides the item selection process, but is also automatically imported as an initial structure of subscores. Additionally, reports are available to provide quality monitoring. Figure 5 is a display of one report (test statistics).


FastTEST Web

Figure 5: Test Statistics

FastTEST Web is the only content-free system that supports full computerized adaptive testing (CAT). A true CAT utilizes complex IRT calculations to score examinees, select an item that is most appropriate, and continue until an IRT-based termination criterion is met. Other systems might claim to be adaptive, but do not utilize IRT and instead use crude approximations. Area 3: Submitting students to the tests The Test Scheduler tab is used to manage the examinees for paper or online tests (standalone tests available on separate system). Examinees can be entered directly, uploaded from spreadsheets, or automatically connected to other systems via API. Online testing is controlled by unique key codes. Figure 6 shows the intuitive and userfriendly test delivery interface (displays on right are optional).

Figure 6: The test delivery interface

Area 4: Evaluation of tests The Report Manager tab provides a range of reports. For example, it can produce an analysis of the item bank, counting how many items are in each content area, item type, and development status. Similar summary reports can be completed at the test and examinee level.


FastTEST Web Additionally, FastTEST Web has a classical test and item analysis report with embedded item texts. We also provide (separately) the most advanced IRT analysis system available (the only one entirely point-and-click!), as well as simulation software necessary for ensuring CAT validity. Area 5: Other features Self-registration, portal, dashboard, multi-workspace, and other custom-built systems that tie directly into FastTEST Web are also available. Additional functionality can easily be added per customer request; the Item Review Module is an example of a request. Please contact us for more information.

Usability FastTEST Web was designed with 30 years of experience in user-friendly assessment systems. An organization is assigned a Workspace controlled by an Administrator. The workspace contains any number of banks (e.g., Math, English, Psychology). All users are assigned a level of rights: viewing only, editing existing items, creation of new items, creation of categories and objectives. In addition, a separate user group is provided for test scheduling only, these users are not able to see the item bank, which is applicable to department support staff. The test delivery interface for students (Figure 6) is simple and intuitive. It works with standard disability functions, and also can easily be zoomed for visually impaired students.

Infrastructure and architecture FastTEST Web operates as a web service. As a web application that runs through standard browsers, no installation or local components are needed for any aspect (except the optional lockdown browser for extra security in testing students). FastTEST Web has several considerations for data security. Users are defined by roles and can also be limited to certain banks. All logins and actions are tracked, and login uses SSL security. Examinees can take their test only with the unique key code. A browser-lockdown option is available for test delivery. The system is housed in a professional high-security data center, which also means that use is extremely scalable. Items can be imported in a number of formats, including text, RTF, Word XML, and QTI 1.2. Items and reports can be exported to standard formats such as RTF, Word, HTML, and PDF. Result exports and statistic imports are CSV. FastTEST Web can be linked to other systems via API, both for bringing in examinees and sending back results; a field for an examinee’s ID is provided.

Financial aspects FastTEST Web is available via a service (SaS) model, with annual or monthly subscriptions for user-based access and non-expiring test credits for students. There are no hosting costs, and no limit to the number of items in banks or tests. The following scenario was provided: 10,000 students and 1,000 employees; three times a year all students make an online test. The tests contain 20 questions each. The following provides an overview of costs and an estimate for that scenario. Component Administrator User Test delivered Optional lockdown

Cost $899 per year $20 to $400 per year, depending on volume $0.20 to $3 per test $0.05 to $0.50 per test

In scenario $899 $20,000 $6,000 N/A


FastTEST Web Free training is provided, and technical support is no extra cost. Because FTW is a web service that is administered and managed by our dedicated team, there are no system management costs for the institution.

A “future-proof” system PC/LAN versions of FastTEST are in use around the world at a wide range of organizations, from small certification groups and universities to worldwide testing companies. FastTEST Web has been successfully implemented at a similar range of organizations, and at both the community college and major university level in North America. We have a strong commitment to innovation, as evidenced by our industry-leading psychometrics. We continually add new functionality based on market need and customer requests; these updates are available at no extra cost unless customer-specific. Our customer-centered approach makes the partnership extremely flexible for institutions. Upcoming additions include multiple tests in one session, composite scores, more item types (e.g., matching), and expanded CAT algorithms. Our long-term vision is to keep adding cutting-edge functionality to maintain our position as the platform of choice for advanced item banking and online testing, and to cultivate strong relationships with our customers. We hope this document has been informative, and we have demonstrated how FastTEST Web can provide a professional-level testing platform at an affordable cost. If you have any more questions, please contact us at [email protected] or www.fasttestweb.com.


Leerstation Zorg

Leerstation Zorg Dé nationale kennistoetsbank voor de zorg en het zorgonderwijs. Stichting Leerstation Zorg biedt een geïntegreerd systeem van vraagconstructie inclusief mediabank, toetssamenstelling, toetsdistributie, toetsafname en vraagonderhoud. Het systeem is ontwikkeld met het oog op formatief toetsen en wordt in september 2011 geschikt gemaakt voor summatief toetsen. Leerstation Zorg wordt door 95% van de HBO- Verpleegkunde (HBO-V) opleidingen en een groeiend aantal zorginstellingen in Nederland gebruikt. Voorliggende tekst is geschreven vanuit het perspectief van een zorggerelateerde onderwijsinstelling. De onderwijsinstelling krijgt toegang tot alle vragen én media-items en de beschikbare functionaliteiten van Leerstation Zorg en kan deze onbeperkt gebruiken in een niet commerciële context. De gebruiker geeft de stichting een onbeperkte gebruikslicentie op decentraal ontwikkelde vragen. In de laatste paragraaf van deze flyer wordt vermeld op welke wijze de onderwijsinstelling invloed uit kan oefenen op de ontwikkeling en het onderhoud van zowel de content, als de technische functionaliteiten van het digitale toetssysteem.

Functionaliteit Gebied 1: Vragendatabank en vraagconstructie Mogelijke vraagtypen Leerstation Zorg biedt (meer-uit)meerkeuzevragen, sleepvragen, aanwijsvragen en invulvragen. Iedere vraag bestaat uit de velden; context, media-vraag (afbeelding, FLV video of geluid), stam, kennisflits (directe feedback op een gegeven antwoord), bron, antwoorden en afleiders. Aan de velden ‘kennisflits’ en ‘bron’ kunnen hyperlinks gekoppeld worden. Antwoorden en afleiders kunnen bestaan uit tekst of afbeeldingen. Naast de generieke kennisflits die bij afname altijd wordt getoond, kan specifieke feedback worden gegeven bij bepaalde antwoorden of afleiders. Tenslotte bestaat de mogelijkheid om gebruikers (studenten) opmerkingen te laten maken op vraagniveau. Metadatering Er wordt een onderscheid gemaakt tussen centrale en decentrale metadatering. De centrale metadatering is voor gebruikers alleen functioneel voor het samenstellen van toetsen. Een vraag kan meerdere labels hebben. Decentrale gebruikers kunnen voor het terugvinden van zelfgemaakte vragen meerdere doelgroepen aanmaken en categorieën van vragen benoemen. Een vraag behoort tot één categorie en kan bij meerdere doelgroepen horen. Kwaliteitszorg – versiebeheer Het systeem faciliteert het onderhoud en voortdurende verbetering van de vragen. Er is sprake van versiebeheer. De gebruiksstatistieken van een vraag zijn, samen met de opmerkingen van studenten en/of beheerders online inzichtelijk. De opmerkingen of overwegingen van de redacteur bij het aanpassen van een vraag blijven bij de vraaghistorie bewaard. Tijdens het construeren van een vraag kan de constructeur de vraag zoals de student hem te zien krijgt, bekijken. Alle interacties werken zonder tussenkomst van derden zoals XML-deskundigen. Vanaf het moment dat een constructeur een vraag publiceert, kan deze worden toegevoegd aan een toets en vanuit het systeem via internet worden gedistribueerd.


Leerstation Zorg Mogelijkheden tot samenwerking Leerstation Zorg is een ASP-oplossing die “in de cloud” gehost wordt. Het vraagconstructiedeel is speciaal ontworpen om tijd- en plaatsonafhankelijk samen te kunnen werken. Tijdens het construeren van vragen kunnen inhoudsdeskundigen notities plaatsen bij een vraag-in-wording. Hierin kan feedback of bepaalde tips naar de auteur gegeven worden. De naam van de auteur en de datum wordt weergegeven. De notitie is géén systeemveld. Iedereen met voldoende rechten kan een notitie verwijderen. Opmerkingen Opmerkingen bij een vraag worden vastgelegd als systeemveld. Opmerkingen kunnen gemaakt worden door studenten en/of door docenten/inhoudsdeskundigen/beheerders. Tijdens de periodieke redactie kan worden vastgelegd wat met welke opmerking gedaan is. Delen Leerstation Zorg is opgericht om een landelijke kennistoetsbank voor de zorg en het zorgonderwijs te ontwikkelen, te onderhouden en te exploiteren. Dit om te voorkomen dat overal in het land mensen aan dezelfde of vergelijkbare onderwerpen of thema’s werken en kennis te bundelen. Door een centrale aanpak van constructie en redactie is het up-to-date houden van de kennistoetsbank efficiënt te organiseren. Gebied 2: Samenstellen van toetsen uit itembank De systematiek Het samenstellen van een toets kan vanuit de centrale vragendatabank met behulp van doelgroepen, categorieën, labels en referentienummers. “Eigen vragen” kunnen worden toegevoegd en gemixt met vragen uit de centrale bank. De samensteller kan op vraagniveau vragen accepteren, verwijderen of een nieuwe trekking doen. De samensteller kan ook een opmerking plaatsen over de reden van afwijzen (zie kwaliteitszorg/versiebeheer). Koppeling aan toetsmatrijs Als een toetsmatrijs gebruik maakt van labels, categorieën en/of doelgroepen die in Leerstation Zorg worden gebuikt, kan de toets conform de matrijs worden ingericht. Administratie Leerstation Zorg is platformonafhankelijk. Koppeling met andere systemen (ELO, LMS, HRM, Moodle) is mogelijk via een webservice. Voor de student is er dan sprake van een single sign on situatie. De eigen zelfstandige beheeromgeving van Leerstation Zorg voorziet onder andere in een importmogelijkheid van studentgegevens. Ook is een e-mail functie met filters beschikbaar. Adaptieve mogelijkheden: leerpaden Het is mogelijk op geleide van de score van een student op een toets(je) een bepaalde vervolgactie in te stellen. Bijvoorbeeld een andere toets die vergelijkbaar, gemakkelijker of juist moeilijker is. Deze functie wordt bijvoorbeeld gebruikt bij het inrichten van kennis-screeningsinstrumenten. Gebied 3: Afnemen van toetsen Beeldscherm/papier Het systeem is ontwikkeld en wordt gebruikt voor het afnemen van beeldschermtoetsen. In een project waarbij de toetsbank summatief wordt ingezet is sprake van een papieren versie van de toets als “noodscenario”. Online/stand – alone Leerstation Zorg is volledig webbased. Geschikt voor respondenten met functiebeperking Op verzoek van gebruikers is onderzocht of het automatisch voorlezen in de toekomst


Leerstation Zorg mogelijk is, dit is in technische zin positief beoordeeld. Over realisatie is op dit moment nog geen besluit genomen. Gebied 4: Evaluatie van tests Resultaten - cesuur Het resultaat van een toets is een percentuele score. Indien gewenst kan een cesuur worden ingesteld zodat het resultaat in een cijfer wordt weergegeven. Naast een lineaire berekening is het cijfer te manipuleren door maximaal drie afkappunten. Analyse Het systeem heeft een analyse-tool waarbij de score van groepen studenten die een bepaalde toets hebben gemaakt op vraagniveau kan worden vergeleken. De P- en de Awaarden worden voor beide groepen getoond, inclusief de verschillen tussen de gekozen groepen. Een student kan tegelijk lid zijn van verschillende groepen. Een standaard CSV output is beschikbaar door externe vraaganalyse. Rapportage Een aantal standaardrapportages is beschikbaar. Gebied 5: Overige functionaliteit Digitaal portfolio Iedere student heeft in het systeem van Leerstation Zorg een functioneel digitaal portfolio met vier secties. De resultaten van de toetsen kunnen naar dit portfolio worden weggeschreven. In de andere secties kunnen studenten zelf bestanden plaatsen. De student kan door het invoeren van e-mail adressen de inzage in het portfolio regelen. Koppelingen naar andere systemen (ELO, LMS, HRM) zijn mogelijk.

Architectuur Leerstation Zorg Leerstation Zorg is een webbased digitale toetsomgeving. Iedere klant krijgt binnen het systeem een eigen partitie. Een gebruikersnaam en wachtwoord is noodzakelijk om in het systeem te kunnen werken. Leerstation Zorg werkt volgens het ‘Software as a Service ‘concept. Omdat het een webomgeving betreft, worden er beperkt eisen gesteld aan de gebruiker: een webbrowser met Flash is voldoende. Beveiliging De website van Leerstation Zorg is benaderbaar via secure http (https). Versleuteling van transport van onder andere gebruikersnamen en wachtwoorden vindt dus plaats op basis van Secure Sockets Layer (SSL). Techniek De techniek van Leerstation Zorg is gebouwd op het Microsoft platform. De website draait binnen Internet Information Server op een Windows omgeving en maakt gebruik van SQL Server voor data opslag. De website is gebouwd op basis van Microsoft ASP.NET. Hosting De hosting van Leerstation Zorg vindt plaats binnen ‘the cloud’. Er wordt gebruik gemaakt van de diensten van een derde partij, Uniserver, die fungeert als cloud provider. De feitelijke hardware staat redundant in datacentra in Alkmaar en Amsterdam (Telecity). Door het hosten in de cloud wordt een verregaande vorm van schaalbaarheid gegarandeerd. Op ieder moment kan er aan de servers van Leerstation Zorg extra capaciteit worden toegewezen, of dit nu CPU-kracht, dataopslag of geheugen betreft. Koppelingen met andere systemen Het koppelen met andere systemen kan met maatwerk gerealiseerd worden. Voor het synchroniseren van gebruikersnamen en wachtwoorden van het eigen netwerk (Active Directory Services of NDS) is een standaard oplossing beschikbaar. Hiermee kan ook Single Sign On gerealiseerd worden. Het is in dit geval wel noodzakelijk dat de webserver


Leerstation Zorg van Leerstation Zorg (via bijvoorbeeld een VPN-tunnel) contact kan leggen met de Directory Server van de klant.

Financiële aspecten Onderwijsorganisaties kunnen zich aansluiten bij de stichting Leerstation Zorg. Er wordt een overeenkomst aangegaan waarin afspraken worden gemaakt over de financiële vergoeding voor het gebruik van het technische systeem, training, begeleiding en 2e lijn support, gebruiksrechten van ontwikkelde en te ontwikkelen toetsvragen, metadatering, redactietaken en inspraak op de doorontwikkeling van de technische infrastructuur.

Toekomstvastheid Stichting Leerstation Zorg is statutair opgericht op 27 juni 2008. Het toetssysteem van Leerstation Zorg is ontwikkeld en wordt doorontwikkeld door een professioneel softwarebedrijf. Middels een “Escrow” overeenkomst wordt de beschikbaarheid van de broncode gegarandeerd voor het onverhoopte geval van een faillissement van de technische partner. De orderportefeuille bevat onder andere langlopende overeenkomsten met 95% van de HBOV opleidingen, overeenkomsten met zorginstellingen en langlopende dienstverleningsopdrachten met twee educatieve uitgeverijen. De statutaire doelstelling van de stichting bepaalt dat naast de ontwikkeling van content er ook onderhoud op ontwikkelde content plaats moet vinden. Daarom is in de licentiekosten een deel opgenomen voor de instandhouding van de content. Hierdoor is de stichting in staat om de groeiende hoeveelheid content te onderhouden. Het systeem wordt voortdurend doorontwikkeld. Keuzen voor doorontwikkeling worden door de stichting gemaakt. Dit op geleide van gebruikerswensen en beschikbare financiële middelen. Deze middelen worden als expliciet onderdeel van de licentiekosten door de gebruikers bijeen gebracht. De instelling krijgt via participatie in de gebruikers/advies raad van de stichting invloed op de doorontwikkeling van het technische systeem en het onderhoud van de content.


LPLUS

LPLUS Adresgegevens LPLUS Contactpersoon: Dhr. Lutz Pleines W: www.lplus .de E: pleines@lplus .de

Functionaliteit Gebied 1: Itembank- en itemconstructie De vragen ontwerper is een WYSIWYG (what you see is what you get) tool, dat auteurs voorziet in meer dan 200 vraagtypes gebaseerd op 5 standaard templates. Het is beschikbaar als een lokaal Windows en/of als een centraal browser based programma. De auteurs tool is gebruikersvriendelijk en reikt de auteurs effectieve hulp functionaliteiten aan om hoge kwaliteit vragen te schrijven. De meeste vraagtypes zijn geschikt voor volledig geautomatiseerde evaluatie (resultaattoekenning). Speciale instellingen maken het voor de auteurs mogelijk om te specificeren op welke wijze het systeem bepaalde vraagtypes dient te evalueren. Elke vraag kent de volgende mogelijkheden: • • • • • • • •

ongelimiteerd aantal verschillende talen, ongelimiteerd aantal multi-media elementen, zoals plaatjes, animaties, audio, video, etc., links naar externe documenten, zoals Microsoft Office, Industrie specifieke software etc., formule opmaker, vrij tekenen met een schaalbare symbolen taakbalk, rechtvaardiging tekst velden, simulaties (interactieve scenario’s) inclusief een generieke interface, Metadata 3 verschillende referentiegetallen (Ids) Referentie naar topic Referenties naar doelgroepen Bron Auteur(s) Creatie datum / vernieuwen datum / versie Externe documenten Afdruk instellingen

Standaard Vragen Templates: • Multiple-Choice vragen (tot 50 antwoordmogelijkheden), • Speciale vragen, zoals invullen, tekst in grafiek (verschillende formaten voor invul velden zoals tekst, getal, datum, selectie), tot 50 velden per vraag, • Drag & drop opgaven met magnetische functie (optioneel), • Hot-spot (single hot-spot, multiple-hotspot, sequence-hotspot),

“LPLUS Question design: What you see is what you get”


LPLUS • Vrije tekst met tekst opmaker (ongelimiteerd aantal invulvelden en tekst grootte). Het LPLUS Kwaliteitssysteem ondersteunt auteursteams met een web based opmaak platform om vragen (banken) te becommentariëren en te beoordelen. Studenten feedback functionaliteiten helpen de kwaliteit van de vragen te verbeteren en vormen een interne plausibiliteits controle functie. Gebied 2: Samenstellen van toetsen uit itembank Het LPLUS Systeem ondersteunt verschillende methoden om toetsen samen te stellen: • Statische methode: examinatoren/onderwijzers kiezen de vragen handmatig voor elk examen • Dynamische methode: volledig geautomatiseerde samenstelling van een examen op basis van enkele flexibele van tevoren ingestelde parameters. Elk examen voor dezelfde doelgroep krijgt dezelfde moeilijkheidsgraad maar elke student krijgt zijn/haar eigen vragenset (examination on demand). • Een nieuwe functionaliteit om adaptief toetsen te ondersteunen wordt momenteel ontwikkeld en zal in juli 2012 gereed zijn. Gebied 3: Tests De examens kunnen op papier en op beeldscherm gepresenteerd worden. Papieren examens kunnen gescand worden en geautomatiseerd nagekeken worden door het system (alleen MC vragen). Elke student kan zijn/haar eigen vragenset krijgen. Beeldscherm examens kunnen via het Internet en via het Intranet worden afgenomen. De studenten interface is zeer gebruikersvriendelijk (er zijn geen instructies nodig). Alle data worden opgeslagen op de server en het is geen probleem om een onderbroken sessie te vervolgen op elk moment op elke andere computer in het netwerk zonder verlies van tijd of antwoorden. De functionaliteiten voor gehandicapte studenten zijn op dit moment gelimiteerd. In 2012 zal LPLUS samen met een klant een interface voor visueel gehandicapten introduceren. Examensessies kunnen gelimiteerd worden voor bepaalde lokalen, locaties, IP nummers en tijdvensters. Geautoriseerde administrators kunnen de lopende examens monitoren. Ze kunnen lopende/onderbroken examens sluiten of vervolgen en studenten extra tijd toekennen. Indien van toepassing kunnen studenten onmiddellijk na het afsluiten van hun examensessie het behaalde resultaat zien. Gebied 4: Evaluatie van tests Het LPLUS-Systeem ondersteunt vele vormen van feedback per vraag evenals statistische rapportages over deelnemers/groepen gebaseerd op zowel de klassieke test theorie als de item response theorie. Klanten kunnen standaard rapportages aanmaken als statistisch controle instrument en maatwerk aanpassingen van rapportages zijn mogelijk. Export functionaliteiten maken het mogelijk dat de gebruiker eigen analyses via Microsoft Excel (CSV) of andere software maakt. Gebied 5: Overige functionaliteit • Ingebouwde interfaces om vragenbanken te importeren vanuit elk gedigitaliseerd format, • Meertalige desktops, • Het LPLUS Systeem is speciaal geschikt voor actie-, besluitvormings- en probleem georiënteerdheid.


LPLUS

Gebruikersvriendelijkheid Standaard workflow om het LPLUS Syteem te gebruiken Instellingen: • Instellen gebruikersrollen en - rechten Het LPLUS Systeem voorziet klanten van een volledig flexibele rollen en rechten functionaliteit. Dit staat de administrators toe specifieke gebruikersgroepen (auteurs/ toezichthouders etc.) precies de functies en inhoud toe te kennen die ze nodig hebben. • Toekennen gebruikers aan rollen. • Instellen van de examen raamwerken (examen types en examen regels) Een examen wordt gecreëerd met specifieke examen voorwaarden, zoals aantal toegestane pogingen, naam en instellingen van examen examenonderdelen, evaluatie criteria, geautoriseerde personen, etc. • Bestaande vragenbanken integreren Op het moment dat het examen raamwerk is ingesteld voor ieder examen type worden de vragen gelinkt aan de examens (onderdelen). Indien hetzelfde examen raamwerk voor een langere periode gebuikt wordt (bijvoorbeeld hetzelfde examen elke maand met nieuwe vragen) kunt u het examen raamwerk vernieuwen met één muisklik om de nieuwe vragen te gebruiken. Het bestaande examen wordt niet overschreven maar opgeslagen in een backup versie. Operationeel proces: 1. Vragen ontwerpen en onderhouden, 2. Optioneel: vragen valideren, 3. De vragen aan de examen raamwerken linken, 4. Importeren van examenkandidaten via een interface of directe communicatie met een kandidaten registratiesysteem, 5. Optioneel: de definitieve examenversie laten vrijgeven door geautoriseerde experts, 6. Examen kandidaten linken aan examen raamwerken, 7. De examens vrijgeven, 8. Examen kandidaten een gebruikersaccount toekennen, 9. De examens afnemen, 10. Optioneel (indien van toepassing): handmatig evalueren/corrigeren van open vragen, 11. Rapportage van de resultaten, 12. Optioneel: kandidaten toestaan hun resultaten in te zien via gespecificeerde tijdvensters en online opties, 13. Statistische analyses, 14. Het examen archiveren. Gebruikersgroepen: De standaard gebruikers groepen zijn: • Auteurs die specifieke rechten hebben om vragen te creëren en/of vragenbanken te managen, • Administrators die nieuwe gebruikers toevoegen en het systeem onderhouden (voor zover niet uitbesteed aan LPLUS), • Examen Managers die examen raamwerken instellen en bewerken, • Toezichthouders die lopende examens monitoren, • Kandidaten (toegestaan een examen(onderdeel) af te nemen), • Ongelimiteerd aanvullend aantal rollen kan gecreëerd worden om specifieke werkterreinen van het gehele examenproces te representeren. Filmpje gebruiksvriendelijkheid Paula Almeida, Business Development Manager van JAA Training Organisation, gaat kort in op de gebruiksvriendelijkheid van het LPLUS systeem.


LPLUS

Infrastructuur en architectuur Digitaal toetssysteem als webservice of on premise? • Het LPLUS Systeem is een browser (web) based systeem. Het is beschikbaar als een SaaS (Software as a Service) model met 24/7 beschikbaarheid via een volledig klantspecifieke LPLUS-Examination-Server omgeving. Klanten kunnen ook een eigen Examination Server omgeving installeren en zelf beheren. • Het LPLUS Systeem is ingericht volgens de hoogste technische en juridische veiligheidsvoorschriften voor high stakes online examens. • Het LPLUS Systeem ondersteunt “examination on demand” met een ongelimiteerd aantal parallel afgenomen examens van verschillende examen types, locaties en groepen. Server/cliënt model of lokale software? Alleen een Browser is noodzakelijk op de computer van de cliënt. Optioneel kan de LPLUS Secure Browser gebruikt worden om de cliënt PC te limiteren tot alleen de examen functionaliteit. De voorwaarden waaraan de cliënt PC moet voldoen zijn te vinden op de LPLUS website: www.lplus.de/manual/en Security aspecten • Het LPLUS-Systeem is een van de meest secure online examination software systemen wereldwijd. Dit is een van de redenen waarom LPLUS marktleider is voor de luchtmacht examens waarbij security een voorwaardelijke rol speelt. • Beperkte toegang met login account (login & wachtwoord), • Aanvullend wachtwoord om onderbroken examens te vervolgen, • Encrypted communicatie (https) • Optioneel: Digitale handtekening • Microsoft SQL database Schaalbaarheid • Het LPLUS-Systeem is schaalbaar tot meer dan 5.000 parallelle sessies, • Import/export items en analyseresultaten, standaarden Het LPLUS-Systeem maakt het mogelijk externe data via CSV/XLS, txt, mdb, xml en vele andere formats te importeren en exporteren. Scorm interface. • Integratie met andere systemen: koppeling user id’s, scores Gestandaardiseerde en individuele interfaces met bijna elke externe database

Financiële aspecten Kosten van het systeem (methode, parameters, kosten per component) De kosten van het LPLUS Systeem worden mede bepaald door het uitbestedingsniveau en de configuratie (Examination Server in het LPLUS-Datacenter of op de locatie van de klant). We kennen een verschil tussen technische- en operationele hosting:  Technische Hosting Voorzien in de Examen Server omgeving (beschikbaarheid, capaciteit, backup, security) 

Operationele Hosting Beheren van het gehele content management (gebruikers, examentypes, examens, etc.)


LPLUS Opties (licentie modellen):

Optie Optie Optie Optie

1 2 3 4

Technische Hosting LPLUS LPLUS Klant Klant

Operationele Hosting

Server bij…

LPLUS Klant LPLUS Klant

LPLUS LPLUS Klant Klant

Andere kosten componenten naast de licentie modellen zijn het aantal examensessies per jaar en de overeengekomen service level (onderhoudskosten).

Voorbeeld bij optie 2: Category Number of exam sessions per year Costs per exam sitting

B.2.1

1 -100

11,50 €

B.2.2

101 -500

8,50 €

B.2.3

501 -1 000

5,50 €

B.2.4.

1001-10 000

3,50 €

B.2.5

10 001-30 000

2,50 €

B.2.6

> 30 000

1,50 €

Standaardmodel Licentie model LPLUS-Optie 2, categorie B.2.6: 30.000 examens per jaar. Kosten overzicht: Implementatie / Setup Kosten per examen 1,50 EUR Onderhoudskosten per jaar Optioneel: training voor auteurs/examination manager

4.500 EUR (eenmalige kosten) 45.000 EUR 2.400 EUR (hotline/updates) 850 EUR per dag tot 10 deelnemers

Organisatie en beheer Indien de klant de operationele hosting in eigen beheer neemt dient gemiddeld 1 full time administrator beschikbaar te zijn. Het is niet goed mogelijk de kosten in te schatten daar we niet over voldoende informatie beschikken op dit moment met betrekking tot de organisatiestructuur en workflows. Een universiteit die voorziet in een continu online examination service in een testcenter met ongeveer 200 examen PCs heeft 2-3 full time medewerkers nodig (wetenschappelijk assistent salaris niveau).

Toekomstvastheid Het LPLUS Systeem wordt continu verder ontwikkeld door een zeer professioneel IT team. Door de hechte samenwerking met universiteiten, onderwijs organisaties en andere autoriteiten zal het systeem altijd nauw aansluiten bij de marktbehoeften. We hebben de afgelopen 20 jaar geleerd dat de belangrijkste actiepunten voortkomen uit het management van de kwaliteit van vragen en capaciteitsvraagstukken.


LPLUS Het verbeteren van de kwaliteit van examenvragen LPLUS geeft speciale aandacht aan het uitbreiden van de vragen ontwerp tools met: het toevoegen van semi- intelligente functionaliteiten en begeleiding zoals “hoe goede vragen te schrijven”, een uitgebreid learning objective administration tool, nog meer plausibiliteitscheck functies, aanvullende tools voor samenwerking van auteurs, etc. Voorkomen van capaciteit bottlenecks Teneinde resource problemen als gevolg van te weinig examen PCs te voorkomen, verbeteren we onze functionaliteiten om nog beter te voorzien in “fair examinations on demand”. Een speciaal ontwikkelteam onderzoekt nieuwe mogelijkheden voor individueel adaptief testen methoden. De grootste uitdaging die we voor de volgende generatie online testing zien is de systemen zodanig in te richten dat niet alleen kennis maar het geheel aan competenties van kandidaten getest kan worden en het vollediger automatisch evalueren (corrigeren) van het gemaakte werk. LPLUS GmbH is een trendsetter in het aanbieden van innovatieve vraagtypes en flexibel online examination organisatie. We zijn ervan overtuigd deze positie de komende jaren te behouden en telkens weer waar te maken.


Maple T.A. 7

Maple T.A. 7 Adresgegevens CANdiensten / MapleSoft Maple T.A. – Online Testing and Assessment Nieuwpoortkade 23-25 1055 RX Amsterdam Nederland Contactpersoon: Dhr. G. (Gose) Fisher E: [email protected] en [email protected] T: 020 5608400 W: http://www.maplesoft.com/products/mapleta/index.aspx en http://www.can.nl/software/details.php?id=26

Functionaliteit Gebied 1: Item bank en item constructie Zeer in het kort kan Maple T.A. in feite alle algemene vraagtypes aan. Bovendien kan het open vragen op het gebied van wiskunde en techniek met gemak aan door de functionaliteit van het onderliggende computeralgebrasysteem Maple. Dit brengt grote voordelen met zich mee: niet alleen op het gebied van grafieken, formules, en geavanceerde randomiseringsfaciliteiten (zelfs tekstuele randomisering is mogelijk), maar ook de grading kan tot op zekere hoogte geavanceerd geprogrammeerd worden. De vraagtypen op een rijtje: -

Meerkeuzevragen Multiple Selection Drop down Invulvraag (fill in the blanks) Matchingvragen (ook met tekst en plaatjes en formules) Numerieke vragen (ook met eenheden en toleranties) Algebraïsche wiskunde vragen Maple-graded vragen met zeer veel mogelijkheden voor het programmeren van de grading - Essay - Hotspot - Vragen met dynamische figuren - Flash vragen - Vragen met multimedia - Kettingvragen (waarin met een fout antwoord doorgerekend kan worden) - Alle combinaties van bovenstaande vraagtypen, waar ook bij alle vraagtypen randomisering mogelijk is binnen het toets item zelf. Uitgebreide metadatering is mogelijk om de vragen van een item bank geschikt te maken voor gezamenlijk gebruik door grote groepen docenten. Metadatering kan eenvoudig aan elke vraag toegevoegd worden, en er is een aantal manieren om item banken en bijbehorende toetsen met andere docenten te delen. Gebied 2: samenstellen van toetsen uit item bank Een toets kan samengesteld worden door middel van een trekking uit een item bank op basis van metadatering. Te denken valt aan criteria als: moeilijkheidsgraad, onderwerp, auteur, en nog veel meer onderling afgesproken metadatering, zodat gemakkelijk (at random) vragen geselecteerd kunnen worden voor een toets, eventueel op basis van een toets matrijs. Ook is het mogelijk om bij het samenstellen van een toets, vragen te clusteren met het oog op evenwichtigheid van de toets en ook met het oog op latere analysering van de toets.


Maple T.A. 7 Verder is het mogelijk om te clusteren op toetsniveau (Grade Reports) met verschillende gewichten voor iedere toets om evenwichtige beoordeling mogelijk te maken. Gebied 3: afnemen van toetsen Natuurlijk wordt de toets via internet afgenomen en de docent kan een aantal varianten kiezen: • Oefenen zonder registratie • Huiswerk (oefenen met registratie) • Proctored Exam (onder surveillance en met fysieke identificatiecontrole) • Mastery Dialog (adaptief) • Study session dialog (Flashcard style learning) Maple T.A. biedt de complete administratie die bij een toets hoort. Zeer belangrijk is ook dat als er een storing is (wegvallen internet, crashen van een PC etc.) alle reeds ingevulde vragen door Maple T.A. direct bij invulling zijn opgeslagen en er dus niets verloren kan gaan. Gebied 4: evaluatie van toetsen Het Maple T.A.-systeem bevat alle standaard analysefaciliteiten (ook psychometrisch) zowel op itemniveau als ook op studentniveau. Omdat het mogelijk is om met parentclasses en child-classes te werken ten behoeve van het delen van content, is het ook mogelijk om de analyse vanuit de parent-class over alle onderliggende child-classes in één keer uit te voeren. Er zijn ook uitstekende exportmogelijkheden vanuit het grade book en vanuit de analyseresultaten. Gebied 5: overige functionaliteit Bij punt 2.1 is al aangegeven dat Maple T.A. een volledig algemeen geavanceerd toetssysteem is met als extra een onderliggend computeralgebrasysteem waarvan de functionaliteit op bijna alle onderdelen van het systeem inzetbaar is. Dit laatste is voor de meeste vakgebieden een zeer belangrijk aspect bij het hedendaagse toetsen. Allereerst is het belangrijk, als men op technisch of wiskundig gebied wil toetsen, dat men de beschikking heeft over open vragen. Het is daardoor niet mogelijk dat studenten het goede antwoord kunnen bepalen door terugrekenen (zoals dat vaak wél mogelijk is bij meerkeuzevragen). Ook komt deze functionaliteit ten goede aan het randomiseren binnen de afzonderlijke toetsvragen. Eén toetsvraag kan zodoende een familie van wel 1000 vragen vertegenwoordigen en dit is een zeer krachtige tool voor het aanbieden van training. Wiskunde en statistiek komt vaker voor dan u denkt. Buiten de bèta-, technische of Science-studies is het ook onmisbaar bij vakken als Economie, Psychologie, en Geneeskunde. Bij vakken zoals Talen of Rechten is het niet of minder van belang, maar dan kan de `Maple-motor` ook nog zijn dienst bewijzen bij het maken van interessante gerandomiseerde open vragen.

Gebruikersvriendelijkheid Maple T.A. is zeer gebruiksvriendelijk, zowel voor docenten als met name voor studenten. De Engelse taal voor de knoppen is geen groot bezwaar, want de vragen zelf en de feed back zijn toch in het Nederlands. Bovendien komt zeer binnenkort de Nederlandse versie van de bedieningsknoppen in de front office (voor de studenten) beschikbaar. Het systeem wordt bij meer dan 75% van de instituten voor Hoger Onderwijs in Nederland gebruikt: door honderden docenten en tienduizenden studenten. Dit impliceert wel degelijk de gebruiksvriendelijkheid voor beide groepen. Overigens wordt Maple T.A. ook in het voortgezet onderwijs gebruikt en scholieren tussen 12-18 jaar werken er zonder problemen mee.


Maple T.A. 7 Maple T.A. is bereikbaar via internet, en zowel administrators als docenten en studenten hebben hetzelfde toegangsadres en kunnen Maple T.A. in de verschillende rollen met bijbehorend autorisatieniveau overal gebruiken waar een internetverbinding is. Voor docenten organiseert CANdiensten gratis inleidende Maple T.A.-cursussen van één dag. Na deze dag heeft de docent al een zeer goede ondergrond om er direct in de praktijk mee aan de slag te gaan. Een tweedaagse vervolgcursus helpt om een expert van de docent te maken op het gebied van het maken van kwalitatief hoogwaardige toets items voor zijn vakgebied. Omdat het systeem zo geavanceerd is, behoort scholing van docenten die items maken tot één van de aandachtspunten. Er is een Nederlandstalige handleiding beschikbaar die up-to-date wordt gehouden en de nieuwe versies van het systeem volgt. Dus ook met zelfstudie kan de docent die items gaat maken, het systeem snel onder de knie te krijgen met de beschikbare extra hulp! Omdat het systeem in Nederland grote opgang heeft, is er al een zekere basis voor uitwisseling van toets items aanwezig, waarbij het heel gemakkelijk is om vragen naar eigen inzicht online verder aan te passen en geschikt te maken voor het eigen onderwijs. Als extra service biedt CANdiensten consulting en hulp à EURO 60,- per uur voor alles wat de gebruiker nodig heeft zoals: maken, aanpassen en reviseren van toets items, maken en aanpassen van toetsen, on-site helpen met afnemen van een toets, “vertaling” van een papieren toets naar Maple T.A. etc..

Infrastructuur en architectuur Digitaal Toetssysteem als webservice of on premise Een instituut kan er voor kiezen om het Maple T.A.-systeem op de server van het eigen instituut te installeren en het zelf te onderhouden en te bewaken. Ofwel kan men ervoor kiezen om een aantal groepen gebruik te laten maken van de Maple T.A.-server van CANdiensten (dus als web service). Veelal wordt deze web service gratis aangeboden, maar bij gebruik van grotere omvang kan dit omgezet worden in een betaalde (maar zeer voordelige) web service. Een voorbeeld is: inclusief aanschaf van een computer en de gehele installatie en support, komt het bedrag ongeveer neer op EURO 5.000,-. Natuurlijk biedt CANdiensten gratis (bij de licentie inbegrepen) support in geval van problemen bij de installatie of het gebruik. De installatie kan ook geheel door CANdiensten worden uitgevoerd bij het instituut en de kosten hiervan zijn ongeveer EURO 750,-. Server/cliënt model, lokale software op cliënt nodig? Alle gebruikers (administrator, docenten, assistenten en studenten) hebben alleen een (moderne) internetbrowser nodig. Er is verder geen lokale software nodig en op een moderne computer draait Maple T.A. platform-onafhankelijk. Security aspecten Veel security aspecten zijn ingebouwd. Als bijvoorbeeld internet uitvalt, of een PC van een student crasht, is de toets tot het moment van het laatst ingevulde veld toch opgeslagen. Als de student later opnieuw inlogt, kan hij verder gaan waar hij was gebleven. Andere security aspecten zoals back-ups dienen door een instituut zelf geregeld te worden, en bij een mogelijke crash van de Maple T.A.-server, kan door middel van het terugzetten van de image het hele systeem “recovered” worden. Dit valt allemaal onder de normale security die instituten toepassen op vitale software zoals digitale toetssystemen. Schaalbaarheid Een zeer belangrijk punt. Maple T.A. kan zonder problemen 1.000 of meer studenten tegelijkertijd aan op één server. Bij CANdiensten bestond de grootste groep uit 500


Maple T.A. 7 studenten die tegelijkertijd getest werden. Dat ging zonder problemen op een redelijk eenvoudige computer met 4GB RAM. Bij dit soort aantallen komt overigens een ander praktisch probleem om de hoek kijken: dat is het aantal beschikbare PC’s bij een instituut! Import/export items en analyseresultaten, standaarden Import en export kan gedaan worden op itemniveau. Ook is het mogelijk om een hele zogenoemde Course Module, bestaande uit itembanken, toetsen en bijbehorende files, bij elkaar te voegen en in zijn geheel te importeren of exporteren ten behoeve van uitwisselingen met collega’s en collega-instituten. Studentgegevens en analyseresultaten en ook de resultaten rechtstreeks uit het Gradebook, kunnen geïmporteerd en geëxporteerd worden. Koppelingen via LDAP en met Blackboard of Moodle maken deze zaken in de praktijk zelfs nog eenvoudiger. Integratie met andere systemen: koppeling user id’s, scores De standaard koppeling met Blackboard (als building block) is wellicht het belangrijkste voor de meeste instituten, en administratie en toetsen zijn met elkaar verweven. Koppelingen met andere ELO’s zoals Moodle zijn ook mogelijk, en Maple T.A. ondersteunt ook LDAP.

Financiële aspecten Kosten van het systeem (methode, parameters, kosten per component) De prijzen van Maple T.A. zijn zeer eenvoudig gebaseerd op het totaal aantal gebruikers per jaar, en de prijzen exclusief BTW zijn (vanaf 1 januari 2012): Hogescholen < 1.000 gebruikers - EURO 6.000,- per jaar Unlimited - EURO 10.000,- per jaar

Universiteiten < 1.000 gebruikers - EURO 8.000,- per jaar Unlimited - EURO 12.000,- per jaar

De Blackboard connector of Buildingblock kost 25% extra. “standaard model” Gezien het grote aantal studenten valt dit voorbeeld onder de Unlimited licentie hierboven, en dus EURO 10.000,- voor een Hogeschool en EURO 12.000,- voor een Universiteit. Men mag het hele jaar onbeperkt toetsen (of oefenen). Organisatie en beheer Moeilijke vraag gezien het feit, dat dit loopt van installatie tot aan dagelijkse begeleiding/hulp aan docenten. Installatie, upgrades en onderhoud (back-ups etc.) van het systeem zelf (als het instituut het zelf beheert) is wellicht 8-16 uur werk per jaar voor systeembeheer. Optimaal is volgens onze mening een opzet zoals deze (o.a.) bij de TU Delft wordt gehanteerd. Minimaal 1-2 fte: een coördinator die verantwoordelijk is voor het reilen en zeilen op het gebied van digitaal toetsen, en ervoor zorg draagt dat docenten bijgestaan worden en voorzien worden van praktische hulp en advies bij het maken van vragen en het afnemen van toetsen of zelfs hulp bieden bij een “vertaling” naar Maple T.A. vanuit een bestaande papieren toets. Het is maar net wat een instituut ervan wil maken in een project Digitaal Toetsen met evaluatie, scholing en revisie en alle bovengenoemde aspecten.


Maple T.A. 7

Toekomstvastheid Maple T.A. wordt geproduceerd door Maplesoft, een internationale commerciële partij die van oudsher wiskunde software produceert (computeralgebra Maple). In Nederland wordt Maple bij 90% van het Hoger Onderwijs middels een Campuslicentie gebruikt, en Maple T.A. zit nu ongeveer op 75%. Dit betekent dat er een stabiele basis is voor Maple T.A., niet alleen dat het veel gebruikt en dus ook navenant ondersteund wordt, maar ook doordat er een solide commerciële basis is en een gezonde verdere bedrijfsvoering door Maplesoft doorgezet kan worden. Ongeveer één keer per jaar wordt een upgrade geleverd (nu zitten we op versie 7), en Maplesoft luistert zeer goed naar de wensen van gebruikers. Het is zelfs mogelijk dat als men belang heeft bij een bepaalde feature, dat dit alsnog op consultancy basis kan worden ingebouwd door Maplesoft. Maple T.A. heeft een kleine “handicap” en dat is de naam Maple en verwevenheid met de wiskundesoftware. De foute perceptie kan hierdoor ontstaan dat Maple T.A. alleen geschikt zou zijn voor wiskundige toetsing. Niets is minder waar, en het sterkste punt van Maple T.A. ligt natuurlijk in de wiskunde of technische hoek, maar verder is het een zeer volwassen geavanceerd algemeen toetssysteem met in feite alle toeters en bellen die niet-wiskundesystemen ook hebben. Wat de toekomst betreft zal Maplesoft overigens sterk de nadruk leggen op het ontwikkelen van features op het gebied van toetsing in het algemeen. Het wiskundegebied is immers reeds zeer goed ontwikkeld. Als laatste grote voordeel zou ik willen melden dat het veel eenvoudiger is om algemene features in te bouwen in Maple T.A., dan bij algemene toetssystemen een functionaliteit erbij te bouwen die een onderliggend volwaardig computeralgebrasysteem evenaart.



OWL Testing Software Adresgegevens OWL Testing Software OWL Test Management System 1484 Washington Road Pittsburgh, PA 15228 United States W: www.owlts.com E: [email protected]

Functionality OWL is a complete test management system that allows users to simplify and expedite all aspects of their assessment cycle in one convenient online system, including: • • • • •

program administration test authoring test scheduling and delivery rating and scoring program reporting

Area 1: item bank and item construction OWL offers two interfaces to create custom test and item content; a wizard and a more detailed test and item editor. Test creators can easily build test items that incorporate video, text, audio and images, including: • • • •

Oral Response Translation Essay Cloze


OWL Testing Software • • • • • • • •

Completion Short Answer Matching Multiple Choice True/False Yes/No Check all that Apply Practice Activities

Additionally tests, sections and individual items can all be timed and randomized. To give you complete control over test presentation, OWL offers several different types of randomization from your item bank. Content sharing can be controlled at the individual user level or by an administrator allowing users to share everything in their content banks from multimedia files to individual items to sections or entire tests. Furthermore, the OWL Community Library and OWL's comprehensive export capabilities allow participating users to freely share content between institutions. OWL's built in roles allow for easy management of quality control in creation of items and item banks. A variety of metadata can be added to individual items and item banks to facilitate their management. Area 2: compilation of test (from an item bank) OWL lets you build a custom assessment program around your curriculum and standards. In addition to testing, teachers can easily incorporate OWL into their classrooms daily in the form of quizzes, homework and practice activities. OWL's test builder also includes a multi-stage testing option. OWL introduces the concept of a Test Section. A Section is similar to an item bank but offers additional capabilities. One feature Sections is that they can have a central multimedia prompt that all the Items in that Section refer to. For example, if you want to ask some questions about an image of street signs, you would put the image into the Section and have a series of items asking the distance to various cities. Items and Sections can be created inline while building a test or selected from previously authored items in a bank.

Sample of OWL test building structure Area 3: submitting students to the tests OWL tests are presented to students using any modern web browser. As 'digital natives', students are very comfortable with Web-based interfaces and OWL's intuitive program controls. This includes any computer that is adapted for access by students with a disability. When adding images descriptions can be entered which will be read by screen readers.



Sample of OWL test taker user interface Area 4: evaluation of tests The OWL test management system offers several ways to evaluate tests. All Items which have a discrete answer are auto-scored. Auto-scored items can be reviewed and corrected by a human. For subjective test items such as essays, translations and oral response OWL provides a rating module for human rating. Using blind assessments, OWL automatically separates students from their instructor so that instructors cannot assess their own students. OWL also hides identifying student information for those “high stakes” assessments and when “grade inflation” is a concern. For list assessments, the OWL displays a list of tests and the rater selects which test they would like to grade. Raters using OWL enjoy the convenience of evaluating assessments anytime and from any connected computer. The easy-to-use interface allows the rater to review not only the students response, but also the original test question to which they are responding. The OWL rating module allows raters to leave their comments directly on the student's response as text or a recorded message. In conjunction with the rating module OWL provides a rubric creation module. Rubrics may be applied to the entire test, and/or any or all sections and/or items. Users can design and build their own rubrics within the software or use one of the provided several sample rubrics. Both analytic and holistic rubrics can be created. Reporting: Everything from simple grade book reports to item analysis reports are included. If further analysis using a statistical package is required, all reports are available for download in csv or xls format. Area 5: Other features OWL not only integrates all aspects of your assessment cycle in one online system; OWL adds value at every step with features like: OWL Community Library – allows participating users to share free test content including Simulated Oral Proficiency Interview (SOPI) type tests as well as classroom quizzes, practice activities and high-stakes exams. Student Self-registration – allows administrators to save valuable time by letting students register themselves. This feature can be useful for placement tests, selfassessment and certification exams. Auto Messaging – allows users to improve communications with other OWL users by creating customized messages templates. OWL assignments can be set to automatically generate messages. For example, raters can receive an e-mail when a test is ready to rate. Electronic Student Portfolios - allows students to create a portfolio of verbal recordings and rater feedback. Students can listen to their previous recordings in order to


OWL Testing Software practice their speech as well as monitor their own progress. Flight Path – allows users to customize end-of-test messaging for each student based on their individual test performance. This dynamic feedback can include a student's proficiency level, individualized directions, and/or links to other web-based activities such as tests, tutorials, websites, quizzes, class registrations and more. Import – allows Tests and Items to be imported from a variety of formats including Blackboard™ and ExamView. Multilingual support - allows OWL users to have a virtual keyboard that enables any keyboard to behave like any one of 200+ keyboards. Including East Asian and right to left fonts. Localization – allows users to set OWL's Test interface to be localized into a variety of languages.

Usability Unlike most pre-packaged language learning systems, OWL is a flexible system that can be applied to a multitude of learning scenarios across a variety of organizations. • • • • • • • • • •

High Stakes Testing Placement Tests American Sign Language Evaluation Interpreter Certification Second Language Speaking Assessment Immigration Initiatives Achievement Tests Candidate Screening Study Abroad Evaluations Practice Activities

Infrastructure and architecture Structure: The OWL Test Management System can be purchased as hosted, dedicated hosted web service or as a site licensed, inhouse web server. On the client Java applets are used for recording and Flash is used for audio/video playback. Security: OWL can be configured to use https as desired. Test administrators can control the assignment of user ids and passwords and can limit the access of users within their domain as their needs warrant. Scalability: Over the last few years server prices have come down to the point where it is possible to deliver massively scalable Web based solutions. OWL takes advantage of this reality and uses the latest technology to provide hosted service to our customers that is not only fast and reliable, but also cost-effective. Import/export: OWL includes built-in tools to import ready-built tests from an expanding list of content publishers. All Tests, Items, Sections, and media can be exported from OWL's servers in an XML format. All reporting data can be downloaded in a variety of formats including Word, Excel, PDF, or CSV. Systems Integration: For installed clients, OWL can be linked with existing student information systems, as well as use external authentication via web service or your institutions LDAP server.

Financial aspects Costs of the system/“Standard model” OWL is offered as a hosted solution for organizations with a maximum of 20 instructors. The number of students and individual tests delivered are not restricted. For users with more than 20 instructors, OWL can be delivered as dedicated-hosted software or as a site license. The initial start-up and installation costs for all customers are determined on a case-bycase basis and considering the amount of system customization, test conversion and additional training required. For hosted licenses subscription costs are a flat annual fee.


OWL Testing Software For site licenses on-going annual maintenance is typically 18% of start-up costs. Additional discounts are available to those users interested in committing to multiple year subscriptions. Organization and management OWL's test management system has customizable roles to fit within a customer’s existing organizational structure. While one or more people will be designated as system administrators, this does not typically warrant the addition of a full time employee. In fact, it often automates the functions of an existing employee.

Is your product “future-proof” The OWL development team is constantly working with users to find ways to improve online learning and assessment. All development for individual customers is incorporated into future releases giving all OWL users access to state-of-the-art assessment technology. The OWL Test Management System is a proven technology that has been in use for more than 12 years. OWL is a singular, well-engineered and well-supported, tool that enables customers to focus on what is important, learning and assessment, not software development.


SURPASS

Surpass Achtergrond informatie BTL is marktleider op het gebied van digitale examinering in de opleidingsmarkt in de UK. De meeste grote examineringsinstellingen in Engeland, Scotland en Wales gebruiken allemaal de BTL software. Verwacht wordt dat aan het eind van 2011 de software zal worden gebruikt op minstens 3.000 colleges over het land verspreid. In Nederland wordt de software vertegenwoordigd door Efinity B.V. Een nieuw bedrijf gevestigd in de Meern dat 8 jaar lang ook Its Learning (Digitale leeromgeving) vertegenwoordigde. Een aantal van onze klanten: AQA AAT CIE City & Guilds EAL NCFE SQA Training and Development Agency for Schools (TDA) WJEC Adresgegevens BTL Group Ltd Contactpersoon: Murray Silver Salts Wharf Ashley Lane Shipley England BD17 7DB T: +44 (0)1274 203250 E: [email protected] W: www.btl.com

Efinity B.V Contactpersoon: Egbert van de Winckel Rijnzathe 28 3454 PV de Meern T: +31 623953418 E: [email protected] W: www.efinity.eu

Functionaliteit, gebruiksvriendelijkheid en infrastructuur/architectuur Een van de meest uitgebreide, veilige en innovatieve e-Assessment oplossingen in de markt: Surpass wordt gebruikt door een groot aantal leidende nationaal en internationaal opererende “awarding bodies”. Zij ontwikkelen hun global e-Assessment programma’s in Surpass en leveren het ook hiermee uit. Het Surpass Platform bevat: ContentProducer –ItemBank-SecureAssess ContentProducer is de meest geavanceerde assessment en content ontwikkelingstool die momenteel beschikbaar is in de markt. Het ondersteunt volledig het gezamenlijk ontwikkelen en implementeren van assessments en content vanuit elke plek op de wereld. ContentProducer is een zeer flexibele en eenvoudig te gebruiken tool die de toets


SURPASS ontwikkelaars alle creatieve ruimte geeft zonder dat ze zich zorgen hoeven te maken over de security. Tevens behouden zij ook volledige controle over de ontwikkelingscyclus. Key Features • • • • • • • • • • •

Zowel Offline als Online auteurs functionaliteit Gezamenlijke ontwikkeling van content – Ontwikkeling van content kan gebeuren vanuit elke plek op de wereld Simpele "drag-in" van rich media voor veel voorkomende file types zoals jpeg, wav, swf, gif, bmp, flv etc. Simpele "drag-in" vraagtype toolbox met meer dan 120 verschillende soorten standaard vraagtypes Ondersteunt export naar belangrijkste” industry recognised formats”, zoals; XML, ADL SCORM, IMS-Qti) Question Extensions Library – Voor de meer maatwerk vraagtypen Gebaseerd op de meest recent beschikbare technologie Workflow management Security management Accessibility support Immediate preview

Technische Specificaties • • •

Gebaseerd op Microsoft© .NET™, Microsoft© SQL Server© 2005, Adobe© Flash© and XML technologie Volledig gehost, beheerd en schaalbaar WYSIWYG gebruikers interface

Itembank® ItemBank is een robuuste en schaalbare item banking tool. Het biedt toonaangevende functionaliteit aan de certificerende instelling (publiek, privaat of onderwijs) om zowel toets items als leercontent te digitaliseren. Het beschikt over krachtige statistische analyse mogelijkheden, schaalbare opslag en robuuste security functionaliteit. De ItemBank kan naadloos worden geïntegreerd met andere (eigen of 3rd party ) authoring en delivery technologieën. ItemBank biedt tevens een aantal mogelijkheden om de opgeslagen content te benaderen. Zowel via statische vooraf bepaalde assessments, als via volledig automatische door algoritmes bepaalde wijze. Key Features • • • • • • •

Zeer schaalbare opslag – slaat elke vorm van digitale content op haalt deze weer op via bijbehorende metadata Robuuste security Flexibel – Makkelijk te integreren met 3rd party authoring en delivery technologieën Krachtige statistische analyses Web-based gebruikers interface – Geen lokale installatie nodig Geavanceerde assessment compilation interface Volledig aanpasbare gebruikers interface

Technische Specificaties Gebouwd rondom een a Microsoft© SQL Server© 2005 database Core business logic gebouwd met behulp van Microsoft©.NET™ 2.0 met Web Services voor eenvoudige cross system integratie User interface gebouwd met Adobe© Flex© (ActionScript 3 and Adobe© Flash© 9)


SURPASS Secure Assess® Een Web 2.0 veilige onscreen uitlever (delivery) platform SecureAssess is ontwikkeld om te voldoen aan de groeiende behoefte aan een schaalbare, veilige onscreen assessment omgeving. SecureAssess beschikt over volgende generatie technologie voor het veilig uitleveren van online en offline (LAN) assessments die vanuit een centraal beheerde applicatie worden beheerd. SecureAssess wil voldoen aan huidige en toekomstige eisen van certificerende instellingen door gebruik te maken van de laatste technologie en het beschikbaar stellen van een volledige set van API’s (Application Programming Interface) voor een eenvoudige integratie met andere systemen. Key Features • • • • • • •

Modulair en flexibel – Maakt simpele integratie en verschillende configuraties mogelijk tussen meerdere projecten Bevat een "Human Marker" interface voor handmatig beoordelen Ondersteunt alle soorten vragen – van simpele multiple-choice tot interactieve virtuele omgevingen Ondersteunt instant feedback voor de kandidaten Weinig tot geen installaties, dus een snelle en efficiënte roll-out Een variëteit aan veilige delivery opties – van volledig web-based tot een offline standalone model Ingebouwde accessibility opties

Technische Specificaties • • • • •

Gebouwd rondom Microsoft® SQL Server® 2005, Microsoft®.NET™ web services en Adobe® Flex® user interface Op basis van een web services interface – Stelt klant zelfstandig in staat het systeem aan te passen of uit te breiden (API’s beschikbaar op aanvraag) Volledig gehoste, beheerde, schaalbare service Oplossing is gebaseerd op Service Orientated Architecture (SOA) Ondersteunt vele soorten van delivery: Via Browser Secure Online Secure Offline Secure Roaming (gebruikt voor/door mobile assessors) Papier SCORM Pakket (1.2 and 2004) IMS QTI 2.0 Pakket

Schaalbaarheid en performance Testen hebben aangetoond dat het mogelijk is om gelijktijdig (concurrent) 18.000 kandidaten online te examineren. Met de duur van gemiddeld een uur zijn dat meer dan 140.000 online examens per dag! Bewezen is tevens dat het systeem uiterst goed reageert als het door middel van het vergroten van de hardware capaciteit wordt opgeschaald. Op die manier zijn nog grotere aantallen concurrent users mogelijk en kunnen we terecht spreken van een zeer schaalbaar platform met een uitmuntende performance. Wanneer gebruik wordt gemaakt van offline delivery, m.b.v. de SecureAssess Local software, is er hoegenaamd geen praktische limiet te noemen voor zover het de dataload betreft voor het gelijktijdig afnemen van toetsen of examens.


SURPASS

Financiële aspecten Kosten van het systeem Surpass wordt niet geleverd op de traditionele “perpetual license” basis waarbij elk jaar een vast bedrag wordt betaald voor het gebruik van de software. De meeste klanten hebben een eigen licentieovereenkomst die doorgaans geldt voor 3 of 4 jaar, en zij betalen een percentage van de prijs die zij berekenen voor het afnemen van een toets of examen. Dit geldt natuurlijk vooral voor commerciële examenbureau ’s. Voor (hoger) onderwijs instellingen is dit niet aan de orde en zal op een andere wijze moeten worden gerekend. Bij het overeenkomen van de prijs samen met de instelling gaan we uit van een tweetal basis principes: Allereerst: Alleen betalen voor daadwerkelijk gebruik van het system. Daarnaast moet de prijsafspraak commercieel realistisch zijn. Wij denken dat een bedrag per afgenomen toets daarvoor het beste werkt. Dit is dan ook in essentie de basis van de overeenkomst die we met de klant afsluiten. Normaal gesproken spreken we een gegarandeerd minimum bedrag af, eventueel aangevuld met additionele services en set up costs indien dat aan de orde blijkt te zijn. Op deze wijze is er een duidelijke afspraak voor het leveren van alle diensten die noodzakelijk zijn voor het op de juiste manier uitvoeren van het toets proces. Dus een prijs per toets die alles bevat: software licentie, project management, helpdesk support, configuratie, implementatie, training en service delivery management. "Standaard model" Zoals hierboven uiteengezet hanteren wij geen “standaard model”, maar verschillende prijsstructuren die passend zijn voor het typische gebruik van verschillende instellingen die van de software gebruik maken. Speciaal voor het hoger onderwijs zullen wij daar dus over in overleg gaan met de klant. Organisatie en beheer BTL en Efinity bieden gezamenlijk support services aan voor Assessors en kandidaten. Een aantal voorbeelden: • • •

Technische, functionele en administratieve ondersteuning Training voor Assessors/auteurs op het gebied van e-assessment processen Een certificerende instelling zoals een universiteit of hogeschool zal medewerkers nodig hebben die zich bezig houden met het ontwikkelen en samenstellen van de toetsen/examens, functioneel testen, gebruikers acceptatietesten, performance testen, regelgeving en accreditatie, en de beoordeling. Daarnaast zijn resources benodigd voor het hele logistieke proces van digitale toets afname. Wij kunnen hierbij behulpzaam zijn d.m.v. training, consultancy of zelfs het geheel uit handen nemen van bepaalde taken.

Toekomstvastheid BTL is gepassioneerd door de vooruitgang van e-Assessment en de toepassing van technologie oplossingen ten behoeve van het leren en beoordelen. Dit is een kernwaarde van BTL sinds de oprichting 25 jaar geleden. We staan bekend om ons vermogen om onze klanten zodanig te ondersteunen bij het aanbieden van digitale on-screen content dat zij voorop lopen in hun markt. Of dit nu de academische of commerciële opleidingsmarkt betreft.


SURPASS We gaan met onze klanten om als waren zij partners. Dit blijkt op de manier waarop de ontwikkeling van Surpass tot stand komt. Het is zowel in het belang van de klant als van BTL om bij de verdere ontwikkeling van de software goed te kijken naar de wensen van alle stakeholders binnen de assessment cyclus. Dus zowel de belangen van de kandidaten als die van de scholen en certificerende instellingen. Elke klant wordt lid van de usergroup. Deze gebruikersgroep ondersteunt in praktische zin het gezamenlijk overleg over de toekomst en ontwikkeling van het Surpass platform. Samen met BTL wordt gekeken op welke wijze nieuwe mogelijkheden en functionaliteiten ontworpen en ontwikkeld kunnen worden op een zodanige wijze dat het ook aan de(toekomstige) wensen van onze partnerklanten zal voldoen.


TestVision

TestVision Teelen Kennismanagement is de ontwikkelaar en de leverancier van TestVision. Adresgegevens Teelen Kennismanagement Contactpersoon: Harry Molkenboer Kasteel “De Lathmer” Lathmerweg 5 7384 AD WILP T: (0571) 277 400 W: www.teelen.nl, www.testvision.nl E: [email protected]

Functionaliteit Gebied 1: Itembank- en itemconstructie TestVision beschikt over de volgende vraagvormen: • • • • •

•

• •

Een-uit-meervraag Meer-uit-meervraag Juist/onjuistvraag Rangschikvraag Hotspotvraag: Een-uit-meer-hotspotvraag Meer-uit-meer hotspotvraag match hotspotvraag Matchvraag: Gelijke matchvraag ongelijke matchvraag matrix matchvraag Invulvraag (alfanumeriek en numeriek (waarde)) open vraag.

Bij elke vraag kunt u metadata vastleggen (zoals taxonomie, moeilijkheid en weging) en notities invoeren. Metadatering is verder mogelijk via de leereenhedenstructuur (leerdoelen/toetstermen). Gebruikers kunnen worden geautoriseerd tot bepaalde delen van TestVision. Het gebruik van media (bijvoorbeeld als antwoordalternatief) en eigen opmaak van vragen zijn eenvoudig mogelijk. Gebied 2: Samenstellen van toetsen uit itembank Toetsen worden samengesteld op basis van een toetsmatrijs. In de toetsmatrijs kunt u per leereenheid het aantal vragen voor de toets vastleggen. Het is ook mogelijk om in de toetsmatrijs een verdeling van vragen aan te geven op basis van vraagsoort, moeilijkheidsgraad of taxonomie. TestVision kan daarna automatisch een toets genereren op basis van de toetsmatrijs. U kunt ook handmatig vragen aan een toets toevoegen. TestVision kan ook toetsen at random samenstellen. Tijdsduur, instructie en cesuur zijn op toetsniveau instelbaar. TestVision biedt uitgebreide (optionele) mogelijkheden bij het bepalen van de resultaten, zoals het laten meewegen van de kansscore, het toepassen van gedeeltelijke scoring bij polytome vragen en aftrek voor foute antwoorden. Als u vragen in TestVision wijzigt, wordt die wijziging niet automatisch doorgevoerd in de toets(en) die die vragen bevat(ten). U moet daar bewust voor kiezen. U kunt dus niet onbedoeld een toets wijzigen. En áls u de wijziging doorvoert in de toets, ziet u bij een


TestVision review van de toets van een student altijd de vraag zoals de student die heeft gemaakt; dat kan dus een eerdere versie van de gewijzigde vraag zijn. Gebied 3: afnemen van toetsen U kunt toetsen op papier en via een beeldscherm (op een pc via internet/intranet, via een netwerk of stand-alone) afnemen. Bij beeldschermafname kan een toets in een groter lettertype of met een langere tijdsduur beschikbaar worden gesteld voor studenten met een functiebeperking. Gebied 4: evaluatie van toetsen Op studentniveau zijn gedetailleerde toetsresultaten beschikbaar en kan een toetsafname worden gereviewd. TestVision beschikt daarnaast over een statistische module in MS Excel die een zeer uitgebreide toetsen itemanalyse geeft met alle relevante psychometrische gegevens op basis van de klassieke testtheorie. Per item is een overallkwaliteitsindicator ontwikkeld die de toetstechnische kwaliteit van het item in kleur en met een waarde weergeeft. De statistische module kan het effect van het laten vervallen van een vraag op de betrouwbaarheid van de toets doorrekenen. Gebied 5: overige functionaliteiten TestVision berekent automatisch de gedeeltelijke score van polytome vraagvormen, zoals de meer-uit-meervraag. Dit gebeurt op basis van betrouwbare en correcte scoringsregels die samen met de universiteit Twente zijn vastgesteld. U hoeft dus niet zelf een gedeeltelijke scoringsregel op te geven.

Gebruiksvriendelijkheid Bij de ontwikkeling van TestVision is de praktijk van vraag- en toetsontwikkeling als uitgangspunt genomen. Toetstechnische aspecten zijn verweven in de structuur en in de programmatuur. Mede hierdoor sluit TestVision aan bij de beleving van de gebruiker en is TestVision zeer intuïtief en eenvoudig in gebruik. De TestVision-gebruiker heeft geen programmeerkennis (en ervaring) nodig. Met een workshop van slechts één dag bent u in staat om de belangrijkste functionaliteiten van TestVision te gebruiken. Ook de studentinterface is eenduidig en eenvoudig in gebruik.

Infrastructuur en architectuur Digitaal toetssysteem als webservice of on premise? De huidige versie van TestVision is 6.0. Deze versie wordt in de vorm van een licentie aangeschaft en draait op eigen systemen/servers van de afnemer (on premise). Op 10 november 2011 wordt een nieuwe, volledige webbased versie van TestVision gelanceerd. Deze versie zal als webservice en on premise worden aangeboden. Server/cliënt model, lokale software op cliënt nodig? TestVision 6.0 is volgens het server/cliënt model ontwikkeld. Vragen en toetsen worden lokaal (cliënt) met een centrale database (server) ontwikkeld. De afname kan webbased, op papier of via het server/cliënt model. Toetsen, studenten, toetstoewijzingen en resultaten kunnen webbased worden beheerd. Voor de nieuwe, volledige webbased versie van TestVision is geen lokale software op de cliënt nodig. Security aspecten De ontwikkeldatabase van TestVision wordt op de lokale server beveiligd met een gebruikersnaam en een wachtwoord en geëncrypt opgeslagen. De database voor afname via een webserver is niet van buitenaf benaderbaar. Dit kan alleen via de webserver met een gebruikersnaam en een wachtwoord. Voor afname loggen studenten in met een gebruikersnaam en een wachtwoord. Het is mogelijk om in de afnameruimte voor de studenten ter plaatse een toetswachtwoord te gebruiken, zodat alleen studenten in die ruimte toegang krijgen tot de toets. Ook controle op IP-adres voor de afname is mogelijk.


TestVision Schaalbaarheid TestVision is ontwikkeld voor zowel kleinschalig als grootschalig gebruik. Er zijn organisaties waar tientallen kandidaten enkele honderden toetsen per jaar afnemen, maar ook organisaties waar tienduizenden kandidaten meer dan 200.000 toetsen per jaar afnemen (zonder één technische storing). Een stresstest met ruim 400 gelijktijdige afnames verliep probleemloos. Import/export items en analyseresultaten, standaarden Items kunnen vanuit MS Word worden geïmporteerd en naar MS Word worden geëxporteerd. De gegevens uit de itemanalyse kunt u koppelen aan de toetsvragen in de database. TestVision voldoet aan de AICC en de SCORM standaarden. Integratie met andere systemen: koppeling user id’s, scores De volgende standaardkoppelingen zijn gerealiseerd: Aselect-, LDAP-, SAP-, SharePoint-, AICC- en SCORM-koppelingen. Daarnaast zijn vele maatwerkkoppelingen ontwikkeld. De Aselect- en LDAP-koppelingen maken single sign on mogelijk. De overige koppelingen maken daarnaast de toewijzing van toetsen aan studenten en de opslag van toetsresultaten buiten TestVision om mogelijk.

Financiële aspecten Kosten van het systeem De basis van de kostenstructuur is het aantal studenten waarvoor TestVision wordt ingezet. Het aantal toetsen dat deze studenten kunnen afnemen is ongelimiteerd. Ook het gebruik door docenten en medewerkers die vragen en toetsen ontwikkelen is ongelimiteerd. Daarnaast worden de kosten beïnvloed door de gewenste modules zoals een: • • • • • • • •

Internetmodule (voor de webbased afname) Beheermodule (voor het webbased beheer van toetsen, studenten, toetstoewijzingen en resultaten als niet met een eigen beheeromgeving wordt gewerkt) MS Word importmodule (voor het importeren in TestVision van in MS Word ontwikkelde vragen) MS Word exportmodule (voor het exporteren naar MS Word van in TestVision ontwikkelde vragen) die speciaal is ontwikkeld voor het hoger onderwijs, waar papieren afname veel voorkomt MS Word afdrukmodule (voor het afdrukken van leereenheden, vragen en toetsen met metadata, toetsen voor afname en resultaten) die speciaal is ontwikkeld voor examencommissies Statistische module (voor een zeer uitgebreide toetsen itemanalyse op basis van de klassieke testtheorie) Modules voor de genoemde koppelingen Vertaalmodule (voor het gestructureerd vertalen van alle vraag- en toetsgerelateerde teksten).

TestVision kent een helpdeskcontract. De kosten worden eventueel ook nog beïnvloed door de gewenste standaard- of maatwerkkoppeling. Standaardmodel De prijslijst van TestVision is verkrijgbaar bij Teelen Kennismanagement. Met een instelling met 10.000 studenten worden (met onze prijslijst als basis) in overleg prijsafspraken gemaakt.


TestVision Organisatie en beheer De technische implementatie van TestVision vergt in bijna alle gevallen maximaal één dag en vereist geen ondersteuning van Teelen Kennismanagement. Hoewel TestVision veel standaardkoppelingen kent, leert de ervaring dat desondanks maatwerkkoppelingen moeten worden gerealiseerd met studentsystemen of dat maatwerk van toepassing is op de standaardkoppelingen. Er is meer informatie nodig om hiervoor een kostenindicatie te geven. Het gebruik van een digitaal toetssysteem vereist een goed ontwikkelde toetsfunctie. Het implementeren van een digitaal toetssysteem wordt bijna altijd onderschat. De belangrijkste misvatting is dat men verwacht dat met de aanschaf van een toetssysteem een goede toetsfunctie vanzelf ontstaat. Op basis van ervaring weten wij echter dat alleen in organisaties waar de toetsfunctie vooraf goed is doordacht, de implementatie van een digitaal toetssysteem succesvol verloopt. Teelen Kennismanagement is gespecialiseerd in het professionaliseren van de toetsfunctie in organisaties. Wij verzorgen diverse workshops, cursussen en seminars op toetsgebied voor kleine en grote groepen, met een standaard programma of op maat. Wij zijn auteur en uitgever van het boek Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?, een bestseller, met name in het hoger onderwijs. Hoeveel FTE’s nodig zijn voor het gebruik van TestVision hangt af van hoe de toetsfunctie wordt ingericht. Als docenten vragen ontwikkelen kan dit om diverse redenen het beste direct in TestVision worden gedaan.

Toekomstvastheid TestVision behoort evenals onze dienstverlening op toetsgebied tot de core business van Teelen Kennismanagement. TestVision is sinds november 1999 op de markt. In 2012 verschijnt TestVision 7.0. Op 10 november 2011 lanceren we (zoals gezegd) de nieuwe, volledige webbased versie van TestVision. U bent van harte welkom bij deze lancering. Gebruikers van TestVision zijn onder andere: • • •

Grote organisaties: Rabobank, Eureko (waaronder Achmea), CZ, Kamer van Koophandel Nederland en Bayer Exameninstellingen: Nbbe (rijksbrandweerexamens), I-TEM Examen, Wateropleidingen, Kenniscentrum Handel en JIBECI (Groot Brittanië) Hoger onderwijsinstellingen: Saxion, Hogeschool Utrecht, UMC Utrecht, Universiteit Utrecht faculteit Bêtawetenschappen en Academie Verloskunde Amsterdam Groningen.

Teelen Kennismanagement is lid van de NVE (Nederlandse Vereniging voor Examens) en (vanaf het begin) redactielid van Examens; vakblad voor de toetspraktijk. Ook zijn wij spreker op veel congressen voor het hoger onderwijs op toetsgebied.


Quayn

Quayn Achtergrond informatie Quayn komt niet uit de lucht vallen. Al sinds 1993 zijn wij op de markt met een digitaal toetssysteem: WinToets. Ruim 1000 onderwijsinstellingen hebben hier een doorlopende licentie op. Het door ons ontwikkelde formaat WinToetsXML is de standaard bij veel grote uitgeverijen en onze klanten. Sinds 2011 is de Quayn Portal verkrijgbaar, een volledig online werkende oplossing voor toetsing en examinering. Onze bijna 20 jaar ervaring komt in Quayn weer terug. Met de Quayn Portal kunnen instellingen eigen itembanken beheren, op basis van maximaal 26 metadatavelden, vragen uitfilteren en arrangeren, toetsen en examens inplannen, die online laten afnemen en online de analyses bekijken. Adresgegevens QuestionWise bv Postbus 50 9800 AB Zuidhorn Contactpersoon: Dhr. A. (Allard) C.P. Bijlsma T: 0594-501660 W: www.drp.nl en www.digitaaltoetsen.nl Onze speciale website bij Quayn: www.quayn.eu E: [email protected]

Functionaliteit De Quayn Portal is een uitgebreid online toetspakket met onder meer de volgende mogelijkheden: Gebied 1: Itembank- en itemconstructie Itemtypes: Quayn kent zo’n 35 itemtypes, waaronder: meerkeuze, meermeerkeuze, woord, getal, gatentekst, combobox, open, hotspot, labels slepen, ordening, matching. Ook zijn er speciale vraagtypes zoals: klokkijken, lickertschaal, thermometer, schuifmaat en een reeks woordgame vraagtypes. Elk vraagtype kent een aantal sjablonen. Metadatering: per item kunnen maximaal 26 metadatavelden worden aangebracht, waar later weer op gefilterd kan worden en waarop uitslagen geanalyseerd kunnen worden. Metadata kan vooraf als een keuze-XML aan auteurs worden aangeboden. Mogelijkheden tot samenwerking en delen: via een paar simpele vinkjes is het mogelijk itembanken te delen met personen of afdelingen binnen de eigen organisatie of zelfs met andere organisaties. Ons formaat WinToetsXML is de defacto toetstandaard in onder meer het voortgezet onderwijs. Itembanken zijn ook te exporteren en te importeren. Kwaliteitscontrole: via het toekennen van rollen en rechten kunnen er aparte rechten voor invoer en controle worden gekoppeld aan personen. Gebied 2: samenstellen van toetsen uit itembank Systematiek: vanuit een itembank worden items uitgefilterd op op te geven criteria. Het uitgefilterde kan worden gearrangeerd tot een online toets of examen, waarbij tientallen instellingen mogelijk zijn. Voorbeelden: wel/niet tips geven, wel/niet commentaar geven, cesuurinstellingen, wel/niet bladeren, wel/niet tijdsrestricties toepassen, e.d. Koppeling aan toetsmatrijs: deeltoetsen kunnen tegelijk uitgefilterd worden op zes van de in te voeren 26 metadatavelden. Via EN/OF-keuzes kunnen selecties wel/niet meegaan binnen de keuzelijst. Administratie: koppelingen naar administraties voor zowel inlezen van studenten als het wegschrijven van resultaten zijn mogelijk. Maatwerk en SSO-koppelingen zijn


Quayn mogelijk. Koppeling aan evaluatie voor kwaliteitsmonitoring: Quayn kent uitgebreide ingebouwde analyses, van standaard overzichten tot p- en Rit-waarden. Kruistabellen zijn zelf samen te stellen. Alle tabellen zijn als PDF weg te schrijven of te exporteren naar XLS-formaat. Adaptieve mogelijkheden: dit is op meerdere manieren mogelijk binnen een toets of examen. Na een in te stellen aantal vragen kunnen uit de itembank vragen van een ander niveau worden aangeboden. Adaptiviteit na afloop (voor het uitzetten van zelfsturende leerlijnen) is als optie in ontwikkeling. Gebied 3: afnemen van toetsen Quayn staat afname toe op een veelheid van devices: Offline: mogelijk via onze netwerkapplicatie WinToets 4. Er is in dat geval geen internet nodig, terwijl toch alle resultaten en analyses (offline) beschikbaar zijn. Ook mogelijk is afname via de software van DigiBorden (zoals SMART Notebook) en stemkastjes (zoals SMART Response en eInstruction Cricket). Afname op papier: online zijn toetsen weg te schrijven naar PDF, offline via een wizard naar Microsoft Word en voor gebruik met de schrapkaartsystemen TeleForm en Remark Office. In het laatste geval worden de resultaten weer terug ingelezen. Online in Quayn: afname is mogelijk binnen de Quayn Portal, op tablets via Quayn Mobile (aparte iPhone- en iPadversies, Android-versie in ontwikkeling). Online in eigen LMS: er kan weggeschreven worden naar SCORM 1.2 en SCORM 2004, voor afname binnen LMS- en ELO-systemen van derden. Naar wens kunnen de analyses daarbij opgevangen worden binnen Quayn en/of binnen het eigen LMS. Geschikt voor respondenten met functiebeperking: bij offline afname ondersteunen we voorleessticks van de merken ClaroRead en Sprinto. Lettergrootte en contrastkleuren (achtergrond en lettertype) zijn per toets in te stellen. Maatwerk: we kennen koppelingen met systemen van derden, zoals Magister (Iddink), RekenPraktijk (Edu’ Actief), Smartschool (Smartbit) en DDK (Van Dijk Educatie). Naar wens kunnen ook voor u koppelingen op maat gebouwd worden. Gebied 4: evaluatie van toetsen Analyse: het analysedeel bevat overzichtsschermen voor item-, cursisten groepsanalyses. Hiertoe behoren ook de standaard mogelijkheden van p- en Ritwaardenanalyse. Rapportage: via een aantal tabbladen zijn alle analyses online in te zien. Een rapportagedocument kunt u via een aantal functies zelf samenstellen, waarna het geheel als PDF of XLS ter download wordt aangeboden. Psychometrie: via metadatering kunnen resultaten uitgesplitst er op onderwerpen, als kennis, inzicht, vaardigheden in beeld worden gebracht, zowel voor de student als de docent. Klassieke Testtheorie en/of Item Responstheorie: Quayn biedt en aantal instrumenten voor het meten van onder meer de betrouwbaarheid van de items. Standaardtabellen voor onder meer p-, q- en Rit-waarden worden binnen Quayn aangeboden. Via kruistabellen kunt u alle gegevens zelf tegen elkaar uitzetten. Export naar Microsoft Excel is mogelijk om eigen analysemodellen los te laten op de resultaten. Gebied 5: Overige functionaliteit Tabletafname: Quayn biedt als extra service afnamemogelijkheden via een iPhone- en iPad APP. Een Android-APP op basis van HTML5 is ontwikkeling. De student krijgt na inloggen de klaar staande toetsen en examens te zien. Na het maken worden alle uitslagen gesynchroniseerd met de Quayn Portal. Batchmogelijkheden: via onze aanvullende offline applicatie WinToets bieden we mogelijkheden tot het batchgewijs inlezen en exporteren van itembanken in formaten als XML, XLS, IMS QTI en meer. Ook zijn er batch-exportmogelijkheden naar reeksen Flashof SCORM-packages. Voor verzamelingen itembanken kunnen hier batchgewijs


Quayn iteminstellingen worden toegepast. Via deze optiek kunnen veelal tientallen tot honderden uren werk worden bespaard. Wij lid van de expertgroep Standaarden en het Inventatisatieproject IMS QTI (Kennisnet, SURFfoundation en anderen). Koppelingen: Quayn en WinToets worden niet alleen gebruikt door vele honderden onderwijsinstellingen, maar ook door grote uitgeverijen en examenbureaus. Reden is hiervoor onze uitgebreide mogelijke systemen via maatwerk te koppelen aan systemen van derden. Meertaligheid: Quayn wordt standaard aangeboden in een Nederlandse en Engels versie. Andere talen kunnen op basis van maatwerk worden ingebouwd (unicode).

Gebruikersvriendelijkheid Vele tienduizenden gebruikers zijn dagelijks aan het werk binnen onze toetssystemen. Eén van de redenen is de lage instap. De werkstappen voor beheerder, itemconstructeur, docent en student zijn klein gehouden. Via een eigen inlog ziet men enkel de voor hem/haar bedoelde onderdelen. Er is een uitgebreid helpsysteem online aanwezig. Dit systeem wordt maandelijks uitgebreid, op basis van vragen die via onze helpdesk binnen komen. Wij investeren veel in cursusboeken en trainingen. In Zuidhorn hebben we een eigen trainingscentrum en we hebben meerdere vaste trainers in dienst. Jaarlijks verzorgen we ongeveer 250 trainingen in heel Nederland en Vlaanderen rond het thema digitaal toetsen.

Infrastructuur en architectuur Enkele opmerkingen over de architectuur van ons digitale toetssysteem en de infrastructuur die nodig is om het systeem te kunnen gebruiken. Digitaal toetssysteem als webservice of on premise Standaard gaan we uit van het bieden van een webservice. Hierbij draait de applicatie op onze servers. Hierbij geven we een performancegarantie en zorgen voor updates. U betaalt enkel de jaarlijkse licentie. Op verzoek is Quayn ook bij u op de server(s) te installeren. Hiervoor gelden andere garanties en andere vormen van ondersteuning en een andere prijsstelling. Server/cliënt model, lokale software op cliënt. Quayn draait volledig online, zowel voor de beheerder, de docent als de student. Enkel als ook gebruik gemaakt wordt van de offline-mogelijkheden die ons pakket WinToets biedt, zal dat systeem offline kunnen worden geïnstalleerd. Security aspecten Standaard is een SSL-verbinding mogelijk, waarbij het dataverkeer is versleuteld. Standaard wordt ingelogd met een inlognaam en wachtwoord. Indien gewenst kan ook een systeem voor smardcards of tokens worden gekoppeld. Schaalbaarheid Er zitten in principe geen beperkingen aan het aantal gebruikers, de hoeveelheid items, het aantal itembanken en het aantal afnamen. Licenties worden dan ook per gebruiker afgesloten. Voor het meeste geldt een ‘fair use policy’, maar bij het gebruik van bewegend beeld en geluid gelden wel beperkingen. Wordt hier veel van gebruik gemaakt, dan is een aanvullende licentie nodig voor het gebruik van onze multimediaservers. Deze servers zijn geoptimaliseerd voor grootschalig gebruik van streaming media. Import/export items en analyseresultaten, standaarden Quayn (al dan niet via WinToets) kennen imports en exports als: TXT, CSV, XLS, WinToetsXML, IMS QTI 2.1, SCORM 1.2 en 2004 (onze eigen SCORM-packages zijn terug inleesbaar in Quayn). Analyses kunnen geëxporteerd worden als WTAnalyseXML en XLS. In alle gevallen is maatwerk mogelijk. Onder voorwaarden kunnen onze ontwikkelpartners in onze speciale website met alle informatie en werkende voorbeelden


Quayn op basis van onze standaarden WinToetsXML en WTAnalysaeXML. Integratie met andere systemen: koppeling user id’s, scores SSO-koppelingen hebben we uitgevoerd met diverse partners. Systemen waar we onder meer mee werken: EduRoute, CDS Threeships en Entree. Uitwisseling van leerresultaten is op diverse manieren mogelijk. Voorbeeld is onze koppeling met het veelgebruikte pakket Magister van SchoolMaster (Nederland) en Skore en Smartschool (Vlaanderen). Is er geen koppeling mogelijk, dan hebben we een standaardimport op basis van CSV of XLS aan boord voor het inlezen van gebruikers.

Financiële aspecten Kosten van het systeem (methode, parameters, kosten per component) Een licentie op Quayn wordt berekend op basis van het aantal af te nemen modules en het aantal gebruikers. We kennen de volgende opties: •

Full portal: alle mogelijkheden voor beheer, itembankconstructie voor > 20 itemtypes, filteren en arrangeren, inplannen, afnemen en analyseren.

•

Light portal: alle mogelijkheden voor beheer, itembankconstructie voor 6 itemtypes, filteren en arrangeren, inplannen, afnemen en analyseren.

•

Afname en analyse: online afnemen van in WinToets aangemaakte toetsen of het koppelen van deze onderdelen aan het eigen LMS.

•

Analyse: online als SCORM afnemen van in WinToets aangemaakte toetsen in een LMS en het koppelen van de resultaten aan Quayn.

In overleg zijn koppelingen mogelijk met eigen systemen. Eén en ander is daarna op offertebasis te berekenen. “standaard model” Stel, een onderwijsinstelling heeft 10.000 studenten en 1.000 medewerkers. Drie maal per jaar worden bij alle studenten online toetsen afgenomen. De toetsen bevatten circa 20 vragen. Globale berekening van de kosten hierbij per jaar: Richtprijs: 11.000 x 5,12 = Euro 56.320 [excl. btw] Onder voorbehoud van een offerte op maat, die rekening houdt met mogelijk maatwerk, het afnemen van meer of minder modules, het te verwachten gebruik in de praktijk, de als extra af te nemen trainingen en ondersteuning, mogelijke testperiode, e.d. Prijs is inclusief het netwerkbreed mogen inzetten van WinToets 4 voor batch imports/exports, offline toetsafnames, koppelingen aan schrapkaartsystemen, e.d. Organisatie en beheer De Quayn Portal verwacht bij instellingsbrede inzet een (full time) beheerder, die docenten en cursisten aanmaakt, koppelt of importeert en daar rollen en rechten aan koppelt. We adviseren te gaan werken met een Quayn-toetsspecialist, voor het opzetten van de metadataXML per vakgebied/faculteit, basisitembanken en voor scholing en begeleiding van toetsconstructeurs. Alle docenten dienen minimaal één dagdeel basistraining te krijgen als enkel zal worden afgenomen en analyses moeten worden bekeken. Gaan docenten zelf itembanken


Quayn bouwen en daaruit filteren en arrangeren, dan rekenen we standaard vier dagdelen training in de vorm van een gecertificeerd trainingstraject. We verzorgen zogenaamde train-de-trainertrajecten. Zie hiervoor: www.trainingscentrumzuidhorn.nl

Toekomstvastheid QuestionWise bv is een samenwerkingsverband van De Rode Planeet bv te Zuidhorn en Xsservice bv. te Haarlem. Wij ontwikkelen al ruim 18 jaar toetsen cms-systemen. Quayn is volledig nieuw ontwikkeld en is in 2011 verschenen. Het is gebaseerd op de allerlaatste technieken en inzichten. Alle eerder opgedane kennis rond digitaal toetsen hebben we hierin weer verwerkt. Onze koppelingen met tablets, smartphones, DigiBorden en stemkastjes behoren tot de meest moderne vormen van digitaal toetsen. Onze huidige > 1200 klanten met een doorlopende licentie op WinToets 4, groeien langzaam mee van offline naar meer online toetsen. Onze gebruikte technieken op basis van .NET en Flash, groeien met de vraag van klanten mee naar onder meer nieuwe technieken als HTML5. Via gebruikersdagen, maandelijkse nieuwsbrief, RSSfeeds, wekelijkse weblog en twitter, blijven onze klanten continue op de hoogte van alle ontwikkelingen. Binnen lopende licenties zijn updates en upgrades altijd gratis. Op basis van wensen van gebruikers en maatwerkverzoeken, worden onze toetssystemen wekelijks doorontwikkeld. Voor een overzicht van onze huidige klanten: www.drp.nl/wintoets | Community | Overzicht gebruikers. Gebruikers kunnen rechtstreeks met ons contact opnemen en wensen indienen. Onze volledige ontwikkelafdeling bevindt zich binnen Nederland (Zuidhorn, Loppersum, Haarlem en Tilburg). De lijnen zijn daardoor kort en onze service kan daardoor snel en doeltreffend worden gegeven. Wij verwachten dat digitaal toetsen pas de komende jaren gemeengoed gaat worden in het (hoger) onderwijs en het bedrijfsleven. Doordat wij vrijwel alle vormen van afnames ondersteunen, zijn wij klaar voor hopelijk de meeste wensen die een (onderwijs) instelling heeft op het gebied van digitaal toetsen. Neemt u gerust met ons contact op als u meer informatie wenst.



Questionmark Perception Adresgegevens Stoas Learning Questionmark Perception Stoas Learning John Eijkemans Postbus 78 6700 AB Wageningen W: http://www.stoas.nl/questionmark-perception

Functionaliteit Het digitale toetssysteem Questionmark Perception (verder aangeduid als: QMP) bestaat uit vier hoofdonderdelen:

• • • •

Het Auteurs-gedeelte voor de afhandeling van item banking en item- en toetsconstructie. Het Planningsproces, voor het invoeren van (groepen van) deelnemers en beheerders, het regelen van de autorisaties van beheerders en de toewijzing van toets(en) aan deelnemers. Het afnameproces-gedeelte, voor het, op verschillende wijzen, uitleveren van toetsen aan deelnemers. Het Rapportage-gedeelte, voor rapportages en analyses over deelnemers, groepen van deelnemers, toetsen, items en itemclusters (topics).

Gebied 1: Itembank- en itemconstructie Authoring Manager QMP stelt u in staat om items, quizzen, tests, examens en enquêtes te ontwikkelen. Met behulp van de windows-based Authoring Manager kunt u: • • • •

Vragen ontwerpen of bewerken Assessments (quiz, test, examen, enquête) samenstellen Lay-out bepalen door het samenstellen van templates Multimedia en content voor de assessments beheren



Vraagtypen QMP kent de volgende vraagtypen: • Multiple Choice • Multiple Response (alles goed of fout) • Multiple Response (score per alternatief) • True/False • Yes/No • Text Match • Numeric Match • Matching • Ranking • Essay (open vragen) • Kennismatrix • Drag en Drop • Hotspot • Pull-down • Select a Blank • Fill in the Blanks (gatentekst) • Adobe Captivate integratie • Adobe Flash integratie • Likert • File upload • Explanation Topics en Tags Vragen kunnen worden gerubriceerd met een mappensysteem dat onderscheid maakt tussen topics en subtopics. Om andere kenmerken of metadata (bijvoorbeeld taxonomie, moeilijkheidsgraad, auteursnaam, doelgroep, stat. waarde, enz) aan een item toe te kunnen kan gebruik gemaakt worden van Tags (labels). Een item kan meerdere tags hebben. Vraagstatus Aan een item kan in QMP een status toegekend worden. Deze status bepaalt of het item kan worden gebruikt voor een toets, en zo ja, hoe het zich in de toets gedraagt. QMP ken vijf verschillende statussen: • • • • •

Normal = Vraag is volledig en wordt normaal gescoord voor zowel statistiek als score van deelnemer. Incomplete = Vraag is nog niet volledig en kan niet in een toets worden opgenomen Beta = Vraag moet nog door reviewers worden gecontroleerd. Kan wel in toets worden opgenomen, maar wordt niet meegeteld in statistiek of toetsuitslag. Experimental = Vraag kan in een toets worden opgenomen om statistiek te verzamelen, maar heeft geen invloed op eindscore van deelnemer. Retired = Vraag is geblokkeerd voor gebruik en kan niet in een toets worden opgenomen.

Rechten Het is mogelijk om op het hoofdtopic-niveau, rechten in te stellen. Dit houdt bijvoorbeeld in dat een biologie docent, enkel de vragen over het vak biologie kan bekijken. Daarnaast kan het aanmaken en bewerken van items geautoriseerd Zo is het mogelijk om bepaalde delen alleen open te stellen voor het bekijken van items, terwijl men op andere delen volledige auteursrechten heeft. (Multimediale) assets toevoegen Aan een vraag kunnen verschillende assets worden toegevoegd:


Questionmark Perception • • • • • •

Illustraties Videofragmenten (in diverse formaten: avi, flv, wmv,..) Audiofragmenten Flashbestanden Mathematische formules url's Documenten (Word, Excel, enz.)

Deze assets kunnen rechtstreeks aan de vraag gekoppeld worden, of via een link in een apart venster opgeroepen worden. Op Web based wijze ontwerpen of bewerken van items Naast het ontwikkelen of bewerken van items in de Authoring Manager zijn er nog andere web based mogelijkheden van vraagontwikkeling, namelijk d.m.v.: QMP Live • Op een centrale ontwikkelserver kunnen auteurs die zich aangemeld hebben op de QMP-community via de site van Questionmark, vragen(sets) ontwikkelen. Deze vragensets zijn gekoppeld aan de eigen account van de auteur, maar de auteur kan medeauteurs uitnodigen om mee te ontwikkelen aan vragen(sets). QMP Live zal op termijn de huidige windows-based Authoring Manager geheel vervangen. • Via de serverkant van QMP (de Enterprise Manager) kunt u ook vragen ontwerpen of bewerken. Deze mogelijkheden zijn echter nog beperkt. QMP ontwikkelt steeds verder aan andere type vragen. QMP live vervangt tzt de BBA, De wijze van ontwerpen en bewerken worden hier verder niet behandeld. QMP Live ondersteunt op dit moment de volgende vraagtypen: • • • • • • • • • •

Multiple Choice Multiple Response (alles goed of fout) Multiple Response (score per alternatief) True/False Yes/No Text Match Essay Likert Pull-down Explanation

Browser Based Authoring (BBA) Items kunnen ook rechtstreeks op de Webomgeving van de QMP-installatie worden aangemaakt. Voordeel hiervan is dat er geen (extra) auteursomgevingen op PC's of laptops van auteurs geïnstalleerd hoeven worden. Nadeel is dat BBA niet alle vraagtypen ondersteunt. Met het doorontwikkelen van QMP Live zal BBA op termijn uitgefaseerd worden. Importopties Naast het ontwikkelen van items rechtstreeks in QMP is het ook mogelijk om elders ontwikkelde items te importeren. QMP kent mogelijkheden voor het importeren van de volgende bestandsformaten: • ASCII • QML • QTI-XML • QMP Live CSV • Moodle XML • Blackboard*zip en Blackboard*text • LXRMerge Gebied 2: Samenstellen van toetsen uit itembank De kern van de systematiek achter QMP is dat elke toets per deelnemer (uniek) wordt


Questionmark Perception samengesteld, wanneer de toets door de deelnemer wordt aangeroepen. Het samenstellen van de toets gebeurt op basis van de toetsmatrijs die kan bestaan uit een set van vaste of random getrokken vragen, of een combinatie. Random trekking kan gebaseerd zijn op basis van filtering op (sub)topicniveau, tagniveau, of op een combinatie hiervan. De in QMP opgestelde matrijs is gebaseerd op een beschrijving in "rules". Omdat de items niet "fysiek" in een toets zijn ondergebracht zullen wijzigingen in een item onmiddellijk meegenomen worden in een nieuwe uitlevering van de betreffende toets. Questionmark kent een onderverdeling in: • Examens (zijn standaard gekoppeld aan een secure-omgeving) • Toetsen (resultaten worden opgeslagen in de resultaten database, maar worden standaard niet getoond in een secure omgeving) • Quizzen (geven alleen een uitslag direct na de quiz, maar resultaten worden standaard niet opgeslagen in de resultaten database) • Evaluaties (Enquêtes) Alle standaard instellingen kunnen per situatie aangepast worden. Alle resultaten die in de resultatendatabase kunnen worden gebruikt voor statistische analyse van items en toetsen. Adaptieve toetsing is mogelijk met zogenaamde "jump blokken". Met deze blokken kan op basis van tussentijdse score (binnen een dergelijk blok) branching naar verschillende onderdelen van de toets gebeuren. Gebied 3: Afnemen van toetsen De met QMP samengestelde toetsen kunnen op verschillende wijzen worden gepresenteerd aan de deelnemers: • Online via een browser op PC of laptop • Offline via een aangeleverd bestand • Op papier, inclusief een schrapkaart en unieke barcode voor identificatie • Online via mobile device (IPhone, IPad, Android) Voor de online browserversie is tevens een plug-in beschikbaar die zorgt voor het afsluiten van alle andere browser en computerfunctionaliteit, zoals saven, printen, AltTab, enz. Voor de offline versie is het mogelijk om de resultaten van de toets op een later moment (als bestand, dan wel via delayed connectie) alsnog op te nemen in de centrale resultaten database. De gebruikende organisatie kan de look & feel van de toetsen (laten) aanpassen naar de eigen huisstijl of (meerdere) varianten daarvan. Daarnaast kunnen deelnemers zelf lettergrootte en contrast aanpassen. Gebied 4: Evaluatie van toetsen De rapportagemogelijkheden zijn talrijk binnen QMP. Er zijn 14 standaardrapportages, met elk 4 sjablonen en binnen de sjablonen zijn er ongeveer 20 variaties beschikbaar. Filtering is op diverse kenmerken mogelijk. De kans is daarom groot dat de meeste gewenste rapportage zonder extra maatwerk gemaakt kunnen worden. Mochten er geen passende standaardrapportages beschikbaar zijn, dan is er altijd de optie om maatwerkrapportages te (laten) bouwen. Alle resultaten worden opgeslagen in een MSSQL of Oracle database. Voor analyse van testresultaten zijn de volgende rapportages beschikbaar: • Item statistiek rapportage (beschikbaar ongeacht aantal beschikbare resultaten) • Item analyse rapportage (beschikbaar indien voldoende resultaten beschikbaar zijn om betrouwbare informatie te genereren). • Toets analyse rapportage


Questionmark Perception Voor itemanalyse wordt gebruik gemaakt van de klassieke testtheorie. In de itemanalyse worden de volgende waarden getoond: • P-waarde • A-waarden • D-waarde • Rit waarde In de toetsanalyse worden de volgende waarden getoond: • Toetsbetrouwbaarheid (Cronbach's Alpha) • Gemiddelde score • Mediane score • Standaard deviatie • Variantie • Alpha waarde • Scheefheid • Kurtosis Op dit moment wordt bij QMP gewerkt aan een uitbreiding van de analysemogelijkheden naar de Item Response Theory, waardoor ook Computerized Adaptive Testing (CAT) tot de mogelijkheden gaat behoren. Gebied 5: Overige functionaliteit Naast bovengenoemde functionaliteiten kunnen nog de volgende mogelijkheden van QMP genoemd worden: • Scoring Tool Met de Scoring Tool kunnen één of meer docenten on-line antwoorden op open vragen (essayvragen) beoordelen, al of niet op basis van modelantwoorden. De antwoorden kunnen zowel horizontaal als verticaal en zowel anoniem als nietanoniem worden beoordeeld. • Result Management System (RMS) Met het RMS kunnen de scores van toetsen en/of vragen na afloop worden herzien. Dit kan van belang zijn bij een heroverweging van de cesuur of bij een achteraf geconstateerde onjuiste vraag(stelling). Bij een herziening van de scores worden de oorspronkelijke scores altijd bewaard, zodat er te allen tijde teruggegrepen kan worden naar de oorspronkelijke uitslagen. • Translation Management System (TMS) Met TMS is het mogelijk om van vragen meerdere taalversies beschikbaar te hebben. Alle taalversies blijven echter één en dezelfde unieke vraag-ID behouden, zodat vraagstatistiek van de verschillende taalversies mogelijk is, zonder verschillende waarden bij elkaar te voegen. Het TMS bewaakt ook de workflow op het onderhoud van de verschillende taalversies. • Koppeling met andere systemen Doordat QMP diverse wereld standaarden volgt, is het goed te koppelen met ELO-en SIS systemen. Er zijn diverse “standaard”-koppelingen beschikbaar. Het is ook mogelijk een koppeling op maat te ontwikkelen met een Web-services tool van QMP.

Gebruikersvriendelijkheid Het systeem kent in principe drie gebruikersgroepen: Auteurs Voor de auteurs is met name de Authoring Manager (AM) het belangrijkste onderdeel van QMP. Met behulp van wizards is het invoeren van vragen zeer eenvoudig uit te voeren en is scholing nagenoeg niet nodig. De opbouw van de AM is duidelijk en kan door de auteur naar eigen inzicht worden ingedeeld:



A. Keuzepaneel Mapweergaven Met behulp van de folder view bepaalt u wat er in de Authoring Manager wordt weergegeven. Wilt u bijvoorbeeld alles in één overzicht bekijken, kies dan ‘Show all’. Wilt u enkel de assessments bekijken, kies dan voor ‘Assessments view’. B. Mappen Afhankelijk van uw keuze bij onderdeel A vindt u hier de mappenstructuur. Zo kunt u hier de topicstructuur (onderwerpenoverzicht) van uw vragen aanmaken en bekijken. C. Content In dit onderdeel ziet u de inhoud van de geselecteerde folder uit onderdeel B. In de illustratie ziet u de vragen die een bepaalde map bevat. Het is mogelijk om te filteren op bepaalde zoektermen zodat alleen die vragen worden weergegeven die van belang zijn op een bepaald moment. D. Voorbeeldscherm Dit onderdeel is een voorbeeldscherm van de bij C geselecteerde inhoud. In de illustratie ziet u een preview van de geselecteerde vraag. De vraag kan dan ook gelijk getest worden op correcte werking. Beheerders Door de autorisaties van beheerders af te stemmen op slechts die taken die zij geacht worden uit te voeren in het systeem zullen na inloggen alleen die taken zichtbaar worden in de Enterprise omgeving. Beheerders met beperkte rechten kunnen dan ook toe met slechts instructie over die beperkte opties. Deelnemers (kandidaten) Deelnemers krijgen na inloggen met de aan hen verstrekte gegevens een overzicht van de toetsen die voor hen zijn klaar gezet. Hierbij is tevens aangegeven of er een beperking aan het aantal pogingen voor de betreffende toets is gesteld en of er een eerder onderbroken versie van de toets beschikbaar is. Door op de start-button van de toets te klikken, wordt deze gestart.



Infrastructuur en architectuur Questionmark biedt QMP zowel als SaaS-oplossing ( QMP OnDemand) als OnPremise oplossing aan. De Authoring Manager functioneert (nog) lokaal.

Schema On Premise

Voor beheerders en deelnemers is geen lokale software installatie nodig. Bij gebruik van de secure browser is op de deelnemers-PC eenmalig een installatie van de betreffende browser nodig. Het dataverkeer tussen de OnDemand server en de gebruikers gebeurt via https. Voor de OnPremise omgeving kan naar keuze gebruik gemaakt worden voor een secure omgeving of niet. Schaalbaarheid voor de omgeving is mogelijk met behulp van load balancing. Hierbij wordt de server last verdeeld over meerder (samenwerkende) servers. Een dergelijke opzet valt aan te bevelen bij het (exact) tegelijk opstarten van 80 toetsen of meer. Dit getal is slechts indicatief omdat de inhoud (veel of weinig media-assests) en de samenstelling (random getrokken of niet) ook van invloed is op de performance van het systeem. Im- en export van items kan geschieden via standaarden (zie ook 2.1 – Importopties). Gedetailleerde resultaatinformatie kan zowel via platte ascii- als via excel-export worden overgeheveld naar andere analyse pakketten (bijv. SPSS, Excel, ….) QMP kan met behulp van web services en API's (QMWise) gegevens uitwisselen met andere systemen die ook web services ondersteunen.

Financiële aspecten Kosten van het systeem (methode, parameters, kosten per component) QMP kan zowel als OnDemand-oplossing (SaaS) als OnPremise (eigen licentie en installatie) worden aangeschaft. Het OnDemand prijsmodel kent verschillende vormen. In hoofdlijnen kunt u kiezen tussen een prijsmodel op basis van het aantal unieke deelnemers en een prijsmodel op basis van het aantal af te nemen toetsen. Het OnPremise prijsmodel is gebaseerd op het aantal unieke deelnemers dat in de gebruikersdatabase van het systeem is geregistreerd. Het prijsmodel is schaalbaar en modulair opgezet. Op elke gewenst moment kan worden uitgebreid.


Questionmark Perception Kostenindicatie “standaard model” Uitgaande van een onderwijsinstelling met 10.000 studenten en 1.000 medewerkers, waarbij drie maal per jaar alle studenten online toetsen afnemen. De toetsen bevatten circa 20 vragen.

Optie 1:

Jaarlijkse kosten bij eigen licentie, waarbij de eenmalige licentie-aanschaf (€ 27.600,-) is afgeschreven over 5 jaar: € 11.000,- .

Optie 2:

Jaarlijkse kosten bij SaaS-model: € 60.000,-. Investering in hardware en technisch applicatiebeheer is niet nodig.

Organisatie en beheer Om QMP optimaal te gebruiken is het instellen van een toetsservicebureau aan te bevelen. Dit kan centraal gebeuren of op faculteitsniveau. Een organisatie met een centrale dienst voor technisch (in geval van OnPremise) en algemeen functioneel beheer met daarnaast ondersteuners (super users) op faculteitsniveau blijkt in de praktijk een goede constructie. Afhankelijk van omvang van de onderwijsinstelling en inrichtingskeuzes van de toetsservice-organisatie en de keuze tussen OnDemand of OnPremise bedragen de personele kosten 1 à 2 FTE.

Toekomstvastheid De Questionmark organisatie bestaat sinds 1988 en richt zich alleen op Questionmark Perception. Questionmark Perception versie 5.2 is de meest recente versie. De OnDemand versie komt 4x per jaar uit, de OnPremise variant 2x. Questionmark is wereldwijd actief, met vestigingen en/of vertegenwoordigingen in meer dan 30 landen. Wereldwijd zijn er meer dan 2500 organisaties met zo'n 10 miljoen gebruikers die met QMP werken. In Nederland hebben de volgende HO organisaties één of meer licenties: -

-

Academisch Medisch Centrum Amsterdam (AMC) Christelijke Hogeschool Ede Christelijke Hogeschool Windesheim Fontys Hogeschool Haagse Hogeschool Hanzehogeschool HBO-raad Hogeschool Arnhem Nijmegen Hogeschool Inholland Hogeschool Rotterdam Hogeschool van Amsterdam Hogeschool Zuyd Huisartsenopleiding Nederland Marnix Academie Open Universiteit Stenden Hogeschool Universiteit van Amsterdam Universiteit Maastricht Universiteit Twente Vrije Universiteit Wageningen Universiteit


Seminar Hoe selecteer ik een digitaal toetssysteem?

Recommend Documents