Businessmodel Toetsvoorziening AOC s

Businessmodel Toetsvoorziening AOC’s

Versie: 19 februari 2008

Stuurgroep EDT AOC Raad

Businessmodel Toetsvoorziening AOC’s Inhoudsopgave

Inhoudsopgave Inhoudsopgave .......................................................................................................................2 1 Inleiding...........................................................................................................................3 1.1 Samenvattend oordeel stuurgroep ...........................................................................4 2 De toetsvoorziening.........................................................................................................5 2.1 Globale inhoud huidige voorziening ..........................................................................5 2.2 Huidige financiering ..................................................................................................5 2.3 Kansen voor verdere ontwikkeling toetsvoorziening .................................................6 2.4 Bedreigingen voor verdere intensivering gebruik ......................................................7 2.5 Verdere ontwikkeling in fasen ...................................................................................8 3 Behoeften onderzoek / Vraagarticulatie ...........................................................................9 3.1 Doel:.........................................................................................................................9 3.2 Taken/activiteiten: ....................................................................................................9 4 Promotie ........................................................................................................................11 4.1 Doel:.......................................................................................................................11 4.2 Taken/activiteiten: ..................................................................................................11 4.3 Randvoorwaarden ..................................................................................................11 4.4 Kengetallen ter ondersteuning promotie .................................................................12 5 Verwerven toetsmateriaal ..............................................................................................14 5.1 Doel:.......................................................................................................................14 5.2 Taken/Activiteiten ...................................................................................................14 6 Beschikbaar stellen toetsmateriaal ................................................................................16 6.1 Doel:.......................................................................................................................16 6.2 Taken/activiteiten: ..................................................................................................16 7 Beheer en onderhoud ....................................................................................................17 7.1 Doel:.......................................................................................................................17 7.2 Taken/activiteiten ...................................................................................................17 8 Besturing .......................................................................................................................19 8.1 Doel:.......................................................................................................................19 8.2 Taken/activiteiten ...................................................................................................19 8.3 Organisatie .............................................................................................................20 Bijlage Overeenkomst gebruik toetsvoorziening ...................................................................21 Bijlage Aanpak behoeften onderzoek ...................................................................................26 Bijlage Te ontwikkelen content .............................................................................................29 Bijlage Kwaliteitsprocedure...................................................................................................32 Bijlage Gebruikersondersteuning ..........................................................................................35 Bijlage Kwalitatieve voordelen van digitaal toetsen ...............................................................37

Versiehistorie Versie 30-10-2007

Eerste versie ten behoeve van bespreking in de stuurgroep van 8 november

PvU

Versie 30-11-2007

Tweede versie ten behoeve van de stuurgroep van 6 december, met daarin de opmerkingen van de SG 8.11, en resultaten aanv. onderzoek (QTI, Cito)

PvU

Versie 20-12-2007

Laatste versie vanuit het project EDT na bespreking in de stuurgroep van 6 december 2007, aangeboden aan Projectbegeleider Kennisnet

PvU, HW.

Versie 19-02-2008

Definitieve versie na goedkeuring Kennisnet; Matthé Drost

PvU

AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 2 VAN 37

Businessmodel Toetsvoorziening AOC’s Inleiding

1 Inleiding Dit document vormt het eindresultaat van een project Exploitatie Diagnostische Toetscontent, dat mede werd gefinancierd door subsidie van Kennisnet en dat – conform de subsidievoorwaarden – werd uitgevoerd in 2007. Het project betreft de gemeenschappelijke toetsvoorziening van de AOC‟s. De AOC‟s werken al geruime tijd samen om een toetsvoorziening voor digitaal diagnostisch toetsmateriaal1 te ontwikkelen. Deze toetsvoorziening stelt de deelnemende AOC‟s in de gelegenheid om beschikbaar digitaal toetsmateriaal te gebruiken, maar ook indien gewenst zelf digitaal toetsmateriaal te ontwikkelen. De CvB‟s van de AOC‟s hebben in 2006 uitgesproken dat het hier een nuttige voorziening betreft en besloten dat deze voorziening verder ontwikkeld moet worden. Mede met genoemde subsidie heeft onderzoek plaatsgevonden naar een passend businessmodel van deze voorziening. Het project kende de volgende opdracht: Komen tot een duurzaam samenwerkingsverband waarin vraagarticulatie, ontwikkeling, onderhoud , beheer en bevordering van een effectief gebruik van elektronische (diagnostische) toetscontent economisch verantwoord plaatsvindt. Voor de uitvoering van de activiteiten in het plan van aanpak van dit project Exploitatie Diagnostische Toetscontent (EDT), is een taakverdeling gemaakt: Voor de activiteiten betreffende de (toets)processen, is de Expertisegroep Toetsen van de AOC Raad verantwoordelijk geweest. Voor de activiteiten die te maken hebben met het businessmodel heeft de stuurgroep als werkgroep gefungeerd. De stuurgroep was samengesteld uit: - Leo Verbeek, Prinsentuin College, Directeur (tevens voorzitter stuurgroep) - Paul Duysings, AOC Oost, lid College van Bestuur - Wim Drost, Ontwikkelcentrum, Directeur - Henny Tax, Cito, projectmanager - Kasper Spiro, Stoas, accountmanager QMP - Hilda Weges, AOC Raad/Expertisegroep, Projectmanager Toetsenbank AOC‟s - Paul van Uffelen, AOC Raad, Projectleider onderhavig project (tevens secretaris stuurgroep). Dit document is een product van de deelactiviteiten uit de lijn 2 Contentprocessen en van de besprekingen in de stuurgroep Exploitatie Diagnostische Toetscontent. Om de voorziening economisch verantwoord te exploiteren is onderzoek gedaan naar de voorwaarden waaronder dit in de context van 2007 en verdere jaren kan plaatsvinden. Daarbij is een aantal processen gedefinieerd waar invulling aan moet worden gegeven. Deze processen samen beschrijven het businessmodel. Over de gewenste inhoud van deze processen wordt hierna gerapporteerd.

1

Het begrip diagnostische toetsen wordt hierin breed opgevat. Het gaat daarbij niet alleen om formatieve toetsen, maar ondermeer ook om intaketoetsen, zelftoetsen, voortgangstoetsen, psychometrische toetsen en oefenmaterialen als onderdeel van het onderwijsleermateriaal. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 3 VAN 37

Businessmodel Toetsvoorziening AOC’s Inleiding In dit document wordt uitsluitend gesproken over het VMBO, immers de scope van het eerder genoemde PvA betreft het VMBO en meer in het bijzonder de sector Dier en Zorg.

1.1 Samenvattend oordeel stuurgroep Geconstateerd is dat er sprake is van een groeisituatie. Het uitgevoerde project heeft een aantal grote verworvenheden duidelijk gemaakt. Zo is de groei in het aantal afgenomen toetsen en in het aangeleverde materiaal evident geweest. Het project heeft ook een aantal verbeter- of ontwikkelpunten aan het licht gebracht. Eindoordeel van de stuurgroep is dat deze verbeteringen, met name betrekking hebbend op de inbedding van digitaal toetsen op de AOC‟s en daarmee het gebruik, zowel naar intensiteit (aantal toetsen per deelnemer/leerling) als naar spreiding (intensiteit per AOC), met voorrang gerealiseerd moeten worden. Pas als aan deze voorwaarde is voldaan, kan overgegaan worden van de huidige input financiering naar marktgerichte output financiering. Daarbij staat de stuurgroep een fasering voor ogen die in het volgende hoofdstuk globaal staat omschreven.


PAGINA 4 VAN 37

Businessmodel Toetsvoorziening AOC’s De toetsvoorziening

2 De toetsvoorziening 2.1 Globale inhoud huidige voorziening Sinds 2004 bestaat er voor de AOC‟s een digitale toetsenbank die in de loop der tijd is uitgegroeid tot een toetsvoorziening met honderden toetsen en meer dan 35.000 toetitems. Hierbij wordt gebruik gemaakt van het toetsservice systeem Question Mark Perception (QMP). Deze voorziening wordt beheerd door de Expertisegroep Toetsen en wordt gefinancierd door de deelnemende AOC‟s. De voorziening kan worden gebruikt in een drietal varianten: In de A-variant krijgen de scholen toegang tot de bestaande toetsen. Via internet, vaak via het eigen AOC portal of de eigen ELO, kan gekozen worden uit één van de vijftien themagerichte toetspagina‟s en daar uit kan een kant en klare toets worden gekozen. De leerling maakt de toets en het resultaat van deze toets wordt als een pdf aan de leerling aangeboden. Afhankelijk van de afspraak met de docent kan de pdf naar de docent of begeleider worden gemaild of kan de pdf worden opgeslagen in het portfolio van de leerling. In de B-variant kan de school zelf een toets maken door gebruik te maken van de webapplicatie van QMP. Ook weer via internet kan de toetsauteur vragen vinden en eventueel aanvullen met eigen vragen. De aldus samengestelde toets kan weer worden klaargezet voor de betreffende groep of individuele leerling. De C-variant is voor de gevorderde toetsauteur. Door gebruik te maken van de uitgebreide lokale windows applicatie van QMP beschikt de auteur over een uitgebreid scala van hulpmiddelen om toetsen in verschillende verschijningsvormen te produceren. De Expertisegroep verzorgt de opleiding van de QMP coördinatoren op de deelnemende AOC‟s en biedt ondersteuning waar nodig. Bovendien zijn zij verantwoordelijk voor de ontwikkeling en het onderhoud van de landelijk beschikbare toetspagina‟s (Variant A) op basis van door de AOC‟s en derden aangeleverde toetsmaterialen. De drie varianten kennen ieder hun eigen voorwaarden voor gebruik en prijsstelling. In 2006 hebben de AOC‟s zich voor drie jaar verbonden aan de ontwikkeling van de toetsvoorziening.

2.2 Huidige financiering Voor het gebruik van de toetsvoorziening is het volgende model ontwikkeld:


PAGINA 5 VAN 37

Businessmodel Toetsvoorziening AOC’s De toetsvoorziening De deelnemende instellingen betalen een basisbedrag voor de instandhouding van de basisvoorziening. Het gaat daarbij om de kosten voor o Ontsluiting toetsen en instrumenten o Onderzoek nieuwe vormen van toetsen o Ondersteuning gebruikers en QMP-coördinatoren (deskundigheidsbevordering) o Functioneel beheer toetsen o Hosting, beheer en onderhoud landelijke QMP-omgeving Daarnaast betalen de deelnemende instellingen voor het gebruik. Dit kan via de volgende varianten. 2.2.1 Variant A Het deelnemende AOC krijgt toegang tot de digitale toetspagina‟s. De toetspagina‟s worden ontwikkeld en bijgehouden conform de uitkomsten van het behoefte onderzoek. De belangrijkste leveranciers aan de voorziening zijn de AOC‟s zelf, die via de faciliteiten die zij gebruiken via de varianten B of C toetsmateriaal aanbieden aan de Expertisegroep die na een beoordeling dit materiaal aan de algemene toetsenbank toevoegt. 2.2.2 Variant B en C Locaties van AOC‟s die zelf materiaal willen ontwikkelen betalen daarvoor aanvullend een bedrag. Daarvoor krijgen zij de beschikking over een webapplicatie (Variant B) of een Windows cliënt (Variant C), waarmee zij zelf toetsmateriaal kunnen ontwikkelen. Dit materiaal is primair bedoeld voor het eigen gebruik, maar kan ook aangeleverd worden aan de Expertisegroep voor opname in de landelijke toetsvoorziening. Zie ook hiervoor. 2.2.3 Vastlegging van afspraken Een ontwikkelde overeenkomst waarin de bepalingen betreffende de gebruiksvarianten en de afrekening zijn opgenomen, is bijlage bij dit projectdocument.

2.3 Kansen voor verdere ontwikkeling toetsvoorziening Digitaal toetsen kan de huidige ontwikkelingen binnen het onderwijs uitstekend ondersteunen. De AOC‟s hebben dat onderkend door hun steun voor de komende schooljaren 2006-2007 t/m 2008-2009 uit te spreken. De kansen voor een verdere verspreiding en inbedding van digitaal toetsen laten zich kort als volgt samenvatten. In de bijlagen worden meer argumenten voor digitaal toetsen geformuleerd: Tijdswinst docent o Maken toets en correctiemodel o Correctie Zie hiervoor ook hoofdstuk 4 Promotie Aantrekkelijk voor leerlingen o Multimediaal o Interactief o Feedback op maat o Uitslag direct bekend o Schrijfvaardigheid en spelling geen belemmering voor goed resultaat o Inzetbaar bij zorgleerlingen (b.v. dyslexie) Digitaal toetsen sluit bij uitstek aan bij de digitale wereld waar veel leerlingen thans in leven - Digikids Tijd- en plaatsonafhankelijk voor auteurs en leerlingen Kwaliteitswinst o Inrichting toetsbeleid AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 6 VAN 37

Businessmodel Toetsvoorziening AOC’s De toetsvoorziening o Toetsvragen (inhoud) o Toetsafname (at random) o Betrouwbaarheid resultaten o Voorbereiding digitaal examen VMBO Marketinginstrument Digitaal toetsen kan door de AOC‟s ook als marketinginstrument worden ingezet. Het gaat om een moderne invulling van het didactische concept, waarbij de leef- en belevingswereld van vooral de leerlingen wordt aangesproken.

2.4 Bedreigingen voor verdere intensivering gebruik Naast de kansen voor een verdere intensivering is er tijdens de uitvoering van het project ook een aantal belemmeringen of risico‟s duidelijk geworden. Onbekendheid met Toetsenbank en digitaal toetsen. De huidige gebruikers zijn vooral heel tevreden met het eigen gebruik van de voorziening. Het blijkt geen vanzelfsprekende zaak dat van dit enthousiasme een „aanzuigende‟ werking uit gaat. Borging kwaliteit examens heeft hoogste prioriteit onder druk van KCE/Inspectie. Veel tijd van management en stafmedewerkers is de afgelopen maanden besteed aan het op orde brengen van de kwaliteit van de examens en de proeven van bekwaamheid. Nauwelijks Toetsbeleid (diagnostisch) toetsen beschikbaar. Gebleken is dat de voorziening nog onvoldoende wordt ingebed in een beleid voor (digitale) diagnostische toetsen. Dit punt hangt ook nauw samen met het eerstgenoemde. Onderwijstijd zet beschikbare capaciteit onder druk. De recente aandacht van de politiek en de inspectie maakt dat veel capaciteit van management en beleidsmedewerkers is gaan zitten in het op orde krijgen van de processen voor onderwijstijd. Voor docenten is er naast de reguliere lessen ook nauwelijks tijd beschikbaar om zich hiermee bezig te houden. Daarmee wordt de introductie van nieuwe wijzen van werken, zoals het inbedden van digitaal toetsen in het onderwijsproces ernstig bemoeilijkt. Het inbedden van digitaal toetsen wordt onvoldoende geïntegreerd en gekoppeld aan onderwijsontwikkelprojecten binnen de scholen, w.o de invoering van de nieuwe competentiegerichte kwalificatiestructuur in het mbo en Het Groene Leertraject in het VMBO.. De invoering van digitaal toetsen wordt daardoor als een extra belasting ervaren en niet als een hulpmiddel om de geplande onderwijsvernieuwing te realiseren. Discussie over vorm en opzet toetsen en examens in het kader CGO is nog in volle gang. Veel energie van beleidsmakers gaat zitten in de summatieve toetsing via examens en proeven van bekwaamheid. Geconstateerd is dat het volgen van de ontwikkeling van de leerling/de deelnemer op weg naar het examen of proeve van bekwaamheid nog te weinig aandacht krijgt. Digitaal diagnostisch toetsen kan hier een goede rol bij vervullen. Inpassing in onderwijsprogramma en werkorganisatie vindt niet plaats en blijft daardoor afhankelijk van enthousiaste docenten die hiervoor een klein aantal taakuren krijgen en/of binnen hun reguliere taken hiervoor tijd vrij maken. Praktische problemen w.o. te weinig PC‟s Uit het onderzoek kwam ook naar voren dat nog niet alle instellingen over voldoende PC‟s of leercentra beschikken, waar de leerling digitale toetsen kan maken.


PAGINA 7 VAN 37

Businessmodel Toetsvoorziening AOC’s De toetsvoorziening Genoemde bedreigingen worden door de stuurgroep van het project EDT onderkend en hebben mede geleid tot het eindoordeel zoals dat in het hoofdstuk hiervoor geformuleerd werd. In het jaarplan 2008 van de Expertisegroep zullen de kansen en de bedreigingen die hierboven werden omschreven geadresseerd worden.

2.5 Verdere ontwikkeling in fasen 2.5.1 Fase 1: Intensiveren van het gebruik, door het laten aanhaken van andere AOC‟s bij het werk van de Expertisegroep. Gebleken is dat de leden van de Expertisegroep binnen hun AOC een enthousiasmerende rol vervullen, tot uitdrukking komend in een hoger aantal afgenomen toetsen en een goede bijdrage aan de landelijke toetsenbank. Intensivering ook door het digitaal toetsen bij de overige AOC‟s onder de aandacht te brengen, d.m.v. de activiteiten die vermeld staan in het hoofdstuk Promotie. 2.5.2 Fase 2: Verandering van het bekostigingsmodel, door het geven van een vergoeding aan AOC‟s voor het aanleveren aan de landelijke toetsenbank van kwalitatief goed toetsmateriaal. Daarmee wordt de eerste stap gezet van de huidige inputfinanciering, naar outputfinanciering. 2.5.3 Fase 3: Volledige overgang op outputfinanciering. AOC‟s betalen vanaf dat moment een vast bedrag voor de bekostiging van de vaste kosten van de voorziening. Daarnaast gaan de AOC;s betalen voor het gebruik van het toetsmateriaal op basis van werkelijk gebruik. Ook verkrijgen zij een vergoeding voor de aanlevering van kwalitatief goed toetsmateriaal dat past binnen de marktvraag van de AOC‟s (voortzetting vorige fase). Onderzoek moet worden gedaan of het (technische) haalbaar is dat een AOC royalties ontvangt in het geval andere AOC‟s gebruik maken van hun materiaal in de landelijk toetsenbank.


PAGINA 8 VAN 37

Businessmodel Toetsvoorziening AOC’s Behoeften onderzoek / Vraagarticulatie

3 Behoeften onderzoek / Vraagarticulatie 3.1 Doel: Weten wat deelnemers, leerlingen en docenten nodig hebben aan toetsmateriaal en aan ondersteuning. Een voorziening die economisch verantwoord toetsmateriaal exploiteert dient precies te weten welke vraag er in de markt leeft. Om die reden dient dus de behoefte onderzocht te worden.

3.2 Taken/activiteiten: 3.2.1 Inventariseren van behoefte bij de AOC’s In het kader van het project is een document (bijlage) gemaakt waarin een aanbeveling wordt gedaan voor de wijze waarop de voorziening de vraag naar toetsen inzichtelijk kan maken. Daarin wordt een drietal modellen voorgesteld. In het kort komen deze modellen op het volgende neer: Model 1: Twee workshops per leergebied, en/of opleidingsdomein per AOC. Dit levert een gedetailleerd beeld op van de wensen, maar is arbeids- en tijdsintensief. Model 2: Landelijke communities van docenten. Niet iedere leerweg, leergebied of opleidingsdomein kent een bestaande community. Het organiseren er van kost tijd. In het VMBO bestaan hiervoor te gebruiken groepen nog niet. Model 3: Virtueel organiseren, bv via (web)enquêtes. Afstand groter. Bereik ook. Geen directe feedback en contact met de klanten. Naar het oordeel van de stuurgroep suggereren deze modellen echter een zekere vrijblijvendheid. De stuurgroep is van mening dat het management van de AOC‟s nadrukkelijk een rol heeft om het gebruik van digitaal toetsen binnen hun instelling te entameren door het bijvoorbeeld een onderdeel te laten zijn van de onderwijsontwikkeling. In de volgende hoofdstukken wordt daar op terug gekomen. In de stuurgroep is ook nadrukkelijk aangegeven dat de mate van gebruik nog geen aanleiding is om nu al tot een marktbenadering over te gaan. De beschikbare energie dient te worden gezet op het verder verbreden van het gebruik van het beschikbare toetsmateriaal en het aanleveren van toetsmateriaal aan de landelijke voorziening. Het creëren van de behoefte zou vooral langs de lijn van het entameren van het management moeten lopen. Management (CvB‟s en locatie- en afdelingsmanagement) dienen geholpen te worden bij het formuleren van een toetsbeleid voor hun instelling. Als richtlijn om de landelijke toetsvoorziening verder te vullen gelden de volgende uitgangspunten. 1. Voor de leerjaren 3 en 4 wordt aangesloten bij wat de examenprogramma‟s VMBO voorschrijven. Een te formeren landelijk redactieteam per sector (indeling nader te bepalen), beoordeelt de aanwezige toetsen tegen de achtergrond van het AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 9 VAN 37

Businessmodel Toetsvoorziening AOC’s Behoeften onderzoek / Vraagarticulatie examenprogramma. Meer precies wordt in januari van ieder jaar gekeken naar de beschikbaarheid van voldoende materiaal voor leerjaar 4 aan de hand van de door Cito bekend gemaakte examenthema‟s. 2. Voor de leerjaren 1 en 2 beoordelen de QMP coördinatoren per sector (evt met hulp van anderen binnen hun AOC) de vraag en het aanbod. Zij informeren zich binnen de AOC‟s. Om ook hier de vrijblijvendheid wat terug te dringen is het voorstelbaar dat de QMP coördinatoren zich laten leiden door eerst een algemene dekking van de basiskennis te bewerkstelligen. Eventueel kan gebruik worden gemaakt van een web- en/of QMP-enquête. 3. Hoewel buiten de scope van dit project, zou binnen het MBO vooralsnog gekeken kunnen worden naar een dekking van diagnostisch materiaal gekoppeld aan de groene kwalificatiedossiers.


PAGINA 10 VAN 37

Businessmodel Toetsvoorziening AOC’s Promotie

4 Promotie 4.1 Doel: Zorgen dat de toetsvoorziening breed wordt gedragen en voldoende wordt gebruikt.

4.2 Taken/activiteiten: 4.2.1 -

4.2.2 -

4.2.3 -

-

Publicitair: Komen tot een goede naam en beeldmerk voor de landelijke toetsenbank (voorstel: ToetsPlaza) Website optimaliseren (www.steunpunt-e-leren.nl/qmp) Nieuwsbrieven publiceren inclusief „success stories‟; wat levert het op (bedrijfseconomisch (formatie), onderwijsinhoudelijk, bijdrage aan onderwijsvernieuwing – Zie ook bijlage kwalitatieve voordelen elektronisch toetsen). Aanwezig op studiedagen docenten Mailing aan schoolleiders, teamleiders, docenten Publicaties/regelmatige aandacht in Groen Onderwijs Activerend: Inzet Consultants/accountmanagers die op locatie de voorziening actief uitdragen en positioneren binnen ook of juist de onderwijsvernieuwing. Wellicht dat de landelijke pedagogische centra (CPS, KPCGroep en APS) hieraan een bijdrage kunnen leveren. Zij begeleiden immers veel scholen bij de realisatie van onderwijsvernieuwingen. Studiedagdelen voor team- en schoolleiders om zowel onderwijskundig als bedrijfskundig het digitaal toetsen onder de aandacht te brengen. Ondersteunend: Inzet van QMP coördinatoren/key users op de werkvloer om gebruik te bevorderen door problemen in het dagelijkse gebruik te helpen oplossen. Uit ervaring is gebleken dat ondersteuning en begeleiding in de nabijheid van de docent zeer belangrijk is voor de implementatie van ICT-voorzieningen. Overzichten (managementinformatie) van het feitelijke gebruik per AOC, per locatie of zelfs per docent). CvB‟s adviseren over de juiste randvoorwaarden en infrastructuur. Deskundigheidsbevordering door opleiding van gebruikers en toetsauteurs.

4.3 Randvoorwaarden Een heel belangrijke opmerking die uit de workshops naar voren kwam is dat de docenten graag zelf klaargezette toetsen willen aanpassen aan het door hen gehanteerde lesprogramma. Binnen de veelgebruikte variant A, is dat nu niet mogelijk. Dit veronderstelt (a) een bepaalde inrichting van de toetsenbank, (b) een middel om zelf een bestaande toets te kunnen modificeren, (c) opgeleide docenten en (d) een ondersteuning die onder handbereik moet zijn. STOAS ontwikkelt samen met QMP de nieuwe applicatie Questionplace. Deze applicatie heeft tot doel om het editen van bestaand toetsmateriaal door docenten op een eenvoudige manier via formulieren mogelijk te maken. Naar deze tool zal in 2008 onderzoek naar bruikbaarheid voor de AOC‟s plaatsvinden.


PAGINA 11 VAN 37

Businessmodel Toetsvoorziening AOC’s Promotie

4.4 Kengetallen ter ondersteuning promotie Op basis van de gebruiksgegevens van QMP kan het volgende inzicht in het gebruik van de bestaande voorziening worden gegeven. 4.4.1 Gebruik van de voorziening: 2004-2005 = 20.036 2005-2006 = 29.422 = plus 47% 2006-2007 = 36.473 = plus 24% 4.4.2

Totaal overzichten 2006-2007

Clusius Groene Welle Friesland Aeres Helicon Hollandcollege Edudelta Oost Terra OC en IPC Groen CITAVERDE Prinsentuin Wellant

Gebruik 39 1 399 2833 25 2080 39 4116 0 1374 366 17791 7409 36472

Bijdrage AOC aan Voorziening € 23.672 € 7.500 € 13.618 € 22.570 € 12.500 € 13.538 € 12.548 € 22.570 € € 10.000 € 13.990 € 14.808 € 41.218 €

208.532

36471

€ € € € € € € € € € € € €

Kosten per afgenomen toets 607 7.500 34 8 500 7 322 5 7 38 1 6 Gemiddeld: € 5,72

Aantal toetsen per ll 0,0070 0,0006 0,1304 0,5627 0,0037 0,6890 0,0155 0,8175 0,0000 0,0000 0,1128 4,8689 0,5160 Gemiddeld: 0,5942

per toets

toets per ll

Uitgaande van de totale kosten voor de AOC‟s gedeeld door het aantal afgenomen toetsen, is de kostprijs van een toets voor een AOC gemiddeld € 5,72. In feite liggen de kosten hoger, maar die zijn het afgelopen jaar geabsorbeerd door fondsen bij de AOC Raad (Totale kosten voorziening bedragen jaarlijks circa 253K€. Kosten per toets komen dan op € 6,93). Uitgaande van een gemiddelde groepsgrootte van 15 leerlingen, kost het gebruik van een QMP toets circa € 100 per groepsgewijs afgenomen toets. Uit de workshops blijkt dat een docent aan voorbereiden en nakijken circa 4-5u2 bezig is. Tegen een uurtarief van € 65, kost het voorbereiden en nakijken per toets circa € 300. Daarmee blijkt dat het gebruik van elektronisch toetsmateriaal ook economisch gezien uiterst voordelig is. Onderzoek binnen AOC Oost toonde aan dat één docent op jaarbasis ca. 20 lesuren kon winnen door digitaal te toetsen (Pasman). Bij bovenstaande berekening passen de volgende aantekeningen: 1. Op dit moment wordt maar zeer beperkt voor de aangeleverde toetsitems betaald (vergoeding aan de AOC‟s die leden voor de Expertisegroep leveren). De Expertisegroep besteedt ongeveer 50% van de beschikbare tijd aan het selecteren, corrigeren/aanvullen, verrijken, vindbaar en beschikbaar maken van toetsmateriaal. 2

Uit workshop Oost


PAGINA 12 VAN 37

Businessmodel Toetsvoorziening AOC’s Promotie Dit kost ca. € 53.000. Uit ervaring blijkt dat zij circa 10 bestaande schriftelijke vragen, aangeleverd door de AOC‟s, per uur kunnen bewerken en op kwaliteit kunnen controleren. 2. Een min of meer commerciële prijs voor het verwerven van een kwalitatief goed toetsitem is: a. Voor productie ca. €10-15 (nu deels onbekend door aanleverende AOC‟s, deels door de Expertisegroep: aanvullen, corrigeren van aangeleverd materiaal) b. Voor het verrijken/metadateren/opnemen in voorziening ca € 5 (nu grotendeels door de Expertisegroep) (Bron beide bedragen Ecabo Toetsvoorziening. Daarbij dient in ogenschouw te worden genomen dat het bij Ecabo een voorziening betreft voor kwalificerend toetsen, met een relatief zware kwaliteitscontrole en -bewaking).


PAGINA 13 VAN 37

Businessmodel Toetsvoorziening AOC’s Verwerven toetsmateriaal

5 Verwerven toetsmateriaal 5.1 Doel: Zorgen dat met respect voor de beschikbare middelen aan de vastgestelde behoefte van de AOC‟s aan toetsmateriaal wordt voldaan (het vastgestelde productieplan wordt gerealiseerd).

5.2 Taken/Activiteiten 5.2.1 Verwerven Binnen de vastgestelde uitgangspunten vanuit het proces behoefte bepaling zijn AOC constructeurs in staat om toetsmateriaal binnen de vastgestelde (jaar)focus aan te leveren. De aangeboden toetsitems worden door het Expertiseteam beoordeeld, waar nodig aangepast en aangevuld. Vervolgens worden ze ontsloten via de toetspagina‟s en voorzien van metadata, zodat de items vindbaar worden via de ECC. Ook zijn proeven gedaan met oud examenmateriaal van Cito. Daarbij waren problemen met conversie. Inmiddels zijn deze problemen voorbij. Het CITO materiaal kan direct vanuit de Citobank in QMP worden ingelezen. Het vastgestelde productieplan (resultaat van het behoeften onderzoek) wordt voorgelegd aan, c.q. besproken met de gekozen toetsconstructeurs / leveranciers. Leveranciers zijn: a. Opgeleide constructeurs van de AOC’s. Zij kunnen direct inspelen op wat er nodig is; zij „leven‟ op de werkvloer. Opleiding kan worden verzorgd door Cito (inhoudelijk) en Stoas en/of het Expertiseteam (gebruik QMP). Via een Train-the-Trainer principe kan kennis worden overgedragen. Ook kan worden gedacht aan een goede e-learning instructie/naslag on line, voor m.n. de minder frequent voorkomende handelingen, zoals het modificeren van bestaand materiaal. Benodigde capaciteit nader vast te stellen. Zie de modellen hieronder. b. OC Bestaande leverancier van toetsen lesmateriaal. Heeft een vastgestelde werkwijze voor het vervaardigen van materiaal, waarbij docenten van de instellingen een belangrijke rol vervullen. c. Cito Grote ervaring op het gebied van toetsen. Maken in opdracht van de overheid examenmateriaal. Dit materiaal is grotendeels „om niet‟ beschikbaar voor de AOC‟s. Er bestaat zeker vraag naar dit materiaal, echter voordat dit opgenomen kan worden in de toetsenbank, moeten er wel aanvullingen op plaatsvinden, zoals feedback en metadatering. Een proef die tot doel had om te testen of materiaal uit de toetsenbank van Cito efficiënt opgenomen kon worden in QMP is geslaagd. Cito kan verder een bijdrage leveren aan het verhogen van de kwaliteit van de toetsenbank. Zie hierna. d. Anderen Er zijn ook andere leveranciers. Zoals Harcourt, Zwets/Zeitlinger en Malmberg. 5.2.2 Beschrijving gewenst toetsmateriaal Een vakkundige „toetsenmaker‟ kan met een nader vast te stellen toetsmatrijs, materiaal aanleveren dat aan bepaalde inhoudelijke en vormvereisten voldoet. Een voorbeeld format voor de ontwikkeling van QMP vragen is beschikbaar.


PAGINA 14 VAN 37

Businessmodel Toetsvoorziening AOC’s Verwerven toetsmateriaal 5.2.3 Kwaliteitsbeoordeling en -waarborging Van belang bij dit alles is het hebben van een toetsenbank waarin toetsmateriaal is opgenomen van een zekere kwaliteit. Het ontvangen materiaal wordt getoetst op kwaliteit door de medewerkers van de Expertisegroep. Deze procedure is beschreven en kent tevens een aantal nieuwe maatregelen die nog niet bestaan in de huidige werkwijze. (Bijlage Kwaliteitsprocedure). Desgevraagd heeft Cito aangegeven hoe zij vanuit hun deskundigheid kunnen bijdragen aan de kwaliteit van de content van de toetsvoorziening: 1. Een intensieve cursus van twee dagdelen voor een groep van maximaal zes personen over het beoordelen van gesloten vragen en kort antwoordvragen bij toetsen groen. De cursisten moeten eigen voorbeelden meebrengen om te leren hoe toetsvragen gescreend moeten worden. (€1500) 2. Ontwikkelen van een checklist voor de toetstechnische kwaliteit van de opgaven van de diagnostische toetsenbank. De checklist kan ook worden gebruikt door de auteurs van de opgaven. Het ontwikkelen van de checklist gebeurt samen met twee medewerkers van de Expertisegroep die hiermee gaan verder werken. (twee dagen €2160) 3. Toetstechnische screening van 80 opgaven op papier uit de diagnostische bank waarbij zonodig schriftelijk verbetervoorstellen worden gedaan (een dag €1080) (Bedragen excl. BTW)

5.2.4 Te produceren content (eis Kennisnet) Dier en Zorg Zie bijlage.


PAGINA 15 VAN 37

Businessmodel Toetsvoorziening AOC’s Beschikbaar stellen toetsmateriaal

6 Beschikbaar stellen toetsmateriaal 6.1 Doel: Ontsluiten en vindbaar maken van verworven toetsmateriaal, zodat de deelnemende AOC‟s aan de Variant A op eenvoudige wijze het toetsmateriaal kunnen gebruiken.

6.2 Taken/activiteiten: -

Verworven toetsmateriaal op kwaliteit controleren, opnemen, metadateren en vindbaar maken in QMP. (Assisteren bij het) Ontsluiten van de Toetsenbank aansluitend bij de ICTinfrastructuur van de instellingen (ECC, portaal, intranet, ELO, Wintoets en/of andere omgeving).

6.2.1 Opnemen in de landelijke toetsenbank Als het aangeboden toetsmateriaal is geaccepteerd, wordt het door de Expertisegroep gemetadateerd en opgenomen in de landelijke toetsenbank. Acceptatie vind plaats wanneer het toetsmateriaal voldoet aan de vastgestelde vraag naar toetsmateriaal zoals vastgelegd in het productieplan en wanneer het voldoet aan de te stellen kwaliteitseisen. Zie hiervoor ook het gestelde in hoofdstuk 5.2.3 en de bijlage Kwaliteitsprocedure. 6.2.2 Ontsluiten Als het materiaal is opgenomen in de landelijke toetsenbank, is het noodzakelijk om dit materiaal zo laagdrempelig mogelijk beschikbaar te stellen aan docenten en leerlingen. Er is voor gekozen om het toetsmateriaal beschikbaar te stellen via zogenaamde toetspagina‟s. Deze pagina‟s zijn in feite niet meer dan een verzameling webadressen die verwijzen naar het materiaal. De Expertisegroep ondersteunt de deelnemende AOC‟s in het opnemen van deze toetspagina‟s (webadressen) binnen de ICT-omgeving van de AOC‟s. Daarnaast is het toetsmateriaal ook gemetadateerd en vindbaar gemaakt via de ECC. 6.2.3 Uitwisselen Een bijzondere vorm van beschikbaar stellen betreft het kunnen exporteren van het QMP toetsmateriaal naar andere afspeel- en ontwikkelomgevingen Van belang hierbij is ook het antwoord op de vraag of toetsmateriaal vanuit QMP ook beschikbaar kan worden gesteld in andere toetsomgevingen dan QMP. Dit is binnen de AOC‟s van belang voor onder meer AOC Terra dat een voorkeur heeft voor het gebruik van de applicatie Wintoets. In opdracht van de AOC Raad heeft STOAS onderzoek gedaan naar de bruikbaarheid van de toetsstandaard QTI (Question & Test Interoperability). Beide applicaties claimen dat zij aan deze standaard voldoen. Conclusie van dit onderzoek is dat op dit moment deze standaard geen goede uitkomst biedt voor uitwisseling tussen Wintoets en QMP, omdat Wintoets niet goed genoeg voldoet aan deze standaard. Directe uitwisseling bleek niet mogelijk. Beperkte uitwisseling (niet op toetsniveau, wel op vraagniveau en alleen van Wintoets naar QMP) is mogelijk door gebruik te maken van een tool van QMP: de Content Converter.


PAGINA 16 VAN 37

Businessmodel Toetsvoorziening AOC’s Beheer en onderhoud

7 Beheer en onderhoud 7.1 Doel: Zorgen dat de voorziening blijft passen bij de behoeften en de doelen die gesteld zijn. Meer in het bijzonder er voor zorgen dat: - gebruikers (docenten en leerlingen) zo laagdrempelig en gebruiksvriendelijk mogelijk met het toetsmateriaal aan de slag kunnen - key users (QMP coördinatoren) hun ondersteunende rol binnen de AOC‟s zo goed mogelijk kunnen vervullen - continuïteit en beschikbaarheid gewaarborgd zijn

7.2 Taken/activiteiten 7.2.1 Technisch beheer Het technische beheer is uitbesteed (hosting servers via Kennisnet en beheer QMP aan STOAS). 7.2.2 Applicatief beheer Het applicatiebeheer berust volledig bij de leverancier QMP. De bijbehorende afspraken zijn vastgelegd in een SLA. Als gebruikers kunnen de AOC‟s niet rechtstreeks invloed uitoefenen op de functionaliteit van de applicatie QMP. Hooguit via de landelijke gebruikersvereniging QMP waar de AOC Raad lid van is. Wel dienen er besluiten te worden genomen over de migratie naar nieuwe versies. Nauwe samenwerking tussen de leverancier en het functionele beheer is daarbij nodig. 7.2.3 Functioneel beheer Hierbij wordt aangesloten op de BiSL model (een modern algemeen model voor inrichting functioneel beheer van informatievoorziening).


PAGINA 17 VAN 37

Businessmodel Toetsvoorziening AOC’s Beheer en onderhoud In dit hoofdstuk komt vooral het uitvoerende proces (onderste laag) aan de orde. In het volgende hoofdstuk de sturende en de richtinggevende processen. Gebruikersbeheer Gebruikersondersteuning - Organiseren uitwisselen kennis en ervaring in het gebruik van de toetsvoorziening - Zorgen voor goede gebruikersinstructies - Invullen helpdeskfunctie en –procedures Dit gebeurt thans vanuit de Expertisegroep ism STOAS. Er is een voorstel voor aanpassing van de bestaande ondersteuning voorhanden, passend bij de huidige modellen (bijlage). Hierover is nog geen besluit genomen. Beheer informatie/content Dit is in de vorige hoofdstukken beschreven Operationele aansturing ICT voorzieningen Het gaat hierbij om de aansturing van het technische beheer. Ook het leveren van gebruiksinformatie behoort hier thuis. Gedetailleerde informatie betreffende de gebruikersondersteuning is opgenomen in de bijlage Gebruikersondersteuning. De daarin beschreven nieuwe activiteiten zullen geleidelijk in 2008 door de Expertisegroep georganiseerd gaan worden. Functionaliteitenbeheer Geschikt houden instellingen van de applicatie op de wensen van de gebruikers. Hierbij gaat het om het specificeren van de wensen voor toekomstig gebruik. Aangezien het hier om een standaard applicatie gaat, zal hier voornamelijk de beoordeling plaatsvinden van nieuwe versies en aanvullende tools en instrumenten (bijvoorbeeld Perception To Go) op bruikbaarheid voor de AOC‟s. Ook het testen van nieuwe versies zowel functioneel als de juistheid van geconverteerde gegevens behoort tot deze taak. Voorstellen formuleren voor migratie naar een nieuwere versie van QMP en impactanalyses betreffende dergelijke voornemens worden binnen deze functie uitgevoerd. Ook is deze functie verantwoordelijk voor eventuele aanpassingen aan de overige niet geautomatiseerde werkprocessen. Al deze activiteiten liggen bij de huidige Expertisegroep.


PAGINA 18 VAN 37

Businessmodel Toetsvoorziening AOC’s Besturing

8 Besturing 8.1 Doel: Zorgen dat de toetsvoorziening optimaal presteert. Aandacht voor infrastructuur ook op de AOC‟s en voor de cultuur ten aanzien van het gebruik van een centrale toetsvoorziening. Zorgen voor passendheid op het huidige en toekomstige onderwijskundige en bedrijfsvoeringsbeleid.

8.2 Taken/activiteiten Onderscheid kan worden gemaakt naar de sturende en de richtinggevende processen: 8.2.1 Sturende processen Het betreft managementtaken die de uitvoerende (vorige hoofdstuk) en richtinggevende processen van het functionele beheer van de toetsvoorziening faciliteren. De hierna te beschrijven activiteiten/processen zijn van elkaar afhankelijk en moeten in samenhang worden beschouwd en georganiseerd: Behoeftemanagement Staat beschreven in hoofdstuk 2. Een belangrijke uitkomst hiervan is het t.z.t. vast te stellen productieplan. Planning en control Hieronder vallen het bepalen van de behoeften aan en het beschikbaar stellen van de inzet van mensen om de toetsvoorziening te ondersteunen. Financieel management Hierbij gaat het om het managen van de kosten en de baten, het opstellen van de businesscase voor het doorvoeren van grote wijzigingen, zoals het migreren naar een nieuwe versie van QMP, het bewaken van de beschikbare budgetten en het evalueren of de voorziening de baten realiseert die deze zich ten doel had gesteld. Contractmanagement Hierbij gaat het vooral om het managen van de licenties, van het ASP contract en van de inhuur van de leden van de Expertisegroep. Ook als er contracten worden gesloten met leveranciers (SLA‟s), dan valt het beheer hiervan hieronder. 8.2.2 Richtinggevende processen Hierbij gaat het om de middellange termijn. Hier wordt bepaald hoe de voorziening er voor de komende jaren uit zal zien. Ook wordt hier bepaald hoe (het beheer van) de toetsvoorziening er uit zal zien. Een nauwe band met de onderwijsprocessen is hierbij nodig. Het onderwijsbeleid zou leidend moeten zijn. - Adviseren en enthousiasmeren van het management van de AOC‟s vwb het inbedden van digitaal toetsen in de onderwijsontwikkeling en het realiseren van een optimale infrastructuur en cultuur binnen het AOC tav digitaal toetsen. - Zorgen voor voldoende budget om de taken van de voorziening te vervullen - Stellen van prioriteiten indien het beroep op de voorziening de beschikbare middelen overschrijdt - Contacten onderhouden op het bestuurlijke niveau AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 19 VAN 37

Businessmodel Toetsvoorziening AOC’s Besturing

8.3 Organisatie 8.3.1 Inbedding De sturende processen worden thans ingevuld door de AOC Raad, samen met de Expertisegroep. Verantwoording wordt jaarlijks afgelegd aan het bestuur van de AOC Raad. In dit project is geconstateerd dat het gebruik van de toetsvoorziening verbetering behoeft, voordat de overgang naar een meer marktgericht functioneren kan plaatsvinden. De stuurgroep van het project stelde vast dat er hier een belangrijke verantwoordelijk ligt voor het management van de AOC‟s. Er is daarom voorgesteld om de richtinggevende processen meer in handen te leggen van het management van de AOC‟s zelf. Gedacht wordt aan een voortzetting van de huidige stuurgroep die als een Raad van Advies zal fungeren. De feitelijke besluitvorming over activiteiten en financiering blijft voorbehouden aan het bestuur van de AOC Raad. 8.3.2 Rechtsvorm Een eventuele keuze voor verzelfstandiging via een aparte organisatie met een eigen rechtsvorm kan pas plaatsvinden als het nieuwe meer marktgerichte model op haalbaarheid is getoetst.


PAGINA 20 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Overeenkomst gebruik toetsvoorziening

Bijlage Overeenkomst gebruik toetsvoorziening

Uitgangspunten In de algemene vergadering van de AOC Raad van 21 juni 2006 is het voorstel voor het vervolgtraject "Gemeenschappelijke Diagnostische Toetsomgeving" besproken.

Daarin is het volgende afgesproken:  De AOC's verbinden zich voor de komende drie schooljaren collectief aan de verdere ontwikkeling van een diagnostische toetsomgeving met gebruikmaking van Question Mark Perception. Hiervoor wordt, los van het eventuele gebruik, door alle AOC's een jaarlijkse ontwikkelbijdrage geleverd. Hiermee wordt voor instellingen de mogelijkheid gecreëerd om op een later tijdtip alsnog in te stappen in een van de gebruiksvarianten.  AOC's kunnen zich aanvullend inschrijven voor drie verschillende gebruiksvarianten en betalen hiervoor een extra bijdrage per deelnemer per instelling (Variant A) of per locatie (Variant B en C). Er kan door een locatie alleen aan Variant B of C worden deelgenomen indien de instelling zich voor Variant A heeft ingetekend.  Bij de ontwikkeling van het voorstel voor de structurele professionele organisatorische inbedding van de diagnostische toetsomgeving met ingang van schooljaar 2007-2008 zal ook het vraagstuk omtrent de onderlinge 'verrekening' van toetsen en instrumenten worden meegenomen.  Bij de bekostiging van de gemeenschappelijke diagnostische toetsvoorziening moet een evenwicht gevonden worden tussen verschillende bekostigingsprincipes, zodat enerzijds recht wordt gedaan aan de gemeenschappelijke ontwikkelkosten (voorinvestering) en anderzijds zoveel mogelijk recht wordt gedaan aan het principe "de gebruiker betaalt". Het voorstel "Gemeenschappelijke Diagnostische Toetsomgeving" en bovenstaande afspraken hebben geleid tot deze overeenkomst voor de schooljaren 2006-2007, 2007-2008, 2008-2009.` Algemene afspraken Door ondertekening van deze overeenkomst verbindt uw instelling zich conform de afspraak in de Algemene Vergadering voor de komende drie schooljaren aan de jaarlijkse ontwikkelbijdrage. Instellingen (variant A) en/of locaties (Variant B of C) kunnen jaarlijks naar behoefte instappen in een van de gebruiksvarianten. In het onderdeel Opgave deelname van deze overeenkomst kunt u aangeven of en zo ja aan welke gebruiksvarianten u wenst deel te nemen. In de overeenkomst Service Perception en Toetsenbank/instrumenten van eind 2005 zijn de kosten voor de instandhouding van de QMP-infrastructuur voor het hele kalenderjaar 2006 opgenomen. De kosten voor de QMP-infrastructuur zijn echter ook een integraal onderdeel van de ontwikkelbijdrage en de kosten voor de gebruiksvarianten binnen deze overeenAOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 21 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Overeenkomst gebruik toetsvoorziening komst. De overeenkomst van eind 2005 komt daarom hiermee te vervallen. Alleen de kosten tot 1 augustus 2006 zullen op basis van de overeenkomst van eind 2005 bij de participerende AOC‟s in rekening worden gebracht. Alle bedragen in deze overeenkomst zijn inclusief BTW. Indien de hoogte van de ontwikkelbijdrage en/of kosten voor deelname aan de verschillende varianten aanpassing behoeven zal dit ter goedkeuring aan de algemene vergadering van de AOC Raad worden voorgelegd. Eventuele resterende budgetten van een bepaald schooljaar worden doorgeschoven naar het daarop volgende schooljaar. Eindverantwoording vindt plaats via de jaarrekening van de AOC Raad. Minimaal vier keer per jaar zal aan het Platform Onderwijs en één keer per jaar aan de algemene vergadering (mei) van de AOC Raad worden gerapporteerd over de voortgang en resultaten. Een locatie kan alleen aan variant B of C deelnemen op het moment dat het AOC zich heeft ingeschreven voor variant A. De noodzakelijke deskundigheidsbevordering voor de inrichting van de lokale organisatie binnen variant B en C komt eenmalig en aanvullend voor rekening van de locaties zelf. Ontwikkelbijdrage De ontwikkelbijdrage is vastgesteld op €7500 bij minder dan 4000 deelnemers en € 12.500 bij meer dan 4000 deelnemers per AOC per jaar. Indien de Vereniging Buitengewoon Groen van de gemeenschappelijke diagnostische toetsvoorziening gebruik wenst te maken, zal van hen eenzelfde ontwikkelbijdrage worden gevraagd. Met het Ontwikkelcentrum, IPC Groene Ruimte en mogelijk andere partijen zullen naar analogie afspraken worden gemaakt over het eventuele gebruik van de gemeenschappelijke diagnostische toetsvoorziening van de AOC's. De ontwikkelbijdrage zal onder andere worden besteed aan:  beheer, onderhoud en verbetering van de QMP-infrastructuur,  bemensing van de expertisegroep elektronisch diagnostisch toetsen,  externe technische en inhoudelijke ondersteuning,  realisatie en verdere uitbouw van de verschillende varianten inclusief de daarbij horende communicatie en PR,  ontwikkeling van een voorstel voor de structurele professionele organisatorische inbedding van de diagnostische toetsomgeving met ingang van schooljaar 2007-2008. Hierin zal ook het vraagstuk omtrent de onderlinge 'verrekening' worden meegenomen. Variant A: Afspelen van centraal beschikbare toetsen De deelnemers krijgen via een website/ELO/intranet/portaal van het AOC directe toegang tot kant- en klare diagnostische toetsen en instrumenten. Dit proces is onafhankelijk van de gebruikte leeromgeving. Deze toetsen zijn afkomstig uit verschillende, veelal gesubsidieerde, projecten (bijvoorbeeld WPS-project) en van aanbieders (bijvoorbeeld het Ontwikkelcentrum). Ook stelt de expertisegroep op verzoek van AOC's kant en klare toetsen samen uit de gemeenschappelijke diagnostische toetsenbank.


PAGINA 22 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Overeenkomst gebruik toetsvoorziening Training en begeleiding van de docenten op de AOC-locatie is in deze variant slechts zeer beperkt nodig. Er is meer sprake van een informatieve sessie over de wijze van gebruik van de diagnostische toetsen en instrumenten. Er is geen specifieke QMP-expertise op locatie noodzakelijk om aan deze variant deel te nemen. Met de instellingen die zich inschrijven voor variant A zal aan het begin van het schooljaar een afspraak worden gemaakt om de inrichting van Variant A (koppeling aan website, intranet, portaal en/of ELO) binnen de instelling te realiseren. Vertegenwoordigers van de AOC's kunnen deelnemen aan een landelijke gebruikersgroep, waarin de vraagarticulatie en kwaliteitsbewaking van de toetsen en instrumenten is belegd. Hiermee wordt geborgd dat alleen kant en klare toetsen en instrumenten beschikbaar komen waaraan ook daadwerkelijk behoefte is. De kosten bedragen € 2,00 per deelnemer per AOC per jaar. Variant B: Via internet toetsvragen maken en toetsen samenstellen. De docenten krijgen toegang tot QMP op het web en schrijven daar hun eigen toetsvragen. Zij vullen daarmee de gemeenschappelijke toetsenbank verder aan. Bij het samenstellen van de toets worden de eigen vragen gecombineerd met centraal beschikbare vragen uit de gemeenschappelijke diagnostische toetsomgeving. De toetsen staan direct klaar voor de deelnemers. De docent leest de resultaten in het elektronische rapport. Lokale toetsontwikkelaars (docenten) volgen gedurende circa vier dagdelen een training en werken onder begeleiding van de lokale QMP-organisatie aan hun toetsen. Ook voor de lokale QMP-coördinator is een training van circa vier dagdelen noodzakelijk. Voor de inrichting van de lokale QMP-organisatie is per locatie circa 0,1 fte noodzakelijk. Met de locaties die zich inschrijven voor variant B zal aan het begin van het schooljaar een afspraak worden gemaakt om het gebruik van deze variant binnen de locatie en de daarbij noodzakelijke ondersteuning te bespreken. De QMP-coördinatoren nemen deel aan het landelijke netwerk van QMP-coördinatoren, waarin de kennisuitwisseling, expertiseontwikkeling en deskundigheidsbevordering op het terrein van QMP centraal staat. De aanvullende kosten bovenop de kosten van variant A bedragen € 2,00 per deelnemer per locatie per jaar. Variant C: Volledig gebruik van de QMP-windowssoftware. Toetsauteurs installeren op hun eigen PC de QMP-software en ontwikkelen daarmee eigen toetsvragen. Zij vullen daarmee de gemeenschappelijke toetsenbank verder aan. Ook de geavanceerde vraagtypen zijn beschikbaar. De QMP-coördinatoren en de toetsontwikkelaar (docenten) krijgen circa zes dagdelen training en werken met de lokale QMP-organisatie aan de geavanceerde toetsvormen. Voor de inrichting van de lokale QMP-organisatie is per locatie circa 0,2 fte noodzakelijk.


PAGINA 23 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Overeenkomst gebruik toetsvoorziening Met de locaties die zich inschrijven voor variant C zal aan het begin van het schooljaar een afspraak worden gemaakt om het gebruik van deze variant binnen de locatie en de daarbij noodzakelijke ondersteuning te bespreken. De QMP-coördinatoren nemen deel aan het landelijke netwerk van QMP-coördinatoren, waarin de kennisuitwisseling, expertiseontwikkeling en deskundigheidsbevordering op het terrein van QMP centraal staat. De aanvullende kosten bovenop de kosten van variant A bedragen € 2,00 per deelnemer per locatie per jaar.

Afrekening De kosten voor uw instelling zullen direct na ondertekening van de overeenkomst in rekening worden gebracht. Looptijd overeenkomst Deze overeenkomst loopt van 1 augustus 2006 tot 1 augustus 2009. Opgave deelname Instelling Ontwikkelbijdrage €7500 < 4000 deelnemers en € 12.500 > 4000 deelnemers Variant A € 2,00 per deelnemer per instelling

Ja/Nee

Variant B € 2,00 per deelnemer per locatie

Ja/Nee Locaties (aantal leerlingen): -

Variant C € 2,00 per deelnemer per locatie

Ja/Nee Locaties (aantal leerlingen): -


PAGINA 24 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Overeenkomst gebruik toetsvoorziening Ondertekening AOC Raad

AOC:

Mevrouw H.G.Weges

Naam:

Manager Dienstverlening

Functie:

Handtekening:

Handtekening:

Datum:

Datum:

Plaats: Plaats: Na invulling en ondertekening zal u zo spoedig mogelijk een door de AOC Raad ondertekend exemplaar retour worden gezonden.


PAGINA 25 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Aanpak behoeften onderzoek

Bijlage Aanpak behoeften onderzoek 1. Inleiding Hoe voorzien we de AOC-docent van voor hem/haar geschikte elektronische (diagnostische) toetsen? Om op deze vraag antwoord te krijgen is een gericht behoefte-onderzoek noodzakelijk. Omdat nog weinig docenten ervaring hebben met het gebruik van elektronische toetsen moeten docenten eerst inzicht krijgen in de mogelijkheden van elektronisch toetsen en kennis nemen van de al beschikbare inhoud van de elektronische toetsenbank. Je kunt geen behoefte aangeven aan iets dat je niet kent. Hieronder staan drie modellen die vorm geven aan een dergelijk behoefte-onderzoek. 2. Modellen behoefte-onderzoek elektronische (diagnostische) toetsen. Basis voor alle drie modellen zijn de vaste werkzaamheden van het Expertisecentrum t het verzamelen en redigeren van beschikbare toetsvragen, voorzien van feedback, samenstellen van de toetsen en beschikbaar stellen van de toetsen onder andere via toetspagina‟s per AOC. Dit laatste in overleg met de toetsenbankcoördinator van het AOC. In grote lijnen zijn er vervolgens drie modellen van behoefte-onderzoek te onderscheiden. Model 1. Workshops per vakgroep per AOC. Werkwijze Het Expertisecentrum organiseert in samenwerking met de toetsenbank-coördinator van het AOC per vakgroep twee workshops van 2 uur. Tijdens workshop 1 krijgen de docenten informatie over trends en ontwikkelingen in onderwijs, toetsen en elektronisch toetsen. In de discussie wordt aangesloten bij de ontwikkelingen op het eigen AOC. Verder krijgen de docenten toegang tot toetsspagina‟s op het intranet/portal van het AOC met links naar de beschikbare toetsen in de toetsenbank. De overzichtspagina voor de leerlingen geeft toegang tot de kant en klare toetsen zoals de leerlingen die zullen zien. De overzichtspagina voor de docenten geeft toegang tot de totale inhoud van de toetsenbank waaruit de leerlingtoets (ad random) is samengesteld. De docenten krijgen als „huiswerk‟ na de eerste workshop de opdracht een algemene vragenlijst in te vullen over de bruikbaarheid van de toetsen en een vragenlijst per toets. Het expertisecentrum verzamelt de informatie van de vragenlijsten ten behoeve van de voorbereiding van workshop 2 en verbetering van de vragen in de toetsenbank. Tijdens workshop 2 krijgen de docenten een overzicht van de informatie die via de vragenlijst is verzameld. Deze informatie wordt besproken waarbij er gezocht wordt naar consensus over de volgende vragen: Welke toetsen zijn direct bruikbaar? Welke toetsen moeten worden aangepast? Hoe moeten de toetsen geordend worden op de toetspagina? Hoe hoog zijn de kosten die aan de leerling mogen worden doorberekend? Wie moet het eventuele nieuwe toetsmateriaal gaan leveren? Hoe moet de toegang tot de toetsen voor docenten en leerlingen op dit AOC worden geregeld? Wie wil een rol spelen in de kwaliteitsprocedure ten behoeve van het verbeteren van de toetsen? Voordelen 1. Werkt samenbindend bínnen het AOC omdat vakgenoten van verschillende locaties elkaar spreken over een afgerond onderdeel namelijk elektronisch (diagnostisch) toetsen. 2. Directe aansluiting bij de onderwijskundige ontwikkelingen van de vakgroep en het AOC. 3. Bereik van een groot aantal docenten. 4. Directe aansluiting bij de ICT-infrastructuur (portal/intranet) van het desbetreffende AOC. 5. Directe aansluiting bij de stand van zaken met betrekking tot de toetsenbank op het AOC en dus is er een korte slag naar het gebruik van de toetsen in de praktijk. 6. Behoefte-onderzoek en implementatie van de toetsenbank (en QMP) zijn direct aan elkaar gekoppeld. 7. Directe contacten met docenten die een rol kunnen spelen in de kwaliteitsprocedure. 8. Direct inzicht in beschikbaar toetsmateriaal van de vakgroep dat eventueel geschikt gemaakt kan worden voor opname in de toetsenbank. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 26 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Aanpak behoeften onderzoek 9. Promotie van de toetsenbank gebeurt direct op de werkvloer. Nadelen 1. Kostbaar: aantal vakgroepen maal het aantal AOC‟s maal twee workshops. 2. Moeilijk te organiseren: medewerking van het locatiemanagement en een actieve toetsenbankcoördinator is noodzakelijk om de workshops georganiseerd te krijgen. Door de 850uren norm moeten de workshops buiten “lestijd” vallen. 3. Noot Ontwikkelcentrum: Vakgroepgewijs onderzoek is niet geschikt voor het VMBO. Een vakgroep heeft echt met de inhoud te maken. Het VMBO onderwijst in algemene vaardigheden en is bedoeld als oriëntatie op een beroep. Onderwijscoördinatoren kunnen bij een behoefteonderzoek voor het VMBO een rol spelen.

Model 2. Landelijke communities van vakdocenten. Werkwijze Het Expertisecentrum sluit direct aan bij landelijke communities van docenten die met elkaar leermateriaal ontwikkelen en kennis delen. Tijdens community-bijeenkomsten worden de twee workshops verzorgd uit model 1 in iets aangepaste vorm. Ten behoeve van de toegang tot de toetsen heeft het Expertisecentrum contact met de toetsenbankcoördinatoren van de verschillende AOC‟s, zodat de leden van de community via hun eigen AOC-intranetomgeving toegang hebben tot de toetsen. Het invullen van de vragenlijsten wordt georganiseerd binnen de community. Voordelen 1. Er is een directe aansluiting bij de landelijke communities zoals deze al bestaan (Bollenacademie, Gewasbescherming) of op dit moment in oprichting zijn (Vervolg op het Groene LAB via het Ontwikkelcentrum: zie bijlage) 2. Minder kostbaar: minder communities en dus minder te organiseren workshops. 3. Er wordt kennis gedeeld over elektronisch toetsen tussen AOC‟s. Nadelen 1. Afhankelijk van het al of niet beschikbaar zijn van communities en hun „volwassenheid‟. 2. Bereik van een kleiner aantal docenten. Dit is afhankelijk van de “volwassenheid” van de community. Voor de promotie van het gebruik van de toetsenbank is men afhankelijk van de community. 3. Verder af van de werkvloer op het AOC: geen koppeling met de onderwijskundige ontwikkelingen van het AOC en de vakgroep. 4. Geen directe verbinding met de implementatie van de toetsenbank (en QMP) bij de AOC‟s. Model 3. Centraal virtueel faciliteren. Werkwijze Het Expertisecentrum stelt de toetsen beschikbaar op de bekende manier en organiseert een behoefte-onderzoek op afstand. Vakdocenten bij verschillende AOC‟s krijgen het verzoek toetspagina‟s en toetsen te bekijken en daarover langs elektronische weg informatie te geven. Het gaat in dit ‟onderzoek op afstand‟ om dezelfde onderwerpen die ook in de workshops in model 1 en 2 aan de orde zijn. De feedback op bruikbaarheid van de toetsen en de toetspagina‟s wordt verwerkt tot een volgende versie van de toetsen en de toetspagina. Voordelen 1. Minst kostbaar: geen workshops, alleen virtuele contacten via e-mail, elektronische vragenlijsten en de website. 2. Geen inbreuk op de schoolorganisatie omdat er geen fysieke bijeenkomsten op de school of in de community worden georganiseerd. 3. Deelnemende docenten kunnen op eigen tijd naar de toetsen kijken en de vragenlijsten invullen. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 27 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Aanpak behoeften onderzoek Nadelen 1. “Anonieme” werkwijze waardoor de verwachte respons op de vragenlijsten beperkt zal zijn. 2. Sterke afhankelijkheid van een goed “relatie-management” door het Expertisecentrum. Goed bijhouden welke docenten voor welke vakken naar welke toetsen kunnen kijken. 3. Ver af van de werkvloer op het AOC: geen koppeling met de onderwijskundige ontwikkelingen van het AOC en de vakgroep. Voor promotie van de toetsenbank moet gebruik worden gemaakt van (elektronische) nieuwsbrieven en de website. 4. Geen verbinding met de implementatie van de toetsenbank (en QMP) bij de AOC‟s. 5. Geen kennisdeling over het gebruik van elektronische toetsen tussen docenten binnen het AOC of binnen de community. 6. Goede ondersteuning en facilitering op de scholen. Model 4

Flexibel toepassen van Model 1, 2 en 3

Werkwijze Flexibel toepassen van alle drie de modellen, afhankelijk van de volwassenheid van communities en de organisatie van de vakgroepen. (Ontwikkelcentrum:) Het VMBO is meer beroepsoriënterend en gericht op het aanleren van algemene competenties dan op het aanleren van de vakvaardigheden. In plaats van behoefteonderzoek te houden binnen vakgroepen, kunnen voor het VMBO landelijke workshops met coördinatoren worden gehouden (model 2). Voor de niveaus 1 en 2 van het VMBO raden wij aan om alle drie de modellen toe te passen, afhankelijk van de volwassenheid van communities en de organisatie van de vakgroepen. Het VMBO is meer beroepsoriënterend en gericht op het aanleren van algemene competenties dan op het aanleren van de vakvaardigheden. In plaats van behoefteonderzoek te houden binnen vakgroepen, kunnen voor het VMBO landelijke workshops met coördinatoren worden gehouden (model 2). Ook is het mogelijk om de eerste workshop in zowel model 1 als model 2 te vervangen door het „onderzoek op afstand‟. De docenten krijgen „huiswerk‟ in de vorm van het zelfstandig beoordelen van digitaal aangeboden toetsen. Voordelen Op maat gesneden toepassing van behoefteonderzoek, examenprogramma‟s (wat moeten ze kennen en kunnen) en behoeftes van onderwijscoördinatoren (wat is in lijn met de onderwijsvisie van de school) waarbij per situatie de voordelen van Model 1, 2 of 3 steeds als motivatie gelden. Door combinaties van modellen toe te passen ontstaat maximale flexibiliteit en efficiëntie. Nadelen Het combineren en kiezen vereist een zeer goede coördinatie en inschatting van de beste keuzes per geval! Stuurgroep Na bespreking in de Stuurgroep, wordt de volgende lijn voorgesteld. Voor de leerjaren 3 en 4 van het VMBO wordt aangesloten op de examenprogramma’s. Hiervoor kan deels gebruikgemaakt worden van Citotoetsen. Bekeken moet worden welke antwoorden van die toetsen nog niet van feed back zijn voorzien. Vervolgens kunnen alle toetsen na metadatering in de toetsenbank worden opgenomen. Eventueel kunnen docenten als aanvulling daarop nog wensen aan aanvullend toetsmateriaal aangeven. Voor de leerjaren 1 en 2 van het VMBO adviseren wij de volgende aanpak: Docenten beoordelen de inhoud aan toetsen per vakgebied. Daaruit volgt een productieplan. De Expertisegroep coördineert het maken en aanvullen van de producten. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 28 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Te ontwikkelen content

Bijlage Te ontwikkelen content 1. Inleiding Aan de hand van de vragenlijsten en de informatie uit de workshops kwam het volgende naar voren t.a.v. de toetspagina‟s, de vorm en inhoud van de toetsen, de eventuele kosten die op de boekenlijst mogen staan en de toegang tot de toetsen. 2. Overzicht beschikbare aanbod in de toetsenbank Als basis voor de workshop stelde het Expertisecentrum de toetspagina “Dier en Zorg” samen. In het overzicht betekent 8/27 dat de toets voor de leerlingen uit 8 vragen bestaat die steeds willekeurig worden geselecteerd uit een databank van 27 vragen over dat onderwerp. Toetsen Dier en Zorg Rassenkennis deeltoets Rund: 8/27 deeltoets Varken: 7/7 deeltoets Geit: 8/10 deeltoets Kat: 8/22 deeltoets Kleine knaagdieren: 8/20 deeltoets Kooi en volierevogels 8/29 deeltoets Paard: 8/11 deeltoets Pluimvee: 8/22 de deeltoets Reptielen: 8/21 deeltoets Vissen: 8/24 deeltoets Konijn: 8/20 deeltoets Hond: 8/11 samengestelde toets Rassenkennis: 60/235

Verzorging deeltoets Algemeen 8/ 12 deeltoets Identificatie en registratie: 8/10 deeltoets Exterieurverzorging: 6/6 deeltoets Exterieur: 35 elementen/1 deeltoets Exterieur paard: 35 elementen/1 deeltoets Interieur paard: 30 elementen/1 deeltoets Exterieur kat: 25/1 deeltoets Gezondheid: 8/11 samengestelde toets Verzorging: 30/48

Voeding deeltoets Voeding algemeen:8/22 deel toets Voeding rund: 8/10 deeltoets Voeding hond: 8/9 deeltoets Voeding voedermiddelen: 8/13 deeltoets Voeding tabellenboek rund: 6/6 deeltoets Voeding tabellenboek paard: 8/13 deeltoets Voeding tabellenboek: 8/9 deeltoets Vertering: 8/13 samengestelde toets Voeding: 30/94

Overige onderwerpen deeltoets Verzorgen hygiene: 4/4 deeltoets Fokkerij: 8/22 deeltoets Vruchtbaarheid: 8/20 deeltoets Verzorgen leefomgeving 8/19 deeltoets EHBO: 8/48 deeltoets Hanteren dieren: 8/10

Totaal vragenbank Dier en Zorg: 500 vragen

3. Beoordeling van beschikbare aanbod in de workshops Toetspagina’s - Huidige indeling van de toetspagina handhaven. Toetsen - Huidige toetsen zijn over het algemeen goed bruikbaar. We gaan een deel ervan zeker gebruiken. - Aantrekkelijk voor leerlingen. - Het resultaat opslaan als PDF is prima, meer rapportage voorlopig niet nodig. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 29 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Te ontwikkelen content

4. Nieuwe toetscontent. Nieuwe toetspagina’s Toetsen ook groeperen per dier. Dus verzorging, huisvesting, voeding e.d. groeperen in aparte toetsen en samengestelde toetsen per dier. De huidige indeling ook handhaven: dezelfde toetsen mogen onder verschillende kopjes terugkomen. Nieuwe toetsen Nieuwe onderwerpen of uitbreiden van aantal toetsvragen: - Gezondheidszorg + Hygiëne - Gedrag - Anatomie + slachten - Milieu en mest - Dierspecifieke toetsen met daarin verschillende onderwerpen voor o Schaap, o Insecten en geleedpotigen (Voedseldieren), o Amfibieën, o Duif, o Watervogels, o Dierentuindieren en exoten, o Kleine knaagdieren indelen naar: cavia-achtigen, hamsterachtigen, muis-rat - Oude Cito-eindexamens verwerken in oefentoetsen. - De eigen WPS-toetsen van Prinsentuincollege digitaliseren. Inhoud en vorm - Visuele toetsen samenstellen: elke vraag een plaatje. - Interactieve vraagvormen toepassen: hot-spot-vragen / multiple hot spot. - Gesloten vragen gebruiken zodat de leerlingen direct feedback krijgen op hun resultaat. - De vakcontext (vb dier, bloem e.d.) ook toepassen in algemene vaardigheidstoetsen (vb rekenen, Nederlands). - Binnen Dier is meer variatie en diepgang in het toetsaanbod gewenst. Daarbij dient ook gelet te worden op geografische verschillen (in het westen meer gezelschap-/knuffeldieren; in het oosten meer productiedieren). - Praktijk gericht toetsen wordt steeds belangrijker. Toetsen niet alleen betreffende de theorie. - Als het toetsen betreft voor een praktijkvak, dan zo weinig mogelijk tekst (“anders wordt het een toets Nederlands”).

5. Zelf samenstellen van de toetsen - Er is veel vraag naar het zelf kunnen samenstellen van de toetsen. (Variant B) Dit om aan te sluiten bij de vakinhoud die op het eigen AOC wordt aangeboden. - Er is ook vraag naar het zelf kunnen aanpassen van de toetsen door bv standaard toetsen te modificeren (Variant B). - Als de docenten zelf de toetsen kunnen samenstellen willen ze deze elektronische toetsen ook als kwalificerende toetsen gaan inzetten. De overweging: 1 keer goed investeren levert bij het nakijken heel veel tijdwinst op. 6. Leveranciers Vakdocenten AOC’s Op de eerste plaats noemen de docenten de AOC-vakdocenten als leveranciers. De organisatie van het aanleveren en laten controleren van de toetsvragen moet dan door het Expertisecentrum worden geleverd. Cito Vooral het leveren van de oude examens als oefenstof wordt gezien als zeer nuttig. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 30 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Te ontwikkelen content Ontwikkelcentrum De kosten voor het materiaal van het OC worden als te hoog beoordeeld. De docenten hebben nog geen kennis gemaakt met het QMP-materiaal van het OC. 7. Kosten op de boekenlijst De docenten vonden een bedrag van € 8 – 10 op de boekenlijst voor een volledige set van elektronisch toetsen redelijk.

8. Aanvullingen vanuit de Expertisegroep – – – – –

Overzicht is bruikbaar. Voor willekeurige derde is er wel iets meer toelichting nodig m.n. in 1) inleiding en bij 2) beoordeling Toelichting en eenduidige beschrijving in tabel van aantal elementen/toetsen. Wat is een element? Zie o.a. exterieur en interieur Kat en paard 25/1? Nieuwe toetscontent: Cito-examens en WPS-toetsen Prinsentuin zijn bronnen en geen beschrijving van behoefte. Is de lijst van nieuwe toetsen een optelsom van alles wat de deelnemers geroepen hebben of is het de gemene deler? Er is nog wel een afweging nodig of deze behoefte ook breed gedragen wordt. Het overzicht toetsen dier en zorg is gebaseerd op de inhoud van de toetsenbank van de AOC‟s. Wellicht dat er nog wel wat materiaal te vinden is binnen de verschillende “AOC-ruimtes” op de landelijke servers, maar dit zal waarschijnlijk marginaal zijn. We zouden wel kunnen overwegen om binnen de AOC‟s na te gaan of deze materialen wellicht ergens al te vinden zijn.


PAGINA 31 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Kwaliteitsprocedure

Bijlage Kwaliteitsprocedure 3. Inleiding Toetsen zullen door docenten alleen gebruikt gaan worden als ze door hen van voldoende kwaliteit worden gevonden. Aansluitend bij het model kwaliteitssysteem dat bij Kennisnet Ict op school in ontwikkeling is gaat het om drie zaken: 1. Het ontwikkelen productieproces. 2. De feitelijke kenmerken van het product in dit geval de elektronische toets. 3. Het verzamelen van gebruikservaringen die gebruikt worden om zowel het productieproces als de kwaliteit van het product zelf te verbeteren. Een en ander is samengevat in de onderstaande figuur

Model Kwaliteitssysteem Kennisnet Ict op school http://www.ictopschool.net/software/kwaliteitdigitaalleermateriaal

4. Kwaliteitssysteem toegepast op de Elektronische toetsenbank. Hieronder wordt de huidige procedure beschreven en aangevuld met voorstellen om de procedure te verbeteren. 1. Ontwikkel- en productieproces Het toetsmateriaal in de elektronische toetsenbank is afkomstig van vakdocenten werkzaam in het groene onderwijs in combinatie met materiaal dat afkomstig is van uitgeveijen, het Ontwikkelcentrum en Cito. - In alle gevallen bekijkt een lid van het Expertisecentrum de toetsvragen en redigeert hij/zij de vragen om ze te laten voldoen aan toetsconstructie-eisen. De leden van het Expertisecentrum hebben hiertoe een tweedaagse cursus gevolgd. (Bureau ICE) - Tegelijkertijd vindt er een beperkte inhoudelijke controle van de kwaliteit van de vragen plaats doordat de leden van het Expertisecentrum ervaren vakdocenten zijn en dus inhoudelijk bekwaam op hun deelgebied. - De toetsvragen worden in een “omgewerkt” om zo goed mogelijk gebruik te maken van de mogelijkheden van QMP. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 32 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Kwaliteitsprocedure -

Voorstel 1: Uit een pool van vakdocenten kiest het Expertisecentrum 4 docenten verspreid over verschillende AOC‟s en vraagt hen de toetsen te bekijken en van commentaar te voorzien. De commentaren worden verzameld en leiden tot aanpassingen in de vragen en de toets.

2. Product: de elektronische toets De elektronische toetsen worden door de docent zelf ingepast in het leerarrangement van de leerlingen. Dit is doorgaans in de vorm van een oefentoets of diagnostische toets waarmee de leerling informatie krijgt over zijn/haar vorderingen op het onderwerp. Onderwijsproceskenmerken - Diagnostische toetsen en oefentoetsen. - Vaste eenvoudige navigatie die standaard is voor alle toetsen. - Het gedetailleerde toetsresultaat kan door de gebruiker als PDF-bestand worden opgeslagen om op te slaan in het portfolio, te printen en in te leveren of te mailen aan begeleiders. - De toetsen meten de onderste twee niveaus van de piramide van Miller: “Weten” en “Weten hoe”.

Figuur 1 Piramide van Miller competenties toetsen

Competentie- leerdoelkenmerken - Toetsen zijn nu gekoppeld aan thema‟s die zowel binnen vmbo als mbo een rol spelen. - Nieuw 13 (opgenomen in activiteitenplan Expertisecentrum 2007-2008): toetsen worden gekoppeld aan de “groene werelden”, examenstandaarden HGL, vakken vmbo, competenties vmbo. Vindbaarheidskenmerken - De toetspagina‟s met een verzameling van links naar de toetsen zijn nu ingedeeld naar inhoudelijk thema. Deze worden via de toetsenbank-coördinator van het AOC op een vindbare plaats in het intranet/elo/portal van het AOC geplaatst.

3

De onderdelen die hier als nieuw zijn aangegeven zijn opgenomen in het Activiteitenplan 2007-2008 van het Expertisecentrum. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 33 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Kwaliteitsprocedure

-

Nieuw 2: De toetsen worden gekoppeld aan het Groene contentzoekprofiel (metadatastandaard op basis van de landelijke afspraak contentzoekprofiel) en dus voorzien van beschrijvende informatie (metadata). Nieuw 3: De toetsen worden vindbaar als apart toetsobject in Livelink en zijn daardoor vindbaar via de Educatieve contentcatalogus en andere vormen van zoeken en vinden in Livelink. Nieuw 4: De toetsen zijn vindbaar voor AOC‟s die geen gebruik maken van Livelink als leeromgeving als deze AOC‟s wel kunnen zoeken in de Educatieve contentcatalogus.

Technische productkenmerken - De toetsen zijn gemaakt in QMP en zijn opgeslagen als assessment op de QMP-toetsserver (server 03: diagnostische toetsserver) - De gebruiker hoeft niet in deze server in te loggen omdat de toetslinks gekoppeld zijn aan een automatische inlognaam/wachtwoord voor het desbetreffende AOC. - Nieuw 5: In Livelink wordt gebruik gemaakt van een speciaal ontwikkeld Livelinkobject dat geautomatiseerd de algemene inlognaam/wachtwoord-combinatie aan de link toevoegt waardoor ook vanuit Livelink niet apart ingelogd hoeft te worden. - Nieuw 6: Het AOC krijg maandelijks een overzicht van welke toetsen in die maand door leerlingen van het AOC zijn gemaakt. 3. Gebruikersinformatie - De docenten geven informatie over de toetsen door aan de QMP-coördinator van hun locatie. Deze spelen de informatie door aan het Expertisecentrum. - Nieuw 7: Gebruikers van de toetsen (zowel docenten als studenten) die gebruik maken van Livelink worden aangespoord om de toetsen te beoordelen en het oordeel van een toelichting te voorzien. Daarbij gebruikt men de “rating-funcitonaliteit” van Livelink. Het nieuw ontwikkelde livelinkobject zorgt voor een “knop beoordelen” zodat de gebruik direct de beoordeling kan geven.


PAGINA 34 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Gebruikersondersteuning

Bijlage Gebruikersondersteuning 1. Inleiding De gebruikersondersteuning is gekoppeld aan de verschillende varianten van het gebruik van de toetsenbank en de QMP-basisvoorziening.

Opbouw AOC toetsvoorziening

2. Gebruikersondersteuning per variant Variant A - De toetsenbankcoördinator van het AOC zorgt in overleg met het Expertisecentrum voor de toegang tot de toetsen via de portal/elo/intranet van het AOC. - De toetsenbankcoördinatoren van de AOC‟s bezoeken twee maal per jaar een landelijk bijeenkomst van het “gebruikersplatform Elektronische toetsenbank“ georganiseerd door het Expertisecentrum. - Ondersteuning van het gebruik van de toetsen door de docent / leerling organiseert het AOC zelf. De helpdesk en ondersteuning van de docenten wordt lokaal georganiseerd. Geschatte investering per AOC • Toetsenbankcoördinator/Beheerder van de portal/ELO: 4 dg/jaar. • Docenten: 20 uur ruimte in de jaartaak. Variant B/C - De toetsenbankcoördinator van het AOC zorgt in overleg met het Expertisecentrum en de QMPcoördinator van het AOC voor de toegang tot de toetsen via de portal/elo/intranet van het AOC. - De QMP-coördinatoren van het AOC ondersteunen op hun lokatie de docenten die zelf toetsen samenstellen en afnemen. De inhoud van de ondersteuning is afhankelijk van variant B (webbased toetsen samenstellen en toetsvragen maken) of variant C (de volledige software op de eigen PC gebruiken om toetsen samen te stellen en toetsvragen te construeren). - De QMP-coördinatoren bezoeken drie maal per jaar een landelijk kennisdelings- en scholingsbijeenkomst van het “netwerk QMP-coördinatoren” georganiseerd door het Expertisecentrum. - De QMP-coördinatoren maken gebruik van een gezamenlijke elektronische projectruimte op Livelink en kunnen gebruik maken van de Stoas-helpdesk voor QMP-vragen. Geschatte investering per AOC-locatie Variant B  QMP-coördinator: Opleiding: 4 dagdelen, Formatie: 0,1 fte. AOC RAAD – PROJECT EDT DOCUMENTNAAM: 2008-02-19 Businessmodel Toetsvoorziening AOCs GEWIJZIGD: 19-2-2008 21:42

PAGINA 35 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Gebruikersondersteuning 

Docenten: 4 dagdelen opleiding + 40 uur ruimte in de jaartaak.

Geschatte investering per AOC-locatie Variant C  QMP-coördinator: Opleiding: 5 dagdelen, Formatie: 0,1 – 0,2 fte.  Docenten: 6 dagdelen opleiding + 80 uur ruimte in de jaartaak. 3. Succesfactoren implementatie. De genoemde investeringen zijn voldoende om een start te maken met het gebruik van de elektronische toetsenbank en/of QMP in het onderwijs. Een en ander komt alleen goed van de grond als het (locatie)management zich hard maakt voor de implementatie. Een tweede succesfactor is het vinden van een enthousiaste “trekker” binnen het AOC met voldoende status en communicatieve eigenschappen om collega‟s mee te nemen.


PAGINA 36 VAN 37

Businessmodel Toetsvoorziening AOC’s Bijlage Kwalitatieve voordelen van digitaal toetsen

Bijlage Kwalitatieve voordelen van digitaal toetsen Bron: Expertisegroep QMP Vermindering van het beroep op taalvaardigheid van studenten door inzet van “grafische toetsvragen” en multimedia. Dit is een voordeel bij dyslexie. Besparing op de tijd die gemoeid is met het samenstellen van toetsen. Besparing op de tijd die nodig is voor het afnemen van toetsen. Besparing op de correctietijd. Besparing op de tijd die gemoeid is met het samenstellen en afnemen van inhaaltoetsen. In zijn algemeenheid: verhoging van de flexibiliteit en vergroting van de mogelijkheden om in te spelen op individuele leertrajecten. Besparing (op o.a. archivering) door automatische documentatie van het toetsproces. Besparing door eenvoudige verwerking van de resultaten van toetsen. Verbetering van items door relatief eenvoudige analyse van toetsresultaten. De mogelijkheid om leerlingen op elk gewenst moment en elke plaats zelf hun kennis te laten toetsen via diagnostische toetsen en oefenprogramma‟s op het internet Verhoging van de kwaliteit van de begeleiding van studenten doordat er coachingsinformatie beschikbaar komt bij het gebruik van (diagnostische) toetsen. Vergroten van de betrouwbaarheid van de beoordeling van een toets. Inzet van het toetsmedium voor de ontwikkeling van lesstof. Op termijn: besparing door automatische verwerking toetsresultaten in nOISe.


PAGINA 37 VAN 37

Businessmodel Toetsvoorziening AOC s

Recommend Documents