Expertiseteam Toetsenbank Hanzehogeschool 19 oktober 2010
SLIM toepassen van digitale toetsen SLIM toepassen van digitale toetsen
Alex van Essen 1
Expertiseteam Toetsenbank
Het groene onderwijs
Expertiseteam Toetsenbank
Het groene onderwijs
• 13 AOC’s en Buitengewoon groen • Ministerie van LNV • VMBO, MBO en maatwerktrajecten • > 100 locaties • 60.000 deelnemers
Expertiseteam Toetsenbank video
Expertiseteam Toetsenbank
Vier in balans monitor 2009 ICT in het onderwijs: de stand van zaken Waarvoor wordt ICT gebruikt? Hoewel steeds meer leraren hun arsenaal aan onderwijsgerelateerde ict-toepassingen uitbreiden, zijn internet, een elo en oefen- en tekstverwerkingsprogramma’s de meest gebruikte applicaties. Een meerderheid maakt meer dan vier keer per maand van al deze toepassingen gebruik. Sommige applicaties worden maandelijks meer dan 10 keer gebruikt. Games en digitaal toetsen worden, binnen alle sectoren, weinig ingezet.
5
Expertiseteam Toetsenbank
Programma
SLIM samenwerken en bekostigen SLIM ondersteunen SLIM gebruiken binnen CGO SLIM ontwikkelen en beheren
6
Expertiseteam Toetsenbank
SLIM samenwerken en bekostigen
7
Expertiseteam Toetsenbank
Wat is Toetsplaza? Creative Commons
Digitale toetsomgeving groen onderwijs (vmbo en mbo) waarin digitale toetsen ontwikkeld, gedeeld en afgenomen kunnen worden. Alle AOC’s (vmbo/mbo-groen) doen mee : 120 scholen en 60.000 deelnemers Ontwikkelcentrum doet mee als contentmakelaar voor het groene onderwijs. Van, voor en door docenten en deelnemers groen onderwijs. Alle content is van en voor het collectief; gebruik, wijziging en aanvulling naar behoefte. Gezamenlijke investering en verantwoordelijkheid voor ontwikkeling en gebruik. Beveiligde omgeving voor examinering.
8
Expertiseteam Toetsenbank
Waarom samenwerken?
Efficiënt gebruik van middelen Inkoop van licenties Landelijke hosting en beheer toetsservers Ontwikkeling en beheer toetsmateriaal Gebruikersondersteuning
Kwaliteitsborging Ontwikkeling Inhoud Afname
Kennisdeling en uitwisseling Toetsomgeving QMP Toepassing van digitaal toetsen in de school
Samenwerken in vrijheid! 9
Expertiseteam Toetsenbank
Randvoorwaarden • Sturing en ondersteuning management t.a.v. beleid, capaciteit en middelen Integrale aanpak i.r.t. onderwijsvernieuwing Toetsbeleid • ICT-infrastructuur op orde • Structurele inpassing in onderwijsprogramma • Structurele inpassing in werkorganisatie /samenwerking docenten toetsontwikkeling en afname • Beschikbaarheid • Laagdrempelig
10
Expertiseteam Toetsenbank
Bekostigingsmodel
Variant B: QMP web
Variant C: QMP full
+ per locatie / per leerling
+ per locatie / per leerling
Variant A: Toetspagina’s + Per AOC / per leerling
QMP toetsen OC
QMP QMP QMP toetsen toetsen toetsen IPC IPC IPC
Basisvoorziening QMP
Alle AOC’s betalen een vast bedrag afhankelijk van leerlingaantallen.
11
Expertiseteam Toetsenbank
Gebruikvarianten Implementatieinspanning
Functionaliteit beperkt
laag
A. Afspelen van toetsen – Openbare toegangspagina’s – Toegang via portal / ELO – Toegang via Toetspagina’s/ECC B.
Via web vragen maken en toetsen samenstellen (QM Live)
C. QMP-windowssoftware via de QMPcoördinator hoog
uitgebreid 12
Expertiseteam Toetsenbank
Kansen •
Tijdswinst docent – –
•
Maken toets en correctiemodel Correctie
Aantrekkelijk voor leerlingen (lerenden zijn i.h.a. positief) – Multimediaal – Interactief – Feedback op maat – Uitslag direct bekend – Schrijfvaardigheid en spelling geen belemmering voor goed resultaat – Inzetbaar bij zorgleerlingen (b.v. dyslexie) – Variatie in toetsvragen
• •
Tijd- en plaatsonafhankelijk meer flexibiliteit Kwaliteitswinst – – – –
Inrichting toetsbeleid Toetsvragen (inhoud) Toetsafname (ad random) Betrouwbaarheid resultaten 13
Expertiseteam Toetsenbank
Belemmeringen • Onbekendheid met Toetsplaza en digitaal toetsen. • Borging kwaliteit examens heeft hoogste prioriteit onder druk van inspectie. • Nauwelijks toetsbeleid (formatief/diagnostisch) beschikbaar. • Onderwijstijd zet beschikbare capaciteit onder druk. • Onvoldoende integratie/koppeling met onderwijs ontwikkelprojecten • Discussie over vorm en opzet toetsen en examens in het kader CGO is nog in volle gang. • Inpassing in onderwijsprogramma en werkorganisatie vindt niet plaats. • Praktische problemen w.o. te weinig PC’s
Expertiseteam Toetsenbank
Laagdrempelig Toetspagina’s – kant en klare toetsen (enkelvoudig of ad random) – vmbo en mbo (liefst doorlopende leerlijn) – geordend naar inhoudelijke thema’s of functie – kerntaken/competenties CKS en/of eindtermen examenprogramma’s vmbo – Verschillende vormen van toetsen van MC tot puzzel vb
Expertiseteam Toetsenbank
Expertiseteam Toetsenbank
Expertiseteam Toetsenbank
Kennismaken met … Demo’s op Toetsplaza: • • • • • •
Voorbeelden van vraagtypen Harry Potter (met highscore lijst) Talenkwis PABO Rekentoetsen (de Nationale Rekentoets) Wetenschapsquizen (de Nationale Wetenschapsquiz en een aantal Science Quizen) Knowledgequiz (Europea Webgame)
Doelstellingen: • • •
Wat is mogelijk Hoe kan het er uit zien Hoe werkt het
Expertiseteam Toetsenbank
Statistieken 2004-2005
2005-2006
Clusius College AOC de Groene Welle AOC Friesland Groenhorst College
1.092
2.187
Helicon Opleidingen Lentiz Onderwijsgroep
1.623
2.069
Edudelta Onderwijsgroep AOC Oost
3.918
3.349
AOC Terra Citaverde College
2006-2007
2007-2008
2008-2009
2009-2010
39
3.279
3.011
8.783
-
590
690
1.108
399
3.578
3.980
5.796
2.833
5.404
2.349
4.882
25
1.896
1.245
2.238
2.080
3.605
6.603
10.913
39
1.687
2.149
1.871
4.124
8.783
10.482
6.491
-
1.682
1.649
3.053
371
1.486
2.578
1.761
Prinsentuin College
4.948
11.858
17.791
38.140
33.832
41.230
Wellantcollege
3.197
6.556
7.420
18.023
25.084
31.083
20.036
29.422
39.072
103.217
117.763
> 140.000
Totaal (incl. OC)
19
Expertiseteam Toetsenbank
SLIM ondersteunen SLIM ondersteunen
20
Expertiseteam Toetsenbank
Ondersteuningorganisatie Ondersteuningorganisatie Gebruikers QMP-coördinatoren/ beheerders
Proces • Ondersteuning via QMPcoördinatoren en beheerders per AOC/locatie • QMP-coördinatoren bieden ondersteuning op locatie
Expertisegroep Diensten • Servicedesk en advisering • Ontmoeting en uitwisseling • Deskundigheidsbevordering • Communicatie en promotie 21
Expertiseteam Toetsenbank
SLIM gebruiken in CGO
22
Expertiseteam Toetsenbank
Digitaal toetsen en CGO Digitaal toetsen en CGO QMP - intake - psychometrische testen Diagnostische/formatieve - oefenen/inprenten -zelftoetsing - voortgangstoetsing - quiz
- vragenlijsten
toetsing
- voorwaardelijk voor PVB
Examinering/summatieve toetsing - talen en rekenen Proeve van bekwaamheid
23
Expertiseteam Toetsenbank
Functie van digitaal toetsen
QMP P360˚
QMP toetsen
Kennis is een onmisbare laag van een competentie. Dus ook van belang bij competentiegericht onderwijs. 24
Expertiseteam Toetsenbank
Functie van digitaal toetsen • • • •
In kaart brengen voorkennis Diagnosticeren eigen vaardigheden Oefenen Peilen of het geleerde begrepen is (tussentoets)
25
Expertiseteam Toetsenbank
Functie van digitaal toetsen • Leerling is er zelf aan toe of heeft er behoefte aan • Functie binnen leerproces • Op advies of eigen keuze (of combinatie) • Verplicht of niet verplicht (of combinatie)
Leren om te toetsen?
Toetsen om te leren? 26
Expertiseteam Toetsenbank
Feedback bij toetsen Vraagfeedback: • •
Overleg tussen partijen: Toetsplaza / Ontwikkelcentrum / Cito Uiteindelijk doel: Bij iedere vraag een goede feedback
Assessmentfeedback: • •
Afhankelijk van doel en wensen Simpel tot uitgebreid
Inzage & Coaching: • • •
Coachingrapporten Afhankelijk van doel en wensen Simpel tot uitgebreid 27
Expertiseteam Toetsenbank
Expertiseteam Toetsenbank
Expertiseteam Toetsenbank
Expertiseteam Toetsenbank
Feedback bij toetsen Voorbeeld Inzage & Coaching: Prinsentuin College plogin op server
31
Expertiseteam Toetsenbank
Functie van digitaal toetsen Maakt kennis competent? Joke de Jonge - Quasi-Experimenteel Onderzoek naar het Effect van Repeterende Kennis Toetsen op het Competentieniveau van Deelnemers in het Basisjaar van de Middelbare Beroepsopleiding tot Verzorgende en Verpleegkundige (juni 2007)
deelname aan repeterende kennistoetsen significant hoger resultaat op de competentiegerichte schriftelijke casustoetsen
32
Expertiseteam Toetsenbank
Functie van digitaal toetsen Requirements for Competency Assessment Programmes Liesbeth K.J. Baartman, Theo J. Bastiaens, Paul A. Kirschner Open University of the Netherlands Paper presented at the Onderwijs Research Dagen 2004, Utrecht Using only one single method of assessment is not sufficient to determine a competency. Therefore, in this paper we argue for a competency assessment programme (CAP) consisting of a combination of different methods of assessment, including both knowledge-based and more performance-based methods. Such an assessment programme should be aligned with learning and instruction. This paper focuses on the assessment of competencies, shortly defined as the integration of knowledge, skills and attitudes. When to Assess? As has already become clear in the definition given by Cizek (1997), an assessment can take place before, after or during the learning process. Because competency-based education contains individual learning routes and is development-oriented it is not useful to assess only at the end of the instructional event (Nieweg, 2002). Ideally, learners should be able to individually determine when they want to be assessed and use the feedback to direct their learning process. The time of the assessment should thus be individually mediated and occur on multiple occasions.
33
Expertiseteam Toetsenbank
SLIM ontwikkelen en beheren SLIM ontwikkelen en beheren
34
Expertiseteam Toetsenbank
Ontwikkelorganisatie Gebruikers
Proces • Vraagsturing via redacteuren • Redacteuren (win-win): – Redigeren en ontsluiting items van en voor scholen – Stimuleren gebruik op scholen
Redacteuren •
Hoofdredactie: – Toetspagina’s maken – Kwaliteitsborging
Hoofdredactie •
Kwaliteitshandboek
Diensten • Toetspagina’s • Nieuwe instrumenten en toepassingen
35
Expertiseteam Toetsenbank
Toetspagina’s (kant-en-klare toetsen)
formatieve toetsen vmbo en mbo (doorgaande leerlijn) geordende naar thema’s of functie gerelateerd aan kerntaken/competenties CKS en/of eindtermen examenprogramma’s vmbo enkelvoudig of ad random toetsen
36
Expertiseteam Toetsenbank
Toetspagina’s • • • • • • • • • • • • •
Assortimentskennis Bloem Boomverzorging Dier en Zorg Gewasbescherming Paard Rund Trekkerrijden Tuincentrum VCA Voeding Paraveterinair VMBO CE Voorbereiding
• • • •
Economie Nederlands Biologie Techniek
Totaal: 30.000 vragen 1.200 toetsen 37
Expertiseteam Toetsenbank
Toetspagina’s in voorbereiding • • • • • • •
Milieu en recht Groene ruimte Gewasbescherming Veiligheid laboratorium BHV Teelt Assortimentskennis
• • • • • • •
Wiskunde Duits Scheikunde Natuurkunde Frans Engels Diagnostiek VMBO
38
Expertiseteam Toetsenbank
Toetsingangen voor … •
Toetspagina’s per thema (vmbo mbo)
•
Speciale toetsen/oefeningen Werkplekken (WPS)
•
ECC: CKS toetsen en toetspagina toetsen
•
Arrangementen
•
Collectieve Reken- en Taaltoetsen AOC’s
39
Expertiseteam Toetsenbank
Tot stand komen AOC
Docent auteur Docent auteur
AOC
Toetsserver
AOC/vestiging klaslokaal
Docent auteur
Docent auteur
AOC
Docent auteur
Website ECC Livelink ………... ………... 40
Expertiseteam Toetsenbank
Beschikbaarheid toetsen Leerling/deelnemer
Website Toetsplaza
Zoeken via ECC
Zoeken via Edurep
QMP-toetsen AOC’s / OC
Arrangement
ELO/portaal/ Intranet
QMP-toetsen AOC / Vestiging / Eigen 41
Expertiseteam Toetsenbank Beschikbaarheid toetsen Inloggen Algemene AOC-code Gesloten toetslink Inloggen Eigen inlogcode Ingeroosterd
Leerling/deelnemer Gesloten toetslink
Automatische inlog Code in link Open toetslink Automatische inlog Code gegenereerd Door intranet/LMS Open toetslink Scorm-pakket Via ELO/LMS Open toetslink 42
Expertiseteam Toetsenbank
Voorbeelden • Educatieve Content Catalogus • Arrangeren met Contentcorner/Wikiwijs met toetslink via Livelink
• Arrangeren met Contentcorner/Wikiwijs met toetslink via pagina
• Arrangeren op eigen wijze • Via Elo – bijv. Moodle 43
Expertiseteam Toetsenbank
Educatieve Content Catalogus (ECC)
Educatieve Content Catalogus
44
Expertiseteam Toetsenbank
Zoeken in ECC
45
Expertiseteam Toetsenbank
Zoeken in ECC
Metadatering Standaarden
46
Expertiseteam Toetsenbank
Zoeken in ECC Zoeken in ECC
47
Expertiseteam Toetsenbank
Zoeken in ECC Zoeken in ECC
48
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (1)
49
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (1)
50
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (1)
51
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (1)
52
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (1)
53
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (2)
54
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (2)
55
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (2)
56
Expertiseteam Toetsenbank
Arrangeren met de Contentcorner (2)
57
Expertiseteam Toetsenbank
Arrangeren op eigen wijze
58
Expertiseteam Toetsenbank
Arrangeren op eigen wijze
59
Expertiseteam Toetsenbank
Arrangeren op eigen wijze
60
Expertiseteam Toetsenbank
Arrangeren op eigen wijze
61
Expertiseteam Toetsenbank
Via Elo – bijv. Moodle
62
Expertiseteam Toetsenbank
Via Elo – bijv. Moodle
63