Kwaliteit van toetsing onder de loep
kwaliteitszorg rondom toetsing 6 februari 2014
Ochtendprogramma
inleiding op methodiek
werken aan methodiek
terugkoppelen opbrengsten
presentatie opzet vervolgonderzoek
Vormgeven van een kwaliteitszorgsysteem voor toetsing binnen de eigen instelling Uitgaan van eigenaarschap
De Toetsing Getoetst
Onderzoeksproject; De toetsing getoetst
Centrale vraag project: Wat helpt opleidingen bij het systematisch analyseren en vaststellen van toetskwaliteit, het vaststellen van verbeterplannen t.a.v. toetskwaliteit, het uitvoeren van deze verbeterplannen en het duurzaam borgen van toetskwaliteit?
Projectdoelen Projectdoelen 1. Een heldere invulling van het begrip toetskwaliteit. 2. Het ontwerp van een methodiek om toetskwaliteit te analyseren. 3. Het vaststellen van de validiteit, betrouwbaarheid, bruikbaarheid en transparantie van de methodiek. Onderzoeksvragen
t.b.v. projectdoel
1. Hoe wordt toetskwaliteit geoperationaliseerd?
1
2. Welke modellen zijn er om tot een onderbouwde analyse van toetskwaliteit te komen?
2
3. Welke stappen zijn nodig voor een onderbouwde analyse van toetskwaliteit?
2
4. Welke lagen in toetskwaliteit kunnen worden onderscheiden?
2
5. In welke mate is de methodiek valide, betrouwbaar, bruikbaar en transparant?
3
Projectdoel 1:
Een heldere invulling van het begrip toetskwaliteit
JOOSTEN-TEN BRINKE, SLUIJSMANS & PEETERS (2012) De kwaliteitspiramide voor eigentijds toetsen en beoordelen
Projectdoel 2:
Het ontwerp van een methodiek om toetskwaliteit te analyseren
AISHE methodiek (gebaseerd
EFQM-INK model)
De AISHE-methode heeft de volgende kenmerken die ook voor een methodiek om toetskwaliteit vast te stellen van belang zijn:
Door zelfevaluatie komen opleiding tot een positie- en ambitiebepaling;
Er wordt uitgegaan van fasen van ontwikkeling;
Er wordt gebruik gemaakt van betrokkenen hanteren;
De relatie met de PDCA cyclus van Deming.
n set van criteria die alle
Stappen Methodiek Stap 1: Voorbereiding
Vaststellen moderator
Vaststellen wie zullen deelnemen aan de analyse van de toetskwaliteit
Stap 2: Individueel scoren Stap 3: De consensusbijeenkomt
Vaststellen van ambitie en verbeterstappen
Uitvoeren en monitoren van verbeterstappen
Schematische weergave methodiek
Vragen per laag, per dimensie Lagen TOETSORGANISATIE
TOETSBEKWAAMHEID
TOETSEN -toets/toetsitems -toetsprogramma -toetsbeleid
ONTWERP
Hoe zit het bouwwerk van de toetsorganisatie in elkaar?
Hoe wordt professionalisering m.b.t. toetsing ingericht?
Hoe worden toets/toetsitems, toetsprogramma, toetsbeleid ontworpen?
CRITERIA
Welke criteria worden gebruikt om de toetsorganisatie in te richten?
Welke criteria worden gebruikt om toetsbekwaamheid vast te stellen?
Welke criteria worden gebruikt om toetskwaliteit vast te stellen?
KWALITEITSBORGING
Hoe wordt de kwaliteit van de toetsorganisatie geborgd?
Hoe wordt de kwaliteit van de toetsbekwaamheid geborgd?
Hoe wordt de kwaliteit van de toets/toetsitems, toetsprogramma en toetsbeleid geborgd?
Dimensies
Bepalen positie en ambities Kwaliteit van de toets Mate van kwaliteit Ontwerp
Hoe wordt de toets ontworpen?
1 Zelfbeeld Ambitie
Criteria
Borging
Welke criteria worden gebruikt om de kwaliteit van de toets vast te stellen?
Zelfbeeld
Hoe wordt de kwaliteit van de toets geborgd?
Zelfbeeld
Ambitie
Ambitie
2
3
4
5
Projectdoel 3:
Het vaststellen van de validiteit, betrouwbaarheid, bruikbaarheid en transparantie van de methodiek.
Opzet onderzoek Uitgangspunten: -
gelijktijdige validering en implementatie
-
looptijd bij voorkeur studiejaar
Opzet: 0.
voorbereiden methodiek
1.
analyseren kwaliteit van toetsing
2.
ambitiebepaling en verbeterstappen
3.
uitvoeren en monitoren verbeterstappen
4.
schrijven verbeterplannen
5/1. analyseren (verbetering) kwaliteit van toetsing
Werken aan methodiek Eerste aanzet tot een gedeeld kader over de invulling van de cellen per piramidelaag
Concrete vragen:
is de invulling van de cellen volledig en in voldoende mate opleidingonafhankelijk?
biedt de invulling van de cellen in voldoende mate een handvat om het gesprek over kwaliteit aan te gaan?
welke aanscherpingen/aanpassingen kunnen worden gedaan?
geeft het bespreken van de methodiek in deze setting nu al aanknopingspunten voor eigen beleid?
Aan het werk!
6 groepen van circa 5 personen:
2x Toetsbeleid en Toetsen/Toetsitems
2x Toetsprogramma en Toetsen/Toetsitems
2x Toetsbekwaamheid en toetsorganisatie
Terugkoppeling opbrengsten werkrondes
Uitgangspunten bij het vervolgonderzoek
gelijktijdige validatie en implementatie –
altijd betrokkenheid van Kenniscentrum Faculteit Educatie HAN, SU O&O (HAN) en Hogeschool Zuyd
–
deelname aan zowel de implementatie- als onderzoeksmatige activiteiten
inzet (uren) vanuit opleiding kan per opleiding verschillen –
afhankelijk van beschikbare tijd en expertise
–
afhankelijk van grootte/omvang opleiding
inzet van ‘externen’: –
Kenniscentrum Kwaliteit van Leren/SU O&O: • onderzoeksactiveiten • begeleiding proces (procesmatig en inhoudelijk)
–
Zuyd Hogeschool: • onderzoeksactiviteiten
Opzet en planning vervolgonderzoek 2015
september oktober november december januari februari maart april mei juni juli augustus
2014
Stap 0: voorbereiding methodiek Stap 1: analyseren kwaliteit van toetsing Stap 2: ambitiebepaling en verbeterstappen Stap 3: schrijven verbeterplannen Stap 4: uitvoeren en monitoren verbeterstappen Stap 5/1: analyseren (verbetering) kwaliteit van toetsing
Opbrengsten stap 0: voorbereiding methodiek
Gelijke beelden over invulling van het begrip kwaliteit op alle lagen van de kwaliteitspiramide;
Indien de bijeenkomst daar aanleiding toe geeft: een eigen beschrijving van de cellen voor de opleiding;
Inzicht in welke personen moeten worden betrokken bij de positie- en ambitiebepaling (evt. per laag);
Inzicht welke informatie opleidingen gebruiken en/of nodig hebben om de cellen te kunnen begrijpen;
Input om de cellen van de conceptmethodiek aan te scherpen/aan te passen;
Input om de systematiek van de conceptmethodiek aan de passen.
Opbrengsten stap 1: analyseren kwaliteit van toetsing
Consensus over de mate van kwaliteit per laag en dimensie;
Beknopte rapportage waarin de mate van kwaliteit per laag en dimensie is beschreven.
Opbrengst stap 2: ambitiebepaling
Consensus over de ambitie ten aanzien van de mate van kwaliteit per laag en dimensie;
Beknopte rapportage waarin de ambities ten aanzien van de mate van kwaliteit per laag en dimensie beschreven worden (incl. doelen, verbeteracties, prioritering etc.)
Verdere aanscherping van het gebruik van de methodiek in het kwaliteitszorgsysteem (PDCA-cyclus);
Zicht op effectiviteit van consensusbijeenkomsten (input voor bijstellen handleiding en scoringsformulieren);
Input om de cellen van de conceptmethodiek aan te scherpen/aan te passen;
Input om de systematiek van de conceptmethodiek aan de passen.
Opbrengst stap 3: schrijven verbeterplannen
Plan van aanpak voor de middellange termijn met daarin aandacht voor alle lagen en dimensies van de kwaliteitspiramide. –
de geprioriteerde doelen worden uitgewerkt in concrete activiteiten.
–
benoemd wordt wanneer de doelen zijn behaald.
Opbrengst stap 4: uitvoeren en monitoren verbeterstappen Schrijven plan van aanpak voor middellange termijn:
Plan van aanpak voor de middellange termijn met daarin aandacht voor alle lagen en dimensies van de kwaliteitspiramide.
Uitvoering en monitoring verbeterstappen:
Uitvoering van in stap 2 geprioriteerde verbeteracties
Monitoring door examencommissies
Inzicht in effectiviteit van de methodiek.
Opbrengst stap 5/1: analyseren (verbetering) kwaliteit van toetsing
Per laag en per dimensie consensus over de mate van kwaliteit (na uitvoering verbeterplannen) en het bereiken van de ambities;
Beknopte rapportage over de opbrengsten van het doorlopen van een eerste cyclus van de methodiek;
Input voor een later te organiseren bijeenkomst voor het vaststellen van nieuwe ambities;
Inzicht in de mate van effectiviteit en bruikbaarheid van de methodiek.
Tijdsinvestering (indicatie!)
tijdsinvestering afhankelijk van omvang opleiding en beschikbare tijd en expertise
overzicht is voorbeeld voor opleiding waar 15 personen deelnemen (kernteam van 14 personen + 1 ondersteuner): exacte inzet zal per opleiding anders zijn!
stap 3 en 4 kunnen pas begroot en gepland worden na uitvoering stap 2
Studiejaar 2014-2015
Stappen
Planning
Uren in te zetten vanuit de opleiding
In te zetten én te bekostigen externe uren uren
euro’s
Stap 0
Maand 1
38
10
€ 1.250
Stap 1
Maand 2
95
36
€ 4.500
Stap 2
Maand 3
53*
30
€ 3.750
Stap 3
Maand 4
Nvt
Nvt
Nvt
Stap 4
Maand 5-9
Nvt
Nvt
Nvt
Stap 5 / 1
Maand 10
Nvt
Nvt
Nvt
186 uur**
76
€ 9.500
Totaal implementatietraject in uren en euro’s
* inclusief 5 uur deelname aan focusgroep interview ** te verdelen over 15 personen (14 kernteamleden en 1 ondersteuner); dit is gemiddeld 12,4 uur per persoon uit te voeren in 3 maanden.
Vragen? Voor meer informatie kun je contact opnemen met Tamara van Schilt-Mol:
[email protected]
06 10 96 16 15
