Programma. Theorie: Data-Based Decision Making (DBDM), Assessment for

Programma  Theorie: Data-Based Decision Making (DBDM), Assessment for

Learning (AfL), and Diagnostic Testing (DT) in Formative Assessment  Opdracht: belemmerende en bevorderende factoren voor formatieve assessment  DBDM in de praktijk: de datateam® methode

Data-Based Decision Making, Assessment for Learning, and Diagnostic Testing in Formative Assessment Fabienne van der Kleij, Jorine Vermeulen, Kim Schildkamp & Theo Eggen (contact: [email protected])

Onderwijs verbeteren op basis van toetsresultaten  Toetsresultaten als vorm van feedback.  Verschillende toetsen leiden tot verschillende vormen van feedback.  Het is belangrijk om onderscheid te maken tussen verschillende vormen van assessment.  Zie: Van der Kleij, F.M., Vermeulen, J.A., Schildkamp, K., & Eggen, T. (submitted).

Formatieve assessment  Termen en definities worden onterecht door elkaar gebruikt.  “Definition is important because if we can’t clearly define an innovation, we can’t meaningfully document its effectiveness” (Bennett, 2011, p. 8).  Alleen als we duidelijk onderscheid maken tussen de verschillende vormen van toetsen kunnen we ook iets zeggen over het waarom, hoe, wanneer en onder welke condities toetsresultaten gebruikt kunnen worden door leerlingen, docenten en scholen om te leiden tot leren.

Drie vormen van formatieve assessment:

Behalen van resultaten en doelen

Focus op de kwaliteit van het leerproces

Data-based decision making

DBDM (OGW)

Assessment for learning

AfL

Diep inzicht in het leerproces en uitkomsten

Diagnostic testing (diagnostische toets)

DT

DBDM/OGW (1/3)  Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010)  systematisch  analyseren  van aanwezige data binnen de school  en de informatie gebruiken  om het onderwijs te verbeteren  Data: gegevens die systematisch verzameld en georganiseerd zijn en betrekking hebben op het onderwijs (Lai & Schildkamp, 2013).  Bijvoorbeeld toetsresultaten, leerlinggegevens, vragenlijsten.

DBDM/OGW (2/3)  DBDM voor formatieve assessment:  Leerdoelen stellen, in kaart brengen en monitoren van leerprestaties en op basis hiervan instructie aanpassen.  DBDM voor formatieve evaluatie  Op basis van data beleid ontwikkelen, schoolverbeteringsplannen opstellen, professionele ontwikkeling behoeftes van docenten identificeren en monitoren of de doelen van de school bereikt worden.

DBDM/OGW (3/3)  Aggregatie niveau School, klas en leerling  Assessment methodes Objectieve data van gestandaardiseerde toetsen, zoals het LVS en het centraal examen. Formeel verzamelde data  minder vaak beschikbaar, daarom ook data van bv. methodegebonden toetsen en observaties (mits gestructureerd verzameld).  Feedback loops Feedback gebaseerd op de verzamelde data. Docenten en schoolleiders vertalen van deze data naar concrete acties in de school en in de klas De duur van deze cycli en feedback loops verschilt en is meestal retroactief.

AFL (1/3)  Het proces van het continu zoeken van informatie wat gebruikt kan worden door zowel de leerling als de docent om op basis hiervan te kunnen beslissen waar de leerling op dit moment is in zijn/haar leren, waar de leerling naar toe moet en hoe de leerling hier kan komen (ARG, 2002).  Dit behoort tot de dagelijkse lespraktijk van zowel docenten als leerlingen: zoeken naar informatie afkomstig uit gesprekken, demonstraties, presentaties, observaties en toetsen, hierop reflecteren en hierop reageren zodat er continu geleerd wordt (Klenowski, 2009).

AfL(2/3)  Leerlingen hebben een centrale rol in het leerproces. Het gaat om actieve participatie van de leerling.

 Een onderzoeksmatige en interactief klimaat in de klas moet leiden tot meer autonomie, motivatie en reflectie bij leerlingen. Leerlingen zijn samen met docenten verantwoordelijk voor hun eigen leerproces.

AfL (3/3)  Aggregatie niveau Klas en leerling

 Assessment methodes Methodegebonden toetsen, korte testjes, dialoog in de klas, mondelingen, praktische demonstraties, presentaties, portfolio’s, peer assessment, self-assessment. Kwantitatieve en kwalitatieve data, gepland en ongepland, formeel en informeel  onmiddellijk actie kunnen ondernemen op basis van de data voor verbetering van het leerproces.  Feedback loops Continue dialoog en feedback loops, onmiddellijke feedback om het leren bij te sturen. Assessments geïntegreerd in het leerproces, feedback loops kort  continu het onderwijs en leerproces aanpassen, meestal interactief, soms retroactief of proactief.

DT (1/3)  Hoe een taak wordt opgelost geeft informatie over de ontwikkelingsfase waarin een leerling verkeerd.  Het identificeren van oplossingsstijlen van leerlingen en overgeslagen of verkeerd uitgevoerde stappen veroorzaakt door misconcepties en voorkennis.  Het doen van uitspraken over het leren van een individuele leerling op basis van antwoordpatronen.

DT(2/3)  Het identificeren van de ontwikkelingsfase van een leerling door op zeer gedetailleerd niveau in kaart te brengen wat een leerling al wel en niet beheerst en waar eventuele blokkades in het leerproces aanwezig zijn.  Het interpreteren van proces data om misconcepties en kennis te identificeren.  Zeer gedetailleerde metingen  kan zowel formatief als summatief gebruikt worden.

DT (3)  Aggregatie niveua Leerling  Assessment methodes Assessment taken  om te komen tot inferenties met betrekking tot hoe het gedrag op een bepaalde taak samenhangt met het denkproces van de leerling. Assessment resultaten: geven informatie over de ontwikkelingsfase van een leerlingen. Vaak gebruik van CAT (adaptief toetsen op de computer).  Feedback loops Meestal kort, retroactief, soms interactief of proactief.

Comparison of the three approaches

 Aggregatie niveaus Student

Class DBDM

School

Assessment Evaluation

AfL DT

 Assessment methodes Verschillende doelen: verschillende assessment methodes en toetsen.  afhankelijk van type data, doelen en wat er op het spel staat.

 Feedback loops Op verschillende niveaus en met verschillende frequentie.

Conclusie  DBDM, AfL en DT: verschillende theoretische achtergrond (zelfs afkomstig vanuit verschillende leertheorieën) en verschillende doelen op verschillende aggregatieniveaus.  Verschillende vormen van assessment noodzakelijk om complexiteit van leren op alle niveaus goed in kaart te kunnen brengen.  Het integreren van deze drie benaderingen: kan leiden tot meer valide, betere, formatieve beslissingen om de kwaliteit van het onderwijs te verbeteren.  Schoolleiders, docenten en leerlingen: samen zorgen dat er continu feedback gegeven en ontvangen wordt op het niveau van de school, de klas en de leerling, om het leren in de school te verbeteren.

Verschillende vormen van assessment in balans

“The field will need to marry information from the different assessments to produce a union that a stronger than any of the parts in isolation” (O’Malley, Lai, McClarty, & Way, 2013, p. 146).

Van formatieve assessment naar leren  Verschillende vormen van toetsen leiden tot verschillende soorten feedback met betrekking tot zowel het lesgeven als het leren.  Feedback: “information provided by an agent (e.g. teacher, peer, book, parent, self, experience) regarding aspects of one’s performance or understanding. Feedback is thus a consequence of performance” (Hattie & Timperley, 2007).  Dus feedback = doelbewust verzamelde informatie om toekomstig functioneren te beïnvloeden.

Assessment als feedback voor wie?

Assessment als feedback  Leerlingen: - Assessment resultaten als feedback op hun eigen leren.

 Docenten: - Assessment resultaten als feedback op het leren van leerlingen, maar ook als feedback op hun eigen lesgeven. - Op basis hiervan kan een docent ook weer (extra) feedback geven aan leerlingen.

Opdracht in groepen  Wat zijn belemmerende en bevorderende factoren als het gaat om het gebruiken van assessment resultaten in de klas als vorm van feedback voor zowel leerlingen als docenten?  Denk hierbij bijvoorbeeld aan factoren m.b.t. de toets zelf, de docent en de context

Voorwaarden toets  Duidelijke doelen  Betrouwbaarheid en validiteit  Feedback niveau (persoon, taak, proces en zelfregulatie)  Soort feedback (correct vs. incorrect, het geven van het correcte antwoord, of het geven uitgebreide feedback)  Timing van de feedback (onmiddellijk of vertraagd)

Voorwaarden context  Schoolleiders: aanmoedigen, faciliteren en motiveren van docenten voor het formatief gebruiken van toetsen.  Doelen rondom toetsing (PTA, PTO)  Ondersteuning bij het gebruik van toetsen  intern (ondersteuning in de school bij het analyseren en gebruiken van toetsen)  extern (bijvoorbeeld training in toetsgebruik)

Voorwaarden docent  Assessment literacy: “Assessment literacy refers to the capacity of teachers – alone and together – (a) to examine and accurately understand student work and performance data, and correspondingly, (b) to develop classroom, and school plans to alter conditions necessary to achieve better results” (Fullan & Watson, 2000, p. 457).  Pedagogische en didactische vaardigheden  Samenwerking tussen docenten (en schoolleiders).

Formatieve assessment in de praktijk via de datateam® methode

Zie ook: www.datateams.nl

Herkenbaar? • Van probleem direct naar maatregelen nemen

Probleem

Maatregel

Datateam methode • Acht stappenplan volgens DATATEAM® methode • Van probleemdefinitie (bv. examencijfers Engels, wiskunde in de brugklas) naar mogelijke oorzaken, data-analyse en het nemen én evalueren van maatregelen • Doel: professionalisering en schoolverbetering

Datateams • Team van 6-8 personen  Docenten  1-2 leden schoolleiding  Kwaliteitszorgmedewerker (indien mogelijk) • Eens per drie weken bijeenkomst, 1,5 uur per keer • Twee jaar begeleiding vanuit UT, daarna zelfstandig verder

Stap 1: Probleem definiëren • Startvraag datateam: met welk specifiek probleem gaan we aan de slag? • Voorbeelden onderwerpen:  Examenresultaten voor een vak  2F rekenniveau  Afstroom klas 2 HV naar 3 TL

• Data verzamelen om probleem vast te stellen  Hoe ‘bewijs’ je dat iets een probleem is?  Werkelijkheid komt niet altijd overeen met beeld van de school

• Datateam formuleert probleemstelling, met hierin:  

Huidige situatie Gewenste situatie (doelstelling)

Voorbeeld stap 1 We zijn ontevreden over het CE-cijfer voor het vak Engels in de vwo-afdeling, want dit cijfer is over de afgelopen vier jaar gemiddeld een 5,5. We willen bereiken dat het CE-cijfer volgend schooljaar minimaal een 5,8 is en dit het schooljaar daarop minimaal een 6,0 is’.

Stap 2: Hypotheses opstellen • Brainstorm mogelijke oorzaken  Alle mogelijke oorzaken op tafel  Input van zowel datateam als collega’s

• Definitieve keuze voor hypothese  Op basis van eigen criteria; bijv. Waar heeft de school de meeste invloed op? Welke hypothese leeft al jaren in de school?

• Definitief formuleren hypothese  Concreet  Meetbaar  Plausibel

Opdracht hypotheses • Vorm met de buurman/vrouw een datateam • Brainstorm samen over mogelijke hypotheses bij de probleemstelling: We zijn ontevreden over het CE-cijfer voor het vak Engels in de vwo-afdeling, want dit cijfer is over de afgelopen vier jaar gemiddeld een 5,5. We willen bereiken dat het CE-cijfer volgend schooljaar minimaal een 5,8 is en dit het schooljaar daarop minimaal een 6,0 is’.

• Kies er een uit en formuleer deze concreet en meetbaar.

Voorbeelden stap 2 • Leerlingen die de onderbouw vwo op de nevenlocatie hebben gevolgd, hebben structureel minimaal 0,5 punt lager op het gemiddeld eindexamencijfer voor Engels dan leerlingen die de onderbouw vwo op de eigen locatie hebben gevolgd. • Leerlingen met een Cito score lager dan 540 scoren gemiddeld lager dan een 6,0 op hun eindexamen • De cijfers in de eerdere leerjaren hangen samen met het eindexamencijfer Engels. • In de doorlopende leerlijn Engels wordt (te) weinig aandacht besteed aan het toetsen van leesvaardigheid, waardoor leerlingen onvoldoende worden voorbereid op het CE. We verwachten dat het verschil in aandeel van leesvaardigheid in de toetsen tussen 2 vwo en 5 vwo minstens 25% is

Stap 3: Data verzamelen • Benodigde data bepalen  Welke data nodig? Kwantitatief, kwalitatief of beide?  Toegang tot data; Wie kan dit verzamelen?  Zoveel mogelijk gebruik maken van bestaande data

• Datatabel maken  Samenvattingstabel maken van ruwe data  Logisch en overzichtelijk weergeven

Voorbeelden stap 3 Citoscore <540 Cohort 2010-2011 Cohort 2011-2012 Cohort 2012-2013 Gemiddeld 2011-2013

Citoscore 540-544

5,6 5,8 5,5 5,6

2 vwo 0%

3 vwo 2%

4 vwo 13%

5 vwo 29%

Verschil 2V-5V 29%

Schooljaar 2011-2012

0%

4%

9%

22%

22%

Schooljaar 2012-2013

21%

33%

32%

49%

28%

Gemiddeld 3 cohorten

14,5%

13%

18%

33,3%

26,3%

Schooljaar 2010-2011

Citoscore >545

5,9 5,3 5,4 5,5

5,6 5,1 5,6 5,4

35

Stap 4: Controle kwaliteit data • Betrouwbaarheid: meting is onafhankelijk van toeval    

Hoeveelheid data (meerdere cohorten?) Volledigheid en fouten (missen er gegevens?) Instrument (heldere vragen?) Wijze afname (omstandigheden)

• Validiteit: meten we wat we willen meten  Aansluiting bij hypothese  Recentheid

Voorbeelden stap 4 • De groepen leerlingen zijn in elk cohort vrij klein, gemiddeld rond de 25 leerlingen. • Hoe goed worden de PTA’s ingevuld? • Cito data betrouwbaar en valide

Stap 5: Data-analyse • Kwantitatief:  Beschrijvend (gemiddelde, frequenties, spreiding, etc.)  Verklarend (t-toets, correlatie, Chi-kwadraat) • Kwalitatief:  Beschrijvend  Verklarend

Voorbeelden stap 5 • Berekenen van percentages, gemiddelden • Berekenen van correlatie (samenhang tussen cijfers) • T-toetsen voor het vergelijken van twee groepen leerlingen

Stap 6: Interpretatie en conclusie • Interpretatie: wat zegt de data-analyse over de gestelde hypothese? • Conclusie: klopt de geformuleerde hypothese?  Hij klopt! Een belangrijke oorzaak van het probleem is gevonden. Verder naar stap 7: het nemen van maatregelen.  Hij klopt niet. Mogelijke oorzaak klopt niet. Terug naar stap 2: het opstellen van een nieuwe hypothese  Hij klopt, maar we vermoeden nog andere oorzaken. Deel van de oorzaak van het probleem gevonden. Vervolg op twee sporen: én naar stap 7 om maatregelen te bedenken én weer terug naar stap 2 om een volgende hypothese te onderzoeken.

Voorbeelden stap 6 • Leerlingen die de onderbouw vwo op de nevenlocatie hebben gevolgd, hebben structureel minimaal 0,5 punt lager op het gemiddeld eindexamencijfer voor Engels dan leerlingen die de onderbouw vwo op de eigen locatie hebben gevolgd. • Leerlingen met een Cito score lager dan 540 scoren gemiddeld lager dan een 6,0 op hun eindexamen • De cijfers in de eerdere leerjaren hangen samen met het eindexamencijfer Engels. • In de doorlopende leerlijn Engels wordt (te) weinig aandacht besteed aan het toetsen van leesvaardigheid, waardoor leerlingen onvoldoende worden voorbereid op het CE. We verwachten dat het verschil in aandeel van leesvaardigheid in de toetsen tussen 2 vwo en 5 vwo minstens 25% is

Stap 7: Maatregelen nemen • Ideeën voor maatregelen verzamelen  Kennis en ervaring gebruiken (ook van collega’s!)  Literatuur gebruiken

• Maatregel(en) kiezen • Actieplan opstellen  Uitvoering beschrijven (wie, wat, wanneer?)

• Maatregel(en) communiceren  Opstellen communicatieplan

Voorbeelden stap 7 • Grondig herzien pto (programma voor toetsing en ontwikkeling) en pta (programma voor toetsing en afsluiting) met een groter aandeel leesvaardigheid in de doorlopende leerlijn • Extra ondersteuning leesvaardigheid voor leerlingen in de huidige examenklas. – Tijdens de lessen worden de leerlingen ingedeeld in drie groepen (leesvaardigheid, luistervaardigheid en woordenschat), om zo op maat de ondersteuning te kunnen toepassen.

Stap 8: Evaluatie • Procesevaluatie:  Koppeling met maatregelen/acties (stap 7)  Evaluatieplan opstellen voor proces: Hoe worden de maatregelen uitgevoerd? Hoe worden de maatregelen ervaren?

• Effectevaluatie:  

Koppeling met probleemstelling (stap 1) Evaluatieplan opstellen voor effecten: In hoeverre is de oorzaak weggenomen? Is het doel bereikt?

Voorbeelden stap 8 • Proces: – Wat vinden leerlingen van het werken in drie groepen? – Iedere periode in de sectievergadering het nieuwe pto of pta evalueren, waarbij zowel aandacht aan het proces (hoe worden de wijzigingen uitgevoerd?) als de uitvoering (wordt leesvaardigheid meer getoetst?) wordt besteed.

• Effect: – Is het probleem opgelost en is de gewenste situatie is bereikt: het CE cijfer voor dit schooljaar is minimaal een 5,8 en dat jaar erop een 6,0.

Pilot 5 datateams • • • •

2 jaar lang gevolgd Observaties van alle bijeenkomsten Interviews met de datateamleden Voor de exacte resultaten: [email protected]

Functioneren van datateams • Van ervaring en intuïtie naar data • In het begin vooral externe hypotheses, maar hypotheses op klasniveau kloppen vaker. Is echter belangrijk onderdeel van het proces, het is belangrijk voor professionele ontwikkeling: – – – –

Vertrouwen creëren Oefenen met het stappenplan Je leert het meest van fouten! Toont het belang van data aan

• Na een aantal rondes hypotheses: “we hebben gekeken naar oorzaken buiten de school, oorzaken op schoolniveau en naar onze leerlingen, misschien moeten we meer kijken naar wat er in de klas gebeurt”.

Depth of inquiry en attributie

Depth of inquiry

Attribution

Bevorderende en belemmerende factoren • Schoolleider • Tijd • Samenwerking en communicatie binnen en buiten het datateam • Vrijwillig • Gezamenlijk probleem en doel • Structuur/stappenplan • Ondersteuning

Eerste effecten • Professionele ontwikkeling: – Opbrengstgericht werken – Leren van elkaar • Schoolverbetering: – Betere wiskundeprestaties – Minder zittenblijvers

Hoe verder? • Komende jaren 37 datateams – – – –

Twee jaar begeleiding van de UT Werkboek en materialen Cursus data analyse Ontmoetingsdagen en conferenties

Bedankt voor uw aandacht! • Zijn er nog vragen? Meer informatie: • www.datateams.nl • www.datauseproject.eu • http://www.icsei.net/index.php?id=1302 • [email protected]