Datateams voor schoolverbetering: Verhalen uit de praktijk Kim Schildkamp:
[email protected]
Opbrengstgericht werken • Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010) – Systematisch – Analyseren van aanwezige data binnen de school – De informatie gebruiken om het onderwijs te verbeteren
Data • Verschillende soorten data, zoals: – – – – – – –
zelfevaluatie resultaten inspectierapporten toetsresultaten vragenlijsten instroom, doorstroom, uitstroom observaties in de klas interviews met leerlingen
Waarom? • Controleren of doelen bereikt worden • Geen intuïtie en gevoel, maar verantwoorde beslissingen • Kan leiden tot onderwijsverbetering (e.g. Carlson, Borman & Robinson, 2011) • Echter, (nog) te weinig gebruik
Oplossing: datateams!
Wat is een datateam? • Team van 6-8 personen • Docenten en schoolleiding (evt. kwazo-medewerker) • Aan de slag met een bepaald onderwerp: doorstroom, rendement, examenresultaten • Doorlopen het acht stappenplan: – Hypotheses toetsen met data – Data-analyse en conclusies – Oplossingen implementeren en evaluatie
• Uiteindelijk: onderwijs verbeteren
Datateams in Nederland Bonhoeffer College Carmelcollege Salland Herbert Vissers College
Twents Carmelcollege Reggesteyn Ubbo Emmius
Groenhorst
Het Nieuw Lyceum
Dingstede
Almere College
Maartenscollege Pius X College
Het Erasmus Oudehoven Pallas Athene
Het Noordik Sg. St.-Canisius
EHL Het Slatink Bataafs Lyceum
Trias EHL Het Vlier Het Hooghuis Melanchthon
Stap 1: Probleem definiëren • Meetbare doelstelling • Huidige en gewenste situatie • Vele onderwerpen mogelijk: – Schoolbrede problemen: • Doorstroom, afstroom, rendement • Bepaalde (beleids)ontwikkeling, bijv. rekenen- en taalbeleid
– Vakspecifieke problemen: • (Examen)resultaten bijv. Engels, wiskunde, biologie • Doorgaans te laag CE of te groot verschil CE en SE
Stap 1: Voorbeelden probleemstelling • Wij zijn ontevreden over de CE resultaten voor het vak biologie van de havo-afdeling. De afgelopen 5 jaar was het CE-cijfer structureel 0,5 punten lager dan het landelijk gemiddelde (6,3). We streven ernaar om binnen drie jaar minimaal op het landelijk gemiddelde uit te komen. • We zijn ontevreden over het doorstroomrendement in de bovenbouw van de vwo, want het doorstroompercentage is gedaald van 75% (2007-2008) naar 48% (2010-2011). We streven ernaar om dat percentage binnen drie jaar terug te brengen naar 70%.
Stap 2: Hypotheses opstellen • Meetbaar en concreet! • Vaak eerst extern (buiten zichzelf): probleem komt door basisscholen, door beleid van de school etc. • Dit is onderdeel van het proces, want het is belangrijk voor professionele ontwikkeling: – Vertrouwen creëren – Oefenen met het stappenplan – Je leert het meest van fouten! – Toont het belang van data aan
Stap 2: voorbeelden hypotheses • • • • • • • • • • •
Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. De afnemende trend bij de doorstroompercentages bovenbouw havo wordt veroorzaakt doordat het percentage doublanten in 4 havo structureel hoger is dan 20%. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. In de afgelopen cohorten is de afstroom van 3V naar 4H toegenomen, omdat meer dan de helft van deze leerlingen tegen het advies van 2D naar 3VWO zijn gegaan en daarna alsnog zijn afgestroomd naar 4HAVO. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo Docenten geven meer feedback op het resultaat dan op het proces
Stap 3: Data verzamelen • Veel verschillende data al beschikbaar binnen de school (bijv. Vensters voor Verantwoording, rapporten Inspectie)
• Maak gebruik van bestaande instrumenten • Naast kwantitatieve data (vragenlijsten, toetsen, doorstroom) kunnen kwalitatieve data ook waardevol zijn (observaties, interviews)
Stap 3: Voorbeelden data • • • • •
Doorstroom gegevens (en geslacht, profiel, thuistaal) Toetsgegevens CE en SE CITO en advies basisscholen Vragenlijsten: motivatie, feedback, studievaardigheden, doorlopende leerlijn • Observaties in de klas: feedback • Interviews: studiehouding
Stap 4: Controleren kwaliteit verzamelde data • Belangrijk om foute beslissingen te voorkomen! • Helaas ook niet valide en niet betrouwbare data aanwezig
Stap 4: Voorbeelden kwaliteit • Toetsdata: te weinig sommen over breuken en percentages voor een oordeel • Motivatievragenlijst: problemen met validiteit (e.g. Ik voel mij uitgedaagd op school)
• Problemen met adviesdata • Gelukkig ook wel veel “goede” data
Stap 5: Data analyse • Lastig! • Kwalitatieve data analyse
• Kwantitatieve data analyse • Ondersteuning: cursus data analyse
Stap 5: Voorbeelden data analyse Vak
Wiskunde Engels Economie Geschiedenis Duits Scheikunde Natuurkunde Nederlands Biologie
Aantal onvoldoendes 4 Havo (N=83) 28 19 19 16 7 6 3 3 2
• Uit de T-toets blijkt dat leerlingen over een periode van 3 maanden significant achteruit gaan: van gemiddeld een 7.4 naar een 4.8.
Stap 6: Interpretatie en conclusie • Kloppen de hypotheses? – Zo niet: terug naar stap 2 (komt vaak voor!) – Zo ja, verder met stap 7
Stap 6: Voorbeelden conclusies • • • • • • • • • • •
Het doorstroompercentage van het profiel EM is structureel lager dan het doorstroompercentage van de totale havo. Als breuken en percentages niet regelmatig herhaald worden vergeten leerlingen bijna alles wat ze geleerd hebben Leerlingen die met 4 onvoldoendes over gaan van 3 naar 4 Havo blijven in 4 Havo alsnog zitten Leerlingen met lage prestaties wiskunde in de onderbouw komen van basisscholen A, B en C Er zijn significant meer jongens dan meisjes die afstromen van 5 vwo naar 5 havo Problemen met de doorlopende leerlijn zijn van invloed op het zittenblijven in 4 Havo De leerlingen die afstromen van 5vwo naar 5havo komen significant vaker uit de maatschappijprofielen. Leerlingen afkomstig uit locatie x en leerlingen die opstromen vanuit het vmbo, hebben een negatieve invloed op het CE-cijfer en het verschil SE-CE. De basisschool adviseert te hoog waardoor leerlingen afstromen in klas 2 of 3. Leerlingen die blijven zitten spijbelen significant vaker Docenten geven meer feedback op het resultaat dan op het proces
Stap 7: Maatregelen nemen op basis van data • Doel van de actie (meetbaar en zie ook probleemstelling) en wanneer tevreden? • Teamleider en teamleden? • Welke concrete maatregelen en deadlines? • Alleen data vaak niet genoeg • Taakverdeling? • Middelen? • Hoe vooruitgang monitoren? • Welke data zijn hiervoor nodig?
Stap 7: Voorbeelden maatregelen • Actieplan feedback in de klas
• Strenger beleid zittenblijven • Secties aan de slag met doorlopende leerlijn • Breuken en percentages vaker herhalen in de klas • Internet oefenprogramma’s • Meer huiswerk controleren
Stap 8: Maatregelen evalueren • Procesevaluatie: – Worden de maatregelen zo uitgevoerd als bedacht? – Worden de maatregelen door iedereen uitgevoerd?
• Effectevaluatie: – Is het probleem opgelost: m.a.w. is het doel zoals geformuleerd in stap 1 behaald?
Stap 8: Voorbeelden evaluatie • Wiskunde: – Proces: Docenten herhalen elke les via een quiz op het bord breuken en percentages. Uit de evaluatie met leerlingen blijkt dat dit te veel is en dit wordt terug gebracht naar eens per week – Effect: Wiskundeprestaties zijn significant omhoog gegaan
• Doorstroom: – Proces: Spijbelaars worden onmiddellijk aangesproken en ervaren de consequenties van hun gedrag – Effect: Het aantal zittenblijvers is significant verminderd
Pilot onderzoek: functioneren datateams • Van ervaring en intuïtie naar data • Verschillende rondes hypotheses: eerste hypotheses kloppen vaak niet! • In het begin vooral externe oorzaken, maar oorzaken op klasniveau kloppen vaker • Na een aantal rondes hypotheses meestal iemand die zegt “we hebben gekeken naar oorzaken buiten de school, oorzaken op schoolniveau en naar onze leerlingen, misschien moeten we meer kijken naar wat er in de klas gebeurt”.
Pilot onderzoek: bevorderende en belemmerende factoren • Schoolleider • Tijd • Samenwerking en communicatie binnen en buiten het datateam • Vrijwillig • Gezamenlijk probleem en doel • Structuur/stappenplan • Ondersteuning
Pilot onderzoek: eerste effecten • Professionele ontwikkeling: – Opbrengstgericht werken – Leren van elkaar • Schoolverbetering: – Betere wiskundeprestaties – Minder zittenblijvers
Hoe verder? • Meer onderzoek nodig! • Komende jaren 37 datateams – – – –
Twee jaar begeleiding van de UT Werkboek en materialen Cursus data analyse Ontmoetingsdagen en conferenties
Vervolgonderzoek • Funtioneren datateams • Rol schoolleider en kwaliteitszorgmedewerker • Effecten: attitude, kennis en vaardigheden, gedrag, leerprestaties • Beleid opbrengstgericht werken • Kennisdeling • Sociale netwerken • Duurzaamheid
Hartelijk dank voor uw aandacht • Vragen voor de sprekers kunt u tijdens de follow up sessies stellen (en/of tijdens de pauze) • Vergeet niet uw vragen voor de keynotes te noteren in het Engels op de bijgevoegde kaarten! (indien deelname W1) • Onze projectmedewerkers achterin de zaal nemen deze graag in ontvangst
Lunchtime!
