MASTERCLASS
De datateam® methode Examenresultaten Nederlands
Taal op koers 29 oktober 2014 Cindy Poortman en Kim Schildkamp
Uitdagingen in de onderwijspraktijk • Voortijdige schooluitval • Gebrek aan praktische vaardigheden bij studenten • Gebrek aan theoretische kennis bij studenten • Tegenvallende examenresultaten • ….
Van probleem naar maatregel
Probleem
Maatregel
Opbrengstgericht werken • Gebruik maken van data, zoals toetsen, om het onderwijs te verbeteren (zie Schildkamp & Kuiper, 2010): – – – –
systematisch verzamelen analyseren & interpreteren van aanwezige data binnen de school en die informatie gebruiken om het onderwijs te verbeteren
• Data, zoals: – – – – –
toetsresultaten vragenlijsten inspectierapporten instroom, doorstroom, uitstroomgegevens observaties in de klas; interviews met leerlingen
Van probleem naar maatregel
Probleem
Maatregel
Datateam® methode • Datateam: 4-6 docenten en 1-2 schoolleiders • Werken aan concreet probleem op hun school • Met behulp van data • En met behulp van 8stappenplan, handleiding en intensieve begeleiding
Inhoud masterclass • Datateam werkt gemiddeld twee jaar aan het stappenplan. • Vandaag: stappen in vogelvlucht – stap 2 (hypotheses opstellen) en stap 6 (conclusie en interpretatie) voorbeeldmatig in meer detail
• Voorbeeld: examenresultaten Nederlands van een fictieve school.
Stap 1: Probleem definiëren • Startvraag datateam: met welk specifiek probleem gaan we aan de slag? Welk probleem is belangrijk voor de school?
• Probleemdefinitie fictieve school: – ‘Slechte examenresultaten Nederlands’ • Wat vinden we hier van?
Specifiek genoeg? Hoe ‘bewijs’ je dat het een probleem is? Wanneer ben je tevreden?
Stap 1 (vervolg) • Data verzamelen om de probleemstelling te onderbouwen (voorbeeld:) Gemiddelde CE cijfer Nederlands Havo
20092010
20102011
20112012
Onze School Landelijk
CE 5,6 6,1
CE 5,8 6,2
CE 5,6 6,2
• Uiteindelijke probleemstelling fictieve school: ‘We zijn ontevreden over het CE-cijfer voor het vak Nederlands in 5 havo, want we hebben al drie jaar te kampen met een CE-cijfer lager dan het landelijk gemiddelde, van gemiddeld 5,7 . We willen bereiken dat over twee jaar het CE-cijfer minimaal op het landelijk gemiddelde (6,2) komt.’
Stap 2: Hypothese • Kwantitatief onderzoek: – Hypothese = concrete, meetbare veronderstelling over de oorzaak van het probleem – Voorbeeld: Leerlingen die in 4 havo zijn ingestroomd vanuit het vmbo halen minstens 0,5 lager op hun eindcijfer Nederlands in 4 havo dan leerlingen die vanuit 3 havo naar 4 havo zijn gegaan.
• Of vraagstelling, kwalitatief onderzoek: – Vraagstelling= hoe, wat of waarom-vraag naar meningen, ervaringen of gedrag
Zelf ervaren (1) • Vorm met 4-6 mensen een ‘datateam’ • Formuleer een goede hypothese: een concrete en meetbare veronderstelling over de oorzaak van het probleem. • Ong. 10 minuten, daarna kort bespreken
Uitwerking • Onze fictieve school: Oorspronkelijke hypothese: Leerlingen zijn steeds minder gemotiveerd om hoge cijfers te halen.
Concrete en meetbare hypothese: Havo leerlingen die bij hun Centraal Examen lager dan een 6,0 voor Nederlands halen zijn significant minder gemotiveerd dan leerlingen die een 6,0 of hoger halen.
Stap 3: Data verzamelen • Welke data nodig? – Toegang tot data – Bestaande data – Weergave van data
• Ons datateam heeft een enquête afgenomen onder alle leerlingen van 5 havo
Stap 4 Controle kwaliteit data Validiteit: meet je wat je wilt meten? Betrouwbaarheid: meting onafhankelijk van toeval? Missen er bijv. data?
Stap 5 Data-analyse Kwantitatief: Beschrijvend (gemiddelde, frequenties, spreiding, etc.) Verklarend (bijv. t-toets)
Kwalitatief
Stap 6: Interpretatie en conclusie • Interpretatie: wat zegt de data-analyse over het probleem? • Conclusie: klopt de geformuleerde hypothese? Hij klopt! Een oorzaak van het probleem is gevonden. Verder naar stap 7: het nemen van maatregelen. Hij klopt niet. Mogelijke oorzaak klopt niet. Terug naar stap 2: het samen bepalen van de volgende hypothese Hij klopt deels wel, deels niet. Deel van de oorzaak van het probleem gevonden, maar er is ook nog een stuk van het probleem dat niet verklaard wordt door de hypothese. Vervolg op twee sporen: én naar stap 7 om maatregelen te bedenken én weer terug naar stap 2 om een volgende hypothese te onderzoeken.
Zelf ervaren (2) • Bestudeer de resultaten van de enquête Verschillen tussen leerlingen met CE-cijfer < 6,0 en ≥ 6,0 Vetgedrukt de gemiddelden die significant zijn (resultaten berusten niet op toeval).
• Bespreek de resultaten in je datateam • Trek conclusies over de hypothese: klopt deze wel, niet of deels?
Uitwerking opdracht 2 • Hypothese ‘motivatie’ wordt verworpen In het algemeen niet minder gemotiveerd Waar verschil, niet significant Extra informatie: leerlingen met CE-cijfer < 6,0 zeggen minder feedback te krijgen
• Mogelijkheid: feedback verder onderzoeken (terug naar stap 2)
Stap 7 : Maatregelen nemen • Implementatieplan én evaluatieplan!
• Mogelijke maatregelen bij feedbackprobleem: Op basis van observaties in de les elkaar tips geven over feedback Docenten scholen op gebied van feedback -> toepassen op leerlingen
Stap 8: Evaluatie • Procesevaluatie: verloop implementatie? • Effectevaluatie: probleem opgelost?
Reflectie • Wat valt er op bij het doorlopen van het acht stappenplan? • Welke mogelijkheden zijn er voor de eigen praktijk in het Mbo?
Tot slot Voor meer informatie: www.datateams.nl • o.a. video’s met uitleg en ervaringen deelnemers • Conferentie ‘Onderzoek in en door de school’, 13 november 2014 (http://www.utwente.nl/conferentiedatateams/) • Zie ook het nieuwe boek: De datateam methode. Een concrete aanpak voor onderwijsverbetering – – – –
een toelichting op datagebruik een hoofdstuk per stap casussen met nog meer voorbeelden Aandacht voor inbedding in de organisatie
Hartelijk dank voor de aandacht!
[email protected]
