DATA-GEÏNFORMEERD LEIDERSCHAP IN HET VLAAMSE BASISONDERWIJS: Een casestudy naar het gebruik van gestandaardiseerde toetsen

UGent Faculteit Psychologie en pedagogische wetenschappen. Academiejaar 2014-2015

DATA-GEÏNFORMEERD LEIDERSCHAP IN HET VLAAMSE BASISONDERWIJS: Een casestudy naar het gebruik van gestandaardiseerde toetsen.

Masterproef II neergelegd tot het behalen van de graad van Master of Science in de Pedagogische Wetenschappen, afstudeerrichting Pedagogiek en Onderwijskunde

Promotor:

Prof. dr. Vanderlinde Ruben Vakgroep Onderwijskunde

01105725 Dorien Van den Berghe

DATA-GEÏNFORMEERD LEIDERSCHAP

iii

Ondergetekende, Dorien Van den Berghe, verklaart dat de inhoud van deze masterproef geraadpleegd en/of gereproduceerd mag worden mits bronvermelding.


v

Dankwoord Deze masterproef schrijven was voor mij een uitdaging waar ik niet in geslaagd zou zijn zonder de hulp van heel wat mensen die ik graag wil bedanken. In de eerste plaats wil ik mijn promotor Ruben Vanderlinde bedanken voor het begeleidingen van deze masterproef, voor de interesse in het onderwerp en om me de kans te geven deze masterproef dit schooljaar uit te werken. Tevens wil hem ook bedanken voor de snelle en kritische feedback, die ervoor zorgde dat mijn masterproef vorm kreeg, maar vooral ook structuur. Dat laatste was mijn bekommernis doorheen het hele schrijfproces. Ik wil ook mijn participanten bedanken. Zonder hun medewerking waren er geen resultaten en dus ook geen onderzoek. De verschillende schoolleiders namen mij mee in het verhaal over het gebruik van gestandaardiseerde toetsen op hun school. Ze vertelden hun verhaal met enorm veel toewijding, enthousiasme en passie om voor elk kind goed onderwijs te voorzien in Vlaanderen. Ik wil ook mijn geraadpleegde experten uit het werkveld bedanken die me geholpen hebben bij het selecteren van mijn participanten. Graag wil ik ook Eva Barbieur en mijn papa Jean-Pierre Van den Berghe bedanken voor het nalezen en verbeteren van mijn masterproef. Daarnaast wil ik allen bedanken die me aangemoedigd en gesteund hebben, in het bijzonder mijn vrienden die telkens de moed hadden om te vragen naar de vorderingen van mijn masterproef terwijl ze het antwoord eigenlijk al wisten. Als laatste wil ik mijn ouders bedanken voor hun steun tijdens mijn opleiding en bij het schrijven van deze masterproef.

Dorien Van den Berghe


vii

Inhoudsopgave DANKWOORD INHOUDSOPGAVE

V VII

ABSTRACT

1

CONTEXT EN PROBLEEMSTELLING

2

THEORETISCHE ACHTERGROND

4

DATA

4

VAN DATA NAAR ACTIE: EEN CYCLISCH PROCES

5

CENTRALE ROL VAN DE SCHOOLLEIDER

14

GESTANDAARDISEERDE TOETSEN

15

ONDERZOEKSVRAGEN

17

METHODOLOGIE

18

CASESTUDY

18

ONDERZOEKSPROCEDURE

19

RESULTATEN

22

RESULTATEN VAN DE VERTICALE ANALYSE

22

RESULTATEN VAN DE HORIZONTALE ANALYSE

53

DISCUSSIE EN CONCLUSIE

62

BIJLAGEN

69

INFORMED CONSENT

70

INTERVIEW LEIDRAAD

71

OVERZICHT FIGUREN

74

OVERZICHT ONTVANGEN EN/OF GERAADPLEEGDE DOCUMENTEN PER SCHOOL

75

BIBLIOGRAFIE

76


1

Abstract Het doel van deze casestudy is te achterhalen hoe basisscholen gestandaardiseerde leerlingentoetsen gebruiken. Het gebruik van gestandaardiseerde toetsen helpt scholen bij het onderzoeken van wat werkt en hoe het onderwijs verbeterd kan worden. Tot op heden werd weinig onderzoek gedaan naar de manier waarop scholen gebruik maken van gestandaardiseerde leerlingentoetsen. Eerst worden de begrippen omtrent data-geïnformeerd leiderschap uitgelegd en de theoretische achtergrond geschetst. Er worden vier schoolleiders bevraagd die volgens contacten uit de praktijk gelden als goede voorbeelden. Schoolleiders worden in internationaal onderzoek aangeduid als sleutelfiguren bij het gebruik van data op school. De bevraging van de schoolleiders moet antwoord geven op de onderzoeksvraag. Om het onderzoeksveld duidelijk af te bakenen wordt de onderzoeksvraag onderverdeeld in drie deelvragen. De schoolleiders worden bevraagd aan de hand van een semigestructureerde vragenlijst. Deze interviews worden auditief opgenomen en achteraf uitgeschreven. De transcripties worden eerst verticaal geanalyseerd en samengevat per deelvraag. Deze samenvattingen worden horizontaal geanalyseerd. Het resultaat van deze casestudy zijn de antwoorden op de drie gestelde deelvragen. Als antwoord op de eerste vraag welke gestandaardiseerde toetsen gebruikt worden volgt een overzicht van alle gebruikte gestandaardiseerde toetsen. Dit zijn vooral toetsen om de leerdomeinen taal en rekenen te meten. De tweede vraag geeft een gedetailleerd inzicht hoe scholen het stappenplan van Schildkamp, et.al. (2013) doorlopen. De derde vraag tot welke resultaten het cyclisch gebruik van het stappenplan leidt, geeft aan dat dit vooral resulteert in een conceptueel gebruik. Uit deze casestudy blijkt dat de vier onderzochte scholen de informatie uit de gestandaardiseerde toetsen gebruiken. Om ervoor te zorgen dat scholen blijvend gebruik maken van gestandaardiseerde toetsen is het belangrijk dat er blijvend geïnvesteerd wordt in de ondersteuning bij het gebruik van gestandaardiseerde toetsen en in de nodige expertise voorzien wordt.


2

Context en probleemstelling Data-driven decision making is beslissingen nemen op basis van verzamelde gegevens in de breedst mogelijke zin. In een school worden deze data verzameld door administratief personeel, leerkrachten en schoolleiders. Op basis van deze data nemen leerkrachten, schoolleiders en administratief personeel beslissingen over leerlingen, leren en lesgeven (Levin & Datnow ,2012; Schildkamp VanHoof, Van Petegem & Visscher, 2012). In Vlaanderen, maar ook internationaal, worden leraren en schoolleiders om verschillende redenen aangemoedigd om data te gebruiken (Schildkamp, et.al., 2012; Van Gasse, Vanhoof, Mahieu & Van Peteghem, 2015). Een eerste reden is dat scholen doorheen de jaren meer autonomie verworven hebben om kwaliteitsvol onderwijs te organiseren. Scholen worden verantwoordelijk geacht voor hun eigen onderwijskwaliteit (Schildkamp, et.al., 2012; Vanhoof, Verhaeghe, Van Petegem & Valcke (2011). Deze autonomie impliceert dat scholen zich meer moeten kunnen verantwoorden tegenover de leerlingen, hun ouders en de overheid (Vanhoof, et.al., 2011). Ten tweede blijkt uit schooleffectiviteitsonderzoek dat datagebruik een gemeenschappelijk kenmerk is van goede scholen (Schildkamp & Poortman, 2015). Datagebruik wordt internationaal gezien als de motor voor schoolontwikkeling (Vanhoof, et.al., 2011). Datagebruik is een opstap naar een professionelere schoolwerking, gericht op een voortdurende evaluatie en verbetering van het aangeboden onderwijs (Van Gasse, et.al., 2015). Een derde reden is dat verschillende onderzoeken (Levin & Datnow, 2012; Parsley, Dean & Miller, 2006; Leithwood, Jantzi & McElheron-Hopkins, 2006, Schildkamp et al, 2012) concluderen dat de resultaten van leerlingen verbeteren wanneer hun scholen data gebruiken. Het zou gaan om een indirect effect op de leerlingenresultaten, maar het causale verband tussen data gebruik en leerlingenresultaten is moeilijk te achterhalen. Binnen het onderzoeksveld is er over deze derde reden geen overeenstemming (Van Gasse, et.al., 2015). Ten vierde maken scholen volgens Dunn, Jaafar, Earl & Katz (2013) in een kennismaatschappij meer gebruik van data. De ingrijpende maatschappelijke veranderingen


3

en snelle opeenvolgende technologische vernieuwingen van een kennismaatschappij dwingen scholen om mee te evolueren en zichzelf te veranderen om bij te blijven (Earl & Fullan, 2003). Scholen die zich enkel laten leiden door intuïtie en buikgevoel kunnen de uitdagingen waarmee ze geconfronteerd worden, niet meer aan (Earl & Fullan, 2003). Nu baseren scholen zich naast intuïtie en instinct ook op observatie (Schildkamp & Poortman, 2015). In het onderwijs is het gebruik van data geen evidentie (Earl & Fullan, 2003). Uit internationaal onderzoek blijkt dat er wel data gebruikt worden op school maar dat de intensiteit en de manier waarop heel erg kunnen verschillen van school tot school (Schildkamp, et.al.,2012; Kerr, Marsh, Ikemoto, Darilek, & Barney,2010; Schildkamp & Poortman, 2015). Bovendien wordt er niet systematisch gebruik gemaakt van data (Levin & Datnow, 2012; Parsley , Dean & Miller, 2006 ; Mandinach, Gummer & Muller, 2011, Marsh, Pane & Hamilton 2006; Schildkamp et.al., 2012; Lachat & Smith, 2005). Van Gasse, et.al. (2015) komen voor de scholen in Vlaanderen tot dezelfde conclusie. Scholen beschikken nochtans over veel data zonder dat altijd zelf te beseffen. Er is een groot verschil tussen wat scholen opgeven aan data te hebben en wat ze aan data zouden moeten hebben (Van Gasse, et.al., 2015). Scholen hebben vooral een overvloed aan data verzameld rond leerlingenresultaten en dat zijn volgens Ledoux, et.al. (2009) de handvaten om de onderwijskwaliteit te analyseren en te verbeteren. Uit het Vlaamse onderzoek van Van Gasse, et.al., (2015) blijkt dat leerlingenresultaten gebaseerd zijn op zelfgemaakte leerlingentoetsen en methode-gebonden toetsen. Uit datzelfde onderzoek blijkt ook dat gestandaardiseerde toetsen amper worden gebruikt. Gestandaardiseerde toetsen zijn toetsen die op dezelfde manier afgenomen en verbeterd worden. Ze bieden heel wat voordelen in vergelijking met zelfgemaakte leerlingentoetsen, omdat deze gestandaardiseerde toetsen objectief zijn en leiden tot gestandaardiseerde resultaten die scholen kunnen helpen om hun sterktes en zwaktes over een langere periode te onderzoeken. Hierdoor kunnen scholen zichzelf vergelijken met andere scholen met een gelijkaardig leerlingenpubliek (Verhaeghe, 2008). Bovendien laten gestandaardiseerde leerlingentoetsen een doorgedreven opvolging toe van leerlingen doorheen hun schoolloopbaan. Het gebruik van gestandaardiseerde toetsen kan er ook voor zorgen dat zelfevaluatie niet meer egocentrisch is, maar onderdeel uitmaakt van de schoolontwikkeling (De Fraine & Verhaeghe, 2007).


4

Theoretische achtergrond Om te onderzoeken hoe schoolleiders gebruik maken van gestandaardiseerde toetsen in functie van data-driven decision making moeten we deze begrippen duidelijk definiëren en verklaren. Data Een eerste belangrijk concept binnen data-driven decision making zijn de data zelf. Volgens Van Gasse, et.al. (2015) en Schildkamp, et.al. (2012) moeten data gedocumenteerd, eenvoudig op te slaan en te gebruiken zijn. Dit zorgt ervoor dat verschillende personen dezelfde data kunnen gebruiken en ook op latere tijdstippen kunnen raadplegen. Ongedocumenteerde data kunnen volgens Van Gasse, et.al. (2015) niet leiden tot doordachte beslissingen. Schildkamp et.al. (2013) verdelen de beschikbare data op school in vier categorieën: inputdata, outputdata, procesdata en contextdata. Deze verdeling is gebaseerd op de verdeling van Ikemoto & Marsh (2007). Inputdata (1) zijn alle data over kenmerken van leerlingen zoals spijbelgedrag, moedertaal, etniciteit en de socio-economische status. Naast kenmerken van leerlingen vallen ook kenmerken van leerkrachten zoals diploma en anciënniteit onder input data. Volgens Van Gasse, et.al. (2015) behoren eigenschappen van ouders en het schoolbestuur ook in deze categorie thuis. Outputdata (2) zijn voor het grootste deel leerlingenresultaten zoals punten op toetsen, schriftelijke en mondelinge examens, portfolio’s en rapporten. Samen met de welbevindingsenquêtes geven ze meer informatie over de leervorderingen van leerlingen en hun welbevinden. Procesdata (3) geven informatie over leren en lesgeven zoals een observatieverslag, instructietijd, organisatie van instructie, leerproces, klasmanagement en de organisatie van toetsen. Contextdata (4) bevatten enquêtes over de meningen van leerkrachten en leerlingen over schoolsfeer, schoolklimaat en discipline. Ook het curriculum en de beschrijving ervan, het


5

uurroosters en de jaarplanning, behoren tot context data. Ze bevatten informatie over het gebruik van materialen, gebouwen en de beschikbaarheid van computers op school. Context data zijn daarom alle factoren die een directe invloed kunnen uitoefenen op de school en de klas (Van Gasse, et.al., 2015). Van Gasse, et.al. (2015) delen de verschillende categorieën van beschikbare data op school ook op in vier onderliggende niveaus. Het macroniveau is de internationale of Vlaamse context. Het regioniveau situeert zich op het gemeentelijk, intergemeentelijk of provinciaal vlak. De scholengemeenschappen en de lokale overlegplatforms (LOP’s) maken er eveneens deel van uit. De school zelf is het mesoniveau. Het microniveau zijn de klas, de leraar en de leerlingen. De intensiteit van datagebruik hangt af van zowel de soort data als het niveau (Van Gasse, et.al.,2015). Internationaal wordt er bijvoorbeeld vooral gebruik gemaakt van (cognitieve) output data, veelal op basis van centrale examens, omdat die gemakkelijk meetbaar zijn. Vlaanderen heeft geen traditie in het systematisch verzamelen van leerlingresultaten (Van Gasse, et.al., 2015; Vanhoof, Verhaeghe, Van Petegem & Valcke, 2013). Van data naar actie: een cyclisch proces De intensiteit van datagebruik is zowel afhankelijk van de soort data als van het niveau (Van Gasse, et.al., 2015). Toch is het verzamelen van data niet voldoende om geïnformeerde beslissingen te kunnen nemen (Schildkamp & Kuiper, 2010). Data op zich zijn kwalitatieve of kwantitatieve gegevens (Earl & Fullan, 2013; Schildkamp & Kuiper,2010) die geïnterpreteerd moeten worden zodat ze betekenis krijgen in de context waarbinnen ze verzameld werden (Brunner, Fasca, Heinze, Honey, Light, Mandinach, & Wexler; 2005). Pas dan worden ze relevant en vormen ze informatie waar actoren in het onderwijs iets aan hebben (Schildkamp, 2012; Datnow, Park & Wohlstetter, 2007; Knapp, Swinnerton,Copland, & Monpas-Huber, 2006). Hiervoor hebben verschillende onderzoekers modellen uitgewerkt, die moeten toelaten om tot het tweede belangrijke concept van data-driven decision making te komen, met name hoe informatie te halen uit data. In de onderstaande paragraaf worden vier verschillende modellen besproken, die elkaar aanvullen en respectievelijk opgesteld werden door Van Gasse, et.al. (2015), Brunner, et.al. 2005, Mandinach, Honey, Light & Brunner (2008), Mandinach, Honey & Light (2006) en


6

Schildkamp, et.al., (2012). Daarna wordt de voorkeur voor één bepaald model beargumenteerd. Model 1. Van Gasse, et.al. (2015) hebben zich voor hun model gebaseerd op Ackoff (1989), een onderzoeker van data gebruik in de organisatie- en managementtheorie. Van Gasse, et.al. (2015) hebben deze kennis vertaald naar een onderwijskundige context, met behoud van de lineaire en hiërarchische structuur. Ze gebruiken het begrip “gegevens” als synoniem voor “data”. Ze voegen aan de verzamelde data een code of legende toe om zodoende informatie te verkrijgen. Kennis verkrijgt men volgens hen wanneer men die informatie bekijkt vanuit de specifieke school context en vanuit de eigen ervaringen van de gebruiker. Kennis is daarom persoonsgebonden en verschilt van context tot context. Twee personen die naar dezelfde informatie kijken en daaraan hun eigen ervaringen koppelen, kunnen tot heel andere besluiten komen. Het model van Van Gassen, et.al. (2015) voegt aan kennis de wijsheid toe dat iemand in een specifieke situatie kan bepalen welke kennis toepasbaar is en welke niet, waardoor iemand zelf kan bepalen welke actie ondernomen moet worden. Het doel van de transformatie van data is dus niet om tot wijsheid te komen, (Ackoff, 1989) maar tot actie (Van Gassen, et.al., 2015). De verzamelde data krijgen eerst een betekenis, dan een interpretatie en worden vervolgens door de gebruiker gerelateerd aan de kernprocessen van de school (Van Gasse, et.al., 2015).

Figuur 1: van gegevens en informatie naar actie. Van Gasse, et.al. (2015)

Model 2. Een tweede model is dat van Brunner, et.al., (2005) en baseert zich niet alleen op het werk van Ackoff (1989), maar ook op het werk van Drucker (1989) en Breiter (2003), eveneens onderzoekers van data gebruik in de organisatie- en managementtheorie. Bij het vertalen van de theorie naar een onderwijskundige context bleef de vorm van de piramide van Ackoff (1989) behouden. Brunner, et.al. (2005) stelden vast dat een school start met heel veel verschillende data, maar dat niet alle data getransformeerd kunnen worden tot kennis. Het proces blijft ook op school hiërarchisch en lineair. Het uiteindelijke doel van het proces


7

is dat data kennis wordt die aangeeft welke acties daaraan gekoppeld moet worden. De onderzoekers maken ook een onderscheid tussen theorie en praktijk, waarbij het begrip en de interpretatie van data afhankelijk zijn van de taak die de actor opneemt binnen de school.

Figuur 2: Theoretisch model. Brunner et.al. (2005).

De eerste stap in het schema van Brunner, et.al. (2005) is het verzamelen en organiseren van data, waarbij scholen zelf beslissen welke data ze nodig hebben. Ze kunnen zowel nieuwe data als bestaande data gebruiken. Scholen moeten ook nadenken hoe ze de verzamelde data moeten bewaren in een databank. Dezelfde data moeten voor verschillende doeleinden gebruikt kunnen worden, door verschillende actoren geïnterpreteerd kunnen worden en voor verschillende beslissingen kunnen zorgen (Mandinach, et.al., 2011; Van Gasse, et.al., 2015). De tweede stap is het samenvatten en analyseren van data, waardoor ruwe data veranderen in informatie. Welke statistische testen zijn nodig om een antwoord te kunnen formuleren op de verschillende hypotheses? De derde stap is het samenvoegen van alle informatie en het bepalen welke conclusies, die uit de geanalyseerde data voortkomen, vragen om actie. Hier verandert informatie in kennis. Model 3. Het derde model is dat van Mandinach, Honey, Light & Brunner (2008) en van Mandinach, Honey & Light (2006). Het model behoudt, net zoals het model van Brunner, et.al. (2005) het onderscheid tussen de verschillende niveaus waarop het proces plaatsvindt. Het schema bevat ook de transformatie van data tot informatie en uiteindelijk tot kennis, waarna er een beslissing genomen wordt en er actie ondernomen kan worden, zoals in het model van Van Gasse, et.al.( 2015). De resultaten en de impact van de ondernomen actie worden geëvalueerd. Afhankelijk van de impact wordt er beslist of een stap herbekeken en/of


8

hernomen moet worden. Doordat de onderzoekers evaluatie hebben toegevoegd aan het schema, is het geen lineair model meer, maar een iteratief proces (Mandinach & Jackson,2012; Mandinach, et.al., 2006), waarbij stappen stelselmatig herhaald worden. Dit model vertrekt vanuit het aanbod van beschikbare tools en technische ondersteuning aan scholen omdat dit volgens Mandinach, et.al. (2006) de interpretatie, de verzameling en de bewaring van data vergemakkelijkt. Hoe gemakkelijker de data beschikbaar (Marsh, et.al.,2006) zijn, hoe meer de data zullen worden gebruikt op school (Van Gasse, et.al., 2015).

Figuur 3: Conceptueel model. Mandinach, et.al. (2008).

Model 4. Het vierde model van Schildkamp, et.al. (2012) wordt een continue cyclus van verzamelen, organiseren en interpreteren. Schildkamp, et.al. (2012) baseerden zich op het model van Mandinach, et.al. (2008) en een model van Marsh (2012), waarin nog meer feedbackstromen zitten van data naar kennis. Het model van Schildkamp, et.al. (2012) vertrekt, in tegenstelling tot de andere, met het bepalen van een doel. Dit is volgens Schildkamp, et.al. (2012) de belangrijkste stap om het risico op informatieoverload te beperken. Door op het einde te evalueren of de uitkomsten in lijn liggen met het vooraf bepaalde doel, wordt er een nieuwe feedbackstroom gecreëerd. In figuur 4 worden de verschillende feedbackstromen met een stippellijn voorgesteld.


9

Figuur 4: Data gebruik model. Schildkamp & Poortman (2015)

Het model van Schildkamp, et.al. (2012) vertrekt vanuit een doelstelling en omvat alle aanvullingen van de voorgaande modellen. Het eerste model van Van Gasse, et.al. (2015) resulteert in actie en in het tweede model van Brunner, et.al. (2005) wordt rekening gehouden met de perspectieven van de verschillende actoren. Daaraan voegt Madinach, et.al., (2008) evaluatie en feedbackstromen toe, waardoor het derde model cyclisch wordt, maar het is enkel het vierde model van Schildkamp, et.al. (2012) dat vertrekt vanuit een doelstelling. Uit de literatuur is gebleken dat het beter is om minder data te verzamelen, maar deze data ten volle te gebruiken (Schildkamp, et.al., 2013). Daarnaast is het volgens Schildkamp, et.al., (2013) gemakkelijker om gericht data te verzamelen, wanneer het doel duidelijk is. Het model van Schildkamp, et.al. (2012) werd in het onderzoek van Schildkamp & Poortman (2015) uitgewerkt in een stappenplan voor de Nederlandse onderwijspraktijk. Dit praktische stappenplan vormt de basis voor deze casestudy.


10

Iteratief en cyclisch stappenplan. Schildkamp, et.al. (2013) hebben op basis van hun model een stappenplan uitgeschreven om tot data-driven decision making te komen en ze hebben dit stappenplan getoetst aan de Nederlandse praktijk. Het is een iteratief en cyclisch proces (Ledoux, et.al., 2009; Van Gasse, et.al., 2015; Schildkamp, Lai & Earl, 2013). De verschillende stappen zorgen ervoor dat datagebruik onderdeel uitmaakt van een systematische en doelgerichte aanpak (Van Gasse, et.al., 2015). Het stappenplan vertrekt vanuit een duidelijk doel: een probleemstelling en een daarbij horende hypothese (stap 1 en stap 2). Dit doel bepaalt welke data nodig zijn en waarom. Hierbij is het belangrijk dat schoolleiders vragen stellen die beantwoord kunnen worden door data (Knapp, et.al., 2006; Schildkamp, et.al., 2013). Stap drie is de dataverzameling en stap vier is de controle van de kwaliteit van de verzamelde data . Om betrouwbaar te zijn moet de meting onafhankelijk zijn van toeval. De validiteit is enkel gegarandeerd als men meet wat men wil meten en dat moet aansluiten bij de hypothese (Schildkamp, et.al.,2013). De vijfde en zesde stap zijn de data-analyse en de data interpretatie. Hoe kunnen schoolleiders de verzamelde data best analyseren zodat er een antwoord kan geformuleerd worden op de hypothese uit stap twee. Wanneer de hypothese fout is moet er een nieuwe hypothese geformuleerd worden. Dit is een eerste feedbackstroom. Wanneer de hypothese correct is, kan er actie ondernomen worden. Dit brengt ons bij de vraag wat deze data betekenen voor de implementatie en de actie in de toekomst. Deze zevende stap is maatregelen nemen op basis van data. Dat is de kern van data-driven decision making. De laatste stap is de evaluatie van het proces dat doorlopen werd en de evaluatie van het uiteindelijke effect van de actie. De procesevaluatie kijkt terug naar de ondernomen acties en de genomen maatregelen en gaat na hoe die uitgevoerd en ervaren werden. De effectevaluatie kijkt terug naar de probleemstelling om na te gaan of het doel bereikt is. Nieuwe data verzameling kan nodig zijn en dat resulteert op zijn beurt in een nieuwe systematische cyclus.


11

Figuur 5: Data team-methode: stappenplan. Schildkamp, et.al. (2013)

Resultaten van het doorlopen van het stappenplan. In het onderzoek van Van Gasse, et.al. (2014) worden de resultaten van het doorlopen van het stappenplan onderverdeeld in vier categorieën. De eerste categorie is het direct/instrumenteel gebruik van data (Rossi et.al., 2004). Dit betekent dat een school op basis van data meteen beslissingen zal nemen en veranderingen zal doorvoeren. Wanneer bijvoorbeeld de leerlingenresultaten wiskunde tegenvallen, zal de school kiezen voor een nieuwe methode wiskunde (Van Gasse, et.al., 2015, p31.) Uit het onderzoek van Van Gasse, et.al. (2015) blijkt dat deze eerste categorie kan onderverdeeld worden in drie subcategorieën, namelijk instrumenteel gebruik in functie van het lesgeven en leren op school, instrumenteel gebruik in functie van het welbevinden van leerlingen en instrumenteel gebruik in functie van de schoolorganisatie en het schoolbeleid. Het direct/instrumenteel gebruik van data wordt op school het minst gehanteerd volgens Van Gasse, et.al. (2015).


12

De tweede categorie is het conceptueel gebruik van data. Beslissingen en veranderingen worden niet meteen doorgevoerd maar de verschillende actoren ontwikkelen een nieuwe visie die niet meteen tot acties leidt maar op lange termijn voor verandering zorgt. Bij deze categorie worden er heel wat data verzameld. Ieder jaar worden bijvoorbeeld de resultaten van leerlingen opgevolgd. Deze analyse van data zorgt ervoor dat het denken over bepaalde onderwijsprocessen verandert. Omdat de resultaten van het datagebruik niet meteen zichtbaar zijn, kan deze manier van werken voor meer werkdruk zorgen. De actoren kunnen een negatieve houding t.o.v. datagebruik ontwikkelen. Ook deze categorie kan verder onderverdeeld worden, zoals blijkt uit het onderzoek van Van Gasse, et.al. (2015). Conceptueel gebruik van data in functie van lesgeven en leren, waarbij er meer inzicht verworven wordt in het leren van leerlingen, is een eerste subcategorie. Een tweede subcategorie is het conceptueel gebruik van data in functie van het welbevinden van leerlingen, waarbij de actoren het gedrag van de leerlingen beter proberen te begrijpen. Een derde subcategorie is het conceptueel gebruik in functie van de schoolorganisatie en het schoolbeleid. De laatste subcategorie is het conceptueel gebruik in functie van kwaliteitsbewaking en verbetering. Een derde categorie is het symbolisch/overtuigend gebruik. Data worden gebruikt om te verantwoorden, om te overtuigen, om mythes te ontkrachten of om bepaalde standpunten in discussies te ondersteunen. Deze derde categorie kan ook onderverdeeld worden in drie subcategorieën (Van Gasse, et.al., 2015). De eerste is het symbolisch gebruik in functie van lesgeven en leren. De tweede gebeurt in functie van schoolorganisatie en schoolbeleid. Data worden gebruikt om het team te overtuigen om bepaalde prioriteiten te stellen of om vernieuwingen door te voeren. De derde onderverdeling vindt plaats in functie van kwaliteitsbewaking en verbetering. Zo kan een schoolleider via proces- en outputinformatie benadrukken dat het team goed bezig is of net niet. Een vierde categorie in het onderzoek van Van Gasse, et.al. (2015) is het strategisch gebruik van data. (Visscher en Coe, 2003). Dit kan volgens Van Gasse, et.al. (2015) onderverdeeld worden in drie subcategorieën, in functie van schoolprofilering, in functie van administratieve verplichtingen en in functie van toenemende verantwoordingsdruk. Om zichzelf te profileren deelt de school via de schoolwebsite of een maandblad de PISAresultaten mee of de resultaten van de OVSG-proef. Niet alleen cognitieve outputresultaten, maar ook sportresultaten of verslagen van andere projecten horen daarbij. Dit laatste dient


13

volgens Van Gasse, et.al. (2015) om de eigenheid van de school in de verf te zetten. Daarnaast kan het strategisch gebruik onderverdeeld worden in functie van administratieve verplichtingen. Er wordt verwacht dat een school verschillende werkplannen heeft en dat er informatie verzameld wordt voor de doorlichting. De school moet immers “in orde” zijn met verschillende documenten. Een laatste subcategorie is het strategisch datagebruik in functie van de toenemende verantwoordingsdruk. Scholen dekken zich in en zorgen ervoor dat ze beslissingen kunnen staven, bijvoorbeeld bij het al dan niet afleveren van een attest op het einde van het schooljaar. Wanneer een doorlichting nadert, maken scholen vaker gebruik van deze laatste subcategorie. Ook in landen waar data gebruikt worden om scholen te evalueren, te rangschikken en financiële middelen toe te kennen komt deze categorie vaak voor (Van Gasse, et.al., 2015; Schildkamp, et.al., 2013). Data kunnen tegelijk volgens verschillende categorieën gebruikt worden (Van Gasse, et.al.,2015). Een school kan bijvoorbeeld data gebruiken voor verantwoording naar de ouders toe en tegelijk om bepaalde leergebieden te verbeteren. Samenvattend kunnen we stellen dat het data gebruik doelgericht, systematisch en cyclisch aangepakt moeten worden om tot data-driven decision making te komen.


14

Centrale rol van de schoolleider Een belangrijk concept om tot data-driven decision making te komen, is het proces om van ruwe data tot actie te komen. Dit cyclische proces werd hierboven beschreven aan de hand van de verschillende modellen. De belangrijkste conclusie uit deze modellen is dat data op zichzelf geen betekenis hebben (Earl & Fullan, 2013; Schildkamp, et.al., 2013) omdat ze niet zeggen hoe een probleem moet worden opgelost. Data moeten dus niet alleen verzameld worden, maar ook geïnterpreteerd en geanalyseerd worden en dat is niet eenvoudig, hiervoor is heel wat menselijke capaciteit nodig. Internationaal onderzoek van o.a Ikemoto, et.al.(2007); Simpson (2011); Datnow, et.al. (2007); Madinach et al. (2006) en Parsley, et.al.(2006) benadrukken de centrale rol van de schoolleider bij het gebruik van data op school. Een schoolleider laat zich informeren door data en houdt daarbij rekening met de context (Earl & Fullan, 2003; Van Gasse, et.al., 2015). Daar rekening te houden met waarden, normen en visie van de school vermijdt hij het deterministische karakter van data of het slaafs volgen van data. De schoolleider kan zelf bepaalde prioriteiten stellen, passend bij het pedagogisch project van de school en aan bepaalde oplossingen voorrang geven (Marsh, et.al.,2006). De schoolleider kan optreden als menselijke interpretator van data. Het gebruik van data op school wordt gestimuleerd en ondersteund door het leiderschap op school (Parsley, et.al.2006). De schoolleider heeft het meest vat op de informatiegerichte schoolcultuur, op de organisatie en op de structuur van de school (Schildkamp, et.al., 2010; Marsh, et.al., 2006; Van Gasse, et.al., 2015; Earl & Katz, 2006). Data- driven decision making komt bij gevolg vooral toe aan de schoolleider en daarom is de focus van deze masterproef gericht op data-geïnformeerd leiderschap. Dit is een duidelijke erkenning van de rol van de schoolleider in het proces van data-driven decision making.


15

Gestandaardiseerde toetsen Data-geïnformeerd leiderschap maakt gebruik van data om het schoolbeleid vorm te geven. Het gebruik van leerlingenresultaten maakt daar deel van uit (Lai, McNaughton, 2009). Volgens Hulpia & Valcke (2004) zijn leerlingenresultaten de eerste stap in het onderzoek van wat werkt en hoe onderwijs verbeterd kan worden. Het zijn volgens Ledoux, et.al. (2009) handvaten om de onderwijskwaliteit te analyseren en te verbeteren. De leerlingenresultaten helpen om bepaalde problemen of hiaten in het leerprogramma te detecteren, maar ze geven geen volledige diagnose (Hulpia & Valcke, 2004). Om veranderingen door te voeren is het dus geen goed idee om alleen te kijken naar de leerlingenresultaten maar is het evenmin een goed idee om enkel informatie te verzamelen zonder de leerlingenresultaten te bekijken. Die leerlingenresultaten kunnen leraren en schoolleiders immers helpen om praktijkaanpassingen door te voeren, waardoor de lespraktijk effectiever wordt en meer aangepast is aan de leerlingen (Timperly, Wilson, Barrar & Fung, 2008). Vlaanderen heeft geen traditie om centrale examens te organiseren (Ver Eecke, et.al., 2009; Dunn, et.al., 2013; Vanhoof, et.al., 2013) en dit zorgt er volgens Vanhoof, et.al. (2013) voor dat leerlingenresultaten niet op systematische wijze worden bijgehouden door de scholen. Het is wel wettelijk verplicht om de vooruitgang van de eigen school te analyseren en hierop vernieuwingen te implementeren (Vanhoof, et.al., 2013). Hiervoor moeten scholen een systeem uitwerken maar zijn ze vrij in hun keuze welk systeem (Ver Eecke, et.al., 2009). Bovendien kijkt de inspectie (Dunn, et.al., 2013) naar de outputdata van scholen in relatie tot de context-, input- en procesdata. De Vlaamse overheid kan scholen niet verplichten om aan zelfevaluatie te doen of om outputdata te verzamelen, de Vlaamse overheid kan dit alleen stimuleren. Scholen maken hiervoor onvoldoende gebruik van objectieve toetsen voor onderwijsevaluatie en- verbetering (Ledoux, et.al., 2009). Leerlingenresultaten in Vlaanderen worden vooral geëvalueerd op basis van zelfgemaakte leerlingentoetsen en methode-gebonden toetsen (Dunn, et.al., 2013; Vanhoof, et.al., 2013, Van Gasse, et.al., 2015). Vlaamse scholen hebben daarbij nood aan betrouwbare data om te kijken of leerlingen de eindtermen halen (Ver Eecke, et.al., 2009). Het probleem is dat deze, zelfgemaakte leerlingentoetsen en methode-gebonden toetsen veel vertellen over de vorderingen van de individuele leerlingen, maar minder geschikt zijn om de resultaten te vergelijken met andere scholen, met andere klassen binnen de school of doorheen de tijd (Mertler, 2002). Bij het gebruik van gestandaardiseerde leerlingentoetsen, zijn heel wat valkuilen, toch geven de resultaten aan schoolleiders en leraren heel veel informatie over hoe iets beter kan in functie van de schoolontwikkeling.


16

Het gebruik van gestandaardiseerde leerlingentoetsen laat scholen toe om objectieve output data te verzamelen. Deze data kunnen scholen gebruiken om hun sterktes en zwaktes te onderzoeken en hierop te reageren. Onderverdeling van gestandaardiseerde toetsen. De gestandaardiseerde leerlingentoetsen worden in het Vlaamse onderwijs opgedeeld volgens vijf groepen (Van Gasse, et.al., 2015). Deze vijf groepen zijn (1) de gestandaardiseerde toetsen, ontwikkelend door de koepel (IDP, OVSG…), (2) gestandaardiseerde toetsen ontwikkeld door het Centrum voor Schoolfeedback, (3) gestandaardiseerde toetsen vanuit de Vlaamse overheid (paralleltoetsen op basis van de peilingen), (4) gestandaardiseerde toetsen n.a.v. (internationaal) onderzoek (TIMMS,PISA…) en (5) methode-onafhankelijke toetsen, zoals het leerlingvolgsysteem (LVS), de Toetertest en SALTO. Deze laatste groep zijn ook gestandaardiseerde leerlingentoetsen die de leerlingenvorderingen in kaart brengen (Van Gasse, et.al., 2015). De meest gebruikte gestandaardiseerde leerlingentoetsen in het Vlaamse basisonderwijs zijn de gestandaardiseerde OVSG-toets, ontwikkeld door de koepel van steden en gemeenten en de gestandaardiseerde IDP-toets, ontwikkeld door de koepel van het Katholieke onderwijs. Beide toetsen worden afgenomen op het einde van het zesde leerjaar en meten alle leergebieden en domeinen. Daarnaast gebruiken de Vlaamse scholen ook de LVS-toetsen van het Nederlandse Centraal Instituut voor Toets-Ontwikkeling (CITO) of van het Vrije Centrum voor Leerlingen-Begeleiding (VCLB) . Deze LVS-toetsen worden in Vlaanderen enkel gebruikt om de evolutie te meten van de leergebieden taal en wiskunde. Deze evolutie kan afgeleid worden door drie toets momenten te houden bij het begin, het midden en op het einde van elk schooljaar. Voor technisch lezen gebruiken Vlaamse scholen het Analyse Van Individualiseringsvormen-leesniveau (AVI). Het AVI-leesniveau is het resultaat van een technische leestoets (AVI-toets). Er zijn 12 AVI-leesniveaus. Tussen eerste leesniveau (AVIstart) en het laatste (AVI-plus) bevinden zich nog 10 tussenniveaus. De tussenniveaus dienen voor het midden en het einde van elk schooljaar. Het leesniveau M4 is bijvoorbeeld het leesniveau dat een leerling in het midden van het tweede leerjaar zou moeten hebben. Samenvattend kunnen we stellen dat er voldoende gestandaardiseerde toetsen voorhanden zijn maar dat ze niet systematisch gebruikt worden op school en daardoor niet kunnen leiden tot objectief vergelijkbare resultaten die nodig zijn voor een data-geïnformeerd leiderschap.


17

Onderzoeksvragen In Vlaamse basisscholen worden de beschikbare data verschillend en niet systematisch gebruikt. De overvloed aan data zijn vooral outputdata gebaseerd op zelfgemaakte leerlingentoetsen en methode-gebonden toetsen. Zelden worden gestandaardiseerde leerlingentoetsen gebruikt als onderdeel van de schoolontwikkeling. De voordelen van gestandaardiseerde leerlingentoetsen zijn dat scholen hun sterktes en zwaktes over een langere periode kunnen onderzoeken, dat ze zichzelf kunnen vergelijken met andere scholen en dat ze een doorgedreven opvolging toelaten van de leerlingenresultaten. Hoe worden gestandaardiseerde leerlingentoetsen gebruikt op school als onderdeel van het cyclisch proces van data-geïnformeerd leiderschap? Om hierop een antwoord te formuleren, worden drie deelvragen onderzocht. (1) Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? (2) Hoe wordt elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast in de scholen? (3) Tot welke resultaten leidt het cyclisch proces.


18

Methodologie Casestudy Het doel van dit onderzoek is te achterhalen hoe scholen gestandaardiseerde leerlingentoetsen gebruiken binnen het cyclische proces van data-geïnformeerd leiderschap. Een casestudy is een specifieke vorm van kwalitatief onderzoek (Mortelmans, 2013). Een casestudy is uitermate geschikt om hoe-en waaromvragen te beantwoorden (Yin, 2013). Key informant sample. Schoolleiders spelen een centrale rol bij het gebruik van data op school (Ikemoto, et.al.,2007; Simpson,2011; Datnow, et.al.,2007; Madinach et al.,2006 en Parsley, et.al.,2006). Ze werden in dit onderzoek als sleutelinformanten (Reulink & Lindeman, 2005) verkozen volgens het principe van het “key informant sample” (Marshall, 1996). Daarom werd ervoor gekozen om de schoolleiders te interviewen. Semigestructureerde interviews. Om een volledig beeld te krijgen van het data gebruik op school werden de schoolleiders bevraagd via semigestructureerde interviews. De interviews werden afgenomen aan de hand van een interviewleidraad. Deze bestaat uit open vragen in een logische volgorde. Een semigestructureerd interview laat toe om dieper in te gaan op persoonlijke antwoorden en op de kennis van de geïnterviewde (Reulink & Lindeman, 2005). De interviewleidraad is opgenomen in bijlage. Documentenanalyse. Er werden interne documenten opgevraagd van data-analyses. De schoolleiders mochten zelf bepalen welke documenten ze relevant vonden en wilden delen voor dit onderzoek. Deze documenten werden door de scholen voor eigen intern gebruik gemaakt en niet voor dit onderzoek. Alle publiek beschikbare documenten zoals inspectie-verslagen, schoolwebsites, kranten- en tijdschriftartikels werden vooraf geraadpleegd. Ze laten toe om tijdens het semigestructureerde interview extra vragen te stellen (Bowen, 2009) en sneller tot de kern door te dringen. Al deze documenten dragen bij tot een dieper inzicht (Bowen, 2009). Een overzicht van alle gebruikte documenten is opgenomen in bijlage.


19

Onderzoeksprocedure Als cases werden slechts vier scholen gekozen omdat er gestreefd werd naar meer diepte en inzicht i.p.v. representativiteit (Verhoeven, 2014). De cases werden uiterst zorgvuldig uitgekozen, hetgeen belangrijk is bij een casestudy onderzoek (Yin, 2013). De cases werden geselecteerd door de onderzoeker zelf vanwege hun deskundigheid in het gebruik van gestandaardiseerde leerlingentoetsen. De cases worden algemeen door het werkveld erkent als “goede voorbeelden”. Case-selectie motivatie. De eerste case is een school in het centrum van de stad Antwerpen. De stad Antwerpen ondersteunt haar stedelijke scholen in hun eigen schoolbeleid en verwijst daarom naar goede voorbeelden op haar website en in haar jaarverslagen. Deze school werd door de onderzoeker gekozen omdat ze in het jaarverslag van 2013 van de stad Antwerpen aangehaald wordt als stichtend voorbeeld van een school die goed gebruik maakt van gestandaardiseerde leerlingentoetsen. De tweede case is een landelijke basisschool in één van de deelgemeenten van Beveren. Vanuit de gemeente Beveren worden er heel wat acties opgezet rond de OVSG- toetsen, zoals het samen verbeteren en evalueren van de resultaten van alle gemeentelijke basisscholen. Deze manier van werken heeft er samen met persoonlijke contacten voor gezorgd dat de onderzoeker deze school gekozen heeft. De derde case is een basisschool in een deelgemeente van Gent. De onderzoeker was aanwezig op een studiedag over een OBPWO-onderzoek naar informatiegebruik in- en door scholen. De schoolleider gaf daar een uiteenzetting over hoe zijn school gestandaardiseerde leerlingentoetsen gebruikt. Dat gaf de doorslag om ook deze school als case te selecteren. De vierde case werd geselecteerd op basis van persoonlijke ervaringen als leraar op een basisschool in één van de negentien gemeenten van het Brussels hoofdstedelijk gewest. De school wordt door haar geografische ligging geconfronteerd met een taalproblematiek. De school maakt gebruik van gestandaardiseerde leerlingentoetsen, vooral rond taalontwikkeling. Ze wordt daarin gestimuleerd door het voorrangsbeleid Brussel (VBB) en de Vlaamse Gemeenschapscommissie (VGC). Beide redenen waren doorslaggevend bij de keuze van de onderzoeker voor deze school.


20

Data verzameling. Er werden met de schoolleiders afspraken gemaakt om hen op hun school tussen april 2015 en juni 2015 te interviewen. Elke schoolleider tekende een informed consent. Deze kunnen bij de onderzoeker verkregen worden. Tijdens de interviews werden de verschillende documenten aan de onderzoeker overhandigd. De interviews met de vier schoolleiders werden auditief opgenomen en daarna uitgeschreven. Data analyse. De transcripties werden gecodeerd en opgedeeld met de data-en analysesoftware Nvivo. De drie onderzoeksvragen werden gebruikt als basis voor de opdeling. De antwoorden op de tweede onderzoeksvraag uit het onderzoek werden verder opgedeeld volgens het stappenplan van Schildkamp, et.al., (2013). Naast de transcripties werden ook alle verkregen documenten op dezelfde manier gecodeerd en opgedeeld. Verticale data analyse. Met de opgedeelde data wordt voor elke school apart per onderzoeksvraag een antwoord geformuleerd. Dit antwoord wordt gestaafd met quotes uit de interviews met de schoolleider en met grafieken en tekstfragmenten uit de documentanalyse. Voor elke school wordt per onderzoeksvraag een samenvatting gemaakt. Horizontale data analyse. In de horizontale analyse worden per onderzoeksvraag gelijkenissen en verschillen tussen de vier onderzochte scholen beschreven op basis van de verticale analyse Context. De vier scholen maken allen deel uit van het officieel gesubsidieerd onderwijs en worden allen ondersteund door de onderwijskoepel van steden en gemeenten (OVSG). De school uit het centrum van Antwerpen (1) ligt in een verarmde multiculturele wijk. De school heeft leerlingen met zeventig verschillende nationaliteiten, waarvan veel anderstalige nieuwkomers. Juridisch is een anderstalige nieuwkomer iemand die minder dan negen maanden op het Nederlandstalige grondgebied onderwijs gevolgd heeft. Dit zorgt er niet alleen voor dat de leerlingen Nederlands als tweede, derde of zelfs vierde taal leren, maar ook dat ze allemaal een andere schoolloopbaan achter de rug hebben. Daarenboven stromen de leerlingen niet op één september in het eerste leerjaar in, maar verspreid over het schooljaar en over verschillende leerjaren. De school werkt met jaarklassen en plaatst de leerlingen in hun eigen leeftijdsgroep. De school houdt geen rekening met de voorkennis of de schoolloopbaan van de leerlingen, omdat ze niet structureel wil meewerken aan leerachterstand. Op lange termijn werkt leerachterstand de ongekwalificeerde uitstroom in de hand. Een klassieke kijk op het onderwijs was om praktische redenen en omwille van specifieke behoeften van de leerlingen niet langer haalbaar. Er werd gekozen voor een onderwijsvernieuwing waarbij differentiatie, geïntegreerd zorgbeleid en gestandaardiseerde


21

leerlingentoetsen de sleutelwoorden zijn. In het inspectieverslag staat dit alles omschreven als: “het outputbeleid is structureel verankerd in de school.” Voor de landelijke school uit een deelgemeente van Beveren-Waas (2) behoort het gebruik van data van gestandaardiseerde leerlingentoetsen tot de middelen om zichzelf te evalueren, te vernieuwen en voorruit te kijken. Dit staat omschreven in de visie van de school en haar scholengemeenschap Beveren-Kruibeke. De school ligt in één van de deelgemeenten van Gent (3). Door plaatsgebrek moedigde de stad Gent de scholen aan om uit te breiden waar mogelijk. Deze school gaf gehoor aan dit verzoek en ging op vijf jaar tijd van 240 naar 400 leerlingen. Deze instroom kwam er niet enkel via het eerste leerjaar maar ook alle andere leerjaren. Dit was een hele omwenteling die vroeg om een andere aanpak vanuit een weldoordachte visie. De schoolleider baseerde zich hiervoor op de resultaten van gestandaardiseerde leerlingentoetsen. De school uit een Brusselse deelgemeente (4) ligt in een multiculturele wijk. De leerlingen spreken thuis veelal een andere taal dan het Nederlands. De leerlingen leren het Nederlands als tweede of derde taal. Dit stimuleerde de school om gestandaardiseerde leerlingentoetsen te gebruikten om de taalontwikkeling van de leerlingen op te volgen. De school gebruikt de gestandaardiseerde leerlingentoetsen ook om het niveau van het geboden onderwijs en de individuele leerlingenresultaten op te volgen. Ze wil hiermee het overzicht houden in een uitdagende omgeving van een diverse leerlingenpopulatie. Betrouwbaarheid en validiteit. De validiteit en de betrouwbaarheid van dit onderzoek werd gewaarborgd door de semigestructureerd interviews aan te vullen met bevindingen uit een document analyse (Yin, 2013). De drie onderzoeksvragen werden gebruikt als basis voor de opdeling. De antwoorden op de tweede onderzoeksvraag uit het onderzoek werden verder opgedeeld volgens het stappenplan van Schildkamp, et.al., (2013). Deze analysemethode verhoogt ook de validiteit en de betrouwbaarheid van het onderzoek (Yin, 2013). De vier scholen maken allen deel uit van het officieel gesubsidieerd onderwijs en worden allen ondersteund door de onderwijskoepel van steden en gemeenten (OVSG). De vier scholen hadden in de voorgaande drie schooljaren een doorlichting gehad. Wanneer een doorlichting nadert, maken scholen vaker gebruik van data (Van Gasse, et.al., 2015). Dit heeft een invloed op de validiteit en betrouwbaarheid van het onderzoek. Dit is ondergeschikt aan het doel van dit onderzoek. Er wordt gestreefd naar meer inzicht in het gebruik van gestandaardiseerde toetsen in door de praktijk erkende goede voorbeelden.


22

Resultaten De resultaten moeten een antwoord geven op de onderzoeksvraag hoe gestandaardiseerde leerlingentoetsen gebruikt worden op school als onderdeel van het cyclisch proces van datageïnformeerd leiderschap? De onderzoeksvraag werd opgedeeld in drie deelvragen: (1) Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? (2) Hoe wordt elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast in de scholen? (3) Tot welke resultaten leidt het cyclisch proces. De resultaten van de verticale analyse worden per school en per onderzoeks-deelvraag beschreven. De verticale analyse vormt eveneens een basis om de drie onderzoeksvragen te beantwoorden in de horizontale analyse. In de horizontale analyse worden de gelijkenissen en de verschillen tussen de vier onderzochte scholen beschreven. Resultaten van de verticale analyse Resultaten van de verticale analyse van school (1). De school ligt in een verarmde multiculturele wijk in het centrum van Antwerpen Onderzoeksvraag (1) welke gestandaardiseerde leerlingentoetsen worden er gebruikt? In het kleuteronderwijs gebruikt de school geen gestandaardiseerde toetsen, wel een observatiesysteem. In het lager onderwijs neemt de school de OVSG-toets af en het leerlingvolgsysteem (LVS) van het CITO. Onderdelen uit dit LVS worden in combinatie met observatie ook gebruikt als testbatterij bij de intake procedure voor nieuwe leerlingen. De school neemt ook een toets af van de InterGEmeentelijke dienst ANtwerpen (IGEAN). De IGEAN toets is ontwikkeld door de regionale leden van de gemeenschapsinspectie, de schepenen van onderwijs en het begeleidingsteam van het OVSG (IGEAN, 2015). Deze toets is alleen beschikbaar voor de gemeentelijke scholen in het arrondissement Antwerpen. Ieder jaar nemen zesduizend leerlingen deel uit een dertigtal Antwerpse lagere scholen. Op het einde van het schooljaar in elk leerjaar de IGEAN afgenomen, met uitzondering van het zesde leerjaar, waarin de kinderen deelnemen aan de OVSG-eindtoets. Deze IGEAN-toets bestaat uit tien vragen uit de leerdomeinen rekenen en taal. Conclusie. De school meet vooral de technische vaardigheden van de leerlingen vooral de leerdomeinen taal en rekenen met het LVS van CITO, IGEAN-toets en de OVSGtoets. Enkel de OVSG-toets meet ook nog andere leerdomeinen.


23

Onderzoeksvraag (2) hoe elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast wordt in de school?


De probleemdefiniëring (stap 1) en het opstellen van een hypothese (stap 2) gebeurt in de eerste plaats door verschillende miniteams. Op school zijn er zes miniteams die elk bestaan uit twee klasleraren en een zorgleraar. Deze miniteams van drie personen zijn telkens verantwoordelijk voor de instructie van twee parallelklassen in één leerjaar. Het miniteam signaleert problemen op basis van gestandaardiseerde toetsresultaten van een individuele leerlingen, observatie en ervaring. Een vertegenwoordiger van het miniteam zetelt samen met de schoolleider in een stuurgroep IZB (Integraal ZorgBeleid). De schoolleider verklaart: “Deze stuurgroep moet informatie aanbrengen van het miniteam, maar moet ook gemeenschappelijke strategieën meenemen naar het miniteam.” In deze stuurgroepen worden problemen aangekaart tijdens de klassenraden en ook tien keer per jaar tijdens de personeelsvergaderingen. Dan wordt beslist of gestandaardiseerde toetsresultaten verdere analyse vragen. De schoolleider brengt tijdens deze vergaderingen ook


24

eigen inzichten naar voor. In “sofa-gesprekken” krijgen individuele leraren de kans om eigen ideeën te lanceren. De gestandaardiseerde data worden verzameld (stap 3) door elk miniteam via het LVS, in het begin, in het midden en op het einde van het schooljaar. De schoolleider vertelt dat er achttien gestandaardiseerde toets-momenten zijn voor wiskunde en voor bepaalde onderdelen van taal. De validiteit en betrouwbaarheid (stap 4) van de toetsen werd bij de initiële selectie van de gestandaardiseerde toetsen bekeken en in vraag gesteld. De organisatie achter de gestandaardiseerde toetsen is daarbij doorslaggeven. De school verkiest het Nederlands leerlingvolgsysteem (LVS) van CITO boven de Vlaamse variant van het VCLB. Het computerprogramma LOVS is een doorslaggevende factor bij die keuze en de directeur legt uit waarom: “Niet omdat die beter zijn, ze zijn vaak wat te moeilijk en talig. Er waren pro’s en contra’s maar ze geven ons over heel de loopbaan van de leerling evolutie en dat is voor ons het belangrijkste.” Data-analyse (stap 5) is voor de schoolleider de belangrijkste stap: “Heel wat scholen voeren veel toetsing, maar geen analyse uit. Als je geen analyse kan maken, kan je de toetsen ook beter niet afnemen.” De leerlingenresultaten van de LVS-toetsen van het CITO worden geanalyseerd met het programma LOVS. LOVS is een computerprogramma dat ontwikkeld werd door het CITO. Met het programma worden beschrijvende analyses gemaakt op leerling-, groeps- en schoolniveau. Binnen de school is er één expert in het maken van analyse via LOVS waarop iedereen kan rekenen. De analyses worden gemaakt door het miniteam, de schoolleider of de IDP-stuurgroep. Op leerlingenniveau worden vaardigheidsscores berekend, vergeleken met een norm, leerwinst weergegeven, functionerings- en beheersingsniveau bepaald en categorieënanalyses gemaakt. Vaardigheidsscores zijn de scores die een leerling behaalde op de toetsen uit het LVS. De vaardigheidsscores kunnen daarna vergeleken worden met een norm zoals in onderstaande tabel (figuur 7).


25

Figuur 7: vaardigheidsscores en normen LOVS

In een grafiek kan de leerwinst visueel weergegeven worden, zoals in onderstaande figuur 8.

Figuur 8: leerwinst LOVS

De vaardigheidsscore wordt ook gekoppeld aan het vooropgestelde functionerings- en beheersingsniveau dat een leerling op dat moment zou moeten behalen. Een leerling zou bijvoorbeeld op de spellingstoets van het einde van groep 6 (einde van het vierde leerjaar) het functioneringsniveau E6 moeten behalen voor spelling, maar heeft slechts een vaardigheidsscore van 127 behaalt, waarmee hij het functioneringsniveau M5 (midden van het derde leerjaar) krijgt. Dit wil zeggen dat de score van de leerling vergelijkbaar is met de gemiddelde score van een leerling in het midden van groep 5 (midden van het derde leerjaar) en zegt dus niet alleen dat er een achterstand is, maar ook hoe groot deze is. Op leerlingenniveau kunnen ook categorieënanalyses gemaakt worden, die aangeven voor welke onderdelen van een toets een leerling slecht scoorde. In onderstaande tabel is een


26

voorbeeld uitgewerkt voor het leerdomein rekenen. Dit domein wordt opgedeeld in de categorieën getallen (GET), optellen en aftrekken (O&A), vermenigvuldigen en delen (V&D), meten (ME) en tijd en geld (TG).

Figuur 9: categorie-analyse rekenen LOVS

De kolom % score afwijking uit bovenstaande tabel wordt in onderstaande grafiek weergegeven.

Figuur 10: categorie-analyse rekenen LOVS

De grafiek toont in welke categorieën van het leerdomein Wiskunde de leerling problemen heeft en in welke mate. Hoe belangrijk deze categorieën zijn in het geheel van de afgenomen toets wordt in de grafiek aangeduid door de breedte van de staven. Door de leraren wordt er met datzelfde LOVS-programma een foutenanalyse gemaakt die het aantal fouten telt per leerling en per categorie. Een voorbeeld van een categorie uit het leerdomein taal is hoeveel fouten leerlingen maken in éénlettergrepige woorden met sch(r)-.


27

In de data-analyse op groepsniveau wordt informatie verkregen over de klasgroep. In deze school wordt deze analyse niet gemaakt omdat volgens de schoolleider: “We op onze school geen groepsprofielen kunnen vergelijken omdat onze groepen zo divers zijn, in een klas kunnen er 5 analfabeten zitten die pas in het land zijn”. In de data-analyse op schoolniveau wordt informatie verkregen over het functioneren van de school. Zo kan een school zichzelf evalueren. Met het LOVS-programma kan aan trendanalyse gedaan worden, kan de school zichzelf vergelijken met andere scholen en kunnen inputdata gekoppeld worden aan outputdata. De eigen school vergelijken met andere scholen in Vlaanderen is volgens de schoolleider niet mogelijk omdat: “Geen enkele school LOVS gebruikt op de manier zoals wij dat doen. Wij analyseren met dit programma niet enkel de scores van de leerlingen, maar ook de fouten. Andere scholen maken deze foutenanalyse niet en dus kunnen wij eigenlijk onze resultaten met geen enkele andere school vergelijken.” De functie om inputdata te koppelen aan outputdata kan volgens de schoolleider niet gebruikt worden omdat: “Er een ander administratief programma wordt gebruikt om de inputdata te verzamelen en beide programma’s niet aan elkaar gelinkt kunnen worden.” De schoolleider en de IDP- stuurgroep hebben een manuele vergelijking gemaakt: “En dan ga je zulke zaken ontdekken zoals dat Polen daar problemen mee hebben als ze dat pas op die leeftijd leren laat.” Van de resultaten van de OVSG- proeven en van de IGION- proeven wordt geen dataanalyse gemaakt. De schoolleider legt uit waarom: “Dat is dan maar een keer per jaar dat we een analyse kunnen doen en dan meenemen naar het jaar daarop. Elk jaar wordt een andere thema gekozen en dan heb je eigenlijk geen vergelijkbare informatie. De ene keer is er heel veel aandacht voor cijferen, je scoort daar goed op en het jaar daarop is er voor rekenen een andere focus, bijvoorbeeld meetkunde. Dan zegt dat niks over de evolutie van ons niveau van cijferen.” De schoolleider kijkt wel naar de focus binnen het jaarlijks gekozen thema van de OVSG-toets om te verifiëren of de school up-to-date is: “Onderwijs Vlaanderen zegt dat er te weinig aandacht is voor techniek. Dat wordt dan meestal een focus binnen de OVSGtoetsen. Vaak zie je ook dat onderwijsinspectieteams daar dan ook meer aandacht aan besteden. En dan kijk ik of wij daar voldoende in mee zijn.” Interpretatie en conclusie (stap 6) van de LVS-resultaten worden op schoolniveau door de schoolleider gemaakt en getrokken. Ook de OVSG-toetsresultaten en de IGEANtoetsresultaten worden door de schoolleider geïnterpreteerd. Het miniteam interpreteert de


28

LVS-resultaten op leerlingen groepsniveau. Interpretaties en conclusies die iedereen aanbelangen, worden tijdens een personeelsvergadering besproken. In de IZB-stuurgroep en op personeelsvergaderingen worden maatregelen genomen (stap 7). De schoolleider geeft tijdens het interview volgende voorbeelden: het opdelen van leerlingen in groepen voor taal en rekenen volgens behaalde resultaten op de LVS-toetsen, het volgen van vorming, het vormen van een werkgroep, het maken van een draaiboek of actiefiche, op zoek gaan naar meer literatuur, een nieuwe methode uitkiezen, werkpunten opstellen voor leraren, collegiale visitaties, bezoek aan een andere school om te kijken hoe de aanpak daar werkt, de verticale samenhang van de lesinhouden herbekijken of het herorganiseren van een miniteam. De schoolleider legt uit: “Wanneer een miniteam niet goed om kan met de problemen dan beslissen we om mensen te verplaatsen die dan misschien strategischer kunnen omgaan met die uitdagingen.” De evaluatie is de laatste stap (stap 8). Deze stap bestaat uit een procesevaluatie en een effectevaluatie. De procesevaluatie gebeurt tijdens informele gesprekken. De procesevaluatie evalueert hoe de maatregelen uitgevoerd werden en hoe de maatregelen ervaren werden. Deze procesevaluatie werd pas recent formeel geïntegreerd naar een aanleiding van een project rond de moedertaal. De schoolleider legt uit: “De doelstelling is dat mensen dat niet zien als een extra belasting, maar dat ze dat gewoon vinden en ook normaal vinden dat je op die manier gaat werken. Dan ga ik dat uitbreiden naar de andere projecten. Nu gebeurt dat ook allemaal, maar niet zo gestructureerd en niet zo benoemd.” De effectevaluatie gebeurt vooral op het niveau van de leerlingen. Het miniteam bespreekt of de ondernomen acties op korte termijn resultaat geven. Op lange termijn worden de effecten van de ondernomen acties geëvalueerd door de leerwinst van de leerlingen bij te houden. De schoolleider zegt daarover: “het is moeilijk om na te gaan welk effect te danken is aan welke actie.” Conclusie. Het cyclische proces wordt doorlopen op verschillende niveaus. De probleemdefiniëring (stap 1) en hypothese (stap 2) gebeuren in de eerste plaats op het niveau de leerlingen op personeelsvergaderingen en op klassenraden. Ook de schoolleider kan op informele momenten problemen aankaarten. Problemen komen terecht bij de IZB-stuurgroep. De data worden verzamelt (stap 3) door het miniteam. De validiteit en betrouwbaarheid (stap


29

4) van de leerlingentoetsen worden minimaal in vraag gesteld. De data analyse (stap 5) van de LVS-toetsen gebeurt voornamelijk door het miniteam met behulp van het computerprogramma LOVS. Deze data analyse bestaat uit een beschrijvende- en foutenanalyse. Analyse van de resultaten van de volledige school van de OVSG-toets, IGEON-toets en LVS-toetsen gebeurt door de IZB-stuurgroep of de schoolleider. De schoolleider houdt rekening met de focus van de OVSG–toets om te zien of de school daar voldoende in mee is. De interpretatie en conclusie (stap 6) gebeurt op schoolniveau door de schoolleider. Op leerlingen groepsniveau gebeurt de interpretatie en conclusie door het miniteam. Maatregelen (stap 7) worden door de IZB-stuurgroep genomen of op personeelsvergaderingen. De evaluatie (stap 8) bestaat uit een procesevaluatie tijdens informele gesprekken met de schoolleider en een effectevaluatie op korte termijn door het miniteam.


30

Onderzoeksvraag (3) tot welke resultaten leidt het cyclisch proces? De gestandaardiseerde leerlingentoetsen zijn de basis voor een geïntegreerd zorgbeleid op deze school. De school heeft de leerlingen in groepen voor taal en rekenen opgedeeld op basis van het resultaat dat de leerlingen behaalde op de LVS-toetsen. Daardoor komen in dezelfde groepen leerlingen uit verschillende leerjaren terecht. Aan die leerlingen wordt per groep taal en rekenen onderwezen op hun beheersings-en functioneringsniveau. De gestandaardiseerde leerlingentoetsen leiden op deze school rechtstreeks tot het nemen van beslissingen en het doorvoeren van veranderingen. De schoolleider maakt daarbij de bedenking: “Maar alles valt en staat natuurlijk bij data. We moeten data bijhouden, dat kunnen we niet doen met de natte vinger.” In mindere mate worden de gestandaardiseerde leerlingentoetsen gebruikt om bepaalde prioriteiten te stellen en om de kwaliteit te bewaken en te verbeteren. De schoolleider rekent hiervoor in eerste instantie op zijn leraren: “Die leerkracht is er dan om zich te verdiepen in zaken, te evalueren, door te praten waarom het werkt en niet werkt en hoe het opgelost zou kunnen geraken. En op die basis proberen we dat dan te realiseren.” De data wordt gebruikt om het eigen team te overtuigen. De schoolleider licht toe: “We proberen juist aan te tonen dat wij, als wij de input en context afzetten tegen onze resultaten, kunnen zeggen: wij zijn keihard goed bezig.” Ook worden de data gebruikt om externen te overtuigen: “Als ik ergens ga spreken dan kan je zo horen dat men twijfelt aan mijn verhaal. En dan heb ik harde cijfers. Ik dénk niet dat het zo is, ik kan aantonen dat het zo is.” Conclusie. De gestandaardiseerde leerlingentoetsen worden in de eerste plaats gebruikt als basis voor het geïntegreerde zorgbeleid op school. De data worden om prioriteiten te stellen, om de kwaliteit te bewaken en te verbeteren en om het eigen team en externen te overtuigen.


31

Resultaten van de verticale analyse van school (2). De school ligt in een landelijke deelgemeente van Beveren-Waas. Onderzoeksvraag (1): Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? In het kleuteronderwijs gebruikt de school geen gestandaardiseerde toetsen, wel een observatiesysteem. Volgens de schoolleider zijn de OVSG-toetsen op het einde van het zesde leerjaar de belangrijkste gestandaardiseerde leerlingentoetsen die gebruikt worden op haar school. Ze zegt hierover: “De OVSG-proef toetst eigenlijk alle domeinen. Er zit ook wereldoriëntatie, Frans, en een praktische toets van techniek, spreken en lichamelijke opvoeding bij. Eigenlijk worden alle domeinen die je aanraakt, getoetst.” Voor technisch lezen gebruikt de school de AVI-toetsen en voor rekenen de toetsen van het LVS-VCLB. Alleen de midden- en eindtoetsen worden afgenomen. De begintoetsen worden niet meer afgenomen omdat de invloed van de vakantieperiode op de resultaten te groot is. De schoolleider verduidelijkt het gebruik van de verschillende toetsen als volgt: “De LVSVCLB-toetsen worden minder gebruikt omdat die niet overeen komt met wat de leerlingen in dat leerjaar leren. De OVSG-toets wordt intensief gebruik om mee het beleid te ondersteunen.” De school gebruikt in het eerste leerjaar “Veilig leren lezen”. Dit is een leesmethode waarin gestandaardiseerde toetsen zijn opgenomen. De daaropvolgende jaren maakt de school gebruik van “Tijd voor taal”. Dat is een andere taalmethode die eveneens gestandaardiseerde toetsen bevat. Van beide methoden-gebonden gestandaardiseerde toetsen gebruikt de school vooral de gestandaardiseerde spellingstoetsen. Conclusie. De school maakt voor rekenen, lezen en taal gebruik van de AVI-toetsen, de LVS-VCLB-toetsen en methode-gebonden gestandaardiseerde toetsen. De OVSG- proef wordt aangeduid als de belangrijkste toets omdat die ook andere leerdomeinen toetst.


32

Onderzoeksvraag (2): Hoe wordt elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast in de school?


Het cyclische proces start met een probleemdefiniëring (stap 1) en het opstellen van een hypothese (stap 2). Ieder schooljaar kiest de school een werkpunt vanuit een probleemstelling. Volgend schooljaar zal de school werken rond lezen: “Volgend jaar is ons nieuw werkpunt, technisch lezen, omdat we merken dat de AVI- niveaus niet stijgen, zoals ze zouden moeten stijgen. Dat komt uit de AVI- leestoetsen.” Dit schooljaar werkte de school rond meten en metend rekenen. Die keuze kwam uit de resultaten van de OVSG-toetsen. Bovendien waren de resultaten voor meten en metend rekenen ook zwak op de LVS-toetsen. De keuze voor een focus op een bepaald probleem komt soms ook vanuit de OVSG-koepel. Ieder jaar kiest het OVSG een bepaald thema waaraan extra aandacht gegeven wordt. De OVSG-toetsen en de OVSG-nascholingen worden daarop afgestemd. De school kiest dan om daar in mee te gaan of niet. Probleemdefiniëring gebeurt ook in informele gesprekken in de leraarskamer en op personeelsvergaderingen. Omdat de schoolleider en de zorgleerkracht ook de overkoepelende zorgvergaderingen van


33

de scholengemeenschap bij wonen, bepalen vooral zij de keuze van een werkpunt. De schoolleider legt uit: “Soms beslissen we het werkpunt met ons twee, maar dan is dat wel meestal eens vernoemd geweest op een personeelsvergadering of in de leraarskamer, we laten dat wel eens vallen, zodat de mensen het werkpunt wel inzien en begrijpen.” Het verzamelen van data (stap 3) gebeurt door de leraren. De OVSG-toetsen worden afgenomen in het zesde leerjaar. De AVI-toetsen en LVS-toetsen worden in elk leerjaar afgenomen en verbeterd. Deze toetsen worden bewust aangevuld met observaties van de leraren. De schoolleider legt uit waarom: “Maar als je aan de leraren de resultaten geeft, zeggen ze dat ze dat al verwacht hadden en dat ze dat al wisten. Leerkrachten weten eigenlijk al op voorhand waar leerlingen te zwak uitvallen.” Volgens de schoolleider volstaan observaties alleen niet om een goed beeld te krijgen van de leerlingen. De LVS-toetsen en de AVI-toetsen geven een bevestiging. Of ze weerleggen een verkeerde conclusie uit observaties. Door de toetsresultaten te vergelijken met de observatieresultaten van de leraren worden de toetsresultaten gecontroleerd op hun validiteit en betrouwbaarheid (stap 4). De validiteit van de OVSG- proef wordt in vraag gesteld. Meet de OVSG- proef wat men wil meten? De schoolleider illustreerde dit tijdens het interview met een voorbeeld: “Als een leerling een pure wiskunde-oefening krijgt, kan de leerling dat perfect. Maar als die leerling moet gaan zoeken in de bundel , zodat hij de wiskunde oefening kan oplossen, is dat eigenlijk geen correct beeld meer. We hadden op de duur het gevoel dat de OVSG-proef vooral een proef begrijpend lezen is.” Ook kwam tijdens het interview de betrouwbaarheid van de OVSGproef aan bod. “Het Vlaamse gemiddelde bedroeg vorig jaar op meten en metend rekenen amper 52 op 100, dus dat was voor OVSG zelf ook een alarmbel dat er iets misgegaan is bij hun toets, dat ze hem te moeilijk hebben gemaakt.” Door de resultaten van de OVSG-toetsen jaar na jaar bij te houden en te vergelijken, vergroot de validiteit en betrouwbaarheid volgens de schoolleider: “We ondernemen pas actie als de resultaten een paar jaar slecht zijn, niet van de eerste keer.” De leraar en de zorgleerkracht maken de data-analyse (stap 5) van de AVI-toets, de LVStoetsen en de gestandaardiseerde-methode-gebonden toetsen. Het zijn vooral beschrijvende analyses zoals frequentietabellen en vergelijkingen van gemiddelden. Ruwe resultaten worden eveneens vergeleken met de normtabellen en er wordt een foutenanalyse gemaakt.


34

De leraren van het zesde leerjaar van de scholengemeenschap verbeteren samen de OVSGtoets en verwerken de resultaten in een frequentietabel. De schoolleider maakt zelf een grafiek van de resultaten van de OVSG-toetsen per leerdomein over verschillende jaren. De evolutie van de resultaten doorheen de jaren is voor de schoolleider minder belangrijk. De schoolleider maakt ook een foutenanalyse van de resultaten van de OVSG-toets met behulp van een OVSG-document. Dat document gebruikt de schoolleider als de leerlingen minder dan 70 procent scoren op een vraag in een bepaald leerdomein, zoals in onderstaand voorbeeld van een vraag over getallenkennis.

Figuur 12: analyse-methode van het OVSG.

Naast de data-analyse door de leraren van het zesde leerjaar en de schoolleider maakt ook het OVSG een data-analyse van de resultaten van de OVSG-toets die ze krijgt van de school. Het OVSG maakt hiervan een verslag voor de school. Deze school kijkt in dat verslag vooral naar


35

het Vlaamse gemiddelde en naar de resultaten van de door het OVSG gekozen vergelijkbare referentieschool. De schoolleider en de zorgleerkracht zorgen voor de interpretatie en conclusie (stap 6). Zij geven ook de eerste aanzet tot het nemen van maatregelen (stap 7). De schoolleider en de zorgleerkracht bespreken de resultaten met de leraren op een personeelsvergadering. De schoolleider en zorgleerkracht zeggen welk werkpunt ze voor dat schooljaar kiezen en motiveren hun keuze aan de hand van de resultaten. Deze school heeft voor dit schooljaar bijvoorbeeld meten en metend rekenen als werkpunt gekozen op basis van de tegenvallende OVSG-resultaten. De schoolleider en de zorgleerkracht hebben contact opgenomen met de pedagogische begeleider van het OVSG. Samen gingen ze op zoek naar hiaten in het lessenpakket van meten en metend rekenen. De methode werd bekeken. Met de leraren werd individueel bekeken hoe de methode werd toegepast en welke problemen de leerlingen daarbij ondervonden. Daaruit bleek dat er te weinig gehandeld werd tijdens de lessen van meten en metend rekenen. Daarom werden onderdelen van de les vervangen door handelende opdrachten. Er werd een actieplan opgesteld dat met alle leraren gecommuniceerd werd. De resultaten van de LVS en de AVI-toetsen worden ook op leerlingenniveau besproken op een klassenraad. Daar wordt beslist om al dan niet te remediëren. Hardnekkige problemen worden verder besproken op het Medisch Diagnostisch Overleg (MDO) en opgevolgd door het VCLB en het zorgteam. De evaluatie (stap 8) gebeurt door de schoolleider. De procesevaluatie is minimaal en wordt informeel besproken op een personeelsvergadering. De effectevaluatie gebeurt via de OVSG proeven. Na drie of vier jaar verwacht de schoolleider verbetering. De leraren evalueren de onmiddellijke effectresultaten in de klas. Conclusie. Het cyclische proces start met een probleemdefiniëring (stap 1) en het opstellen van een hypothese (stap 2). Ieder schooljaar kiezen de schoolleider en de zorgleerkracht een werkpunt vanuit die probleemstelling. De leraren verzamelen de data (stap 3) en vullen ze aan met observaties. De toetsresultaten worden gecontroleerd op hun validiteit en betrouwbaarheid (stap 4). Door de resultaten van de OVSG-toetsen jaar na jaar bij te houden en te vergelijken, vergroot de validiteit en betrouwbaarheid. De leraar en de zorgleerkracht maken de data-analyse (stap 5) van de AVI-toets, de LVS-toetsen en de


36

gestandaardiseerde methode-gebonden toetsen. Het zijn vooral beschrijvende analyses en een foutenanalyse. De leraren van het zesde leerjaar, de schoolleider en het OVSG maken elk een data-analyse van de OVSG-toets. De schoolleider en de zorgleerkracht zorgen voor de interpretatie en conclusie (stap 6). Zij geven ook de eerste aanzet tot het nemen van maatregelen (stap 7). De maatregelen worden uitgewerkt in een actieplan voor een heel schooljaar. De evaluatie (stap 8) gebeurt door de schoolleider. De procesevaluatie is minimaal. De effectevaluatie gebeurt via de OVSG proeven. Onderzoeksvraag (3): Tot welke resultaten leidt het cyclisch proces? De maatregelen uit het cyclisch stappenplan leiden vooral tot aanpassingen aan de manier van lesgeven. Het cyclisch proces leidt er ook toe dat data gebruikt worden om het team te overtuigen, om prioriteiten te stellen en om vernieuwingen door te voeren. De schoolleider zegt hierover: “Dit zorgt ervoor dat het team op één lijn staat en dat de leerkrachten samen school maken en verder evolueren.” De resultaten van de gestandaardiseerde leerlingentoetsen dienen ook ter verantwoording bij een doorlichting. Het doorlopen van het cyclisch proces zorgt voor extra motivatie van de leraren. De schoolleider verduidelijkt: “Het is een drijfveer, om te zien waar je zit. Als je ziet dat wij zo veel kinderen hebben met een zwak resultaat, dan moeten we als team een tandje bijsteken.” De schoolleider geeft nog een voorbeeld: “Iedere leerkracht van de peuterklas tot het zesde leerjaar kijkt mee uit naar de OVSG-toetsen. Dat is voor jezelf als leerkracht, ook een meetinstrument. Waar ben ik een heel jaar mee bezig geweest? Wat heb ik als leerkracht goed gedaan? Had ik zulke resultaten verwacht of niet? Conclusie. De maatregelen uit het cyclisch stappenplan leiden tot aanpassingen aan de manier van lesgeven. Het cyclisch proces dient om het team te overtuigen, om prioriteiten te stellen en om vernieuwingen door te voeren. Het dient ook ter verantwoording bij een doorlichting en zorgt voor extra motivatie bij de leraren.


37

Resultaten van de verticale analyse van school (3). De school ligt in een deelgemeente van Gent. Onderzoeksvraag (1): Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? In het kleuteronderwijs gebruikt de school geen gestandaardiseerde toetsen, wel een observatiesysteem. De schoolleider gelooft niet in het gebruik van gestandaardiseerde toetsen om leerlingenvorderingen in kaart te brengen: “Je leert meer van observatie en de klasinterne toetsen van kinderen dan van een CITO-toets.” Hij maakt wel gebruikt van de AVI-toetsen voor technisch lezen. De school gebruikt in het eerste leerjaar “Veilig leren lezen”. Dit is een leesmethode waarin gestandaardiseerde toetsen zijn opgenomen. De daaropvolgende jaren maakt de school gebruik van “Tijd voor taal”. Dat is een andere taalmethode die eveneens gestandaardiseerde toetsen bevat. De school maakt vooral gebruik van de gestandaardiseerde eindtoetsen, ontwikkeld door de koepel (OVSG) en van paralleltoetsen op basis van de peilingen van de Vlaamse overheid om de kwaliteit van de school te analyseren. De school neemt niet alle beschikbare paralleltoetsen af maar kiest bewust om een bepaald domein te evalueren. Conclusie. De school maakt vooral gebruik van de OVSG-proef en van de paralleltoetsen op basis van de peilingen. Daarnaast evalueert de school het technisch lezen en taal via de AVI-toetsen en gestandaardiseerde methode-gebonden toetsen.


38



De probleemdefiniëring (stap 1) en het opstellen van hypotheses (stap 2) gebeurt op verschillende momenten. Problemen komen aan licht tijdens informele momenten, in overleg met het beleidsteam, bij observatie van de schoolleider in elke klas, na feedback van de inspectie, tijdens het zorgoverleg en tijdens de klassenraden. In de klassenraden wordt gekeken waarmee de leerlingen het moeilijk hebben en welke problemen de leraren ondervinden in de klas. De resultaten van de AVI-toetsen en van de methode-gebonden gestandaardiseerde toetsen worden bekeken. De schoolleider, de zorgcoördinator en het beleidsteam wonen alle klassenraden bij. Zij zien dan bepaalde overeenkomsten of bepaalde patronen over de jaren heen. Een ander moment waar problemen aan het licht komen is tijdens de analyse van de resultaten van OVSG-toetsen op het einde van het zesde leerjaar. Die brengen bepaalde hiaten in het curriculum aan het licht.


39

De zorgleraren verzamelen de data (stap 3) van de AVI-toetsen en de gestandaardiseerde methode-gebonden toetsen. De leraren van het zesde leerjaar nemen op het einde van het zesde leerjaar de OVSG-toetsen en de paralleltoetsen af. Die paralleltoetsen worden altijd gekozen op basis van de probleemstelling en de bijhorende hypothese. De schoolleider zegt hierover: “De paralleltoetsen worden gericht gekozen. We gaan niet lukraak zeggen, die toets gaan wij eens maken. We zijn vorig jaar begonnen met de paralleltoets van Wereldoriëntatie. Gewoon omwille van het feit dat we met iets nieuws gingen starten van WO. Dus moeten wij daar een nulmeting van hebben. En dan moeten wij weten, hoe waren we tot nu toe bezig met wereldoriëntatie?” De betrouwbaarheid en validiteit van de data (stap 4) wordt minimaal in vraag gesteld. De school houdt er wel rekening mee dat toetsen een momentopname zijn. Daarin speelt toeval ook een rol. Om de invloed van het toeval zo veel mogelijk te beperken gebruikt de school de gestandaardiseerde leerlingentoetsen op lange termijn en niet op korte termijn. De schoolleider legt uit: “Een toets is ook altijd een moment opname vandaar mijn pleidooi om toetsresultaten op schoolniveau niet op korte termijn te gebruiken maar op langere termijn. Zodat je patronen in de tijd ziet. Stel dat er één toets is waar je plots heel slecht op scoort dat jaar dan is dat een moment opname.” De analyse van de data (stap 5) van de AVI-toesten en de gestandaardiseerde methodegebonden toetsen gebeurt door de zorgleraren. De analyse van de OVSG-toets wordt door de schoolleider gemaakt. De schoolleider maakt grafieken voor elk leerdomein van de OVSG-toets. Deze grafieken geven per jaar de gemiddelde scores weer. De schoolleider past een correctie toe op de scores. De resultaten voor rekenen en taal van leerlingen uit het zesde leerjaar die op een lager niveau les krijgen worden niet opgenomen in het gemiddelde. De schoolleider codeert de grafieken met een kleur om aan te geven wat opgevolgd moet worden, zoals in het hieronder weergegeven voorbeeld van het leerdomein rekenen (figuur 14). Groene grafieken zijn goed, rode grafieken vragen om maatregelen. Grafieken met een rood kader moeten opgevolgd worden.


40

Figuur 14: Analyse leerdomeinen rekenen op basis van OVSG

Naast de data-analyse door de schoolleider maakt ook het OVSG een data-analyse van de resultaten van de OVSG-toets die ze krijgt van de school. Het OVSG maakt hiervan een verslag voor de school. In dat verslag kijkt de schoolleider vooral naar de eigen resultaten. De vergelijking met andere scholen is voor de schoolleider minder belangrijk: “We krijgen dan een lijst van hoe de school zich positioneert tegenover gelijkaardige scholen en binnen Vlaanderen. Ik ga eerlijk zijn. Op dat vlak doe ik daar heel weinig mee.” De analyse van de paralleltoetsen gebeurt door de leraar van het zesde leerjaar en de schoolleider. De leraar verbetert de resultaten en zet ze in een frequentietabel. Die wordt samen met de schoolleider overlopen. De resultaten worden dan door de KULeuven geanalyseerd in het kader van het onderzoek van de peilingen van de Vlaamse overheid. De school krijgt een feedbackrapport van de KULeuven. Enkel de grafieken hieruit zijn voor de


41

schoolleider belangrijk. Daarin staat het aantal leerlingen dat de eindtermen haalt, de toegevoegde waarde van de school en de gemiddelde score tegenover andere scholen. Voor de interpretatie en conclusie (stap 6) wordt het feedbackrapport van de KULeuven en de analyse van de OVSG-toets besproken in het beleidsteam. Daar wordt beslist wat naar het lerarenteam gaat. Er wordt vooral gekeken naar de evolutie binnen de eigen school en naar hiaten in het lessenpakket. De schoolleider legt uit: “Is er een tekort? Dan kijken we in welk leerjaar dat zit. Daarna gaan we ook kijken naar de methode, hoe brengt de methode het aan? Is dat voldoende, wordt dat gedaan volgens de methode?” De school koos zes jaar geleden naar aanleiding van tegenvallende resultaten voor een andere methode rekenen, taal en Frans. Daarom vindt de schoolleider de resultaten van de OVSG-toetsen pas vanaf dit jaar relevant. De schoolleider verduidelijkt: “Dit jaar is een cruciaal jaar omdat we nu veel beginnen te zien. Omdat de methode tot in het 6de leerjaar zit. Nu zien we de verschillen. Als je kijkt naar meten, dat in het rood staat. Als dat in het rood blijft staan dan heeft het ook niks met de nieuwe methode te maken.” Voor W.O. hanteert de school sinds dit jaar geen methode meer. Daarom zijn de huidige resultaten van de paralleltoets voor W.O. een nulmeting. Over zes jaar hoopt de schoolleider hieruit conclusies te kunnen trekken. Volgende maatregelen (stap 7) worden genomen door de schoolleider op basis van de resultaten van de OVSG-toets en de paralleltoetsen: meer klasobservatie door de schoolleider, afspraken met het lerarenteam, aanvullen van het nascholingsplan, personeelsvergaderingen of pedagogische studiedagen rond een thema, inroepen van externe hulp van de pedagogische begeleidingsdienst en contact met andere Gentse scholen om te vragen hoe zij een probleem aanpakken. Op basis van de resultaten van de AVI-toetsen herverdeelt de schoolleider de leerlingen in leesgroepen per niveau. Hij kiest tegelijk ook voor een nieuwe leesmethode: estafettelezen. Om alle veranderingen te monitoren evalueert (stap 8) deze school de genomen maatregelen. De effectevaluatie wordt doordacht uitgevoerd door de schoolleider. Eerst wordt een nulmeting gedaan met een paralleltoets. Na de doorstroming van de verandering tot in het zesde leerjaar wordt opnieuw een paralleltoets afgenomen. Later worden nog paralleltoetsen afgenomen om tendensen te ontdekken. De schoolleider verduidelijkt: “Stel dat er hiaten zijn in het tweede, of derde leerjaar dan kan je dat op korte termijn wel zien aan de hand van methode-gebonden toetsen en aan de hand van observaties. Heeft het effect ja of neen? Maar


42

het grote effect op lange termijn zie je maar bij een paralleltoets in het zesde leerjaar.” De inspectie oefent druk uit om sneller te evalueren. De schoolleider geeft hiervan een voorbeeld: “Al twee jaar staan de resultaten van meten in de OVSG-proef in het rood. De inspectie vroeg wat we daaraan al gedaan hadden. Mijn antwoord was dat we daar nog niks aan gedaan hadden. Omdat we dit schooljaar pas met de nieuwe wiskundemethode volledig rond zijn tot in het zesde leerjaar. Dus stel dat ik die resultaten eerder analyseer en merk dat er hiaten zijn in het derde leerjaar en in het vierde leerjaar, dan kan ik daar niets meer aan doen, want ondertussen wordt al een andere methode gebruikt.” Conclusie. De probleemdefiniëring (stap 1) en het opstellen van hypotheses (stap 2) gebeurt tijdens informele momenten, in overleg met het beleidsteam, bij observatie van de schoolleider in elke klas, na feedback van de inspectie, tijdens het zorgoverleg en tijdens de klassenraden. De zorgleraren verzamelen de data (stap 3) van de AVI-toetsen en de gestandaardiseerde methode-gebonden toetsen. De leraren van het zesde leerjaar verzamelen de data van de OVSG-toetsen en de paralleltoetsen. De betrouwbaarheid en validiteit van de data (stap 4) wordt minimaal in vraag gesteld. De school houdt er rekening mee dat toetsen een momentopname zijn. De analyse van de data (stap 5) van de AVI-toesten en de gestandaardiseerde methode-gebonden toetsen gebeurt door de zorgleraren. De analyse van de OVSG-toets wordt door de schoolleider gemaakt. Dit zijn vooral beschrijvende analyse in de vorm van grafieken en gemiddelden. Het OVSG maakt ook een data-analyse van de resultaten van de OVSG-toets en brengt hiervan verslag uit aan de school. De analyse van de paralleltoetsen gebeurt door de leraar van het zesde leerjaar en de schoolleider. De resultaten worden dan door de KULeuven geanalyseerd. De school krijgt daarvan een feedbackrapport. Voor de interpretatie en conclusie (stap 6) wordt het feedbackrapport van de KULeuven en de analyse van de OVSG-toets door de schoolleider en het beleidsteam besproken met alle leraren. Maatregelen (stap 7) zoals o.a. klasobservatie, pedagogische studiedagen en afspraken worden genomen door de schoolleider op basis van de resultaten van de OVSGtoets en de paralleltoetsen. Op basis van de resultaten van de AVI-toetsen herverdeelt de schoolleider de leerlingen in leesgroepen per niveau. De schoolleider evalueert (stap 8) de genomen maatregelen pas na de volledige doorstroming tot in het zesde leerjaar. Hij vergelijkt daarvoor de resultaten met een initieel uitgevoerde nulmeting van voor de toegepaste verandering.


43

Onderzoeksvraag (3): Tot welke resultaten leidt het cyclisch proces? De school doorloopt elk schooljaar het cyclisch proces om inzichten te krijgen en nieuwe visies te ontwikkelen op lange termijn. Nieuwe maatregelen worden pas beslist nadat de resultaten van de paralleltoetsen en van de OVSG-toets over de volledige zes leerjaren gekend zijn. Enkel bij de AVI-toetsen leidt het cyclisch proces tot gebruik op korte termijn om leerlingen te herverdelen in niveau groepen. De resultaten van de gestandaardiseerde toetsen worden in het cyclisch proces ook gebruikt om de leraren te overtuigen. De schoolleider schreef letterlijk in één van de door de onderzoeker opgevraagde documenten: “Leerkrachten die de methode Zwiso niet gebruiken volgens de handleiding, maar op de oude manier verder werken, dienen op de hoogte te zijn dat de vorige instructiemanier een negatief effect heeft op de eindresultaten van onze leerlingen.” De gestandaardiseerde toetsen worden in het cyclisch proces ook gebruikt om te benadrukken of het team goed bezig is of niet. De school gebruikt de gestandaardiseerde toetsen niet om zich te verantwoorden t.o.v. inspectie. De schoolleider verklaart: “De inspectie had de resultaten van de OVSG-toets niet vooraf opgevraagd. Het is pas tijdens de doorlichting zelf dat ze er naar vroegen. Ik had ook de resultaten van de paralleltoetsen, maar die hadden ze zelfs niet eens nodig.” Conclusie. De school doorloopt het cyclisch proces om inzichten te krijgen en nieuwe visies te ontwikkelen op lange termijn. De resultaten van de gestandaardiseerde toetsen worden ook gebruikt om de leraren te overtuigen. De gestandaardiseerde toetsen worden in het cyclisch proces ook gebruikt om te benadrukken of het team goed bezig is of niet. De school gebruikt de gestandaardiseerde toetsen niet om zich te verantwoorden t.o.v. inspectie.


44

Resultaten van de verticale analyse van school (4). De school ligt in één van de negentien gemeenten van het Brussels hoofdstedelijk gewest. Onderzoeksvraag (1): Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? Met gestandaardiseerde toetsen meet de school de taal-en spreekvaardigheid van de leerlingen. De reden hiervoor is dat de leerlingen Nederlands leren als tweede of derde taal. Deze toetsen zijn ontwikkeld door het Centrum voor Taal en Onderwijs (CTO) en het steunpunt Gelijke OnderwijsKansen (GOK). In het kleuteronderwijs gebruikt de school geen gestandaardiseerde toetsen om de taal-en spreekvaardigheden te meten maar wel een observatiesysteem. In het eerste leerjaar wordt het Screeningsinstrument Aanvang Lager Onderwijs Taalvaardigheid (SALTO) gebruikt. Deze toets geeft aan welke leerlingen extra zorg en ondersteuning nodig hebben op vlak van taalvaardigheid. In het tweede en vijfde leerjaar wordt het MeetInstrument Lager Onderwijs Spreekvaardigheid (MILOS) gebruikt. Het is een toets om de spreekvaardigheid van leerlingen te beoordelen, met de eindtermen Nederlands voor het lager onderwijs als referentiepunt. Daarnaast gebruikt de school ook de AVI- toetsen voor technisch lezen, de OVSG- toets voor alle leerdomeinen en het LVS-VCLB voor rekenen. Het zorgteam heeft het LVS-VCLB aangepast aan de leerstof die reeds in de klas gezien werd. De aanpassing bestaat erin oefeningen te schrappen en/of toe te voegen. Vanaf dit schooljaar gaat de school ook de spellingstoetsen van het LVS-CITO afnemen. Conclusie. De school gebruikt gestandaardiseerde leerlingentoetsen om de spreek- en taalvaardigheden van de leerlingen in kaart te brengen. Verder gebruikt de school het LVSVCLB voor rekenen, de AVI-toetsen voor technisch lezen, het LVS-CITO voor spelling en de OVSG-toets voor alle leerdomeinen.


45



De probleemdefiniëring (stap 1) en het opstellen van hypotheses (stap 2) gebeurt in overleg met alle betrokkenen. De probleemdefiniëring begint bij de leraar. De leraar wordt daarbij geholpen door een zorgondersteuner. Elke graad heeft op deze school één zorgondersteuner. De schoolleider bespreekt de leerproblemen wekelijks met alle zorgondersteuners samen. Maandelijks worden de leerproblemen per klas besproken met de leraar, de zorgondersteuner en de zorgcoördinator. Wekelijks overleggen de schoolleider en de zorgcoördinator om parallellen te ontdekken in de leerproblemen van leerlingen. De schoolleider geeft hiervan een voorbeeld “Je hebt een overleg met mij en de zorgcoördinator, waarin bepaalde zaken aan bod komen. En wij zien dan ook de resultaten waarbij de vraag komt van oei oei, wat is dat hier? Een voorbeeld hiervan is het automatiseren van de maaltafels bij rekenen, dit gaat niet altijd goed en snel. Dat is iets wat we elk jaar en in alle klassen zien terugkomen.” Ondanks het veelvuldig overleg worden problemen niet snel genoeg gedetecteerd volgens de schoolleider: “Je hebt leraren die geen sterk observatief vermogen hebben en dan is er al te


46

veel tijd voorbij.” Volgens de schoolleider hebben de leraren en zorgondersteuners niet altijd voldoende specifieke kennis: “Onze leerkrachten zijn geen logopedisten, dus daarom hamer ik op die gestandaardiseerde toetsen. Ik wil een objectief beeld. Ik wil weten hoe zit het.” De dataverzameling (stap 3) gebeurt door de zorgondersteuners. Alle gestandaardiseerde toetsen worden verdeeld tussen de verschillende zorgondersteuners. De uitzondering hierop is de OVSG-toets, die wordt afgenomen door de leraar van het zesde leerjaar. De validiteit en de betrouwbaarheid (stap 4) worden door de schoolleider sterk in vraag gesteld omdat de leerlingen anderstalig zijn en een sociaal kwetsbaar milieu komen. De schoolleider zegt hierover: “De toetsen met anderstaligen worden op het niveau van Nederlands als moedertaal afgenomen. Is dat relevant? Welk beeld krijg je dan van die kinderen? Hoe komt het dat het kind niet goed scoort? Heeft het meer te maken met die anderstaligheid?” De zwakke resultaten van de OVSG-toets voor rekenen worden door de schoolleider ook grotendeels toegeschreven aan de taligheid van de toets. De schoolleider stelt zich ook vragen de luistertoets MILOS: “Als je een methode-gebonden luistertoets afneemt, moet je het onderwerp vooraf in de klas bespreken. Bij de luistertoets MILOS mogen we dat niet doen. Ik vind dat niet juist, want je zit hier met onderwerpen en woordenschat die voor onze leerlingen niet evident is.” Om de validiteit en de betrouwbaarheid van de gestandaardiseerde leerlingentoetsen te verhogen worden ze niet door de leraar maar door de zorgondersteuner afgenomen. De data-analyse (stap 5) gebeurt door de zorgondersteuners, met uitzondering van de OVSGtoets. Die wordt door de schoolleider geanalyseerd. De resultaten op de SALTO worden vergeleken met het klasgemiddelde. Bij de MILOS- resultaten wordt er eerst gekeken naar de individuele leerlingenscores per opdracht. Die opdrachten worden dan gekoppeld aan de bijhorende eindtermen. In onderstaande grafiek (figuur 16) wordt gekeken of de klas vooruitgang heeft geboekt. Hoeveel procent behaalde de klas op die EindTermen (ET)? In eenzelfde klas worden in het tweede leerjaar en opnieuw in het vijfde leerjaar dezelfde eindtermen getoetst. Daardoor is het mogelijk om de evolutie van de klas te bekijken.


47

100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% ET 2.3

ET 2.5 2de leerjaar 2011-‐2012

ET 2.6

ET 2.7

ET 2.8

5de leerjaar 2014-‐2015

Figuur 16 : evolutie op basis van MILOS-resultaten.

De data-analyses op basis van de AVI-toetsen worden per leerling, per klas en per schooljaar bijgehouden. Er wordt een analyse gemaakt van het aantal leerlingen in de klas die boven, op of onder het verwachte leesniveau. Dit wordt bijvoorbeeld in onderstaande cirkeldiagrammen (figuur 17) weergegeven voor het eerste leerjaar (groep 3) in het midden (M3) en op het einde (E3) van het schooljaar.


Figuur 17: Analyse AVI-toetsen verwacht leesniveau.

48


49

De data-analyses op basis van de OVSG-resultaten worden eveneens ieder jaar bijgehouden. De gemiddelde resultaten worden in een tabel (figuur 18) weergegeven over de verschillende jaren voor de verschillende leerdomeinen. Deze gemiddelden worden ook omgezet in een grafiek, zoals eveneens weergegeven in onderstaand voorbeeld (figuur 18).

Figuur 18: evolutie OVSG

De OVSG-resultaten van elk leerdomein worden op hun beurt verder onderverdeeld en weergegeven in een tabel en een staafdiagram. Hieronder is een voorbeeld (figuur 19) opgenomen van het leerdomein WereldOriëntatie (W.O.) .


50

Figuur 19: Analyse W.O. op basis van OVSG

De interpretatie en conclusie (stap 6) gebeurt door de schoolleider en de zorgcoördinator of door de zorgondersteuners. De interpretatie van de resultaten van MILOS-toets voor spreekvaardigheid leidde bijvoorbeeld tot onderstaande conclusie. Deze conclusie wordt letterlijk geciteerd uit de opgevraagde documenten. “Het is duidelijk dat de kinderen van het vijfde leerjaar een slechte luisterhouding hebben. Ze kijken wel naar de film, maar ze luisteren niet en nemen dus op deze manier de belangrijkste informatie die nodig is om vragen te beantwoorden niet op. Bij de stellingen hadden veel leerlingen problemen om de ze echt te begrijpen. Ze moesten aangeven of ze akkoord gingen of niet en vertellen waarom. Daar ze de stelling niet helemaal begrijpen, klopt hun argumentatie ook niet altijd. De leerlingen hebben ook moeite met zinsbouw en de juiste woordenschat.” Maatregelen worden genomen (stap 7) door de zorgondersteuners en de leraren op een personeelsvergadering of op een pedagogische studiedag nemen. De schoolleider zoekt in de vakliteratuur naar maatregelen en volgt workshops. De zorgondersteuners maken een


51

actieplan voor de leraren. Die acties worden door alle leraren en in alle klassen toegepast. Zo worden spellingsdictees en schrijfoefeningen door alle leraren op eenzelfde manier verbeterd: rood voor fouten die de leerlingen niet meer zouden mogen maken en groen voor fouten die op die leeftijd wel nog toelaatbaar zijn. Een ander voorbeeld bij tegenvallende resultaten voor rekenen is om de leerlingen in niveaugroepen te herverdelen. Bij zwakke scores voor meten wordt er beslist om te kijken naar de aanpak in de kleuterklas. De schoolleider legt uit waarom: “Voor meten bleven we zwak scoren. We hebben de doelstellingen omtrent meten, metend rekenen en meetkunde gecheckt in de kleuterschool. We zien dat er eigenlijk in de verschillende kleuterklassen niet veel gewerkt wordt aan meetkunde. Ik ga niet zeggen dat dit de reden is dat het minder goed gaat in de lagere school, maar het is wel belangrijk om terug te kijken naar de basis.” Voor meten en metend rekenen werd beslist om meetkoffers te maken met daarin al het nodige materiaal om tijdens de les aan de slag te gaan zoals o.a. meetlatten, lintmeters, weegschalen en gewichten. Een andere maatregel is om externe hulp te vragen aan het VBB, OCB, het CLB of het OVSG wanneer er onvoldoende expertise op school aanwezig is. De evaluatie (stap 8) gebeurt op deze school niet systematisch. De procesevaluatie wordt niet besproken op school. Een effectevaluatie maken ligt voor deze school moeilijk. De genomen maatregelen worden in de praktijk dikwijls niet lang toegepast in de praktijk. De schoolleider argumenteert: “Ga eens een keer binnen vijf jaar wat daar soms nog maar van overschiet.” Volgens de schoolleider spelen ook andere factoren mee die ervoor zorgen dat de effecten van de genomen maatregelen moeilijk te achterhalen zijn: “Ik kan die opbrengst niet zo goed inschatten. Heeft dat veel opgebracht of niet? Dat zijn ook wel weer allemaal factoren: je zit met andere groepen, met andere leerkrachten die het hele proces niet allemaal hebben meegemaakt....” Conclusie. De probleemdefiniëring (stap 1) en het opstellen van hypotheses (stap 2) gebeurt in overleg met alle betrokkenen. Ondanks het veelvuldig overleg worden problemen niet snel genoeg gedetecteerd. De dataverzameling (stap 3) gebeurt door de zorgondersteuners met uitzondering van de OVSG-toets door de leraar van het zesde leerjaar. De validiteit en de betrouwbaarheid (stap 4) worden door de schoolleider sterk in vraag gesteld omdat de leerlingen anderstalig zijn en uit een sociaal kwetsbaar milieu komen. De data-analyse (stap 5) gebeurt door de zorgondersteuners, met uitzondering van de OVSG-


52

toets door de schoolleider. Deze data-analyses zijn beschrijvend en vergelijken de resultaten jaar na jaar. De interpretatie en conclusie (stap 6) gebeurt door de schoolleider en de zorgcoördinator of door de zorgondersteuners. Maatregelen worden genomen (stap 7) door de zorgondersteuners, de leraren en de schoolleider. Voorbeelden van maatregelen zijn: een actieplan voor de leraren, op eenzelfde manier verbeteren, de leerlingen in niveaugroepen herverdelen, de aanpak in de kleuterklas herbekijken, meetkoffers maken en externe hulp vragen wanneer er onvoldoende expertise op school aanwezig is. De evaluatie (stap 8) gebeurt op deze school niet systematisch. De procesevaluatie wordt niet besproken op school. Een effectevaluatie is voor deze school moeilijk omdat maatregelen in de praktijk niet lang toegepast worden en omdat niet alle leraren altijd het hele proces hebben doorlopen. Onderzoeksvraag (3): Tot welke resultaten leidt het cyclisch proces? De resultaten van de gestandaardiseerde toetsen worden in het cyclisch proces gebruikt om de leraren te overtuigen. De schoolleider verduidelijkt: “Als kinderen in een zesde leerjaar nog niveau midden derde leerjaar halen dan is dan ook mijn verantwoordelijkheid als schoolleider om te zeggen op een personeelsvergadering: We moeten veel sneller reageren, kinderen die naar het middelbaar moeten en zo zwak lezen, dat is een ramp!” De school probeert de data te gebruiken om veranderingen in het leerproces door te voeren. Ze ondervindt hierbij verschillende problemen zoals de achtergrond van de leerlingen, het personeelsverloop en de infrastructuur van de school. De data zijn een houvast bij het monitoren van veranderingen en zorgen ervoor dat problemen sneller gedetecteerd kunnen worden. De data worden ook gebruikt voor verantwoording t.o.v. de inspectie en om beslissingen te staven t.o.v. ouders en het VCLB. In dat geval dienen de data om een heroriëntering van een leerling te motiveren of om externe hulp van bijvoorbeeld een logopedist of het centrum voor geestelijke gezondheid (CGG) in te roepen. Conclusie. De resultaten van de gestandaardiseerde toetsen worden in het cyclisch proces gebruikt om de leraren te overtuigen en te benadrukken of het team goed bezig is of niet. De school probeert de data te gebruiken om veranderingen in het leerproces door te voeren maar ondervindt hierbij verschillende problemen. De data zijn een houvast bij het monitoren van veranderingen en om problemen sneller te detecteren. De data worden ook gebruikt voor verantwoording t.o.v. de inspectie en om beslissingen te staven, om een heroriëntering van een leerlingen te motiveren of om externe hulp in te roepen.


53

Resultaten van de horizontale analyse In de horizontale analyse worden per onderzoeksvraag gelijkenissen en verschillen tussen de vier onderzochte scholen beschreven op basis van de verticale analyse. School S1 ligt in een verarmde multiculturele wijk in het centrum van Antwerpen. School S2 ligt in een landelijke deelgemeente van Beveren-Waas. School S3 ligt in een deelgemeente van Gent. School S4 ligt in één van de negentien gemeenten van het Brussels hoofdstedelijk gewest. Onderzoeksvraag (1): welke gestandaardiseerde leerlingentoetsen worden er gebruikt? In het kleuteronderwijs gebruiken de vier scholen geen gestandaardiseerde toetsen maar wel een observatiesysteem. Uit Nederlands onderzoek (Ledoux, et.al., 2009) blijkt dat scholen vooral leerlingenresultaten verzamelen voor de leerdomeinen rekenen en taal. In dit onderzoek stellen we hetzelfde vast. De vier scholen gebruiken gestandaardiseerde leerlingentoetsen voor de leerdomeinen rekenen en/of taal. Daarbij ligt de nadruk op de technische vaardigheden uit de leerdomeinen rekenen en taal. Technisch lezen, technisch rekenen en spelling worden op de vier scholen met gestandaardiseerde leerlingentoetsen opgevolgd. Deze technische vaardigheden zijn gemakkelijker te meten (Ledoux, et.al., 2009) dan bijvoorbeeld creatief schrijven of expressief voorlezen. Van Gasse, et.al. (2015) kwamen tot een gelijkaardige vaststelling dat op school vooral gebruik gemaakt wordt van cognitieve output data die gemakkelijk meetbaar zijn. Hieronder worden de door de scholen gebruikte gestandaardiseerde leerlingentoetsen opgesomd. De verschillende toetsen worden ook weergegeven in onderstaande tabel (figuur 20). Voor rekenen gebruiken school S2 en school S4 het LeerlingenVolgSysteem (LVS) van het Vrije Centrum voor LeerlingenBegeleiding (VCLB). School S2, S3 en S4 meten het technisch lezen met de Analyse Van Individualiseringsvormen-leesniveau-toetsen (AVItoetsen). School S1 gebruikt alle toetsen voor de leerdomeinen rekenen en taal uit het LVS van het Centraal Instituut voor Toets-Ontwikkeling (CITO). School S4 gebruikt enkel de spellingstoetsen uit het LVS van het CITO. De OVSG-toetsen worden door de vier scholen gebruikt om alle leerdomeinen te toetsen. Scholen S2 en S3 vinden de OVSG-toetsen bijzonder geschikt om moeilijk meetbaar domeinen te toetsen zoals L.O. en W.O. School S1 gebruikt een toets van de InterGEmeentelijke dienst ANtwerpen (IGEAN) voor het leerdomein rekenen. School S3 gebruikt voor taal, rekenen en W.O. de paralleltoetsen op basis van de peilingen van de Vlaamse overheid. School S4 meet de spreek- en


54

taalvaardigheden van haar leerlingen met het Screeningsinstrument Aanvang Lager Onderwijs Taalvaardigheid (SALTO) en het MeetInstrument Lager Onderwijs Spreekvaardigheid (MILOS) ontwikkeld door het Centrum Taal en Onderwijs (CTO) en door het steunpunt Gelijke OnderwijsKansen (GOK). School S2 en school S3 gebruiken de gestandaardiseerde leerlingentoetsen uit de leermethode voor taal. Uit dit laatste blijkt dat er naast de niet methode-gebonden gestandaardiseerde leerlingentoetsen (Van Gasse, et.al., 2015) ook methode-gebonden gestandaardiseerde leerlingentoetsen bestaan en gebruikt worden. LVS-

LVS- AVI-

OVSG IGEAN PARALLEL-

VCLB CITO TOETSEN School

x

SALTO

MILOS

x

x

TOETSEN x

x

S1 School x

x

x

x

x

x

x

S2 School

x

S3 School x

x

S4 Figuur 20: Overzicht gestandaardiseerde toetsen per school.


55



De vier onderzochte scholen doorlopen alle stappen van het cyclische proces. De verschillen en overeenkomsten in het toepassen van alle stappen van het cyclisch proces worden hieronder toegelicht. De probleemstelling en hypothese (stap 1 en stap 2). De vier onderzocht scholen maakten geen onderscheid tussen probleem definiëren (stap 1) en hypothese opstellen (stap 2). De hypothese is volgens de vier scholen onmiddellijk gelinkt aan de probleemdefiniëring. De probleemstelling en de hypothese worden gestuurd door de schoolleider. Dit vinden we ook terug in het onderzoek van Marsh, et.al. (2006) waarbij een schoolleider zelf bepaalde prioriteiten stelt die passen bij het pedagogische project van de school. De probleemdefiniëring en het opstellen van hypotheses gebeurt in de vier scholen overleg met alle betrokkenen. Op school S1 gebeurt dit op personeelsvergaderingen, op klassenraden, op informele momenten en in het wekelijks overleg van de stuurgroep Integrale Zorg Begeleiding (IZB). In school S2 wordt ieder schooljaar door alle betrokkenen samen een


56

werkpunt gekozen vanuit één bepaalde probleemstelling. In school S3 worden probleemdefiniëring en hypotheses opgesteld tijdens informele momenten, in overleg met het beleidsteam, na observatie van de schoolleider in elke klas, na feedback van de inspectie, tijdens het zorgoverleg en tijdens de klassenraden. In school S4 wordt eveneens veelvuldig overlegd. Toch geeft school S4 aan dat de problemen niet snel genoeg gedetecteerd worden. Data verzameling (stap 3). In alle scholen verzamelen de leraren van het zesde leerjaar de data van de OVSG-toetsen. In school S3 gebeurt dit ook voor de paralleltoetsen op basis van de peilingen van de Vlaamse overheid. In school S1 verzamelen de leraren in miniteams de data van het LVS-CITO. In school S2 verzamelen de leraren de data van de AVI-toetsen, van het LVS-VCLB en van de gestandaardiseerde methode-gebonden toetsen. In school S3 verzamelen de zorgleraren de data van de AVI-toetsen en van de gestandaardiseerde methode-gebonden toetsen. In school S4 verzamelen de zorgondersteuners de data het SALTO, het MILOS, van de AVI-toetsen, van het LVS-VCLB en van de spellingstoetsen uit het LVS-CITO. Controle validiteit en betrouwbaarheid (stap 4).In school S1 wordt de validiteit en betrouwbaarheid van de leerlingentoetsen minimaal in vraag gesteld omdat er een groot vertrouwen is in de instellingen CITO en OVSG die de toetsen ontwikkeld hebben. In school S2 en school S3 worden de toetsresultaten gecontroleerd op hun validiteit en betrouwbaarheid. De scholen S2 en S3 zijn zich ervan bewust dat toetsen een momentopname zijn. Door de resultaten van de toetsen jaar na jaar bij te houden en te vergelijken vergroot volgens de scholen S2 en S3 de validiteit en betrouwbaarheid. In school S4 wordt de validiteit en de betrouwbaarheid door de schoolleider sterk in vraag gesteld omdat de leerlingen anderstalig zijn en uit een sociaal kwetsbaar milieu komen. Data-analyse (stap 5). De vier scholen maken een beschrijvende analyses en foutenanalyses van de resultaten van de gestandaardiseerde leerlingentoetsen. De OVSGtoetsen worden in de vier scholen geanalyseerd door de schoolleiders. De vier scholen vergelijken de resultaten van de OVSG-toets ook met die van voorgaande jaren. Het OVSG maakt voor alle vier de scholen een data-analyse van de resultaten van de OVSG-toets en brengt hiervan verslag uit aan elk van de vier scholen. In school S1 maken de leraren gebruik van het computerprogramma LOVS om de LVS-toetsen te analyseren. In school S2 maken de leraar en de zorgleerkracht de data-analyse van de AVI-toets, de LVS-toetsen en de


57

gestandaardiseerde-methode-gebonden toetsen. In school S2 analyseert ook de leraar van het zesde leerjaar de OVSG-toets in samenwerking met de andere leraren van het zesde leerjaar uit de scholengemeenschap. In school S3 gebeurt de analyse van de data van de AVI-toetsen en de gestandaardiseerde methode-gebonden toetsen door de zorgleraren. De analyse van de paralleltoetsen gebeurt in school S3 door de leraar van het zesde leerjaar en de schoolleider. De resultaten worden dan door de KULeuven geanalyseerd. De school krijgt daarvan een feedbackrapport. In school S4 maken de zorgondersteuners een data-analyse van het SALTO, het MILOS, van de AVI-toetsen, van het LVS-VCLB en van de spellingstoetsen uit het LVSCITO. Enkel in school S1 maken alle leraren data-analyses. Ze gebruiken hiervoor het computerprogramma LOVS. De technische ondersteuning is volgens het model van Mandinach, et.al. (2006) belangrijk omdat het gebruik van data vergemakkelijkt. Bovendien stelden Van Gasse, et.al. (2015) en Marsh, et.al. (2006) vast dat hoe gemakkelijker data beschikbaar zijn, hoe meer data gebruikt zullen worden op school. Uit het onderzoek van Van Gasse, et.al. (2015) blijkt dat schoolleiders positief staan t.o.v. het gebruik van benchmarks, maar geven ze aan er geen nood aan te hebben. In dit onderzoek vinden enkel school S2 het belangrijk om de resultaten te duiden ten opzichte van het Vlaamse gemiddelde of ten opzichte van een referentieschool. School S3 staat daar uitgesproken negatief tegenover. School S1 geeft aan geen referentieschool te hebben omwille van haar specifieke leerlingenpopulatie. School S4 maakt geen gebruik van benchmarks. Interpretatie en conclusie (stap 6). De interpretatie en conclusie gebeuren op schoolniveau door de schoolleider. Internationaal onderzoek van o.a Ikemoto, et.al.(2007); Simpson (2011); Datnow, et.al. (2007); Madinach et al. (2006) en Parsley, et.al.(2006) benadrukken de centrale rol van de schoolleider bij de interpretatie en conclusie van data. Bovendien houdt de schoolleider daarbij rekening met de context, waarden, normen en visie van de school (Earl & Fullan, 2003). In de vier scholen gebruiken de schoolleiders hiervoor de OVSG-toetsen. In school S3 gebruikt de schoolleider hiervoor ook de paralleltoetsen. Op leerlingen klasniveau gebeurt de interpretatie en conclusie in school S1 door het miniteam. In de andere drie scholen S2, S3 en S4 gebeurt dit door zorgteams. De interpretatie hangt inderdaad af van de taak die de actor opneemt binnen de school (Brunner, et.al., 2005). De


58

leraren en het zorgteam interpreteren vooral de resultaten op leerlingen klasniveau terwijl de schoolleider de resultaten op schoolniveau interpreteert. Maatregelen nemen (stap 7).In school S1 worden maatregelen genomen door de IZBstuurgroep of op personeelsvergaderingen. In school S2 geven de schoolleider en zorgleerkracht de eerste aanzet tot het nemen van maatregelen. Die maatregelen worden dan uitgewerkt in een actieplan voor een heel schooljaar. In school S3 neemt de schoolleider maatregelen zoals o.a. klasobservatie, pedagogische studiedagen en afspraken met de leraren op basis van de resultaten van de OVSG-toets en de paralleltoetsen. In school S3 herverdeelt de schoolleider de leerlingen in leesgroepen per niveau op basis van de resultaten van de AVI-toetsen. In school S4 nemen de zorgondersteuners, de leraren en de schoolleider samen maatregelen. Voorbeelden daarvan zijn: een actieplan voor de leraren, op eenzelfde manier verbeteren, de leerlingen in niveaugroepen herverdelen, de aanpak in de kleuterklas herbekijken, meetkoffers maken en externe hulp vragen wanneer er onvoldoende expertise op school aanwezig is. In alle vier de scholen S1, S2, S3 en S4 wordt ervoor gezorgd dat de leraren tijd en ruimte krijgen om geprofessionaliseerd te worden zodat ze de nieuwe maatregelen kunnen toepassen in de praktijk (Ledoux, et.al., 2009). Door personeelsvergaderingen en pedagogische studiedagen te organiseren en door externe hulp aan te vragen zorgen de schoolleiders ervoor dat de leraren zich kunnen professionaliseren. Evaluatie (stap 8). De evaluatie bestaat uit een procesevaluatie en een effectevaluatie. In school S1 bestaat de procesevaluatie uit informele gesprekken met de schoolleider. In school S2 is de procesevaluatie minimaal. In de scholen S3 en S4 is er geen eigenlijke procesevaluatie. In school S1 zorgt het miniteam voor een effectevaluatie op korte termijn. In school S2 zorgt de schoolleider voor de effectevaluatie via de OVSG-proeven. In school S3 evalueert de schoolleider de genomen maatregelen pas na de volledige doorstroming tot in het zesde leerjaar. Hij vergelijkt daarvoor de resultaten met een initieel uitgevoerde nulmeting van voor de toegepaste verandering. In school S4 gebeurt de effect evaluatie beperkt omdat maatregelen in de praktijk niet lang toegepast worden en omdat niet alle leraren altijd het hele proces hebben doorlopen.


59

Onderzoeksvraag (3): Tot welke resultaten leidt het cyclisch proces? Het doorlopen van het cyclisch proces leidt tot vier mogelijke categorieën (Van Gasse, et.al., 2015) om data te gebruiken. Het cyclisch proces leidt tot een direct/instrumenteel (1) gebruik (Rossi et.al., 2004) van gestandaardiseerde toetsen. Uit het onderzoek van Van Gasse, et.al. (2015) blijkt dat het direct/instrumenteel gebruik kan onderverdeeld worden in drie subcategorieën, namelijk instrumenteel gebruik in functie van het lesgeven en leren op school, instrumenteel gebruik in functie van het welbevinden van leerlingen en instrumenteel gebruik in functie van de schoolorganisatie en het schoolbeleid. In school S1 resulteert het instrumenteel gebruik in functie van het lesgeven en leren op school tot een geïntegreerd zorgbeleid. In school S2 leidt het instrumenteel gebruik in functie van het lesgeven en leren op school tot aanpassingen aan de manier van lesgeven. In school S3 resulteert het direct instrumenteel gebruik van de dataanalyse van de AVI-toetsen in een herverdeling van de leerlingen in niveaus. School S4 ondervindt problemen om resultaten te halen uit het direct/instrumenteel gebruik van de gestandaardiseerde toetsen. De subcategorieën instrumenteel gebruik in functie van het welbevinden van leerlingen en instrumenteel gebruik in functie van de schoolorganisatie en het schoolbeleid komen in de onderzochte scholen niet voor. Algemeen wordt direct/instrumenteel gebruik van data op school het minst gehanteerd (Van Gasse, et.al.,2015) en dit wordt in dit onderzoek bevestigd. Het cyclisch proces leidt tot conceptueel gebruik (2) van gestandaardiseerde toetsen. Beslissingen en veranderingen worden niet meteen doorgevoerd maar dienen om een nieuwe visie te ontwikkelen. Ook deze categorie kan verder onderverdeeld worden, zoals blijkt uit het onderzoek van Van Gasse, et.al. (2015). Conceptueel gebruik van data in functie van lesgeven en leren, conceptueel gebruik van data in functie van het welbevinden van leerlingen, conceptueel gebruik in functie van de schoolorganisatie en het schoolbeleid en conceptueel gebruik in functie van kwaliteitsbewaking en verbetering. De vier scholen S1, S2, S3 en S4 maken conceptueel gebruik van de OVSG-toets door de resultaten te vergelijken met die van voorgaande jaren. School S3 doorloopt het cyclisch proces ook op basis van de paralleltoetsen om inzichten te krijgen en nieuwe visies te ontwikkelen.


60

Het cyclisch proces leidt tot een symbolisch/overtuigend gebruik (3) van gestandaardiseerde toetsen. De resultaten worden gebruikt om te verantwoorden, om te overtuigen, om mythes te ontkrachten of om bepaalde standpunten in discussies te ondersteunen. Deze derde categorie kan ook onderverdeeld worden in drie subcategorieën (Van Gasse, et.al., 2015). De eerste is het symbolisch gebruik in functie van lesgeven en leren. De tweede gebeurt in functie van schoolorganisatie en schoolbeleid. Data worden gebruikt om het team te overtuigen om bepaalde prioriteiten te stellen of om vernieuwingen door te voeren. De derde onderverdeling vindt plaats in functie van kwaliteitsbewaking en verbetering. Zo kan een schoolleider via proces- en outputinformatie benadrukken dat het team goed bezig is of net niet. In alle vier de scholen S1, S2, S3 en S4 wordt symbolisch/overtuigend gebruik gemaakt van de gestandaardiseerde toetsen om het eigen team te overtuigen. In school S3 en vooral in school S4 worden de gestandaardiseerde toetsen in het cyclisch proces gebruikt om te benadrukken of het team goed bezig is of niet. Dit komt volgens Van Petegem, Van Hoof, Daems & Mahieu (2005) vooral tot uiting wanneer schoolleider en leraren ervan overtuigd zijn dat de mindere resultaten het gevolg zijn van een “zwakke instroom”. De schoolleider en leraren hebben op deze school S4 inderdaad het idee dat ze zelf weinig invloed uitoefenen op die resultaten. Het cyclisch proces leidt tot een strategisch gebruik (4) van gestandaardiseerde toetsen. Dit kan volgens Van Gasse, et.al. (2015) onderverdeeld worden in drie subcategorieën, in functie van schoolprofilering, in functie van administratieve verplichtingen en in functie van toenemende verantwoordingsdruk. School S1 doet aan schoolprofilering door externen te overtuigen op workshops en lezingen. School S2 en school S4 maken een strategisch gebruik om zich te verantwoorden t.o.v. de inspectie en in functie van administratieve verplichtingen. School S4 gebruikt gestandaardiseerde toetsen in functie van de toenemende verantwoordingsdruk om het heroriënteren van leerlingen te motiveren of om het inroepen van externe (medische) hulp te verantwoorden. De scholen S2 en S4 geven aan dat het gebruik van gestandaardiseerde toetsen in het cyclisch proces leidt tot resultaten die niet vallen onder de categorieën zoals beschreven door Van Gasse, et.al. (2015). School S2 geeft aan dat gestandaardiseerde toetsen voor feedback zorgen en daardoor ook motivatie geven aan de leraren. School S4 gebruikt de gestandaardiseerde toetsen ook om problemen in het leerproces sneller te detecteren. Volgens


61

school S4 rekenen andere scholen hiervoor op het observatievermogen van de leraren, maar dit is te beperkend. Samenvattend kunnen we stellen dat het cyclisch proces in school S1 vooral leidt tot een direct gebruik van gestandaardiseerde toetsen. In school S2 leidt het cyclisch proces tot alle vier de categorieën van gebruik. In school S3 is het vooral een conceptueel gebruik. In school S4 zijn dat voornamelijk een symbolisch/overtuigend en een strategisch gebruik.


62

Discussie en conclusie Het uitgangspunt van deze masterproef is het gebruik van gestandaardiseerde toetsen in functie van data-geïnformeerd leiderschap. Data worden op school gebruikt maar de intensiteit en de manier waarop kunnen verschillen van school tot school (Schildkamp, et.al.,2012; Kerr, Marsh, Ikemoto, Darilek, & Barney,2010; Schildkamp & Poortman, 2015). Scholen hebben vooral een overvloed aan data verzameld rond leerlingenresultaten en dat zijn volgens Ledoux, et.al. (2009) de handvaten om de onderwijskwaliteit te analyseren en te verbeteren. Uit het Vlaamse onderzoek van Van Gasse, et.al., (2015) blijkt dat leerlingenresultaten gebaseerd zijn op zelfgemaakte leerlingentoetsen en methode-gebonden toetsen. Uit datzelfde onderzoek blijkt ook dat gestandaardiseerde toetsen amper worden gebruikt. Gestandaardiseerde toetsen zijn toetsen die op dezelfde manier afgenomen en verbeterd worden. Ze bieden heel wat voordelen in vergelijking met zelfgemaakte leerlingentoetsen, omdat deze gestandaardiseerde toetsen objectief zijn en leiden tot gestandaardiseerde resultaten die scholen kunnen helpen om hun sterktes en zwaktes over een langere periode te onderzoeken. Hierdoor kunnen scholen zichzelf vergelijken met andere scholen met een gelijkaardig leerlingenpubliek (Verhaeghe, 2008). Bovendien laten gestandaardiseerde leerlingentoetsen een doorgedreven opvolging toe van leerlingen doorheen hun schoolloopbaan. Het gebruik van gestandaardiseerde toetsen kan er ook voor zorgen dat zelfevaluatie niet meer egocentrisch is, maar onderdeel uitmaakt van de schoolontwikkeling (De Fraine & Verhaeghe, 2007). Deze masterproef tracht meer inzicht te krijgen in het gebruik van gestandaardiseerde toetsen. Hoe worden gestandaardiseerde leerlingentoetsen gebruikt op school als onderdeel van het cyclisch proces van data-geïnformeerd leiderschap? Om hierop een antwoord te formuleren, worden drie deelvragen onderzocht. (1) Welke gestandaardiseerde leerlingentoetsen worden er gebruikt? (2) Hoe wordt elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast in de scholen? (3) Tot welke resultaten leidt het cyclisch proces. In deze masterproef wordt gekozen voor een casestudy. De schoolleiders werden in dit onderzoek als sleutelinformanten verkozen omdat zij een centrale rol spelen bij het gebruik van data op school (Ikemoto, et.al.,2007; Simpson,2011; Datnow, et.al.,2007; Madinach et al.,2006 en Parsley, et.al.,2006). De schoolleiders werden bevraagd via semigestructureerde


63

interviews. Er werden interne documenten opgevraagd van data-analyses. Ook publiek beschikbare documenten zoals inspectie-verslagen, schoolwebsites, kranten- en tijdschriftartikels werden geraadpleegd. Al deze documenten dragen bij tot een dieper inzicht (Bowen, 2009). Als cases werden slechts vier scholen gekozen die algemeen door het werkveld erkent worden als “goede voorbeelden”. De interviews met de vier schoolleiders werden auditief opgenomen en daarna uitgeschreven. De transcripties werden gecodeerd en opgedeeld volgens de drie onderzoeksvragen voor elke school apart (verticale data analyse) en voor de vier scholen samen (horizontale data analyse). De antwoorden op de tweede onderzoeksvraag uit het onderzoek werden verder opgedeeld volgens het stappenplan van Schildkamp, et.al., (2013). Naast de transcripties werden ook alle verkregen documenten op dezelfde manier gecodeerd en opgedeeld. In de onderstaande paragraaf worden de belangrijkste inzichten uit deze casestudy per onderzoeksvraag besproken. Daar waar nodig worden deze inzichten aangevuld met een discussie. Onderzoeksvraag (1): welke gestandaardiseerde leerlingentoetsen worden er gebruikt? In het kleuteronderwijs gebruiken de scholen geen gestandaardiseerde toetsen. Uit Nederlands onderzoek (Ledoux, et.al., 2009) blijkt dat scholen vooral leerlingenresultaten verzamelen voor de leerdomeinen rekenen en taal. In dit onderzoek stellen we hetzelfde vast. De gebruikte gestandaardiseerde leerlingentoetsen zijn het LeerlingenVolgSysteem (LVS) van het Vrije Centrum voor LeerlingenBegeleiding (VCLB), de Analyse Van Individualiseringsvormen-leesniveau-toetsen (AVI-toetsen), het LVS van het Centraal Instituut voor Toets-Ontwikkeling (CITO), de OVSG-toetsen, de InterGEmeentelijke dienst ANtwerpen (IGEAN)-toets, de paralleltoetsen op basis van de peilingen van de Vlaamse overheid, het Screeningsinstrument Aanvang Lager Onderwijs Taalvaardigheid (SALTO), het MeetInstrument Lager Onderwijs Spreekvaardigheid (MILOS) ontwikkeld door het Centrum Taal en Onderwijs (CTO) en door het steunpunt Gelijke OnderwijsKansen (GOK). Naast deze gestandaardiseerde leerlingentoetsen worden ook methode-gebonden gestandaardiseerde leerlingentoetsen gebruikt die niet opgenomen werden in de onderverdeling van gestandaardiseerde toetsen van Van Gasse, et.al. (2015) Uit het antwoord op deze onderzoeksvraag blijkt dat de scholen vooral gestandaardiseerde toetsen gebruiken voor leerdomeinen rekenen en taal. De leerdomeinen Frans, W.O. en L.O. worden enkel in het zesde leerjaar getoetst. Ze zouden ook in andere leerjaren onderzocht


64

moeten worden om hiaten sneller op te sporen en te kunnen remediëren. De andere leerdomeinen zouden ook in andere leerjaren onderzocht moeten worden om hiaten sneller op te sporen en te kunnen remediëren. Het gebruik van paralleltoetsen zou bovendien veralgemeend moeten worden voor alle scholen omdat die diepgaandere analyse toelaten. Onderzoeksvraag (2): Hoe wordt elke stap van het cyclische proces van Schildkamp, et.al. (2013) toegepast in de school? De vier onderzochte scholen doorlopen alle stappen van het cyclische proces. De probleemstelling en hypothese. De vier onderzochte scholen maakten geen onderscheid tussen probleem definiëren (stap 1) en hypothese opstellen (stap 2). De probleemstelling en de hypothese worden gestuurd door de schoolleider. Dit vinden we ook terug in het onderzoek van Marsh, et.al. (2006) waarbij een schoolleider zelf bepaalde prioriteiten stelt die passen bij het pedagogische project van de school. De probleemdefiniëring en het opstellen van hypotheses gebeurt in de vier scholen overleg met alle betrokkenen. Uit het antwoord op deze onderzoeksvraag blijkt dat scholen geen onderscheid maken tussen probleem definiëren (stap 1) en hypothese opstellen (stap 2). Door beide samen te nemen wordt enkel rekening gehouden de meest voor de hand liggende hypothese terwijl andere mogelijkheden niet onderzocht worden. Data verzameling. In alle scholen verzamelen de leraren of het zorgteam de resultaten van het SALTO, het MILOS, de AVI-toetsen, het LVS-VCLB en het LVS-CITO. De leraren van het zesde leerjaar verzamelen de data van de OVSG-toetsen en de paralleltoetsen. Controle validiteit en betrouwbaarheid. Alle scholen controleren de validiteit en betrouwbaarheid. Er is een groot vertrouwen in de instellingen CITO en OVSG die de toetsen ontwikkeld hebben. Omdat de toetsen een momentopname zijn worden ze over meerdere jaren vergeleken. Uit het antwoord op deze onderzoeksvraag blijkt dat de scholen validiteit en betrouwbaarheid (stap 4) minimaal in vraag stellen. Mogelijks zijn we tot deze conclusie gekomen omdat de scholen niet voldoende expertise in huis hebben om dit grondig te onderzoeken. Hiervoor zou extra begeleiding moeten komen.


65

Data-analyse. In de vier scholen maakt het zorgteam beschrijvende analyses en foutenanalyses van de resultaten van de gestandaardiseerde leerlingentoetsen. De OVSGtoetsen worden in de vier scholen geanalyseerd door de schoolleiders. Het OVSG maakt voor alle vier de scholen een data-analyse van de resultaten van de OVSG-toets en brengt hiervan verslag uit aan elk van de vier scholen. Enkel in school S1 maken alle leraren data-analyses en gebruiken ze hiervoor het computerprogramma LOVS. Van Gasse, et.al. (2015) en Marsh, et.al. (2006) stelden vast dat hoe gemakkelijker data beschikbaar zijn, hoe meer data gebruikt zullen worden op school. Uit het onderzoek van Van Gasse, et.al. (2015) blijkt dat schoolleiders positief staan t.o.v. het gebruik van benchmarks, maar geven ze aan er geen nood aan te hebben. In dit onderzoek vinden we hiervan bevestiging. Uit het antwoord op deze onderzoeksvraag blijkt dat de scholen beschrijvende data-analyses (stap 5) maken. Verklarende analyse zouden extra inzichten geven (Schildkamp, et.al., 2013). De schoolleider en het zorgteam moeten daarin begeleid worden. Interpretatie en conclusie. De interpretatie en conclusie gebeuren op schoolniveau door de schoolleider. Internationaal onderzoek van o.a Ikemoto, et.al.(2007); Simpson (2011); Datnow, et.al. (2007); Madinach et al. (2006) en Parsley, et.al.(2006) benadrukken de centrale rol van de schoolleider bij de interpretatie en conclusie van data. Bovendien houdt de schoolleider daarbij rekening met de context, waarden, normen en visie van de school (Earl & Fullan, 2003). Op leerlingen klasniveau gebeurt de interpretatie en conclusie in school S1 door het zorgteam. De interpretatie hangt af van de taak die de actor opneemt binnen de school (Brunner, et.al., 2005). De leraren en het zorgteam interpreteren vooral de resultaten op leerlingen klasniveau terwijl de schoolleider de resultaten op schoolniveau interpreteert. Uit het antwoord op deze onderzoeksvraag blijkt dat geen enkele school bij de interpretatie en conclusie (stap 6) terugschakelt naar de hypothese (stap 2) zoals aangegeven in het stappenplan van Schildkamp, et.al. (2013). Dit kan te wijten zijn aan het feit dat de hypothese niet als aparte stap genomen werd in het stappenplan. Maatregelen nemen. De schoolleider geeft aanzet tot het nemen van maatregelen. Deze maatregelen worden met alle betrokkenen besproken. Er wordt voor gezorgd dat de leraren


66

tijd en ruimte krijgen om geprofessionaliseerd te worden zodat ze de nieuwe maatregelen kunnen toepassen in de praktijk (Ledoux, et.al., 2009). Door personeelsvergaderingen en pedagogische studiedagen te organiseren en door externe hulp aan te vragen zorgen de schoolleiders ervoor dat de leraren zich kunnen professionaliseren. Evaluatie. De evaluatie bestaat uit een procesevaluatie en een effectevaluatie. De procesevaluatie is minimaal. Ze gebeurt tijdens informele gesprekken met de schoolleider. De schoolleider staat in voor de effectevaluatie. De schoolleider geven aan dat het moeilijk is om te achterhalen welke effecten te danken zijn aan welke actie. Uit het antwoord op deze onderzoeksvraag blijkt dat de procesevaluatie en de effectevaluatie (stap 8) minimaal worden onderzocht. Dit onderzoeksresultaat zou te wijten kunnen zijn aan de beperkte kennis en expertise om de effecten te evalueren.

Onderzoeksvraag (3): Tot welke resultaten leidt het cyclisch proces? In alle scholen leidt het cyclisch proces tot conceptueel gebruik van data. Instrumenteel/direct gebruik, overtuigend/symbolisch gebruik en strategisch gebruik volgen niet in alle scholen in dezelfde mate uit het cyclisch proces. Uit het antwoord op deze onderzoeksvraag blijkt dat in alle scholen het cyclisch proces leidt tot conceptueel gebruik van gestandaardiseerde toetsen. Omdat de resultaten van het datagebruik niet meteen zichtbaar zijn, kan deze manier van werken voor meer werkdruk zorgen. De actoren kunnen een negatieve houding t.o.v. datagebruik ontwikkelen (Van Gasse, et.al., 2015). Beperkingen en aanbevelingen voor de praktijk, het onderzoek en het onderwijsbeleid. Beperkingen. Dit onderzoek geeft inzicht in hoe schoolleiders gestandaardiseerde toetsen gebruiken op hun school, maar er zijn ook verschillende beperkingen. De cases werden uiterst zorgvuldig uitgekozen, hetgeen belangrijk is bij een casestudy onderzoek (Yin, 2013). De cases werden geselecteerd door de onderzoeker zelf vanwege hun deskundigheid in het gebruik van gestandaardiseerde leerlingentoetsen. De gekozen cases


67

worden algemeen door het werkveld erkent als “goede voorbeelden”. De selectie methode geeft geen garantie dat dit ook daadwerkelijk goede voorbeelden zijn. Schoolleiders spelen een centrale rol bij het gebruik van data op school (Ikemoto, et.al.,2007; Simpson,2011; Datnow, et.al.,2007; Madinach et al.,2006 en Parsley, et.al.,2006). Daarom werd ervoor gekozen om de schoolleiders te interviewen. Uit dit onderzoek blijkt dat het zorgteam en de leraren van het zesde leerjaar ook een belangrijke rol spelen. Zij behoorden niet tot de respondenten van dit onderzoek. De vier scholen maken allen deel uit van het officieel gesubsidieerd onderwijs en worden allen ondersteund door de onderwijskoepel van steden en gemeenten (OVSG). Dit heeft een beperkende invloed op de resultaten. Wanneer een doorlichting nadert, maken scholen vaker gebruik van data (Van Gasse, et.al., 2015). De vier scholen hadden in de voorgaande drie schooljaren een doorlichting gehad. De invloed hiervan op de resultaten is niet in te schatten. Aanbevelingen voor vervolgonderzoek Uit dit onderzoek blijkt dat het zorgteam en de leraren van het zesde leerjaar ook een belangrijke rol spelen. Toekomstig onderzoek kan de rol van het zorgteam en leraren van het zesde leerjaar onderzoeken. Ook blijkt dat er naast niet-methode-gebonden gestandaardiseerde leerlingentoetsen (Van Gasse, et.al., 2015) ook methode-gebonden gestandaardiseerde leerlingentoetsen bestaan en gebruikt worden. Toekomstig onderzoek kan het gebruik van deze methode-gebonden gestandaardiseerde toetsen onderzoeken. Aanbevelingen voor het beleid. Uit dit onderzoek blijkt dat het gebruik van gestandaardiseerde toetsen belangrijk is voor scholen om te onderzoeken wat werkt en hoe onderwijs verbeterd kan worden (Hulpia & Valcke, 2004). Volgens Ledoux, et.al. (2009) zijn het de handvaten om de onderwijskwaliteit te analyseren en te verbeteren. Daarom is het belangrijk dat het onderwijsbeleid blijft investeren in de ontwikkeling en de verspreiding van de gestandaardiseerde toetsen. Het onderwijsbeleid moet ook blijvend investeren in de ondersteuning bij het gebruik van gestandaardiseerde toetsen en de nodige expertise voorzien.


68

Aanbevelingen voor de praktijk. Uit de antwoorden op de onderzoeksvragen van deze casestudy blijkt dat onderstaande aanbevelingen gemaakt kunnen worden om het gebruik van gestandaardiseerde toetsen te verbeteren in de praktijk. Uit het antwoord op de eerste onderzoeksvraag blijkt dat vooral de leerdomeinen rekenen en taal onderzocht worden. De leerdomeinen Frans, W.O. en L.O. worden enkel in het zesde leerjaar getoetst. Ze zouden ook in andere leerjaren onderzocht moeten worden om hiaten sneller op te sporen en te kunnen remediëren. Uit het antwoord op de eerste onderzoeksvraag blijkt tevens een beperkt gebruik van de paralleltoetsen. Dit gebruik van de paralleltoetsen zou veralgemeend moeten worden voor alle scholen omdat deze diepgaandere analyses toelaten. Uit het antwoord op de tweede onderzoeksvraag blijkt dat scholen geen onderscheid maken tussen probleem definiëren (stap 1) en hypothese opstellen (stap 2). Door beide samen te nemen wordt enkel rekening gehouden de meest voor de hand liggende hypothese terwijl andere mogelijkheden niet onderzocht worden. Om alle mogelijke hypotheses te overwegen wordt aanbevolen om deze twee stappen niet samen te nemen. Er blijkt ook dat de scholen validiteit en betrouwbaarheid (stap 4) minimaal in vraag stellen. Hiervoor zouden ze extra begeleiding moeten vragen. Uit het antwoord op deze tweede onderzoeksvraag blijkt dat de scholen vooral beschrijvende data-analyses (stap 5) maken. Verklarende analyse zouden extra inzichten kunnen geven. Daarom moeten scholen hiertoe aangezet worden en er eventueel begeleiding voor krijgen. Uit het antwoord op diezelfde tweede onderzoeksvraag blijkt dat de procesevaluatie en de effectevaluatie (stap 8) minimaal worden onderzocht. Daarom moeten scholen ook hiertoe aangezet worden en er eventueel ook begeleiding voor krijgen. Uit het antwoord op de derde onderzoeksvraag blijkt dat in alle scholen het cyclisch proces leidt tot conceptueel gebruik van gestandaardiseerde toetsen. Omdat de resultaten van het datagebruik niet meteen zichtbaar zijn, kan deze manier van werken voor meer werkdruk zorgen. Daarom moeten de schoolleiders waakzaam zijn dat de leraren geen negatieve houding t.o.v. datagebruik ontwikkelen (Van Gasse, et.al., 2015)


69

Bijlagen

Informed consent Interview leidraad Overzicht figuren

P70 P71 P74

Overzicht ontvangen en/of geraadpleegde documenten per school

P75


70

Informed consent Deelname aan onderzoek: “Data-geïnformeerd leiderschap in het Vlaamse basisonderwijs: Een case study naar het gebruik van gestandaardiseerde toetsen.” Het onderzoek bestaat uit een semigestructureerd interview, met een geschatte duur van twee uur. Daarnaast worden er verschillende documenten opgevraagd die de onderzoeker meer inzicht kunnen verschaffen in de case en bij de analyse van het interview. Dit onderzoek gebeurt door Dorien Van den Berghe, in het kader van haar masterproef. Deze masterproef kadert binnen de opleiding pedagogische wetenschappen, afstudeerrichting onderwijskunde, aan de Universiteit Gent. Ik ondergetekende, .........................................................................., verklaar hierbij dat ik, als participant deelneem aan dit onderzoek en (1) de informed consent heb gelezen, die uitleg geeft over het onderzoek. Op elk ogenblik wordt me de mogelijkheid geboden om hierover bijkomende vragen te stellen. (2) totaal vrijwillig deelneem aan het onderzoek. (3) de toestemming geef om mijn interview en documenten op anonieme wijze te bewaren, te verwerken en te rapporteren. (4) de toestemming geef dat er een geluidsopname wordt gemaakt van het afgenomen interview. (5) op de hoogte ben van de mogelijkheid om mijn deelname aan het onderzoek op ieder moment stop te zetten. (6) ervan op de hoogte ben dat ik een samenvatting van de onderzoeksbevindingen kan krijgen. Gelezen en goedgekeurd te .............................(plaats) op ..../……/……. (datum) Handtekening en naam van participant: …………………………………… Handtekening en naam van de onderzoeker: ……………………………………


71

Interview leidraad A) Verwelkoming en inleiding van het onderwerp. Ik ben Dorien Van den Berghe. Ik doe onderzoek naar het gebruik van gestandaardiseerde toetsen in Vlaamse basisscholen binnen het onderzoeksdomein van data-driven decision making. “Data-driven decision making is het verzamelen van data door administratief personeel, leerkrachten en schoolleiders. Op basis van deze data nemen leerkrachten, schoolleiders en administratief personeel beslissingen over interne onderwijsproblemen.” Mijn onderzoeksvraag is: “Hoe gebruiken schoolleiders gestandaardiseerde toetsen binnen het cyclisch proces van data-driven decision making”. De meeste scholen maken weinig tot geen gebruik van gestandaardiseerde toetsen als basis voor data driven decision making. Er zou wel nood zijn aan objectieve gegevens. Daarnaast zouden “good practices” rond het gebruik van data onderzocht moeten worden. Uit onderzoek is gebleken dat vooral schoolleiders daarin een leidende rol spelen. Maar uit de Vlaamse onderwijspraktijk blijkt dat er ook andere actoren zijn, zoals de zorgcoördinator. De schoolleiders en eventuele belangrijke actoren worden bevraagd via een twee uur durend interview. Er worden ook verschillende documenten opgevraagd die relevant zijn voor de verticale en horizontale analyse van het interview. Daarnaast kunnen deze documenten meer inzicht verschaffen. Het interview zal opgenomen worden met opname apparatuur, tijdens het interview maakt de onderzoeker enkele aantekeningen. Ik wil u alvast bedanken voor uw medewerking. B) Informed consent. Vooraleer we van start gaan, wil ik u vragen om de informed consent door te nemen en te ondertekenen indien u akkoord gaat. C) Achtergrond informatie van de school. a. Wie zijn op deze school de belangrijkste actoren, wie stuurt er het gebruik van data? Wie treedt op als belangrijkste actor bij het gebruik van gestandaardiseerde outputdata op school? b. In welke buurt ligt de school? c. Welke leerlingenpopulatie heeft de school? d. Wie is de inrichtende macht? Tot welke scholengroep en/of gemeenschap behoort de school? e. Wat is de historische achtergrond van de school? f. Kan u de visie van de school kort uitleggen? D) Onderzoeksvraag 1: Welke gestandaardiseerde toetsen wordt er gebruikt? a. Wordt er gebruik gemaakt van gestandaardiseerde toetsen, ontwikkeld door de koepel (IDP, OVSG,..), van methode-onafhankelijke toetsen, zoals het leerlingvolgsysteem, de toetertest en de SALTO, van gestandaardiseerde toetsen ontwikkeld door het centrum voor schoolfeedback, van


72

gestandaardiseerde toetsen van de Vlaamse overheid (paralleltoetsen van de peilingen), van gestandaardiseerde toetsen n.a.v. (internationaal) onderzoek (TIMMS, PISA,…)? b. Wanneer worden deze toetsen afgenomen? (Voorbeeld: in het 6de leerjaar, iedere 6 maanden,…) c. Waarom werd er juist voor deze toetsen gekozen? E) Onderzoeksvraag 2: Hoe wordt elke stap van het cyclische proces toegepast binnen de school? a. Hoe worden de gestandaardiseerde toetsen gebruikt op leerlingniveau? i. wie neemt de toetsen af? ii. Hoe worden ze gecontroleerd op kwaliteit? iii. Hoe en door wie worden ze geanalyseerd? iv. Daar wie en hoe worden de gegevens geïnterpreteerd? v. Hoe en door wie worden de gegevens vertaald naar verbeterplannen en acties? vi. Hoe worden de acties geëvalueerd? 1. Procesevaluatie: Hoe worden de maatregelen uitgevoerd? Hoe worden de maatregelen ervaren? 2. Effectevaluatie: Stelt het probleem zich nog? Is het doel bereikt? Welke effecten registreert de school bij het gebruik van gestandaardiseerde evaluatie? b. Hoe worden de gestandaardiseerde toetsen gebruikt op groepsniveau? c. Hoe worden de gestandaardiseerde toetsen gebruikt op schoolniveau?

F) Onderzoeksvraag 3: Wat is de uitkomst van het proces? Tot welk gebruik leidt dit proces? Waarom werd er gekozen om gestandaardiseerde toetsen te gebruiken? a. Worden de resultaten vooral gebruikt om de ontwikkeling van individuele leerlingen te volgen?


73

b. Worden de resultaten gebruikt om de effectiviteit van het onderwijs te onderzoeken? c. Worden de resultaten gebruikt om meteen beslissingen te nemen en veranderingen door te voeren? d. Worden de resultaten gebruikt en data verzameld om het denken te veranderen over bepaalde onderwijsprocessen? e. Worden resultaten gebruikt om zich te verantwoorden, het versterken van overtuigingen of ontkrachten van mythes, of om bepaalde standpunten in de discussie te ondersteunen? f. Maakt dit deel uit van een zelfevaluatie van de school? g. In hoeverre gebruikt u de gestandaardiseerde toetsen ter verantwoording t.o.v. externen? i. Voelt u druk van de overheid (of scholengroep, pedagogische begeleiding, inspectie) om data te gebruiken? ii. Communiceert u deze output resultaten met de verschillende stakeholders via de website of schoolkrant? Communiceert u deze resultaten met de inspectie? G) Afsluitende vragen a. Waarom is uw school een goed voorbeeld voor andere scholen op het gebied van gestandaardiseerd informatiegebruik? (beschikbaarheid, toegankelijkheid van informatie, analyse, interpretatie van gegevens, vertaalslag naar verbeteracties, inbedding informatie in kwaliteitszorgsysteem, kwaliteitscultuur, etc.) b. Welke documenten worden ter beschikking gesteld van de onderzoeker?

DATA-GEÏNFORMEERD LEIDERSCHAP Overzicht figuren Figuur 1: van gegevens en informatie naar actie. Van Gasse, et.al. (2015) Figuur 2: Theoretisch model. Brunner et.al. (2005). Figuur 3: Conceptueel model. Mandinach, et.al. (2008). Figuur 4: Data gebruik model. Schildkamp & Poortman (2015) Figuur 5: Data team-methode: stappenplan. Schildkamp, et.al. (2013) Figuur 6: Data team-methode: stappenplan. Schildkamp, et.al. (2013) Figuur 7: vaardigheidsscores en normen LOVS Figuur 8: leerwinst LOVS Figuur 9: categorie-analyse rekenen LOVS Figuur 10: categorie-analyse rekenen LOVS Figuur 11: Data team-methode: stappenplan. Schildkamp, et.al. (2013) Figuur 12: analyse-methode van het OVSG. Figuur 13: Data team-methode: stappenplan. Schildkamp, et.al. (2013) Figuur 14: Analyse leerdomeinen rekenen op basis van OVSG Figuur 15: Data team-methode: stappenplan. Schildkamp, et.al. (2013) Figuur 16 : evolutie op basis van MILOS-resultaten. Figuur 17: Analyse AVI-toetsen verwacht leesniveau. Figuur 18: evolutie OVSG Figuur 19: Analyse W.O. op basis van OVSG Figuur 20: Overzicht gestandaardiseerde toetsen per school. Figuur 21 Data team-methode: stappenplan. Schildkamp, et.al. (2013)

74

DATA-GEÏNFORMEERD LEIDERSCHAP Overzicht ontvangen en/of geraadpleegde documenten per school School S1

School S2

School S3

School S4

-

Alternatief leerlingenrapport

-

Categorieënanalyse leerling rekenen

-

Categorieënanalyse leerling taal

-

Foutenanalyse

-

Inspectieverslag 2012

-

Foutenanalyse OVSG-toets

-

Inspectieverslag 2012.

-

Analyse OVSG-resultaten

-

Verslag interpretatie OVSG-resultaten

-

Powerpoint toelichting studiedag

-

Eigen samenvatting inspectieverslag 2015

-

Scholenfeedbackrapport W.O. Historische tijd

-

Scholenfeedbackrapport W.O. Oriëntatie en kaartvaardigheid.

-

Observatiedocument: Three-minute-classroom Walk-Through

-

Output overzicht

-

Analyse SALTO

-

Analyse OVSG

-

Analyse en interpretatie MILOS

-

Analyse AVI

-

Powerpoint personeelsvergadering MILOS resultaten

-

Inspectie verslag 2014

75


76

Bibliografie Ackoff, R. L. (1989). From data to wisdom. Journal of Applied Systems Analysis, 16, 3-9. Bowen, G. A. (2009). Document Analysis as a Qualitative Research Method. Qualitative Research Journal, 9(2), 27-40. Breiter, A. (2003). Information – knowledge - sense-making: A theoretical analysis from management/business literature. Unpublished manuscript, Bremen, Germany. Brunner, C., Fasca, C., Heinze, J., Honey, M., Light, D., Mandinach, E., & Wexler, D. (2005). Linking Data and Learning: The Grow Network Study. JESPAR 10(3), 241-267. business/in society and world view. New York, NY: Harper & Row. Datnow, A., Park, V., & Wohlstetter, P. (2007). Achieving with Data: How high performing school systems use data to improve instruction for elementary students. University of Southern California. Rossier School of Education: Center on Educational Governance. New Schools Venture Fund. De Fraine, B., & Verhaeghe, J.-P. (2007). Feedback aan scholen: katalysator voor onderwijsverbetering? Impuls voor Onderwijsbegeleiding, 38, 76-81. Drucker, P. F. (1989). The new realities: In government and politics/in economics and Dunn, R., Jaafar, S.B., Earl, L. & Katz, S. (2013). Towards Data-Informed Decisions: From Ministry Policy to school Practice. Schildkamp, K (Ed.), Data-based decision making in education: challenges and opportunities. (p 155). Dordrecht, Nederlands: Springer. Earl, L., & Fullan, M. (2003). Using data in leadership for learning. Cambridge Journal Of Education, 33(3), 383-394. Earl. L., & Katz. S. (2002). Leading schools in a Data-Rich World. In. K. Leithwood & P. Hallinger (Eds.), Second International Handbook of Educational Leadership and Administration (pp. 1003-1022). Dordrecht: Kluwer Academic Publishers. http://www.cs.ru.nl/~tomh/onderwijs/om2%20(2005)/om2_files/syllabus/kwalitatief.pdf Hulpia, H. & Valcke, M. (2004) The use of performance indicators in a school inprovement policy: The theoretican and empirical context. Evaluation & Research in Education 18 (12), 102-119. Ikemoto, G.S., & Marsh, J.A. (2007). Cutting through the data driven mantra: Different conceptions of data-driven decision making. P.A. Moss (Ed.), Evidence and Decision Making: Yearbook of the National Society for the Study of Education (pp 105-131). New York, United States.


77

Kerr, A.K., Marsh,J.A., Ikemoto, G.S., Darilek, H., & Barney. H.,(2010). Strategies to promote data use for instructional improvement: Actions, Outcomes and lessons from Three Urban Districts. American Journal of Education, 112(4), 496-520. Knapp, M. S., Swinnerton, J. A., Copland, M. A., & Monpas-Huber, J. (2006). Data-Informed Leadership in Education. Seattle, WA: University of Washington Center for Study of Teaching and Policy. Lachat, M.A., & Smith, S. (2005). Practices That Support Data Use in Urban High Schools. Journal of education for students placed at risk 10(3), 333-349. Ledoux, G., Blok, H., Boogaard, M. & Krüger M. (2009). Opbrengstgericht werken: over de waarde van meetgestuurd onderwijs. Leithwood, K., Jantzi, D., & McElheron-Hopkins, C. (2006). The development and testing of a school improvement model. School Effectiveness and School Improvement, 17(4), 441–464. Levin, J.A., & Datnow, A. (2012). The principal role in data-driven decision making: using case-study data to develop multi-mediator models of educational reform. School Effectiveness and School Improvement: An International Journal of Research, Policy and Practice, 23(2),179-201. Mandinach, E. B., & Jackson, S. S. (2012). Transforming teaching and learning through datadriven decision making. Thousand Oaks, CA: Corwin. Mandinach, E. B., Gummer, E. S., & Muller, R.D. (2011). The complexities of integrating datadriven decision making into professional preparation in schools of education: It’s harder than you think. Report from an Invitational Meeting. Alexandria, VA, Portland, OR, and Washington, DC: CNA Education, Education Northwest, and WestEd. Mandinach, E. B., Honey, M., & Light, D. (2006). A Theoretical Framework for Data DrivenDecision Making. Paper presented at American Educational Research Association, San Francisco, California. Mandinach, E., Honey, M., Light, D., & Brunner. C. (2008). A conceptual framework for datadriven decision making. In (E. Mandinach & M. Honey, Eds.) Data-driven school improvement: Linking data and learning. New York, NY: Teachers College Press. Marsh, J.A. (2012). Interventions Promoting Educators’ Use of Data: Research insights and gaps. Teachers College Record, (114), 48. Marsh, J.A., Pane, J.F., & Hamilton, L.S. (2006). Making Sense of Data-Driven Decision Making in Education: evidence from recent Rand Research (Rapport Nr. OP-170-EDU).


78

Marshal, M.N. (1996). Sampeling for qualitative research. Family Practice, 13 (6), 522-525. Mertler, G. A. (2002). Interpretating standardized test scores: Strategies for data-driven instructional decision making. Thousand Oaks, CA: Sage. Mortelmans, Dimitri (2013) Handboek kwalitatieve onderzoeksmethoden. Leuven: ACCO. Parsley, D., Dean, C., & Miller, K. (2006). Selecting the right Data. Principal Leadership,7(2), 38-42. Reulink, N., & Lindeman,L. (2005). Dictaat kwalitatief onderzoek bij college 23 november 2005. Verkregen via: Rossi, P.H., Lipsey, M.W., & Freeman, H.E. (2004) Evaluation: A systematic approach. Thousand Oaks, CA: Sage. Schildkamp, K. & Poortman, C. (2015) Factors Influencing the Functioning of Data Teams. Teachers college record, 117 (4) Schildkamp, K., Lai, M.K., & Earl, L. (2013). Data-based decision making in education: challenges and opportunities. Dordrecht, Nederland: Springer. Schildkamp, K., VanHoof, J., Van Petegem, P., & Visscher, A.(2012). The use of selfevaluation results in the Netherlands and Flanders. British Educational Research Journal, 38 (1), 125-152. Schildkamp, K.,& Teddlie, C. (2008). School performance feedback systems in the USA and in The Netherlands: a comparison, Educational Research and Evaluation. An International Journal on Theory and Practice, 14(3), 255-282. Schildkamp,K., & Kuiper, W.(2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors . Teaching and Teacher Education,26, 482– 496. Simpson, H. (2011). School leaders’ use of data-driven decision making for school improvement: a study of promosing practices in two california charter schools.(PHD, University of southern california). Retrieved from Spillane, J. P. (2012). Data in Practice: Conceptualizing the Data-Based Decision-Making Phenomena. American Journal of Education,118 (2), 113-141 Timperley, H., Wilson A., Barrar H., Fung I. (2009). Teacher professional learning and development: Best Evidence Synthesis Iteration. Wellington, New Zealand: Ministry of Education Van Gasse, R., Vanhoof, J., Mahieu, P. & Van Petegem, P. (2015) Informatiegebruik door schoolleiders en leerkrachten. Antwerpen: Garant Uitgevers.


79

Van Petegem, P., Devos, G., Mahieu, P., Kim, T.D., & Warmoes, V. (2005). Hoe sterkt is mijn school? Het beleidsvoerend vermogen van Vlaamse scholen. Mechelen: Wolters Plantyn. Vanhoof, J., & Van Petegem, P. (2009). Het combineren van interne en externe evaluatie in een kwaliteitszorgsysteem. Dansen op een slap koord. Pedagogiek 29 (3), 191-210. Vanhoof, J., Verhaeghe, G., Van Petegem, P., & Valcke, M. (2011). Datageletterdheid versterken bij scholen: lessen uit het schoolfeedbackproject. Kwaliteitszorg in het onderwijs. Mechelen: Wolters Plantyn. Verhoeven, N (2014). Wat is onderzoek? Boom Lemma. Visscher, A.J., & Coe, R. (2003). School Performance Feedback Systems: conceptualisation, analysis and refelection.School Effectiveness and School Improvement, 14(3), 321-349. Yin, R. K. (2003). Case study research: Design and methods. Thousand Oaks, Calif: Sage Publications.

DATA-GEÏNFORMEERD LEIDERSCHAP IN HET VLAAMSE BASISONDERWIJS: Een casestudy naar het gebruik van gestandaardiseerde toetsen

Recommend Documents