Beter inzicht in opbrengstdata in het speciaal basisonderwijs

Goed worden en goed blijven

Beter inzicht in opbrengstdata in het speciaal basisonderwijs

Beter inzicht in opbrengstdata in het speciaal basisonderwijs Hoe geef ik vorm aan mijn opbrengstanalyses? Een handreiking met voorbeelden uit de praktijk

2 BETER INZICHT IN OPBRENGSTDATA IN HET SPECIAAL BASISONDERWIJS

INHOUD Voorwoord 4 Inleiding 7

HET GEBRUIK VAN DATA 8 Extern en intern Welke vraag wil je beantwoorden? Categorie 1 van opbrengstanalyses Categorie 2 van opbrengstanalyses Categorie 3 van opbrengstanalyses Overzicht gebruik opbrengstgegevens

8 9 10 11 12 14

DRIE VOORBEELDEN VAN DATAGEBRUIK BINNEN HET SBO 17 Toelichting bij de voorbeelden

17

SBO school ‘A’: Opbrengstanalyses op basis van het behalen van tussendoelen 18 Het gebruik van opbrengstgegevens 18 Analyse van de rekenopbrengsten 20 Analyse van de opbrengsten begrijpend lezen 22 Ervaringen van het team op school ‘A’ 23 Leeropbrengsten sociaal emotionele ontwikkeling 24 SBO school ‘B’ 26 Het gebruik van opbrengstgegevens 26 Analyse en verantwoording 28 Resultaten: gemiddelde leerwinst in DLE’s 29 Resultaten: vooruitgang naar verwachting 30 Resultaten: trend over meerdere jaren 30 Opbrengstgegevens kunnen signalen afgeven 31 Andere data: leerlingkenmerken 33 Conclusies en verbeterpunten 34

BETER INZICHT IN OPBRENGSTDATA IN HET SPECIAAL BASISONDERWIJS 3

SBO school ‘C’ 36 Het gebruik van opbrengstgegevens 36 Leerstandaard 37 Leerstandaard 38 Het ontwikkelingsperspectief 38 Opbrengstanalyse 40 Reflectie op de opbrengsten 43 Analyse van de leerwinst 44 Beschouwing op schoolniveau 45 Terugblik op de drie voorbeelden 47 Reflectie op de voorbeelden 47 INTERNE EN EXTERNE VERANTWOORDING 49 Interne verantwoording: het bestuur Externe verantwoording: de onderwijsinspectie Externe benchmarks: Zelfevaluatie voor een SBO school Opbrengstgegevens uit CoolSpeciaal Normering onderwijsinspectie Normering onderwijsinspectie

49 50 51 52 53 55

SLOTSOM 58 Samenvatting 58 Bijlage 60


VOORWOORD Leerlingen in het speciaal basisonderwijs krijgen steeds beter les. De Inspectie van het Onderwijs constateert dat het aantal scholen met voldoende onderwijskwaliteit de afgelopen twee jaar spectaculair is toegenomen. Volgens de inspectie komt dit vooral doordat de scholen voor speciaal basisonderwijs vaker in staat blijken om de ontwikkelingsperspectieven op het niveau van de leerling te vertalen in een passend onderwijsaanbod. En dat is mensenwerk. Ik ben trots op al die leerkrachten die in de dagelijkse praktijk leerlingen weten te boeien en te motiveren om zich te ontwikkelen. Door de inzet van die leerkrachten kan een school goed worden en goed blijven. Wat daarbij zeker helpt, is om een goed beeld te hebben van de onderwijsdoelen en de resultaten. Met instrumenten als het ontwikkelingsperspectief kijken leraren vooraf naar welke resultaten ze van een leerling verwachten. Op basis daarvan richten ze het onderwijs voor deze leerling in. De leerlingen uit het speciaal basisonderwijs krijgen vaak reguliere toetsen met een reguliere landelijke normering. Die meetlat is niet altijd zinvol voor deze leerlingen. En kan bovendien demotiverend werken. Het zou goed zijn om beter in te kunnen spelen op verschillen tussen leerlingen, hun eigen opbrengsten beter inzichtelijk te maken en de resultaten beter te analyseren. Niet alleen om de leerling, maar ook om de omgeving te laten zien wat scholen bereiken met hun leerlingen. Geen wonder dat steeds meer scholen in het speciaal basisonderwijs behoefte hebben om meer inzicht te hebben in alle gegevens die er over de vorderingen per leerling beschikbaar zijn. De scholen moeten daarvoor de beschikbare data binnen de school effectief gebruiken.


Met deze brochure wil de PO-Raad de scholen in het speciaal basisonderwijs een handreiking geven, zodat ze aan de gang kunnen met een meer effectief gebruik van data. De brochure bevat de theorie over het analyseren van opbrengsten en het gebruiken van de data, maar vooral ook veel praktijkervaring. De professionaliteit in het gehele onderwijs neemt steeds verder toe. Dat betekent dat we ook steeds meer gepersonaliseerd en evidence-based te werk willen gaan. Een beter inzicht in de data kan daar bij helpen. Zo worden we van goed nog beter! n

Rinda den Besten Voorzitter PO-Raad



INLEIDING Deze publicatie gaat over het analyseren van opbrengsten en het gebruik van data in het speciaal basisonderwijs. Met de invoering van Passend onderwijs kunnen ook scholen in het speciaal onderwijs en brede zorgscholen in het reguliere onderwijs hier mee te maken gaan krijgen. Zij kunnen ook gebruik maken van deze publicatie en van de ervaringen in het speciaal basisonderwijs. De primaire doelgroep voor de publicatie bestaat uit (bovenschoolse) directeuren en intern begeleiders van scholen voor speciaal basisonderwijs. Zij zijn primair degenen die zich bezighouden met dataverzameling en analyses, met het oog op de resultaten in de school maar ook (in samenspraak met het team) op de interne kwaliteitsverbetering en op de externe verantwoording. De tweede doelgroep bestaat uit kwaliteitsmedewerkers in grotere stichtingen. Zij zijn in opdracht van hun besturen steeds meer bezig met het in kaart brengen en analyseren van de opbrengsten van de scholen. Als derde doelgroep kan genoemd worden andere scholen, zij het regulier of speciaal, die net als SBO scholen onderwijs bieden aan groepen leerlingen met leerachterstanden. Een vierde doelgroep bestaat uit externe belanghebbenden, zoals leveranciers van systemen die gebruikt worden om de opbrengsten van leerlingen te registreren. Bij het bepalen van de focus van deze publicatie spelen enkele afwegingen een rol. De ervaring leert dat medewerkers binnen (SBO) scholen naast een theoretisch kader vooral behoefte hebben aan praktische voorbeelden en uitwerkingen. Niet alleen het ‘waarom’ maar ook het ‘hoe’. Een tweede afweging is dat het gesprek over opbrengsten niet alleen gaat over verantwoording aan ‘derden’, waarmee dan meestal het bestuur of de inspectie bedoeld wordt, maar vooral ook over de ‘schooleigen’ reflectie. Vanuit deze overwegingen ziet de inhoud er na deze inleiding als volgt uit: • Het gebruik van data • Voorbeelden van datagebruik binnen het SBO (reflectie) • Verantwoording vanuit het SBO (intern en extern) • Externe benchmarks • Slotsom


HET GEBRUIK VAN DATA Extern en intern De trend om verantwoording te moeten afleggen aan de hand van cijfers en statistieken is onmiskenbaar. “Economisering van de samenleving” noemt Tobias Reijngoud het in zijn boek uit 2012 dat typerend de titel “Weten is meer dan meten” kreeg. Professionals in het onderwijs zijn niet altijd blij met die trend, zo laat de recente discussie over de publicatie van eindopbrengsten in het basisonderwijs nog eens duidelijk zien. Ze vrezen een te eenzijdige definitie van kwaliteit. In deze publicatie zullen we dit debat niet voeren. Uitgangspunt is dat onderwijs een publieke zaak is waar verantwoording, door middel van meten en het openbaren van data, in meer of mindere mate bij zal horen. Over het gebruiken van data binnen de eigen onderwijsorganisatie is minder debat. Weinig professionals zullen twijfelen aan het nut van een cyclische benadering om onderwijskwaliteit te handhaven of te verbeteren. In een dergelijke cyclus zoeken we feedback op de resultaten, op het effect dat onze inspanning heeft gehad. Daar zullen data een belangrijke rol bij spelen. Dat geldt voor het niveau van de school, van een klas en van een individuele leerling. Om die mogelijkheden en de meerwaarde van data te benutten moeten professionals wel weten welke data ze wanneer kunnen gebruiken.

Lorna Earl en Steven Katz signaleren het risico dat schoolleiders zich “victims of unfair judgements based on data” voelen (Leading schools in a data rich world, 2012).Zij hanteren het begrip ‘data literate’, om de essentiële vaardigheid voor schoolleiders om effectief om te gaan met data te duiden. Als bijlage (zie pagina 60) is een aantal pagina’s opgenomen om weer te geven wat ze daar onder verstaan.


Welke vraag wil je beantwoorden? Binnen het speciaal basisonderwijs zijn scholen zich bewust van de kwaliteit van het onderwijs en de leerrendementen die leerlingen behalen. In die cultuur is het niet de vraag of opbrengstgegevens belangrijk zijn. Maar bij SBO scholen komt wel vaak de vraag boven “hoe geef ik vorm aan mijn opbrengstanalyses?”. Met het gebruik van het ontwikkelingsperspectief is de voortgang van individuele leerlingen binnen de school een vanzelfsprekend focuspunt. Maar die individuele leerrendementen zijn niet zonder meer geschikt om te communiceren als ‘de opbrengsten’ van de school. Omgekeerd geven de toetsresultaten op landelijk genormeerde toetsen geen zinvol beeld omdat die niet gerelateerd zijn aan de mogelijkheden van de specifieke leerlingenpopulatie in de (SBO)school. Het probleem dat zich voordoet is dat scholen dezelfde set data die ze beschikbaar hebben, willen gebruiken op verschillende niveaus in de school. De kunst is echter om voor verschillende doelstellingen de meest relevante data te genereren. De vraag “hoe geef ik vorm aan mijn opbrengstanalyses?” is een afgeleide van de vraag “welke vraag wil ik met mijn opbrengstanalyse beantwoorden?”. In grote lijnen zijn er drie categorieën van vragen die op een SBO school leven: 1. Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen). Deze vragen leven vooral bij leerkracht en IB-er. 2. Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er. 3. Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie. Deze vragen kennen ieder hun eigen bronnen. Het advies aan SBO scholen is dan ook om dit soort vragen indien nodig met afzonderlijke analyses te beantwoorden. Soms zal dat lukken met data en overzichten die gemakkelijk uit het leerlingvolgsysteem te halen zijn, maar het zal ook voorkomen dat er andere manieren gevonden moeten worden om met de gegevens binnen de school te werken.


Categorie 1 van opbrengstanalyses Door de leerkracht, ten behoeve van handelingsgericht werken

Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen). Binnen deze categorie vallen de vragen of, en in hoeverre, één of meerdere leerlingen zich naar verwachting ontwikkel(t)(en)?

Degene die deze vraag als het goed is stelt, de eigenaar van de vraag, is de leerkracht. Die heeft om de vraag te beantwoorden twee gegevens nodig: wat is de ontwikkeling die de leerling heeft doorgemaakt (de opbrengst) en wat was de verwachting? • Voor het vaststellen van de opbrengst heeft de leerkracht meerdere instrumenten ter beschikking, bijvoorbeeld observaties, mondeling vragen stellen, methodetoetsen en methode-onafhankelijke toetsen. • De verwachte opbrengst kan in een groepsplan zijn vastgelegd en staat naar alle waarschijnlijkheid ook in het ontwikkelingsperspectief van deze leerling(en). De opbrengsten zijn in absolute termen te meten, bijvoorbeeld in DLE’s of in vaardigheidsscores, of zelfs als simpele ja/nee- of kleurencodering. Dat hoeft niet alleen een cognitieve leerwinst te betreffen, ook op het gebied van gedrag of sociaal emotionele ontwikkeling kan een leerkracht een doel c.q. verwachting formuleren en meten in hoeverre die is uitgekomen. Een landelijke normering (zoals een Cito A-E of I-V score) is hier minder relevant, het gaat immers om concreet te formuleren leerwinsten voor een of meerdere leerlingen. Het kan wel zijn dat de school zelf standaarden heeft bepaald. Bijvoorbeeld: voor een leerling met is de doelstelling bij
een (concreet: voor rekenen/wiskunde streven we bij een leerling met een uitstroomverwachting Praktijkonderwijs bij een didactische leeftijd van 40 naar een vaardigheidsscore van 45). Het interne gebruik van dergelijke schooleigen streefdoelen kan zeer effectief zijn. Het geeft de leerkracht maar ook de school referentiepunten (géén ‘afrekenpunten’!). We zullen hier verderop voorbeelden van zien.


De verwachte en de gerealiseerde opbrengstgegevens die de leerkracht bij deze analyses nodig heeft komen waarschijnlijk uit het leerlingvolgsysteem, of zijn anders tenminste terug te vinden in de eigen groepsadministratie. Nogmaals benadrukt: Dit gebruik van data en analyses staat primair ten dienste van een optimaal afgestemd (lesstof)aanbod en heeft niet als eerste doel om verantwoording af te leggen, zeker niet extern.

Categorie 2 van opbrengstanalyses Door de schoolleiding, ten behoeve van de schoolontwikkeling

Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er. Binnen deze categorie vallen vragen naar de vooruitgang die een groep leerlingen c.q. alle leerlingen op één of meer vakgebied(en) boek(t)(en), ten behoeve van reflectie op bijvoorbeeld organisatie, leerkrachtenvaardigheden of lesmethode.

De eigenaar van deze vragen is de schoolleiding. Die zal hier vaak samen met de IB-er naar kijken. Wáár ze naar kijken is niet vast bepaald. De kwaliteitsontwikkeling in een school, als lerende organisatie, is geen lineair of mechanisch proces maar vereist een cyclische, iteratieve aanpak. Earl en Katz bepleiten voor schoolleiders een “inquiry habit of mind, collecting and interpreting evidence in ways that advance their understanding” (zie ook de bijlage). Bij dergelijke bewijsvoering horen opbrengstgegevens, opnieuw in absolute termen gemeten. Wat zijn bijvoorbeeld schoolbreed de rekenresultaten in DLE’s? Vaak zal de vraag zich tevens toespitsen op trends. Denk bijvoorbeeld aan een vergelijking van vaardigheidsscores voor en na invoering van een leesverbeterplan of een nieuwe methode. Bij deze absoluut gemeten opbrengsten dient zich opnieuw de mogelijkheid aan om schooleigen leerstandaarden te hanteren. Wat is de leerwinst ten opzichte van de referentiepunten die we als school hebben opgesteld, ten opzichte dus van onze eigen streefdoelen?


Het is voor schoolleiders prettig om, naast de eigen standaarden, te kunnen vergelijken met externe gegevens, benchmarking. Dat kan op twee manieren. De eerste is om zelf een referentiegroep van SBO scholen op te zoeken, bijvoorbeeld in de vorm van de regionale netwerken van het SBOwerkverband. De tweede is een benchmark met nationale data. Het landelijk genormeerde systeem van Cito scores geeft reguliere basisscholen een gemakkelijk te hanteren nationale benchmark. Voor SBO scholen zijn er echter maar weinig nationale data beschikbaar om te vergelijken. COOLSpeciaal (wat staat voor CohortOnderzoek OnderwijsLoopbaan in het speciaal onderwijs en het speciaal basisonderwijs) geeft lees- en rekenresultaten van leerlingen in de leeftijd van groep 5 en 8 van 33 SBO scholen. De onderwijsinspectie hanteert sinds kort aan IQ gerelateerde minimum normen voor eindopbrengsten in het SBO en zal dat ook gaan doen voor tussenopbrengsten. Zie deel 5 voor een overzicht van beide benchmarks. Cito beschikt over een verzameling toetsgegevens van SBO leerlingen, deze zijn (nog) niet gepubliceerd maar binnen het Cito LOVS moet dit wel leiden tot een benchmarkmogelijkheid. De opbrengstgegevens die de schoolleiding bij reflectieve analyses nodig heeft komen uit het leerlingvolgsysteem. Maar ook andere data kunnen een rol spelen. Kenmerken van de leerlingpopulatie bijvoorbeeld. Of observaties van leerkrachtvaardigheden uit klassenbezoeken. Of informatie uit ouder-, leerlingen medewerkersenquêtes. Nogmaals benadrukt: Dit gebruik van data en analyses heeft als doel het sturen van de schoolontwikkeling en niet het afleggen van verantwoording. Althans, niet over de opbrengsten zelf. Het biedt de schoolleiding uiteraard wel een mooie gelegenheid om het cyclisch en evaluatieve karakter uit te leggen en daarmee verantwoording af te leggen over het proces van kwaliteitszorg.

Categorie 3 van opbrengstanalyses Door de school, ten behoeve van verantwoording

Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie. Binnen deze categorie vallen de vragen of, en in hoeverre, de leerlingen zich ontwikkelen naar de verwachtingen dan wel de normen van mensen buiten de school?


Bepalend voor de aard van deze analyses is: aan wie wordt verantwoording afgelegd? Meestal zal de verantwoordingsvraag komen van het eigen bestuur (intern) of van de onderwijsinspectie (extern). Veel scholen in het speciaal basisonderwijs hebben ervaren dat hun bestuur net als aan alle reguliere basisscholen vraagt om Cito A-E of I-V scores. Die data leveren vanuit de SBO school weinig informatie. Hier doet zich voor de schoolleiding opnieuw de kans voor om met schooleigen leerstandaarden aan de interne verantwoordingsvraag tegemoet te komen. Het is voor SBO scholen lange tijd lastig geweest om zich richting de inspectie te verantwoorden over de opbrengsten. Officieel werd de indicator niet beoordeeld in het toezicht voor het SBO, maar gaf de inspectie in haar rapportage wel een indruk weer. Er zijn nu wel inspectienormen voor eind- en tussenopbrengsten voor SBO scholen aan het ontstaan en dat maakt het voor schoolleiders helder welke opbrengstgegevens voor de inspectie beschikbaar moeten zijn (zie bijlage 2 voor normering en deel 4 voor nadere informatie van de inspectie). Naast bestuur en inspectie legt de school, al dan niet expliciet, aan nog een geleding van de school verantwoording af, namelijk aan de ouders. In de eerste plaats gebeurt dat door met individuele ouders in gesprek te zijn over de verwachte en gerealiseerde ontwikkeling van hun kind. Dat zal meestal de leerkracht zijn, soms de IB-er en zelden de directeur. Het ontwikkelingsperspectief vormt een goede basis om dit gesprek te voeren, omdat daarin de verwachte uitstroom, de doelen en de vorderingen vermeld zijn. In de tweede plaats zal de schoolleiding, in de schoolgids of in nieuwsbrieven, terugkoppeling aan ouders geven over de gerealiseerde opbrengsten van de school, op zijn minst de uitstroomgegevens. De opbrengstgegevens voor de verantwoording komen waarschijnlijk uit het leerlingvolgsysteem, maar de schoolleiding zal die data ten behoeve van het bestuur of de onderwijsinspectie normaliter ‘handmatig’ moeten afzetten tegen de eigen standaarden dan wel tegen de normen van de inspectie. Hopelijk wordt het in de toekomst mogelijk om deze (al dan niet landelijke) normen in te voeren in het leerlingvolgsysteem van de school. Dan wordt het ook gemakkelijker om de trends daarin duidelijk te krijgen. Nogmaals benadrukt: Deze opbrengstanalyses zijn primair bedoeld om verantwoording af te leggen, intern dan wel extern. Dat neemt niet weg dat ze tevens een rol kunnen spelen bij de reflectie van de school op de eigen kwaliteit en de schoolontwikkeling.


Overzicht gebruik opbrengstgegevens De overzichten van de vorige pagina’s zijn in onderstaande tabel samengevat.

Categorie

Vragen

1. Handelingsgericht werken

Vragen die dienen om het didactisch handelen van de leerkracht te sturen. Binnen deze categorie vallen de vragen of, en in hoeverre, één of meerdere leerlingen zich naar verwachting ontwikkel(t)(en)?

2. R eflectie op de schoolontwikkeling

Vragen die dienen als reflectie op de onderwijskwaliteit van de school. Binnen deze categorie vallen vragen over de vooruitgang van een groep leerlingen c.q. alle leerlingen op één of meer vakgebied(en), ten behoeve van reflectie op de inrichting van het onderwijs

3. Verantwoording

Vragen die dienen om verantwoording af te leggen aan derden. Binnen deze categorie vallen de vragen of, en in hoeverre, de leerlingen zich ontwikkelen naar de verwachtingen dan wel de normen van mensen buiten de school?

Idem


Eigenaar

Vorm (voorbeelden)

Bron(nen)

Leerkracht

Vaardigheidsscores, DLE, Ja/nee, kleurencodering Ontwikkelingsperspectief Groepsoverzichten Evaluatie groepsplannen

LVS Groeps-administratie

Schoolleiding Eventueel IB-er

Vaardigheidsscores, DLE, Ja/nee, kleurencodering, observatieverslagen, leerlingkenmerken Schooloverzichten Groepsoverzichten Evaluatie verbeterplan

LVS School-administratie

Schoolleiding, naar bestuur en inspectie

Vaardigheidsscores, DLE, IQ’s, uitstroomgegevens Groepsgemiddelden


Leerkracht, naar ouders

Vaardigheidsscores, DLE, uitstroomverwachting Ontwikkelingsperspectief




DRIE VOORBEELDEN VAN DATAGEBRUIK BINNEN HET SBO Toelichting bij de voorbeelden Om het gebruik van opbrengstanalyses en de in deel 2 onderscheiden categorieën en vragen te verduidelijken wordt, in dit deel, van een aantal scholen voorbeeld materiaal getoond. Het is belangrijk te benadrukken dat de voorbeelden illustratief zijn. Ze zijn niet bedoeld als exemplarisch of ideaal. Wellicht kun je als school nu al iets heel anders en kun je daar goed mee uit de voeten. Of je kunt los van, of met behulp van deze voorbeelden je eigen methodiek inrichten. Als je maar bedenkt: wat past bij de informatiebehoeften en informatiebronnen binnen mijn school of mijn omgeving? Welke vragen wil ik beantwoorden? De voorbeelden richten zich achtereenvolgens op: A. Het percentage leerlingen binnen iedere groep dat zijn/haar doel bereikt. Er worden reflectieve vragen gesteld als het percentage dat de doelen niet haalt laag is of blijft. De analyse zit heel dicht bij het onderwijs en het handelen van de leerkrachten. Daarbij wordt ook gekeken naar de schoolbrede consequenties en acties. De opbrengstanalyse dient categorie 1 (op het niveau van de groepen, niet de individuele leerlingen) en soms categorie 2 (het niveau van de school). B. De leerwinst binnen de groepen, ten opzichte van de doelen in de ontwikkelingsp erspectieven, door de leerkrachten. Hiervoor wordt de term ‘resultaatverantwoording’ gebruikt. Ook op deze school zien we dat de resultaten worden gerelateerd aan de doelen in de ontwikkelingsperspectieven. Maar in deze school wordt ook gerekend met die DLE’s om te bepalen hoeveel de leerwinst is en of de gemiddelde groeps- en bouwresultaten afwijken van de doelen. De verbeteracties worden in teamverband op schoolniveau vastgesteld. Daarnaast reflecteert de school op de kenmerken van de leerlingen, bijvoorbeeld bij de schoolverlaters. De opbrengstanalyse dient ook hier categorie 1 (op het niveau van de groepen, niet de individuele leerlingen) en in sterkere mate categorie 2 (het niveau van de school).


C. Het vergelijken van de groepsscores met de leerstandaarden die de school heeft opgesteld. De vragen die hier centraal staan hebben betrekking op de mate waarin de school voor de verschillende uitstroomperspectieven op groepsniveau daadwerkelijk de tussendoelen realiseert die bij die verschillende typen vervolgonderwijs horen. De school betrekt daarbij absolute scores (in termen van vaardigheidsscores per groep) én de leerwinst tussen meetmomenten. De opbrengstanalyse dient dus vooral categorie 2, reflectie op het onderwijs op schoolniveau.

SBO SCHOOL ‘A’: OPBRENGSTANALYSES OP BASIS VAN HET BEHALEN VAN TUSSENDOELEN Het gebruik van opbrengstgegevens vooral in categorieën 1 en 2, op SBO school ‘A’ Op de volgende pagina’s zijn voorbeelden opgenomen van de analyse van de opbrengsten die op school ‘A’ is ontwikkeld. Twee keer per jaar worden de toetsresultaten gebruikt om vast te stellen of leerlingen hun doelen hebben behaald of niet. Per groep is vervolgens in kaart gebracht welk percentage van de leerlingen scoort op de driepuntsschaal: ‘boven doel’, ‘doel behaald’ of ‘onder doel’. De voorbeelden betreffen de toetsen afgenomen in januari en juni 2013. De school heeft, om de resultaten goed meetbaar te maken, enkele veranderingen doorgevoerd in de manier waarop naar de resultaten wordt gekeken. Juni 2013 is de eerste keer dat de resultaten goed vergeleken konden worden met de voorafgaande periode. In januari 2013 zijn afspraken gemaakt en interventies gepleegd, die zouden moeten leiden tot een verbetering in leerresultaat. Eén van deze afspraken was dat directie en IB de ontwikkeling in leerresultaten beter zouden monitoren en terugkoppelen aan het team. In april 2013 zijn de leeropbrengsten tussentijds geëvalueerd. Aan de hand van deze tussentijdse evaluatie tussen leerkrachten en IB-er is gekeken naar de verschillende interventies en de gerealiseerde resultaten en zijn aanvullende handelingstips gegeven om leerkrachten, waar nodig, extra ondersteuning te bieden. Dit illustreert dat de school de opbrengsten gebruikt om het handelingsgericht werken in de groepen te ondersteunen. Het valt daarmee in wat we noemden Categorie 1.


Maar de school evalueert de resultaten ook op het niveau van groep en school, uitgesplitst naar vakgebied en daar komen acties uit in het kader van de kwaliteitsverbetering. Op deze wijze gebruikt de school de opbrengsten dus ook in wat we eerder noemden Categorie 2. De overzichten worden tenslotte ook gebruikt binnen het kwaliteitssysteem van de stichting, in de communicatie en verantwoording richting het eigen bestuur, Categorie 3 dus, maar deze verantwoording is vooral gericht op het proces van kwaliteitsverbetering en niet zozeer op de hoogte van de opbrengsten zelf.

Samengevat, door groepsgewijs de resultaten van leerlingen in kaart te brengen en over tijd te vergelijken kan deze SBO school de leerkrachten ondersteunen maar tevens haar onderwijs, per vakgebied, op groepsniveau en schoolniveau evalueren en bijsturen.


Analyse van de rekenopbrengsten (percentage leerlingen per groep) rekenen januari 2013 100%

boven doel

90%

doel behaald

80%

onder doel

percentage

70% 60% 50% 40% 30% 20% 10% 0

1

2

3

4

5

6

gemiddelde school

rekenen juli 2013 100%

boven doel

90%

doel behaald

80%

onder doel

percentage

70% 60% 50% 40% 30% 20% 10% 0

1

2

3

4

5

6

gemiddelde school


Gemaakte afspraken / Interventies naar aanleiding van januari 2013: Inzetten op computergebruik binnen de klas door middel van een vast computerschema voor de leerlingen. Wat valt op: • De verbetering in leerresultaten die reeds in januari al zichtbaar was, heeft zich voortgezet. Een van de redenen die hiervoor wordt aangegeven is dat diverse leerkrachten ervoor hebben gekozen om vertraagd door de methode heen te gaan. Eén van de tips vanuit het team naar aanleiding van de analyse van de leeropbrengsten in januari. Vraag: kun je de groepsplannen aanpassen? • Vanuit een analyse van de methode gebonden toetsen kan in overleg met IB besloten worden om de uitvoering van groepsplannen aan te passen. Het inzetten van de leerling software blijkt nog steeds lastig realiseerbaar. Mede door technische problematiek rondom de software maar ook wordt aangegeven dat, zeker met drie instructiegroepen, het lastig is om daar tijd voor vrij te maken. Directie benadrukt het belang van de software als onderdeel van de methode.

Afspraken naar aanleiding van deze vergadering: • Goed gebruik maken van de leerling software. Indien dit niet lukt in overleg met IB kijken naar mogelijkheden dit toch te realiseren. • Goede analyse van de methodetoetsen. Plan van aanpak: • Directie en IB doen onderzoek naar een efficiënte manier van de inzet van RT / onderwijsassistent om de leerkrachten met drie instructiegroepen meer ondersteuning te bieden. • Directie / IB blijven monitoren tijdens IB uur of de leerling software in voldoende mate wordt ingezet.


Analyse van de opbrengsten begrijpend lezen percentage leerlingen per groep begrijpend lezen januari 2013 100%

boven doel

90%

doel behaald

80%

onder doel

percentage

70% 60% 50% 40% 30% 20% 10% 0

1

2

3

4

5

6

gemiddelde school

begrijpend lezen juli 2013 100%

boven doel

90%

doel behaald

80%

onder doel

percentage

70% 60% 50% 40% 30% 20% 10% 0

1

2

3

4

5

6

gemiddelde school


Gemaakte afspraken / Interventies naar aanleiding van januari 2013: • Leerkrachten brengen meer structuur aan bij het maken van de toets, door te oefenen met het stappenplan van Nieuwsbegrip. • Er wordt in iedere groep gebruik gemaakt van de hulpboeken. Wat valt op: • De resultaten van begrijpend lezen zijn in de meeste groepen nog steeds in onvoldoende mate verbeterd. De strategieën worden ook niet voldoende beheerst door de leerlingen. De inzet van hulpboeken is in onvoldoende mate geïntegreerd in het lesprogramma. De resultaten van één groep vallen positief op. Leerkracht geeft aan vier keer per week begrijpend lezen aan te bieden. Dit kan ingepast worden in het lesprogramma door het aanbieden van de strategieën te integreren bij andere vakken (zoals Blokboek Taal en Wereld-oriëntatie). Plan van aanpak: • IB zal met de leerkrachten kritisch kijken naar het rooster en mogelijkheden om Begrijpend Lezen vaker aan te bieden. • Daarnaast zal directie op korte termijn een teamtraining inplannen om een school brede aanpak voor begrijpend lezen te bepalen en te inventariseren wat men nodig heeft om de gemaakte afspraken te kunnen naleven. Afspraken naar aanleiding van deze vergadering: • Nieuwsbegrip (wekelijks) en hulpboeken of Goed Gelezen (om de week) gebruiken. • Meer structuur bieden bij toets afname (teksten los aanbieden van de vragen, uitvergrote versie dyslecten).

Ervaringen van het team op school ‘A’ De directie geeft aan een groei te zien in de manier waarop de school naar opbrengsten kijkt en in de professionaliteit van de leerkrachten om hier mee om te gaan. Bevindingen die het team noemt bij het op deze manier bespreken van de resultaten: • Het houdt je scherp • We gaan nu ontspannen om met het kijken naar de resultaten • Je reflecteert om te denken over wat je zelf doet voor goede resultaten • Je leert je kwetsbaar op te stellen • Het is fijn om de resultaten meteen om te zetten in praktische handelingssuggesties


• Sommige factoren blijven buiten beschouwing zodat het abstract blijft • Het is nuttig om tips te horen van anderen • Het draagt bij aan het verder vergroten van onderlinge samenwerking Een mooie bijkomstigheid van de ervaringen die dit team heeft opgedaan is de toepassing op de opbrengsten binnen het domein sociaal emotionele ontwikkeling. Dit is op veel (SBO) scholen nog geen gemeengoed. Op de volgende pagina is weergegeven hoe de school hier een start mee maakt op leerling-, groeps- en schoolniveau.

Leeropbrengsten sociaal emotionele ontwikkeling Een domein in ontwikkeling op school ‘A’ Alle leerkrachten vullen twee keer per jaar (in januari en in juni) de vragenlijst van ZIEN in over hun eigen groep. Vervolgens wordt er op leerlingen groepsniveau naar de uitslag gekeken.

Analyse van de sociaal-emotionele opbrengsten op leerlingniveau Uit de indicatie-uitspraak volgt een score op de volgende gebieden: betrokkenheid, welbevinden, sociaal initiatief, sociale flexibiliteit, sociale autonomie, impuls beheersing en inlevingsvermogen. Als het vakje rood gekleurd is, behoort de score tot de laagste 25% van leeftijdsgenoten. Bij een blauw gekleurd vakje behoort de score tot de hoogste 25% van leeftijdsgenoten. Bij een oranje of groen gekleurd vakje scoort de leerling rond het gemiddelde. Wanneer de score van de leerling tot de 25% laagste scores behoort, is er reden tot zorg. Voor deze leerling wordt een pedagogisch doel opgenomen in het ontwikkelingsperspectief. Dit doel is ook terug te vinden in het groepshandelingsplan of in een individueel handelingsplan. Het consequent formuleren van dit doel in het ontwikkelingsperspectief is een aandachtspunt. Zodra uit ZIEN naar voren komt dat het raadplegen van een orthopedagoog gewenst is, wordt de orthopedagoog ingeschakeld. Het betreffende leerlingdossier wordt bekeken en er wordt een notitie in ParnasSys gemaakt. De formulering van ZIEN is echter niet handelingsgericht. Orthopedagoog en intern begeleider onderzoeken de mogelijkheid om de individuele doelen uit het document ‘Samenvatting handelingssuggesties’ te halen. Uit dit document wordt tevens de formulering van de groepsdoelen gehaald.


Analyse van de sociaal-emotionele opbrengsten op groepsniveau In januari 2013 hebben we besloten dat we de uitkomst van ZIEN op groepsniveau terug willen zien in het sociaal-emotionele groepshandelingsplan. Hiervoor hebben we afgesproken dat voor elk van de twee laagst scorende criteria (betrokkenheid, welbevinden, sociaal initiatief, sociale flexibiliteit, sociale autonomie, impuls beheersing en inlevingsvermogen), één groepsdoel uit het bestand: ‘Samenvatting handelingssuggesties’ wordt gehaald. Aan deze twee doelen wordt vervolgens een half jaar gewerkt via de aanpak zoals beschreven staat in het groepshandelingsplan. Deze doelen worden d.m.v. observatie van de leerkracht geëvalueerd. Analyse van de sociaal-emotionele opbrengsten op schoolniveau Voor het analyseren van de sociaal-emotionele opbrengsten op schoolniveau wordt in schooljaar 2013-2014 een plan van aanpak opgesteld door directie en intern begeleider.


SBO SCHOOL ‘B’: OPBRENGSTANALYSES OP BASIS VAN LEERWINST, TEN OPZICHT VAN DE ONTWIKKELINGSPERSPECTIEVEN Het gebruik van opbrengstgegevens Vooral in categorieën 1 en 2, op SBO school ‘B’ De volgende pagina toont de cyclus die school ‘B’ hanteert voor de planning en evaluatie van het onderwijs. Op twee momenten wordt daarin de term ‘RV’ gebruikt, dat staat voor Resultaatverantwoording. Dat is de vorm waarin de leerkracht de didactische en sociaal-emotionele ontwikkeling van iedere leerling afzet tegen de doelen die in het OPP waren gesteld (dit gebeurt in DLE’s). De cyclus laat zien dat deze vorm van opbrengstanalyses voor de leerkracht een essentiële stap is in het handelingsgericht werken. Daarmee valt dit gebruik van data in wat we eerder noemden Categorie 1. In de navolgende pagina’s volgt een toelichting op de wijze waarop de school dit proces organiseert en welke overzichten daarbij gebruikt worden. De school gebruikt een leerlingvolgsysteem maar het is duidelijk dat deze overzichten daar zo niet uitgehaald kunnen worden. Behalve op individueel en groepsniveau aggregeert de school de resultaten naar het niveau van bouw en school. Dat levert voor de hele school informatie op over de mate waarin leerlingen hun OPP realiseren. Door dat bovendien per vakgebied uit te splitsen ontstaat informatie over de mate waarin leerlingen zich op de verschillende deelgebieden ontwikkelen. De school bespreekt de uitkomsten plenair en daaruit komen acties in het kader van de kwaliteitsverbetering. Op deze wijze gebruikt de school de opbrengsten dus ook in wat we eerder noemden Categorie 2. De school kijkt daarbij overigens ook naar opbrengsten en kenmerken van de schoolverlaters. Ook daarvan zijn voorbeelden opgenomen in de hiernavolgende pagina’s. Legt de school met deze werkwijze dan geen verantwoording af? Intern wel, expliciet zelfs op de resultaten zelf, van leerkracht naar directie. Extern ook expliciet naar de ouders, zoals te zien is in het schema op de volgende pagina. Dit gebruik van data valt dus ook enigszins in Categorie 3. Maar de verantwoording naar eigen bestuur en inspectie is veel meer gericht op het gehanteerde proces, als onderdeel van de kwaliteitszorg, dan op de hoogte van de opbrengsten zelf.


Samengevat, ook deze SBO school neemt als basis voor haar opbrengstanalyse de resultaten van iedere individuele leerling, ten opzichte van de doelen die in het ontwikkelingsperspectief waren gesteld. Door deze leerwinsten op te tellen tot groeps-, bouw- en schoolniveau is de school in staat haar onderwijs op veel manieren te evalueren en bij te sturen. Compliment!

Rapportage naar ouders

RV analyses op bouw- en schoolniveau Evaluatie groepsplannen Stap 8: RV op ind. lln. Doelen behaald? OPP bijstellen?

Stap 7: toetsweken Observaties en methodeonafhankelijke toetsen

Stap 6: in de bouw + ib Tussentijdse evaluatie groepsplannen methode-gebonden toetsen

Stap 1: in de bouw *Groepsplannen schrijven (uitz.) Handelingsplan

* leerlingen met dezelfde onderwijsbehoeften clusteren

Na 36 weken

Na 9 weken Na 27 weken

Stap 2: in de bouw + ib Tussentijdse evaluatie groepsplannen methode-gebonden toetsen

Na 18 weken

Stap 3: toetsweken: Observaties en methodeonafhankelijke toetsen

Stap 5: in de bouw + ib Evaluatie groepsplannen (uitz.) handelingsplan Stap 4: RV op ind. lln. Doelen behaald? OPP bijstellen?

Rapportage naar ouders

RV analyses op groepsbouw- en schoolniveau


Analyse en verantwoording Gekoppeld aan het OPP Als toelichting en aanvulling op het schema: De leerkracht legt na het afnemen van de halfjaarlijkse methode-onafhankelijke observaties en toetsen, resultaat-verantwoording af aan de directie over de pedagogische en didactische resultaten van zijn groep en van de individuele leerlingen. De stappen 4 en 8 in het cyclisch model. Leerkrachten dienen dus van alle leerlingen van hun groep op de hoogte te zijn van de didactische ontwikkelingen, sociaal-emotionele ontwikkelingen, protectieve en belemmerende factoren. Resultaten van de leerlingen worden altijd afgezet tegen de doelen van hun OPP. De resultaten ten opzichte van het OPP zijn gebaseerd op de vooruitgang van het aantal DLE’s dat hoort bij het OPP. Bijvoorbeeld: een leerling met OPP Vmbo-lwoo (bb/kb) moet een Leerrendement behalen tussen 50% en 75%. Dit staat gelijk aan een vooruitgang van 2.5 -3.75 DLE in 5 maanden (de tijd tussen 2 toetsperiodes). De adjunct-directeur houdt tijdens de gesprekken de vooruitgang per leergebied bij. In het Excel-overzicht van alle leerlingen noteert zij de vooruitgang per leergebied in DLE’s. Tevens wordt genoteerd hoe de leerling per leergebied ten opzichte van het niveau van zijn OPP scoort: • Geel: binnen OPP op niveau • Groen: boven OPP op niveau • Rood: onder OPP op niveau


Als alle Resultaatverantwoordingen zijn geweest, maakt de directie een overzicht van alle didactische resultaten ten opzichte van het OPP van de leerlingen. Deze resultaten worden met de leerkrachten en intern begeleiders op een gezamenlijk moment besproken en geanalyseerd. Per bouw wordt een analyse geschreven en zo nodig actiepunten vast gesteld. De directie schrijft vervolgens een opbrengstanalyse voor de hele school. Op de volgende pagina zien we een voorbeeld van een overzicht van de resultaten op groepsniveau, voor verschillende vakgebieden. In de kolom met de zwarte cijfers staat de gemiddelde leerwinst in DLE’s. In de kolom daarnaast is met groene en rode cijfers aangegeven hoe deze gerealiseerde leerwinst zich verhoudt tot de (gemiddelde) doelen van de OPP’s. Voor het overzicht op de pagina daarna is niet gekeken naar de leerwinst maar naar het aantal leerlingen dat hun doel wel of niet gehaald heeft. Dit is vergelijkbaar met het voorbeeld van school A. De pagina daarna geeft de trend hierin weer, op schoolniveau, in percentages per vakgebied.

Resultaten: gemiddelde leerwinst in DLE’s 2e deel schooljaar, op groeps- en schoolniveau

Rekenen OPP

0,4

Rekenen

Spelling OPP

24

1,5

15

3,5

1,4

1,4

-0,7

2,9

0,5

1,9

OB 5

15

1,5

-0,4

0,7

-0,9

3,3

1,2

0,5

-1,5

2,0

0,5

1

-0,8

3,1

0,9

1,3

-1,2 5,3

Gemiddelde OB

0,6

Spelling

Begrijpend lezen OPP

Begrijpend lezen

Technisch lezen OPP

Tecnisch lezen

Aantal leerlingen

Groep OB 2/3 OB 4

2,4 -0,4

MB 1

17

2,8

0,5

6,1

4,4

4,6

2,3

7,8

MB 2

17

1,3

-0,8

5,4

3,1

3,6

1,3

3,5

0,8

MB 3

17

2,9

0,5

7,3

4,5

3,3

0,9

2,3

-0,1

MB 4

18

2,1

-0,5

5,0

2,0

3,8

0,7

3,5

0,5

MB 5

17

6,1

3,4

3,8

1,3

3,7

1,1

3,5

3,0

0,6

5,5

3,1

3,8

1,3

Gemiddelde MB

1,0 1,5

BB 1

18

2,5

0,0

-0,3

-2,2

2,7

0,3

0,0

BB 2

15

3,4

1,2

5,0

2,7

3,5

1,0

0,0

BB 3

15

1,3

-1,1

1,8

-0,6

6,0

2,8

2,1

BB 4

15

0,8

-1,9

2,9

-0,2

3,1

0,2

0,8

Gemiddelde BB

2,0

-0,5

2,3

-0,1

3,8

1,1

Gemiddelde RV deel2

2,6

0,1

4,1

1,7

3,8

Gemiddelde RV deel 1

3,5

1,1

5,2

2,7

4,2

3,8

0,7

1,2

3,8

1,2

1,6

4,3

1,9


Resultaten: vooruitgang naar verwachting Didactische ontwikkeling ten opzichte van OPP Het verloop van de didactische ontwikkeling van de leerlingen ten opzichte van de didactische vooruitgang behorend bij hun OPP (in aantal leerlingen die onder, gelijk aan of boven hun OPP scoren): Lezen t.o.v. OPP

Begrijpend lezen

–

=

+

–

=

OB 4

3

2

OB 5

7

1

10

3

12

–

–

MB 1

4

3

9

9

0

MB 2

4

5

1

8

MB 3

4

6

4

2

MB 4

9

2

3

MB 5

7

2

28

BB 1 BB 2 BB 3

Spelling

+

Rekenen

–

=

+

–

=

+

9

4

4

5

9

2

3

3

4

1

6

7

2

2

–

8

5

11

16

4

5

7

2

3

1

1

3

12

1

8

8

2

7

7

1

8

1

11

7

2

7

4

5

7

4

2

10

5

2

10

4

4

9

8

5

4

7

3

4

10

5

4

8

18

25

28

8

43

25

13

35

21

17

44

6

3

6

6

1

3

7

3

8

8

1

9

3

5

1

1

1

7

4

3

8

5

4

6

6

4

4

4

1

3

1

0

14

3

0

12

OB 3

Totaal OB

Totaal MB

BB 4

7

3

6

6

0

8

7

1

6

4

1

9

Totaal BB

22

15

17

17

3

21

19

7

36

20

6

36

Totaal dSt deel 2

60

36

45

45

11

64

52

25

82

57

27

85

Resultaten: trend over meerdere jaren leerwinst per vakgebied Percentage leerlingen dat zich ontwikkelt onder, binnen of boven het tempo van hun OPP: Lezen

Begrijpend lezen

Spelling

Rekenen

t.o.v. OPP tempo

–

=

+

–

=

+

–

=

+

–

=

+

2009–2010 deel 1

41%

21%

38%

15%

11%

74%

36%

18%

46%

19%

12%

69%

2010–2011 deel 1

39%

11%

50%

43%

13%

44%

39%

14%

47%

29%

12%

59%

2011–2012 deel 1

27%

38%

35%

35%

41%

24%

28%

51%

21%

17%

61%

22%

2011–2012 deel 2

39%

24%

37%

38%

9%

53%

32%

16%

52%

34%

16%

50%

Conclusie: Er zijn op alle leergebieden relatief weinig leerlingen (16%) die binnen hun OPP van het leergebied vallen. De grootste groep leerlingen ontwikkelt een Leerrendement (LR) boven het niveau van hun OPP (48%).


Opbrengstgegevens kunnen signalen afgeven Andere bevindingen op schoolniveau Naast de getoonde overzichten kan deze school de data gebruiken om mogelijke andere vragen te beantwoorden c.q. andere signalen op te vangen, bijvoorbeeld: Aantal leerlingen dat een Leerrendement onder het niveau van hun OPP heeft: 79 op 0 leergebieden 46 op 1 leergebied 38 op 2 leergebieden 9 op 3 leergebieden, waarvan: – 5 leerlingen met uitstroomperspectief OPP Praktijkonderwijs, – 2 leerlingen met uitstroomperspectief OPP Praktijkonderwijs / Vmbo-lwoo (bb / kb) en – 2 leerlingen met uitstroomperspectief OPP Vmbo-lwoo (bb/kb). 3 op 4 leergebieden, waarvan: – 2 leerlingen met uitstroomperspectief OPP Praktijkonderwijs en – 1 leerling met uitstroomperspectief OPP Vmbo-t. Of: Aantal leerlingen per leergebied, dat onder OPP scoort: • Technisch lezen: 54 • Spelling: 39 • Begrijpend lezen: 33 • Rekenen: 29


Deze school zocht externe benchmarks Zoals eerder gesteld zijn er niet veel externe benchmarks voorhanden voor SBO scholen. Deze school vond een vergelijking met data uit COOL 2011 om tenminste een indruk te krijgen van de eigen opbrengsten. Technisch lezen

Begrijpend lezen

Spelling

Rekenen / Wiskunde

gem. sbo dle 36**

29**

30

32**

dle 36*

dle 39*

dle 35*

dle 38*

* dle 52 is hoogst haalbare score op DMT3 * dle 52 is hoogst haalbare score op Begrijpend lezen 2009 * dle 55 is hoogst haalbare score op Spelling 2009 * dle 58 is hoogst haalbare score op Rekenen 2009 ** gegevens uit onderzoek COOL 2011

IQ

83


Andere data: leerlingkenmerken IQ en diagnoses bij schoolverlaters Hoewel niet specifiek op opbrengsten gericht laat deze pagina nog een aspect zien van het gebruik van data, namelijk het in kaart brengen van de leerlingkenmerken (in dit geval van de schoolverlaters) om in te kunnen schatten welke mogelijke invloed deze kunnen hebben op de resultaten. IQ-gegevens schoolverlaters 2011 – 2012

20 18 16 14 12 10 8 6 4 2 0

50

55

60

65

70

75

80

85

90

95

100

105

110

Diagnoses

2% 2% 2%

Dyslexie

3%

ASS

5%

ADD

5% 7%

43%

12% 19%

ADHD ODD Hechtingsangst DCD Angst

115

>120


Conclusies en verbeterpunten Acties op schoolniveau

Rode acties: moeten nog worden uitgevoerd. Zwarte acties: is in gang gezet, nog niet volledig afgerond. Groene acties: zijn uitgevoerd.

Algemeen a) De ib-ers gaan de lijst pedagogische onderwijsbehoeften uitbreiden. b) Verbetering kan nog gevonden worden in het plannende aanbod sociaalemotionele ontwikkeling in relatie met belemmerende factoren van de leerling. c) De werkgroep ‘sociaal-emotionele ontwikkeling’ gaat zich verdiepen in een LVS dat waardevoller is voor onze leerlingen. d) Concreter beschrijven van specifieke onderwijsbehoeften. e) De OPP-startformulieren moeten, vooral voor de leerlingen


Nieuwe acties Technisch lezen: o) Beantwoorden van de vragen onder Invloed gebruik nieuwe toetsen DMT 2009 blz. 13: - In het overleg dat de ib-ers binnenkort met Cito hebben, vragen we of dit ook de landelijke ervaring is. - We gaan ook naar de ervaringen van andere sbo-scholen vragen. p) Afspraak maken welke AVI-scores worden gebruikt (ib-overleg) als notering in de RV’s. Begrijpend lezen: q) We hebben geen doorgaande lijn van Begrijpend lezen. Dit is een aandachtspunt door de hele school. Tijdens de studiemiddagen van het CED zijn we bezig met een doorgaande leerlijn Begrijpend luisteren en Begrijpend lezen. Spelling: r) Oriëntatie op werken met leerlijn Spelling: ib-ers komen met een voorstel. Dit heeft tevens als voordeel dat de Cito-toetsen meer aansluiten bij ons onderwijsaanbod, zodat we meer waarde kunnen hechten aan de behaalde scores Spelling. s) Overleg met Cito over het groot aantal opgaven in de spellingtoetsen ‘Zoek de fout’. Rekenen: t) De werkgroep Rekenen evalueert dit schooljaar de eerste ervaringen met Alles Telt.


SBO SCHOOL ‘C’: OPBRENGSTANALYSES OP BASIS VAN LEERSTANDAARDEN Het gebruik van opbrengstgegevens Vooral in categorie 2, op SBO school ‘C’ Deze school gaat bij het stellen van leerdoelen en bij haar opbrengstanalyses uit van zogenaamde leerstandaarden. Deze hebben de vorm van oplopende vaardigheidsscores, voor verschillende vakgebieden, uitgesplitst naar verschillende uitstroombestemmingen. In de pagina’s hierna wordt daar een voorbeeld van gegeven. De leerstandaarden worden door de school gebruikt in de cyclus van handelingsgericht werken, bijvoorbeeld in de doelen in het ontwikkelingsperspectief die op deze manier per vakgebied aan het uitstroomniveau van de leerling zijn gekoppeld. Ook daar is een voorbeeld van opgenomen. In het kader van deze publicatie is vooral van belang hoe de opbrengsten langs deze standaarden in kaart worden gebracht. De school stelt op groepsniveau gemiddeldes vast van de resultaten op methode-onafhankelijke toetsen. Die gemiddeldes zijn af te lezen in het leerlingvolgsysteem. Vervolgens worden die gemiddeldes vergeleken met de streefdoelen (de leerstandaarden) die de school per uitstroombestemming hanteert. Deze vorm van opbrengstanalyse richt zich op vragen van Categorie 2. Door de opbrengsten die de leerlingen realiseren op een structurele manier in kaart te brengen ontstaat feedback op het onderwijs zoals dat op de school gegeven wordt. Enerzijds betreft de analyse de opbrengsten op een gegeven moment. Het zegt iets over de vaardigheden van leerlingen in de school, bijvoorbeeld per groep op verschillende vakgebieden dan wel per vakgebied door verschillende leerjaren heen. Door opbrengsten van dezelfde groep leerlingen op verschillende momenten met elkaar te vergelijken ontstaat inzage in de leerwinst die zij boeken. Als we de opbrengsten over een langere periode kunnen vergelijken, ontstaat een beeld van de ontwikkeling van de effectiviteit en afstemming van het onderwijs op de behoeften van de leerlingen. Net als bij school ‘A’ is de verantwoording naar eigen bestuur en inspectie (Cate gorie 3) gericht op het gehanteerde proces, als onderdeel van de kwaliteitszorg, en niet op de hoogte van de opbrengsten zelf. Het gebruik van leerstandaarden is een heldere manier om met ouders en leerlingen in een vroeg stadium het uitstroomperspectief te bespreken.


Samengevat, deze SBO school neemt als basis voor haar opbrengstanalyse de leerstandaarden die de school per uitstroombestemming heeft opgesteld. Door deze referentiepunten kan de school per leerling maar zeker ook per groep en door de hele school heen de gerealiseerde opbrengsten en leerwinst structureel vergelijken met de eigen streefpunten.

Leerstandaard De uitstroombestemming geeft ook tussendoelen aan Leerstandaarden zijn geen ‘normen’ voor de leerlingen in termen van goed of fout, gehaald of niet gehaald, bevorderd of niet bevorderd. Leerstandaarden zijn punten op een schaal, ze dienen als referentiepunten om opbrengsten en vorderingen te bespreken. Leerstandaarden worden hier uitgedrukt in vaardigheidsscores, zoals die door Cito zijn opgesteld als schalen die de vaardigheden van leerlingen op een bepaald deelgebied (bijvoorbeeld spelling of rekenen) weergeven. Een SBO school kan deze schalen gebruiken om voor haar eigen leerlingpopulatie ijkpunten te formuleren waarlangs leerlingen typisch hun loopbaan aan deze SBO school doorlopen, een loopbaan die gewoonlijk in één van een beperkt aantal voortgezet onderwijsvormen (bijvoorbeeld Praktijkonderwijs of VMBO kadergericht) een vervolg krijgt. Zo ontstaan op die school voor verschillende deelgebieden dus een aantal ‘curves’ die voor die school als leerstandaard kunnen gelden.

uitstroom C

vaardigheidsscore

uitstroom B uitstroom A

didactische leeftijd


Leerstandaard Voorbeeld van tussendoelen voor een vakgebied (R/W) PRO Groep

DL

8

55 60

7

41 45 6 5 4 3

VMBO (B + K) Funct. niveau

VMBO T

Streefdoel

Funct. niveau

Streefdoel

Streefdoel

Funct. niveau

51 55

65

M5

87

46 50

57

E4

82

E6

108

M8

M6

104

50

E4

75

E7

E5

100

M7

36 40

45

M4

31 35

40

M4

66

M5

92

E6

56

E4

87

M6

26 30

37

E3

21 25

33

E3

51

E4

78

E5

47

M4

74

M5

16 20

25

M3

40

E3

61

E4

11 15

17

33

E3

52

M4

6 10

9

25

M3

39

E3

31

M3

0 5

De leerstandaarden voor deze school zijn per vakgebied per didactische leeftijd opgesteld. Hierboven ter illustratie die voor rekenen. De standaarden zijn tot stand gekomen door een analyse van de uitstroom van de afgelopen jaren (balans tussen VMBO en Praktijkonderwijs) en de vaardigheidsscores die naar de niveaus leiden die bij die uitstroom horen. Voor zover externe validatie mogelijk was (bijvoorbeeld met COOLSpeciaal) is vastgesteld dat de gekozen leerstandaarden ambitieus van aard zijn.

Het ontwikkelingsperspectief (zie pagina hiernaast) Bevat uitstroomperspectief en tussendoelen Voor een leerling die de ambitie heeft om naar een bepaalde vervolgopleiding uit te stromen, wordt (per vakgebied) zichtbaar langs welke lijn de benodigde vaardigheden verworven (dienen te) worden.

Toets

Resultaat

Streefdoel

Leerroute

Rekenen

Toets

PRO

32

Resultaat

PRO

Streefdoel

PRO

PRO

PRO

5

Leerroute

Woordenschat

Toets

Resultaat

Streefdoel

Leerroute

Begrijpend lezen

Toets

Resultaat

Streefdoel

Leerroute

Spelling

Toets

Resultaat

Streefdoel

Leerroute

Technisch lezen

DL

Datum

9

35

100

34

10

17

39

104

53

15

25

42

109

62

20

33

44

-3

112

72

25

37

47

115

76

30

40

49

5

118

82

35

45

52

120

87

40

50

54

13

123

90

45

57

58

126

94

50

65

60

24

128

96

55

60



Opbrengstanalyse op schoolniveau per toetsmoment In de gele velden valt af te lezen wat de gemiddelde vaardigheidsscore (VS) was op de Cito toetsen die in juni 2012 zijn afgenomen, per vakgebied per groep. In de blauwe velden zijn de leerstandaarden vermeld, voor de route die naar uitstroomniveau Praktijkonderwijs (PRO) leidt en voor de route die naar uitstroomniveau VMBO-KB leidt. Voor Technisch Lezen is maar 1 standaard benoemd. De reden daarvoor is dat de school zich ten doel stelt om met alle leerlingen het eindniveau te halen. De grafieken geven weer hoe de gemiddelde vaardigheidsscores van de groepen (de blauwe balken) zich verhouden tot de leerstandaarden voor PRO uitstroom (de rode balken) en voor VMBO-KB uitstroom (de groene balken). Technisch lezen DL

Groep

Gemiddelde VS

Streefdoelen

AVI

50

7

69,9

94

E7

40

6

57,4

87

E6

30

5

59,2

76

E5

20

4

48,1

62

E4

10

3

21,4

34

E3

100 80

Gemidd. VS

60

Streefdoelen

40 20 0 Gr.7

Gr.6

Gr.5

Gr.4

Gr.3

Begrijpend lezen DL

Groep

Gemiddelde VS

Streefdoelen PRO

50

7

15,2

24

35

40

6

8,8

13

30

30

5

3

5

22

20

4

-5

-3

12

10

3

-12,2

–

-3

40 30

Gemidd. VS

20

Streefdoelen PRO

10

Streefdoelen VMBO

0 -10 -20

Gr.7

Gr.6

Gr.5

Gr.4

Gr.3

Streefdoelen VMBO


Woordenschat DL

Groep

Gemiddelde VS

Streefdoelen PRO

Streefdoelen VMBO

50

7

64,4

58

78

40

6

55,3

52

78

30

5

47,2

47

72

20

4

38,8

42

62

10

3

31,6

35

46

100

Gemidd. VS

80

Streefdoelen PRO

60

Streefdoelen VMBO

40 20 0

Gr.7

Gr.6

Gr.5

Gr.4

Gr.3

Spelling DL

Groep

Gemiddelde VS

Streefdoelen PRO

50

7

123,1

126

Streefdoelen VMBO 135

40

6

122,7

120

130

30

5

120,2

115

126

20

4

118,6

109

118

10

3

106,3

100

108

150 Gemidd. VS 100

Streefdoelen PRO Streefdoelen VMBO

50 0

Gr.7

Gr.6

Gr.5

Gr.4

Gr.3

Rekenen / wiskunde DL

Groep

Gemiddelde VS

Streefdoelen PRO

Streefdoelen VMBO

50

7

65,3

65

87

40

6

67,7

50

75

30

5

47,4

40

56

20

4

44,2

33

47

10

3

28,7

17

33

100

Gemidd. VS

80

Streefdoelen PRO

60

Streefdoelen VMBO

40 20 0

Gr.7

Gr.6

Gr.5

Gr.4

Gr.3


Naast het analyseren van groepsgemiddelden is het interessant om te weten hoeveel leerlingen binnen de verschillende groepen de PRO en VMBO-KB niveaus daadwerkelijk realiseren. Daartoe is voor iedere groep en voor ieder vakgebied bepaald hoeveel leerlingen onder de PRO lijn scoren, tussen de PRO en VMBO-KB lijn in en boven de VMBO-KB lijn. Bij Technisch Lezen zijn er maar twee categorieën onderscheiden, namelijk onder of boven de standaard.

Groepen, over vakgebieden heen Vakgebieden, over groepen heen


Reflectie op de opbrengsten Per vakgebied en per groep Observaties op schoolniveau TL De resultaten voor Technisch Lezen liggen ver onder de door de school geambieerde niveaus. De achterstand van groep 6 is heel groot (onder het gewenste groep 4 niveau), dat is consistent met de zwakke scores van de groep 5 van vorig schooljaar. BL De scores op Begrijpend Lezen zijn laag, gemiddeld liggen ze ver onder het gewenste niveau PRO. WS De groepen 3 en 4 scoren laag op Woordenschat. De gemiddelde scores in groepen 5, 6 en 7 liggen boven het niveau PRO maar nog ver onder het niveau VMBO-KB. Dit is consistent met eerdere meetmomenten. SP De Spelling opbrengsten zijn relatief gezien niet slecht. De gemiddelde scores liggen door de school heen boven het niveau PRO, met uitzondering van groep 7. RW De groepen laten voor Rekenen/Wiskunde resultaten zien die tussen PRO en VMBO-KB liggen. Observaties op groepsniveau 3 Groep 3 presteert op het gebied van TL niet sterk. Voor WS scoort een klein aantal leerlingen boven de VMBO-KB standaard. Voor de vakken SP en RW laten de leerlingen overwegend resultaten zien boven de VMBO-KB standaard. 4 Ook een behoorlijk aantal leerlingen van groep 4 heeft voor SP en RW resultaten behaald boven de VMBO-KB score. Voor BL en WS zijn dat er minder, de meesten hebben een resultaat onder PRO. Op het gebied van TL presteert 30% van de leerlingen boven het door de school geambieerde niveau. Dat is het hoogste percentage binnen de school maar onder de resultaten van groep 3 in het vorige schooljaar. 5 Voor de vakken SP en RW scoren de leerlingen van groep 5 redelijk gespreid, maar voor TL, BL en WS voornamelijk rondom de PRO standaard. 6 Leerlingen van groep 6 scoren overwegend rondom het niveau PRO. Op het gebied van TL en BL is ongeveer 30% van de leerlingen boven het niveau PRO geëindigd. 7 Groep 7 laat over alle vakgebieden heen resultaten zien die voornamelijk onder de standaard voor PRO liggen.


Analyse van de leerwinst Tussen twee toetsmomenten Een andere vraag voor een opbrengstanalyse is of leerlingen in een periode ook voldoende leerwinst hebben laten zien. Daartoe kunnen de resultaten van een groep, zeg groep 5, vergeleken worden met de resultaten van een groep eerder in het voorgaande jaar, in dit geval groep 4. In onderstaande tabel is in de gele velden per vakgebied per groep af te lezen wat de gemiddelde leerwinst was tussen de Cito toetsen die in juni 2011 en juni 2012 zijn afgenomen. In de blauwe velden zijn de beoogde leerwinsten vermeld, voor de route die naar uitstroomniveau Praktijkonderwijs (PRO) leidt en voor de route die naar uitstroomniveau VMBO-KB leidt. De grafiek geeft weer hoe de gemiddelde leerwinst van de groepen (de blauwe balken) zich verhouden tot de beoogde leerwinst voor PRO uitstroom (de rode balken) en voor VMBO-KB uitstroom (de groene balken). Tussen 2 toetsmomenten (leerwinst juni – juni)

Rekenen / wiskunde DL

Groep

50–60

8

Gemiddelde VS

Streefdoelen PRO

Streefdoelen VMBO

40–50

7

12,3

15

12

30–40

6

18,7

10

19

20–30

5

19,4

7

9

10–20

4

34,2

16

14

0–10

3

28,7

17

33

40 35 30 25

Gemidd. VS

20

Streefdoelen PRO

15

Streefdoelen VMBO

10 5 0

Gr.8

Gr.7

Gr.6

Gr.5

Gr.4

Gr.3


Beschouwing op schoolniveau Conclusies en beleidsprioriteiten Door middel van de gehanteerde opbrengstanalyse zijn de opbrengsten van de hele school over de periode juni 2011 tot en met juni 2012, zowel in absolute zin (ten opzichte van de leerstandaarden die de school geformuleerd heeft) als in relatieve zin (de leerwinst over deze periode) bekeken. Daaruit komen voor de school conclusies en speerpunten voor beleid om gerichte acties uit te zetten ter verbetering van de kwaliteit van het geboden onderwijs. • De analyse laat duidelijk zien dat de opbrengsten op het gebied van Technisch Lezen veel lager liggen dan de school zou willen. De school dient met de grootst mogelijke urgentie haar technisch lezen onderwijs tegen het licht te houden. Eerste interne analyses geven aan dat er verbeteringen mogelijk zijn op de hoeveelheid leertijd, op de gehanteerde instructievormen en op ondersteuning door een voortgezet technisch lezen methode. Inmiddels zijn er stappen gezet om externe expertise bij de analyse en de verbeteractiviteiten te betrekken. • Ook de gemiddelde niveaus van het Begrijpend Lezen liggen onder de door de school geformuleerde (PRO) standaarden. In de hogere groepen wordt wel leerwinst geboekt maar die is onvoldoende om de trage start te compenseren. Het is de vraag of de recent ingevoerde methode Taaltrapeze hier een kentering in gaat brengen. Ook is onduidelijk in hoeverre de effecten van verbeteringen in het technisch lezen de vaardigheden begrijpend lezen zullen stimuleren. • De resultaten voor Woordenschat en Spelling liggen op verschillende meetmomenten voornamelijk rondom de leerstandaarden PRO. Opvallend is dat de gerealiseerde leerwinst in het afgelopen jaar gemiddeld genomen aanzienlijk is. Ook de spelling scores in de groepen 3, 4 en 5 zijn bemoedigend hoog. Het is bovendien te verwachten dat het toegespitste Taaltrapeze onderwijs met name op WS een positief effect zal hebben. De resultaten 2012 lijken in ieder geval een verbetering ten opzichte van 2011 te laten zien. Al blijft de doelstelling om meer leerlingen op de VMBO-KB lijnen te krijgen helder, deze vakgebieden vormen voor de school op dit moment geen prioriteit. • Dat laatste kan ook gezegd worden van Rekenen/Wiskunde. Een toenemend aantal leerlingen scoort boven de VMBO-KB lijn en er werd afgelopen jaar een behoorlijke leerwinst geboekt. Deze ontwikkelingen zijn voor de middenbouw uitgesprokener dan voor de bovenbouw.



TERUGBLIK OP DE DRIE VOORBEELDEN Reflectie op de voorbeelden Wat leveren de opbrengstanalyses op? Eerder werd aangegeven dat een analyse van de opbrengsten verschillende doelen kan hebben, afhankelijk van de vraag die men als uitgangspunt neemt, waarbij drie categorieën werden onderscheiden: vragen die dienen om het didactisch handelen van de leerkracht te sturen, vragen die dienen als reflectie op de onderwijskwaliteit van de school, vragen die dienen om verantwoording af te leggen aan derden. Wat kunnen we, terugkijkend op de voorbeelden, zeggen over het nut van de opbrengstanalyses die de voorbeeldscholen uitvoeren, wat levert het op, waar is nog winst te halen? Een belangrijke conclusie is dat de schoolteams kennelijk in gesprek zijn over de opbrengsten en dat gebruiken om samen over het onderwijs te praten. Op deze manier geven zij invulling aan de cyclische benadering ten aanzien van hun onderwijskwaliteit en dat leidt in alle voorbeelden tot concrete conclusies. Bijvoorbeeld: de analyse laat duidelijk zien dat de opbrengsten op het gebied van Technisch Lezen veel lager liggen dan de school zou willen. Of: de implementatie van een nieuwe rekenmethode heeft tot betere resultaten geleid. Of: de school zoekt verdieping in het maken van analyse bij Taal voor Kleuters. Ook wordt in alle voorbeelden de stap gezet naar concrete verbeteracties: inhoudelijke studiemomenten worden ingepland, nieuwe toetsen aangeschaft, leertijd wordt tegen het licht gehouden. Deze dienen kwaliteitsverbetering en zijn daarmee zeer zinvol. In de voorbeelden wordt steeds naar de opbrengsten per groep gekeken maar de conclusies en vervolgacties vallen vooral in categorie 2, op schoolniveau. Er komen wel conclusies en richtlijnen voor het didactisch handelen van de leerkrachten boven maar de analyse van de resultaten binnen een bepaalde groep leerlingen vindt in de praktijk op een ander moment plaats, bij de groeps- en leerlingbesprekingen. Dat is op zich terecht, maar het is een uitdaging voor de schoolleiding om de koppeling tussen de schoolbrede aandachtspunten en de groepsaanpakken zichtbaar te maken en te houden. Een ander opvallend kenmerk van de analyses is dat er niet vaak expliciet benoemd wordt welke data volgende keer verzameld en geanalyseerd moeten worden. Vragen die dieper binnen bepaalde domeinen liggen en groepsoverschrijdend


(een rekendomein of een spellingscategorie of schrijfvaardigheden) dan wel leerstofoverschrijdend zijn (zoals sociale vaardigheden) hebben waarschijnlijk analyses nodig met aanvullende gegevens, als item analyses of methode toetsen of eigen vragenlijsten. Met andere woorden, de signalen komen nu uit ‘standaard’ opbrengstanalyses maar het vooraf formuleren van vragen als verdieping of om een complexere issue te begrijpen is nog niet zichtbaar, en dus worden daar ook geen specifieke aanvullende data bij gezocht. Het is begrijpelijk dat de vragen uit categorie 3, met betrekking tot verantwoording, in de voorbeeldanalyses geen expliciete rol spelen. Met name de dialoog met de inspectie komt in het volgende deel aan de orde.


INTERNE EN EXTERNE VERANTWOORDING Interne verantwoording: het bestuur Interne kwaliteitsprocessen en -systemen In de voorbeelden is te zien geweest dat opbrengstgegevens door SBO scholen worden ingezet als middel tot eigen reflectie op de onderwijskwaliteit. Maar ook het bevoegd gezag wil iets weten en vinden van die kwaliteit. Terecht, zo is het ook vastgelegd in de Codes Goed Bestuur. Die van het primair onderwijs onderscheidt zich van de andere onderwijssectoren door de expliciete focus op l eerresultaten gekoppeld aan de kwaliteit van het onderwijs. In artikel 7 van de Code – de ‘opdracht’ – stellen het schoolbestuur en het interne toezichtorgaan zich ervoor verantwoordelijk dat “ieder kind het maximale rendement uit zijn of haar mogelijkheden kan halen, doordat hij of zij het best mogelijke onderwijs krijgt”. De meeste bestuurders c.q. hun beleidsmedewerkers verzamelen daarom kwalitatieve en kwantitatieve informatie over hun scholen. Dit dient enerzijds als input voor het gesprek over de schoolontwikkeling in algemene zin. De gehanteerde voorbeelden laten zien dat dit ook voor SBO scholen prima kan. Deze scholen hebben immers zelf al hun opbrengsten geanalyseerd, hun onderwijskwaliteit geëvalueerd en hun verbeteracties benoemd. Anderzijds zoeken besturen ook naar een vorm van verantwoording en beoordeling: is de kwaliteit op orde en zijn de opbrengsten voldoende. De landelijke Cito normeringen vormen hiervoor veelal de basis. Voor wat betreft de SBO scholen is het lastig om de opbrengsten in absolute zin te duiden. De Cito scores zeggen niet veel, ze bevestigen vooral dat de leerlingen gemiddeld een leerachterstand hebben. SBO scholen staan daarmee voor de opdracht om hun opbrengsten inzichtelijk te maken en te duiden ten behoeve van de interne verantwoording. Het ligt voor de hand om daarvoor benchmarks te gebruiken. Dat kunnen zijn eigen leerstandaarden die binnen de school als benchmark opgesteld zijn (zoals bijvoorbeeld school ‘C’ heeft gedaan) dan wel externe benchmarks. Die laatste zijn er tot nu toe nauwelijks geweest maar gelukkig komen er steeds meer mogelijkheden om die te gebruiken. In het volgende deel wordt een aantal voorbeelden en ontwikkelingen beschreven.


Passend Onderwijs gaat voor veel scholen een interessant en uitdagend nieuw kader geven, ook waar het de analyse van opbrengsten betreft. Het is heel goed mogelijk dat er nieuwe ‘interne’ verantwoordingsrelaties ontstaan. Het samenwerkingsverband heeft de verplichting om de ingezette middelen te verantwoorden (net als binnen WSNS maar beter) en die vraag zal richting (de opbrengsten van) de scholen worden doorvertaald. Daarnaast is nu al zichtbaar dat er al dan niet vaste arrangementen ontstaan die specifiek bekostigd en dus verantwoord moeten worden, bijvoorbeeld aan het samenwerkingsverband zelf of aan een andere school binnen of zelfs buiten het samenwerkingsverband.

Externe verantwoording: de onderwijsinspectie Ontwikkelingen in het toezicht In de voorbeelden is te zien dat opbrengstgegevens worden ingezet als middel tot eigen reflectie op de onderwijskwaliteit. Externe verantwoording is van een andere orde. De inspectie wil de opbrengsten van SBO scholen kunnen beoordelen als op reguliere basisscholen, dat wil zeggen met normen voor eind- en tussenopbrengsten. Er wordt binnen het risico gericht toezicht per school inmiddels gekeken naar het uitstroompercentage Praktijkonderwijs. Uit de analyses van de inspectie blijkt dit het meest betrouwbare kengetal op te leveren en de sterkste correlatie te hebben met verstrekte toezichtarrangementen en het niveau van leerprestaties. SBO scholen hebben gemiddeld een uitstroom van 36% naar Praktijkonderwijs. Op basis van de verdeling van scholen is de inspectie tot een norm voor risico van 45% of meer uitstroom naar Praktijkonderwijs gekomen. Inmiddels heeft de inspectie ook een (voorlopige) normering voor de eindopbrengsten in het SBO vastgesteld. Als ondergrens wordt van de schoolverlaters de gemiddelde vaardigheidsscore/DLE van rekenen/wiskunde en begrijpend lezen gekoppeld aan het gemiddelde IQ van die groep. Dit is vergelijkbaar met de tabel Cito eindscore in relatie tot het percentage gewichtenleerlingen in het reguliere basisonderwijs. Ter informatie is de tabel in het volgende deel opgenomen. Voor technisch lezen geldt als absolute ondergrens: 80% van de schoolverlaters haalt tenminste een DLE van 20, hetgeen overeenkomt met een AVI niveau E4 of DMT score 55. Bij al deze cijfers hoort een waarschuwing: het is niet uitgesloten dat uit validatieonderzoeken en voortschrijdend inzicht blijkt dat de normen bijstelling behoeven.


De inspectie verwacht dat meer onderwerpen met een uniforme meetlat zullen worden ondergebracht in het kwaliteitsaspect ‘opbrengsten’. Te denken is dan aan de tussenopbrengsten, sociaal emotionele aspecten en de zogenaamde ‘bestendigheid’ (hoe vergaat het leerlingen in het voortgezet onderwijs).

Het zal voor SBO scholen niet moeilijk zijn om op basis van de gevraagde cijfers invulling te geven aan de externe verantwoording aan de onderwijsinspectie. Deze data zullen ongetwijfeld ook in het gesprek binnen de school en met het schoolbestuur een plek krijgen, zoals dat ook in het reguliere basisonderwijs gebruikelijk is. Dat scholen op individuele basis moeite hebben met de totstandkoming en hoogte van de normering (bijvoorbeeld het gebruik van IQ gegevens of het buiten beschouwing laten van dyslexie) is een discussie voor een ander moment.

Externe benchmarks: Zelfevaluatie voor een SBO school vanuit het Cito LOVS Door het maken van opbrengstanalyses kan een SBO school evalueren of het al dan niet goed gaat en waar eventuele verbeteringen mogelijk zijn met betrekking tot het taal- en rekenonderwijs. Dat hebben de voorbeelden duidelijk laten zien. Maar hoe doet een school het in vergelijking met soortgelijke scholen in Nederland? Cito krijgt van SO- en SBO-scholen regelmatig de vraag op welke manier zij toetsgegevens kunnen gebruiken voor schoolzelfevaluatie. Om een antwoord op deze vraag te geven start Cito een project over opbrengstanalyses, in opdracht van OCW en samen met het SBOwerkverband, LECSO (het landelijk expertise centrum speciaal onderwijs) en Siméa (de vereniging van besturen in cluster 2). Basis voor dit project over opbrengstanalyses zijn de gegevens van de afgelopen onderzoeken voor de ontwikkeling van de toetsen voor speciale leerlingen, aangevuld met recente en actuele toetsgegevens van cluster 2 en 4 scholen en SBO-scholen. Cito zoekt nog deelnemende scholen, die hun toetsgegevens uit het leerlingvolgsysteem willen insturen. Daarnaast start een werkgroep met deskundigen en experts van de scholen om te waarborgen dat de opbrengstanalyses werkelijk passen bij hun behoefte.


Opbrengstgegevens uit CoolSpeciaal Voor het onderzoek COOLSpeciaal zijn in het speciaal basisonderwijs en in cluster 4 van het speciaal onderwijs in het schooljaar 2010/2011 toetsen afgenomen bij de leerlingen uit de geboortejaren 2001 en 1998. Het gaat daarbij om de toets rekenen/wiskunde, technisch lezen (DMT) en begrijpend lezen. In het basisonderwijs zijn deze toetsen in dezelfde periode ook afgenomen in groep 5 en in groep 8, in het kader van de tweede meting van het onderzoek COOL5-18. Het betreft in beide onderzoeken ongeveer dezelfde leeftijdsgroepen. In de grafieken hiernaast worden de toetsresultaten van de leerlingen in het speciaal basisonderwijs vergeleken met die van de leerlingen in het reguliere basisonderwijs en in cluster 4. Voor het BaO is in het onderzoek onderscheid gemaakt tussen ‘reguliere’ leerlingen en leerlingen voor wie een handelingsplan was opgesteld en die extra aandacht of extra hulp krijgen binnen de klas of de school. De data kunnen door SBO scholen worden gebruikt als externe benchmark.

120

Bao regulier

100

Bao zorg

80

Sbo

60

SO Cluster 4

40 20 0

Groep 5 geb. 2001

Groep 8 geb. 1998

Gemiddelde scores rekenen/wiskunde


120

Bao regulier

100

Bao zorg

80

Sbo

60

SO Cluster 4

40 20 0

Groep 5 geb. 2001

Groep 8 geb. 1998

Gemiddelde scores technisch lezen (DMT)

120

Bao regulier

100

Bao zorg

80

Sbo

60

SO Cluster 4

40 20 0

Groep 5 geb. 2001

Groep 8 geb. 1998

Gemiddelde scores begrijpend lezen

Normering onderwijsinspectie Voor eindopbrengsten, bij SBO schoolverlaters Gemiddeld niveau technisch lezen Bij technisch lezen kiest de inspectie ervoor geen rekening te houden met de kenmerken van de leerlingenpopulatie wat betreft IQ of dyslexie. Dit doet men omdat uit eigen onderzoek blijkt dat de gemiddelde intelligentie weinig invloed heeft op het leesniveau en omdat men van oordeel is dat het overgrote deel van de kinderen in het sbo een minimale vaardigheid van technisch lezen moet kunnen behalen. Als ondergrens hanteert de inspectie DLE van 20. Deze ondergrens correspondeert bij AVI met het niveau E4 beheersingsniveau en bij de DMT met vaardigheidsscore 55.


Als norm hanteert de inspectie dat minimaal 80 procent van de schoolverlaters van dat betreffende schooljaar de ondergrens moet hebben behaald. Als het percentage lager is dan 80 procent, dan is het jaaroordeel op dit vakgebied onvoldoende.

Gemiddeld niveau rekenen-wiskunde en begrijpend lezen Het niveau van rekenen-wiskunde en van begrijpend lezen kan door de school uitgedrukt worden in gemiddelde vaardigheidsscore (bij gebruik van Cito-toetsen) of het gemiddeld DLE (bij andere toetsen of na omzetting van de vaardigheidsscores in DLE). Voor het beoordelen of het gemiddelde niveau van rekenen-wiskunde en van begrijpend lezen voldoet aan de verwachting, wordt het gemiddeld niveau afgezet tegen het gemiddelde IQ van de betreffende schoolverlatersgroep, volgens de tabellen op de volgende pagina’s.


Normering onderwijsinspectie Voor eindopbrengsten, bij SBO schoolverlaters Ondergrens begrijpend lezen en rekenen in vaardigheidsscores Gemiddeld IQ

Begrijpend Lezen

Rekenen/wiskunde

Gelijk aan of lager dan 71

19

64

72

20

65

73

20

67

74

21

68

75

22

69

76

23

70

77

23

71

78

24

72

79

25

73

80

26

74

81

26

75

82

27

76

83

28

77

84

29

78

85

29

79

86

30

80

87

31

81

88

32

82

89

32

83

90

33

84

91

34

85

92

34

86

93

35

86

Gelijk aan of hoger dan 94

36

87


Ondergrens begrijpend lezen en rekenen in DLE’s Gemiddeld IQ

Begrijpend Lezen

Rekenen/wiskunde

Gelijk aan of lager dan 71

26

24

72

26

25

73

27

25

74

28

26

75

28

27

76

29

27

77

30

28

78

30

29

79

31

29

80

32

30

81

32

30

82

33

31

83

33

32

84

34

32

85

35

33

86

35

33

87

36

34

88

36

34

89

37

35

90

37

36

91

38

36

92

38

37

93

39

37

Gelijk aan of hoger dan 94

39

38



SLOTSOM Samenvatting Opbrengstanalyses in het SBO Startpunt voor deze publicatie was dat SBO scholen ambities hebben om hun opbrengsten inzichtelijk te maken en intern te analyseren, of hun externe verantwoording zinvol vorm te geven. We hebben het belang laten zien om de vraag “hoe geef ik vorm aan mijn opbrengstanalyses?” te laten vooraf gaan door de vraag “welke vraag wil ik met mijn opbrengstanalyse beantwoorden?”. We hebben daarbij drie categorieën van vragen onderscheiden: 1. Vragen die dienen om het didactisch handelen van de leerkracht te sturen (om tot een plannend aanbod te komen, om handelingsgericht te werken en tot optimale afstemming in de groep te komen). Deze vragen leven vooral bij leerkracht en IB-er. 2. Vragen die dienen als reflectie op de onderwijskwaliteit van de school (en daarmee handvatten leveren voor kwaliteitsverbetering en schoolontwikkeling). Deze vragen liggen met name op het bord van directie en eventueel IB-er. 3. Vragen die dienen om verantwoording af te leggen aan derden. Primair maar niet exclusief het domein van de directie. Met een aantal actuele voorbeelden uit SBO scholen is geïllustreerd dat scholen beschikbare data verzamelen, groeperen en analyseren om vragen uit alle bovenstaande categorieën te beantwoorden. Hopelijk inspireert dit andere scholen om hun eigen werkwijzen kritisch tegen het licht te houden en eventuele scherpere analyses binnen hun teams te ontwerpen. De volgende observaties kunnen daar mogelijk behulpzaam bij zijn: • Alle voorbeelden van opbrengstanalyses vergen relatief veel inspanning. De meeste leerlingvolgsystemen zijn nog nauwelijks op een effectieve manier te gebruiken. Dit mag geen reden zijn om geen analyses te maken. Wel verdient het aanbeveling om een gekozen manier niet te snel in te ruilen voor iets compleet anders. Hou waar mogelijk vast aan wat eerder is gebruikt, ook al voldoet het niet helemaal. Benut de interne ervaring en bouw daarop voort, dat voorkomt frustratie en vergroot de kans dat data over een langere periode vergelijkbaar blijven.


• De ervaring leert dat scholen met hun analyses vooral op een eenduidige manier terugkijken, voor alle leerlingen, groepen en vakgebieden op dezelfde manier. Er komen, zo laten ook de voorbeelden zien, wel verbetervoornemens uit. Maar deze zijn vaak niet gekoppeld aan concrete en specifieke beleidsdoelstellingen die op hun beurt om diepgaander onderzoek en analyses vragen. Het advies is om voorafgaand aan de opbrengstanalyses na te denken over de onderzoeksvraag, wat wil ik beter begrijpen, en daar de data analyse op aan te passen. • Naast het interne gebruik van analyses is ook de externe verantwoording volop in beweging. Enerzijds omdat het toezichtkader van de inspectie nog in ontwikkeling is, zowel de meetinstrumenten als de normeringen. Ook het begrip ‘toegevoegde waarde’ speelt hierin nog een onzekere rol. Anderzijds zal de wereld van passend onderwijs dynamische schoolpopulaties creëren die de standaard analyses doorkruisen (zeer gemengde en wisselende onderwijsbehoeften, tijdelijke plaatsingen e.d.). Daarbij zou ook wel eens een andere verantwoordingsrelatie kunnen ontstaan, bijvoorbeeld richting samenwerkingsverband of de ‘leverende’ school, over overeengekomen onderwijsarrangementen.

Opbrengstanalyse is en blijft een boeiend en uitdagend onderwerp. Het helpt om er met andere scholen aan te werken en van te leren.


BIJLAGE

LEADING IN A DATA RICH-WORLD HARNESSING DATA FOR SCHOOL IMPROVEMENT By Lorna M. Earl, Ph.D.

The data literate leader... • Thinks about purpose No doctor would take a patient’s temperature and use it to ascertain their cardio-vascular fitness; neither would pilots be content with wind-speed, as the only data needed to plan transatlantic flights. All too often, educational decisions get made using no data or available data, rather than appropriate data. Data-literate leaders realize that they need different data for different purposes • Recognizes Sound and Unsound Data Data are numbers or words or pictures that represent some underlying ideas. They are estimates, with some degree of uncertainty, not absolute measurements. One of the first challenges for anyone interpreting data is to ascertain the quality of the data that they intend to use. Bad data can contribute to bad decisions. For some leaders, the existence of flawed data is sufficient reason to ignore or mistrust data, altogether. But to blame the data is unreasonable. When people use words to make false claims or offer unreasonable ideas, we don’t blame the English language. Rather than trashing all statements with numbers in them, a more reasonable response is to learn enough about the statistics to distinguish honest, useful conclusions from skulduggery or foolishness (Abelson, 1995). • Is Knowledgeable about Statistical and Measurement Concepts Data in education are generally measurements of something, often analyzed using statistics. But statistics strike fear into the hearts of many people. For the most part, educators have not seen statistics as a useful addition to their tool kit for decision-making. Instead, statistics are either imbued with a magical quality of numerical “truth”, or they are mistrusted as blatant attempts to distort or to manipulate an audience. Neither of these positions is defensible. Tests and


statistical procedures have been developed to try to provide estimates of invisible human qualities like achievement or creativity. And, there are conventions and rules for the measurement of student achievement that are extremely important, especially when the results are being used to make significant decisions. If leaders are going to use data to enhance rather than distort educational decisions, they have a responsibility to understand the principles that underlie the statistics.

• Makes Interpretation Paramount Data and statistics may provide the tools for measuring educational concepts, but the numbers are only as good as the thinking and interpretation. Data do not provide right answers or quick fixes. Instead, they are necessary but not sufficient elements of the conversations that ensue. Data offer decision-makers an opportunity to view a phenomenon through a number of different lenses, to put forward hypotheses, to challenge beliefs and to pose more questions. Interpretation requires time, thoughtfulness, reservation of judgements and open challenge of, as well as support for, ideas. Interpretation, then, is thinking – formulating possibilities, developing convincing arguments, locating logical flaws and establishing a feasible and defensible notion of what the data represent. • Pays Attention to Reporting and to Audiences Not only do data provide lenses for seeing more clearly, leaders can use data to explain and justify their decisions to those who care to know. Jaeger et al. (1993) found that reports prepared for parents about schools did not contain the information parents considered most important for them. They were also misinterpreted by 30-50% of the parents who received them. Attention to audience, presentation of data, interpretation and key messages can’t be overlooked as essential elements in using data wisely.

With an inquiry habit of mind... • Values deep understanding Leaders with an inquiry habit of mind do not presume an outcome; instead they allow for a range of outcomes and keep searching for increased understanding and clarity. • Reserves judgement and has a tolerance for ambiguity Learning from data requires a tolerance for uncertainty and a willingness to live in the dissonance long enough to investigate and explore ideas until there is some clarity about what it might mean.


• Takes a range of perspectives and systematically poses increasingly focused questions Data almost never provide answers. Instead, using data usually leads to more and more focused investigation and to better questions.

Who wants to create a culture of inquiry • Involves others in interpreting and engaging with the data New insights don’t happen by osmosis. They come from facing ideas that challenge the familiar ways of viewing issues. They happen in the dissonance and in the construction of new and shared meaning. Leaders contribute to a culture of inquiry by providing opportunities for others to become inquiry- minded and data literate. This means facilitating, sponsoring, mentoring and convincing others to engage with the data and think about it, even (and especially) when it is hard work. Fullan (1999) describes learning communities as places where: “interaction inside and outside the organization converts tacit knowledge to explicit knowledge on a ongoing basis” (p.16). But, all too often, “new insights fail to get put into practice because they conflict with deeply held internal images of how the world works” (Senge, 1990, p. 174). Data can offer a vehicle for investigating tacit knowledge to refine and even transform it as it is converted into explicit knowledge for use in making institutional decisions. • Stimulates an internal sense of “urgency” Data can be a powerful mechanism for refocusing the agenda or recasting the problem. No school is as good as it can be; there are always areas that deserve attention. Data become the window for identifying “what next” and instilling “urgency” as a way of unleashing the energy associated with embarking on a course of action that makes sense in fulfilling the moral purpose of schooling (Earl & Lee, 1998) • Makes time Making sense of data and using it to come to collective meaning and commitment is not an overnight process and it doesn’t happen in one-shot. Leaders and the people who work with them are going to need time, and lots of it – to think about the important issues, to decide what data is relevant and make sure they have it, to consider the data and try to make sense of it, to argue and challenge and reflect, to get more information, to argue and challenge and reflect again, to formulate and reformulate action plans, to prepare thoughtful and accessible ways to share


their learning with the community and to stand back to consolidate what they have learned. Luckily the time spent will be an investment in organizational learning and better decision-making, but leaders have the task of managing this precious commodity to ensure that important things are done well.

• Uses “critical friends” The idea of critical friends is a powerful one. Friends bring a high degree of positive regard, are forgiving and are tolerant of failings. Critics are often conditional, negative and intolerant of failure. Critical friends offer both support and critique in an open, honest appraisal (MacBeath, 1998). As Costa and Kallick (1995) describe it, a critical friend is “a trusted person who asks provocative questions, provides data to be examined through another lens, and offers critique of a person’s work, as a friend”(p. 154). External critical friends, with expertise in data collection, interpretation and use, as well as sensitivity and the ability to listen and think on their feet, come without vested interests and can building trust and bring a dispassionate perspective. They can observe what may not be apparent to insiders, facilitate reflection on the issues that arise, explain complex data in accessible ways, ask questions, probe for justification and evidence to support perceptions and help reformulate interpretations. They are not afraid to challenge assumptions, beliefs or simplistic interpretations in a non-judgmental and helpful way. Critical friends are well placed to remind the participants of what they have accomplished and facilitate their movement towards the next goals.

Leading schools in a data rich world, 2012 Lorna M. Earl, Ph.D. Lorna Earl & Associates 123 Kenilworth Ave. Toronto M4L 3S7

Deze publicatie maakt onderdeel uit van het programma ‘Goed worden en goed blijven’ van de PO-Raad. Op poraad.nl/content/zeer-zwakke-scholen vindt u meer informatie over het programma.

REGIE

VORMGEVING, LITHOGRAFIE EN DRUK

PO-Raad

Thoben Offset Nijmegen

TEKST

© PO-Raad, juli 2014

Martin van den Oetelaar FOTOGRAFIE

Rob Nelisse, Hedel EINDREDACTIE

Kevin Basari

Niets uit deze uitgave mag worden verveelvoudigd, overgenomen of openbaar gemaakt, zonder vooraf gaande schriftelijke toestemming van de uitgever.

Aidadreef 4, 3561 GE Utrecht Postbus 85246, 3508 AE Utrecht Telefoon: 030 3100 933 [email protected] www.poraad.nl

Beter inzicht in opbrengstdata in het speciaal basisonderwijs

Recommend Documents