Evaluatie pilot project referentieniveaus

Evaluatie pilot project referentieniveaus


Opdrachtgever: Dienst Maatschappelijke Ontwikkeling, Kwaliteitsaanpak Basisonderwijs Amsterdam Utrecht, oktober 2012 Margot Oomens, Marleen Kieft en Jolien van Haalen (Oberon) Yolande Emmelot en Guuske Ledoux (Kohnstamm Instituut) © Oberon Postbus 1423 3500 BK Utrecht tel. 030-2306090 fax 030-2306080 e-mailadres: [email protected]


3

Inhoudsopgave Samenvatting ......................................................................................................................................... 5 1

Inleiding .......................................................................................................................................... 9 1.1 Achtergrond .............................................................................................................................. 9 1.2 Theoretisch kader .................................................................................................................. 10 1.3 Onderzoeksvragen en -opzet ................................................................................................. 14 1.4 Leeswijzer .............................................................................................................................. 16

2

Werkwijze van de pilot ................................................................................................................ 17 2.1 Ondersteuning experts ........................................................................................................... 17 2.2 Bovenschoolse bijeenkomsten .............................................................................................. 18 2.3 Proces en organisatie ............................................................................................................ 18 2.4 Overdraagbaarheid ................................................................................................................ 20 2.5 Conclusies en aanbevelingen ................................................................................................ 21

3

Pilotinstrumenten ........................................................................................................................ 23 3.1 Beroepsstandaarden .............................................................................................................. 24 3.2 Kijkwijzer ................................................................................................................................ 28 3.3 Tussendoelen ......................................................................................................................... 32 3.4 Checklists rekenen en taal ..................................................................................................... 34 3.5 Instrumenten algemeen ......................................................................................................... 36 3.6 Conclusies en aanbevelingen ................................................................................................ 37

4

Opbrengsten op personeelsniveau ........................................................................................... 39 4.1 Competenties volgens betrokkenen zelf ................................................................................ 39 4.2 Competentiemeting ................................................................................................................ 40 4.3 Conclusies en aanbevelingen ................................................................................................ 41

5

Opbrengsten op leerlingniveau .................................................................................................. 43 5.1 Ambities en doelen in de ontwikkelplannen ........................................................................... 43 5.2 Werkwijze eindmeting ............................................................................................................ 43 5.3 Analyses, vorderingen en verklaringen .................................................................................. 44 5.4 Conclusies .............................................................................................................................. 47

Literatuur .............................................................................................................................................. 48 Bijlage 1

Eerste indruk concept pilotinstrumenten ..................................................................... 49

Bijlage 2

Digitale kijkwijzer ............................................................................................................. 52

Bijlage 3

Resultaten competentiemeting ...................................................................................... 54


5

Samenvatting Referentieniveaus Met ingang van augustus 2010 is de Wet referentieniveaus Nederlandse taal en rekenen van kracht. Referentieniveaus zijn omschrijvingen van wat leerlingen moeten beheersen op een bepaald moment in hun schoolcarrière. Tot nu toe gaat het om invoering van referentieniveaus taal en rekenen voor het einde van het basisonderwijs, het einde van het vmbo, het einde van het havo en mbo-4 en het einde van het vwo. De landelijke referentieniveaus voor taal en rekenen hebben ieder betrekking op meerdere domeinen. Bij taal gaat het om de domeinen mondelinge taalvaardigheid, lezen, schrijven en hantering van begrippen en taalverzorging (waaronder spelling) en bij rekenen om op getallen, verhoudingen, meten/meetkunde en verbanden. Voor het basisonderwijs hebben de referentieniveaus betrekking op het einde van het basisonderwijs. Er bestaat daarbij een onderscheid in een fundamenteel niveau (1F, te behalen door tenminste 75% van de leerlingen) en een streefniveau (1S, te behalen door 50% van de leerlingen). De pilot Rondom het thema referentieniveaus is de Kwaliteitsaanpak Basisonderwijs Amsterdam (KBA) in 2011 gestart met het project referentieniveaus. Het doel van dit project is het bevorderen van opbrengstgericht werken op basisscholen met behulp van referentieniveaus. Opbrengstgericht werken is het systematisch en doelgericht werken aan het maximaliseren van leerprestaties. Het is een manier van werken waarbij scholen doelgericht gegevens verzamelen over leervorderingen en waarbij zij deze gegevens benutten om hun onderwijs te evalueren en verbeteren. In het schooljaar 2011/12 is als onderdeel van het project referentieniveaus een pilot uitgevoerd. Aan deze pilot hebben twaalf Amsterdamse basisscholen deelgenomen. Doel van de pilot was de werkwijze en de instrumenten te beproeven en verbeteren, zodat ze daarn ingezet kunnen worden op andere scholen in en eventueel buiten Amsterdam. Tijdens de pilot werden de scholen op diverse manieren ondersteund: ze kregen begeleiding en scholing van een externe expert, ondersteuning in bovenschoolse bijeenkomsten, instrumenten en een handreiking daarbij. De instrumenten die voor de pilot zijn ontwikkeld, zijn:  Beroepsstandaarden: daarin wordt aangegeven welke competenties nodig zijn voor het werken op de Amsterdamse basisscholen door schoolleiders, intern begeleiders en leerkrachten. De beroepsstandaarden bieden betrokkenen handvatten voor professionalisering en competentiemanagement. Er wordt in de drie instrumenten een onderscheid gemaakt in drie kwaliteitsniveaus: startbekwaam, vakbekwaam en excellent.  Kijkwijzer (versie 2.0): een hulpmiddel voor het observeren van leerkrachtgedrag in de praktijk. In de kijkwijzer zijn de competenties uit de beroepsstandaard voor leerkrachten vertaald in observeerbaar gedrag. Schoolleiders en intern begeleiders kunnen met behulp van de kijkwijzer lesobservaties uitvoeren en het gedrag van leerkrachten van een oordeel voorzien.  Tussendoelen taal en rekenen: deze bieden scholen zicht op wat zij in de groepen 1 tot en met 7 moeten doen om de referentieniveaus in groep 8 te kunnen halen. Het onderzoek In opdracht van KBA hebben Oberon en het Kohnstamm Instituut een evaluatieonderzoek uitgevoerd naar de pilot. In deze samenvatting geven we een korte weergave van de opzet en de resultaten van dit onderzoek. De volledige eindrapportage bevat een nadere toelichting en verschaft daarmee een compleet beeld van de inhoud van de pilot en van de opzet, uitvoering en resultaten van het onderzoek. Tevens geven we op basis van de conclusies aanbevelingen voor een breder gebruik van de pilotinstrumenten.

6

Oberon & Kohnstamm Instituut

Het evaluatieonderzoek bestond uit een tussenen een eindmeting. De hoofdvraag van het evaluatieonderzoek luidde: Wat is de bruikbaarheid van de ontwikkelde instrumenten en de gevolgde werkwijze en wat zijn de tussenen eindopbrengsten van de pilot op het niveau van schoolleiders, intern begeleiders en leerkrachten en op het niveau van leerlingen? Deze vraag is uitgewerkt in onderzoeksvragen rondom de werkwijze binnen de pilot, de bruikbaarheid van de pilotinstrumenten, de overdraagbaarheid en de opbrengsten. Ter beantwoording van de onderzoeksvragen hebben we meerdere activiteiten uitgevoerd:  globale analyse van concepten van de pilotinstrumenten (voorbereiding);  analyse schoolontwikkelplannen (tussenmeting);  groepsgesprekken per pilotschool (tussenen eindmeting);  groepsgesprek met de CPS-projectleiding (tussenen eindmeting) en met de experts (eindmeting);  vragenlijsten over bovenschoolse bijeenkomsten (tussenmeting);  competentiemeting bij schoolleiders, IB’ers en leerkrachten (tussenen eindmeting). Werkwijze van de pilot De ondersteuning door de experts werd gewaardeerd of zelfs onmisbaar geacht door de pilotscholen. De ondersteuning door middel van bovenschoolse bijeenkomsten werd veel minder gewaardeerd. Na de tussenmeting zijn deze bijeenkomsten daarom vervangen door gesprekken per school, wat voor de scholen een beter alternatief bleek. Het oordeel van de scholen over het proces en de organisatie van de pilot is niet op alle punten positief. Knelpunten zijn:  de pilotduur van een jaar is te kort voor een ingewikkeld proces als het leren werken met referentieniveaus;  de doelen van de pilot moeten helderder gecommuniceerd worden naar de scholen;  sommige scholen namen deel aan twee KBA-trajecten tegelijk; dat bleek te veel van het goede. Voor een succesvolle overdraagbaarheid van de werkwijze van de pilot naar andere scholen zijn de volgende voorwaarden te formuleren:  ondersteuning van een expert is onmisbaar;  de communicatie moet goed geregeld zijn;  scholen moeten ervaring hebben met opbrengstgericht werken, gewend zijn aan openheid en samenwerken binnen een team en (voor Amsterdam) ervaring hebben met KBA-trajecten. Pilotinstrumenten De instrumenten van de pilot zijn nog niet op alle scholen gebruikt. De beroepsstandaarden worden gebruikt bij het schrijven van beoordelingen van leerkrachten, voor het houden van functionerings- en beoordelingsgesprekken, als handvat bij sollicitaties of voor zelfreflectie. De meningen over de bruikbaarheid en toepasbaarheid (wel of niet voor beoordeling) van de beroepsstandaarden lopen uiteen. Een deel van de geïnterviewden ziet een bijdrage van de beroepsstandaarden aan opbrengstgericht werken; een eventuele bijdrage aan het werken met de referentieniveaus is onduidelijk. Vrijwel alle scholen hebben een kijkwijzer gebruikt, maar niet alle scholen die van de pilot (kijkwijzer 2.0). Er zijn verschillende kritiekpunten genoemd: de kijkwijzer is te uitgebreid voor observaties in de klas, te weinig genuanceerd, te algemeen voor vakinhoudelijk observeren en er is niet zichtbaar welke vorderingen gemaakt zijn. Volgens betrokkenen heeft de kijkwijzer geen duidelijke link met andere instrumenten van de pilot (met name een betere link met de beroepsstandaarden is wenselijk). De kijkwijzer werkt wel goed als feedback- en zelfreflectie-instrument en als check op leerkrachtvaardigheden; de gesprekken die worden gevoerd naar aanleiding van de observaties zijn waardevol. De meeste respondenten zien een link tussen het gebruiken van de kijkwijzer (met nabespreking) en opbrengstgericht werken; een bijdrage aan het werken met referentieniveaus is


7

minder duidelijk. Het gebruik van de digitale kijkwijzer is niet probleemloos verlopen. Ook inhoudelijk zijn er verbeterpunten voor de digitale kijkwijzer. Deze betreffen de overzichtelijkheid, de gebruikte antwoordcategorieën, de wijze waarop percentages per competentie, per leerkracht en per school worden berekend en de normering. De meeste scholen hebben de tussendoelen gebruikt. Scholen gebruiken ze om te kijken welke leerlingen achterblijven, voor het opstellen van groepsplannen of om hun methode te ‘screenen’. De tussendoelen geven de lijnen aan naar de referentieniveaus en dragen (daardoor) volgens sommigen bij aan opbrengstgericht werken, met name voor leerlingen met een eigen leerlijn. Door een deel van de scholen is als bezwaar genoemd dat in de tussendoelen alleen het fundamentele niveau is meegenomen. Voor alle drie de pilotinstrumenten geldt dat er aanpassingen nodig zijn voordat ze breder verspreid kunnen worden. Op hoofdlijnen zijn deze onder te verdelen in vier categorieën:  algemene aanpassingen wat betreft vormgeving en onderlinge afstemming;  verminderen van het aantal KBA-instrumenten;  versterken van de relatie met landelijk beschikbare methoden, toetsen en ontwikkelingen;  instrumentspecifieke aanpassingen. Opbrengsten op personeelsniveau Het is lastig om opbrengsten vast te stellen omdat veranderingen niet exclusief zijn toe te schrijven aan de pilot. Uit de competentiemetingen komt een overwegend positief beeld naar voren. Schoolleiders, intern begeleiders en leerkrachten scoren op (vrijwel) alle onderscheiden deelcompetenties positief. In de periode tussen de tussenen de eindmeting zijn er nauwelijks ontwikkelingen in de competenties. Ten aanzien van het werken met referentieniveaus bestaat de meerwaarde van de pilot volgens de betrokkenen vooral uit het vergroten van bewustzijn en begrip. Zij zien dit als een eerste stap in een langduriger proces. Verder krijgt opbrengstgericht werken volgens de geïnterviewden steeds meer vorm op de scholen. Tot slot is de manier van leidinggeven door de directie gedurende de pilotperiode op enkele scholen in positieve zin veranderd. Er is sprake van meer communicatief leiderschap of van meer opbrengstgericht leiderschap. Opbrengsten op leerlingniveau Evenals bij de opbrengsten op personeelsniveau geldt voor opbrengsten op leerlingniveau dat lastig is vast te stellen of deze zijn toe te schrijven aan de pilot. De doelen uit de ontwikkelplannen van de scholen zijn, indien op leerlingniveau geformuleerd, soms wel, soms deels en soms nauwelijks behaald. Daarvoor zijn verschillende oorzaken te noemen: de (relatief korte) duur van de pilot, te ambitieuze doelen en veranderingen in focus. Opbrengsten waren bovendien doorgaans niet op het niveau van het domein van de pilot geformuleerd, maar bijvoorbeeld op het brede domein ‘rekenen’. Het is de vraag of het realistisch is te verwachten dat inspanningen op een smal domein zich laten terugzien in vorderingen op een breed domein. Gezien voorgaande kunnen we geen eenduidig antwoord geven op de vraag wat de opbrengsten van de pilot op leerlingniveau zijn. Wel zien we dat de deelnemende scholen over het algemeen goed nadenken over haalbaarheid van doelen en meetbaarheid van interventies en aanpak. Ze analyseren hun toetsgegevens, ze interpreteren deze in het licht van activiteiten op school, van leerlingpopulatie en van specifieke omstandigheden, ze zoeken naar verklaringen en vragen zich af waar interventies nodig zijn. De voorwaarden voor het verhogen van de leerlingopbrengsten (onder meer doelen stellen, selecteren van de juiste lesstof, analyseren van gegevens) lijken dus al aardig vervuld te zijn.


1

9

Inleiding

In 2011 is een nieuwe KBA-activiteit van start gegaan, het project referentieniveaus. Het doel van dit project is het bevorderen van opbrengstgericht werken op basisscholen met behulp van referentieniveaus. In het schooljaar 2011/12 is als onderdeel van dit project een pilot uitgevoerd. Het is de bedoeling om na de pilot te beschikken over een beproefde werkwijze en beproefde instrumenten, die vervolgens ingezet kunnen worden op andere scholen in en eventueel buiten Amsterdam. In opdracht van KBA voeren Oberon en het Kohnstamm Instituut een evaluatie uit van de pilot. Deze evaluatie bestaat uit een tussenen een eindmeting.1 In deze rapportage doen we verslag van de uitkomsten van de eindmeting en vergelijken deze met die van tussenmeting. We starten in dit eerste hoofdstuk met de achtergrond, het theoretisch kader, de onderzoeksvragen en de onderzoeksopzet.

1.1

Achtergrond

Sinds vier jaar wordt in Amsterdam het programma Kwaliteitsaanpak Basisonderwijs Amsterdam (KBA) uitgevoerd. Het doel van KBA is het versterken van de kwaliteit van basisscholen in Amsterdam, uiteraard in nauwe samenwerking met schoolbesturen en scholen. Scholen die deelnemen aan de Kwaliteitsaanpak Basisonderwijs Amsterdam streven naar onderwijs van optimale kwaliteit én opbrengstgericht werken. Het programma zet met verschillende onderdelen in op het invoeren van opbrengstgericht werken in alle lagen van de schoolorganisatie. In 2011 is KBA gestart met het project referentieniveaus. De dagelijkse projectleiding van dit project wordt in opdracht van KBA verzorgd door het CPS. Het doel van het project referentieniveaus is het bevorderen van opbrengstgericht werken op basisscholen met behulp van referentieniveaus. Referentieniveaus zijn landelijk ingevoerde doelstellingen voor taalen rekenonderwijs, onder andere voor het einde van de basisschool. Omdat referentieniveaus de vorm hebben van vrij concrete te behalen doelstellingen, wordt verwacht dat het gebruik ervan scholen zal helpen om scherper dan voorheen het niveau van het eigen onderwijs te bewaken en zonodig te versterken. In het project referentieniveaus in Amsterdam is de verwachting dat het werken met referentieniveaus het opbrengstgericht werken in basisscholen gaat verhogen (door toepassing van cyclisch werken en monitoring van leerresultaten) en de deskundigheid van leerkrachten, intern begeleiders en schoolleiders op dit gebied zal doen toenemen. Uiteindelijk moet dat leiden tot hogere leerprestaties van leerlingen. Aan de pilot van het project referentieniveaus hebben twaalf scholen meegedaan.2 Deze scholen ressorteren onder vijf besturen. Drie scholen van een bestuur nemen niet alleen deel aan de pilot van het project referentieniveaus, maar ook aan de pilot prestatiebeloning van KBA. In de pilot staat het uittesten van instrumenten en werkwijzen centraal. Hiertoe zijn twaalf scholen gedurende ruim een jaar met behulp van pilotinstrumenten aan de slag gegaan met een zelf ontwikkeld plan voor opbrengstgericht werken en werken met referentieniveaus. De scholen richtten zich op een van de subdomeinen van taal of rekenen die zijn onderscheiden in de landelijke referentieniveaus. In tabel 1 staat een overzicht van de aantallen scholen per subdomein.

1 2

De bevindingen van de tussenmeting hebben we beschreven in een aparte rapportage (Kieft, e.a., 2012). In de eerste helft van het schooljaar 2011/12 was het aantal deelnemende scholen dertien. Een van deze scholen participeert sinds begin 2012 niet meer.

10


Tabel 1

Aantal scholen per subdomein

vakgebied

domein

taal

begrijpend lezen

1

technisch lezen – leesvaardigheid

1

schrijfvaardigheid

1

getallen (en bewerkingen)

7

meten en meetkunde

2

rekenen

aantal scholen

Tijdens de pilot werden de scholen op diverse manieren ondersteund:  ze kregen begeleiding en scholing van een externe expert;  ze kregen ondersteuning in bovenschoolse bijeenkomsten;  ze kregen uitgewerkte tussendoelen voor alle leerjaren in het basisonderwijs, die stapsgewijs moeten leiden tot het halen van de referentieniveaus in groep 8;  ze kregen een observatie-instrument (‘kijkwijzer’) waarmee leerkrachthandelen gevolgd kan worden;  ze kregen checklists taal en rekenen waarin is uitgewerkt welke aandachtspunten van belang zijn voor kwalitatief goed taalen rekenonderwijs;  ze kregen beroepsstandaarden voor schoolleiders, intern begeleiders en leerkrachten, afgestemd op de eisen van het werken met referentieniveaus;  ze kregen een handreiking over de werkwijze van de pilot.

1.2

Theoretisch kader

Zoals aangegeven heeft het project twee aandachtsgebieden: bevorderen van opbrengstgericht werken en werken met referentieniveaus. Van beide schetsen we hier kort betekenis, achtergronden en implicaties voor het project. Vervolgens besteden we aandacht aan de innovatiecomponent van het project. We gaan in op factoren die het slagen van een innovatie kunnen bevorderen of belemmeren. Dit is relevant voor het begrijpen van het proces binnen de scholen die aan het pilotproject meedoen, maar ook voor verdere implementatie en verspreiding van de gekozen werkwijze in het project.

1.2.1

Opbrengstgericht werken

Opbrengstgericht werken is sinds enkele jaren een speerpunt in het beleid dat de landelijke overheid voert ter verbetering van de onderwijskwaliteit. Dit beleid is voor het basisonderwijs verwoord in de nota’s Kwaliteitsagenda primair onderwijs en Actieplan Basis voor Presteren. De hoofddoelen van dat beleid zijn: hogere prestaties van leerlingen, betere prestaties van scholen en meer opbrengstgerichte scholen. Opbrengstgericht werken is, in algemene termen, een manier van werken waarbij gegevens over leervorderingen worden benut om het gegeven onderwijs te evalueren en op basis daarvan verbeteringen door te voeren. De term opbrengstgericht werken is geïntroduceerd door het Ministerie van OCW en bedoeld als vertaling van data driven teaching. Andere termen die er ook wel voor worden gebruikt zijn evaluatiegericht onderwijs of meetgestuurd onderwijs (Ledoux e.a., 2009). Er zijn verschillende omschrijvingen van opbrengstgericht werken in omloop. De Inspectie spreekt over “systematisch en doelgericht werken aan het maximaliseren van leerprestaties” (Inspectie van het onderwijs, 2008). De Onderwijsraad beschrijft een opbrengstgerichte school als “een school waarin concrete doelstellingen voor leerlingen op basis van de leerlingenpopulatie geformuleerd worden en waarin alle betrokken partijen er gericht aan werken de gestelde doelen te bereiken.” In beide omschrijvingen komt doelgerichtheid naar voren (opbrengstgericht werken is doelen stellen) en de Onderwijsraad benadrukt daarbij nog dat bij dat doelen stellen rekening moet worden gehouden met de leerlingenpopulatie. In andere omschrijvingen komt meer de manier van werken naar voren.


11

Ledoux e.a. (2009) en Visscher en Ehren (2011) omschrijven opbrengstgericht werken als het toepassen van een evaluatieve cyclus. Deze omvat verschillende stappen, die neerkomen op: a. analyseren van de bestaande situatie qua prestatieniveaus en leerstofbeheersing; b. definiëren van de gewenste situatie aan de hand van concrete doelen; c. bepalen van de aanpak om van de bestaande naar de gewenste situatie te komen. Van belang in deze cyclus is het gebruik van een leerlingvolgsysteem: een systeem van gestandaardiseerde instrumenten waarmee de leervorderingen en leerbehoeften nauwkeurig en systematisch worden gemeten en waarvan de uitkomsten een sturende rol spelen in diagnostische en in evaluerende zin. Het volgsysteem laat zien hoe leerlingen zich gedurende de schoolloopbaan ontwikkelen en waar de hiaten zitten. Daar kan het onderwijsaanbod dan op worden afgestemd. De verwachting is dat opbrengstgericht werken zal bijdragen tot verhogen van leerprestaties. Enerzijds doordat schoolleiders en leerkrachten zich bewuster worden van wat ze nastreven en bereiken, anderzijds doordat ze beter inzicht krijgen in wat nodig is voor welke kinderen en daardoor beter onderwijs op maat kunnen bieden (onderwijs dat is afgestemd op de verschillen tussen leerlingen). Wetenschappelijk gezien bestaat er de nodige ondersteuning voor deze verwachting. Zo is bekend dat het geven van feedback op het handelen leidt tot betere prestaties. Dit geldt voor leerlingen, maar ook voor leerkrachten. Ook voor het stellen van doelen (goal setting) is dat bekend. Doelen stellen werkt motiverend en het richt de activiteiten. Wanneer het lukt om langs deze weg leerkrachten systematischer en gerichter te laten werken verhoogt dat de kwaliteit van het lesgeven en daarmee van het onderwijs (Ledoux e.a., 2009; Visscher & Ehren, 2011). Verkenningen naar de stand van zaken op het gebied van opbrengstgericht werken hebben laten zien dat er nog veel winst te behalen valt. Weliswaar beschikken de meeste basisscholen over goede leerlingvolgsystemen en over voldoende data, maar het systematisch gebruik daarvan binnen de school laat nog te wensen over (Inspectie van het onderwijs, 2008; Ledoux e.a., 2009; Oomens e.a., 2008). Inmiddels zijn echter al aardig wat basisscholen actief aan de slag gegaan met opbrengstgericht werken. Voor de pilot van het project referentieniveaus is gezocht naar zulke scholen, dus naar scholen die op dit gebied ‘niet op nul beginnen’. Hoewel het project zich richt op het werken met referentieniveaus (zie hierna), is een belangrijke doelstelling ook om het opbrengstgericht werken als zodanig verder te versterken. Het resultaat daarvan zou moeten zijn dat de competenties in opbrengstgericht werken toenemen, van zowel leerkrachten als intern begeleiders en schoolleiders. Verhoging van deze competenties is dus een van de projectdoelen. Om wat voor competenties gaat het dan? Daarop gaan we hier eerst wat verder in. Competenties voor opbrengstgericht werken Opbrengstgericht werken moet een kenmerk zijn van het hele schoolteam. Leerkrachten, intern begeleiders en schoolleiders hebben daarin ieder een eigen rol.3 Leerkrachten zijn degenen die uiteindelijk moeten zorgen voor de gewenste aanpassingen in het onderwijs, die op hun beurt moeten leiden tot hogere prestaties. Om de keuze voor die aanpassingen te kunnen maken zijn analyses van leervorderingen op klasniveau nodig. Vervolgens moeten er doelen worden bepaald, op klas- en leerlingniveau en moet worden bepaald of die doelen worden gehaald. Zo niet, is weer nieuwe analyse nodig van oorzaken en zijn eventueel bijstellingen nodig in het onderwijs. Leerkrachten zijn dus de cruciale ‘actor’ in de hele evaluatieve cyclus. Maar daarbij hebben ze steun en sturing nodig van interne begeleiders en schoolleiders. Intern begeleiders kunnen ondersteunen bij het maken van goede analyses en het nemen van beslissingen over onderwijsaanpassingen. Ze kunnen vervolgens leerkrachten coachen bij het uitvoeren daarvan. Schoolleiders moeten er voor zorgen dat zowel leerkrachten als intern begeleiders over voldoende deskundigheid op dit gebied beschikken en moeten op schoolniveau leiding en sturing geven aan opbrengstgericht werken. Hieronder geven we 3

Ook schoolbesturen en Raden van Toezicht spelen idealiter een rol. Maar omdat deze organen geen doelgroep zijn van dit project, gaan we daar verder niet op in.

12


meer specifiek aan over wie over welke competenties zou moeten beschikken.4 Het gaat zowel over kennis en vaardigheden als over houdingen (attituden) en vermogen tot reflectie. Tabel 2

Competenties opbrengstgericht werken, overzicht leerkrachten en intern begeleiders

5

Doelen stellen  doelen SMART kunnen formuleren  kunnen differentiëren in minimum/streef/extra doelen, voor verschillende (groepen) leerlingen  hierbij tussendoelen en referentieniveaus benutten  goed zicht hebben op capaciteiten/mogelijkheden van leerlingen  hoge verwachtingen, streven naar zo hoog mogelijk niveau voor alle leerlingen Meten, registreren, analyseren (‘data onderlegd zijn’)  juiste instrumenten kunnen kiezen en toepassen  zorgvuldig registreren/invoeren  analysevaardigheden, juiste conclusies kunnen trekken  nut hiervan inzien, ook als prestaties al ‘voldoende’zijn Onderzoekende houding, reflectie  kritisch naar jezelf kunnen kijken, jezelf willen verbeteren  willen weten (voor jezelf, niet voor de inspectie of voor de gemeente)  openheid, sterktes en zwaktes open met elkaar bespreken Planmatig werken  handelingsplannen opstellen (groepsen individueel), uitvoeren, evalueren Didactisch handelen  onderwijsaanbod afstemmen op de gestelde doelen  onderwijs afstemmen op verschillen tussen leerlingen, = kunnen variëren in leertijd, instructie, leerstofaanbod, maar met accent op convergente differentiatie  directe instructie hanteren  leerlingen taakgerichte feedback geven over hun leerprestaties  onderwijs geven in leerstrategieën Tabel 3

Competenties opbrengstgericht werken, overzicht schoolleiders en intern begeleiders

6

Schoolvisie/beleid/sturing  in staat zijn tot formuleren van beleidsplannen met duidelijke schooldoelen  eenduidige en gedeelde visie op opbrengstgerichtheid tot stand kunnen brengen  kunnen sturen op doelen stellen, resultaten analyseren en verbeteracties ondernemen  leerkrachten aanspreken op het realiseren van hoge opbrengsten  ontwikkelen en in stand houden van een goed zorgsysteem = goede signalering en analyse van uitval, goede keuze van maatregelen en goede evaluatie daarvan  scholing en deskundigheidsbevordering organiseren waar nodig  onderzoekende en lerende cultuur in de school creëren  kwaliteitszorg: systematisch evalueren van onderwijsresultaten

1.2.2

Referentieniveaus

De Nederlandse overheid heeft besloten om in het onderwijs referentieniveaus in te voeren. Referentieniveaus zijn omschrijvingen van wat leerlingen moeten beheersen op een bepaald moment. Tot nu toe gaat het om invoering van referentieniveaus taal en rekenen voor het einde van het basisonderwijs, het einde van het vmbo, het einde van het havo en mbo-4 en het einde van het vwo. In 2008 heeft de Expertgroep Doorlopende Leerlijnen Taal en Rekenen in opdracht van de overheid 4 5

6

Deze competenties zijn afgeleid uit de eerder genoemde literatuur over opbrengstgericht werken. Apart weergeven van gewenste competenties van intern begeleiders is niet zo zinvol omdat er sprake is van veel overlap. Intern begeleiders vervullen een intermediërende rol tussen leerkrachten en schoolleiders. Op de meeste leerkrachtcompetenties moeten zij in staat zijn te ondersteunen en te coachen, op de meeste schoolleidercompetenties moeten zij eveneens kunnen ondersteunen of mee kunnen ontwikkelen en uitvoeren. Zie vorige voetnoot.


13

niveaubeschrijvingen gemaakt voor taal en rekenen en deze voor elk schooltype ingedeeld in een fundamenteel niveau (te behalen door tenminste 75% van de leerlingen) en een streefniveau (te behalen door 50% van de leerlingen). Een streefniveau valt samen met het fundamenteel niveau van een hoger schooltype (bijvoorbeeld streefniveau havo is hetzelfde als fundamenteel niveau vwo). De referentieniveaus voor taal hebben betrekking op mondelinge taalvaardigheid, lezen, schrijven en hantering van begrippen en taalverzorging (waaronder spelling). De referentieniveaus voor rekenen hebben betrekking op getallen, verhoudingen, meten/meetkunde en verbanden. De referentieniveaus zijn wettelijk van kracht geworden op 1 augustus 2010. De verwachting is dat invoering van referentieniveaus er in de eerste plaats toe zal leiden dat de kwaliteit van het onderwijs beter in beeld wordt gebracht en wordt bewaakt. Als scholen weten welk niveau ze tenminste moeten behalen, zal het minder vaak voorkomen dat ambities te laag worden gesteld voor de school als geheel of voor bepaalde groepen kinderen. Verder zal het met de invoering van referentieniveaus beter mogelijk zijn om te beoordelen of scholen inderdaad hun kerndoelen behalen en in welke mate. Daarmee zou het ook beter mogelijk zijn om zwakke scholen snel op te sporen. In de tweede plaats is de verwachting dat de referentieniveaus zullen leiden tot hogere taalen rekenprestaties. Enerzijds doordat inzicht in wat beheerst moet worden scholen meer houvast biedt voor te bereiken doelen en voor doorlopende leerlijnen, anderzijds doordat er een nieuwe impuls vanuit kan gaan voor verbetering van het taalen rekenonderwijs op scholen. Op dit moment bestaan voor het basisonderwijs alleen referentieniveaus voor groep 8. Voor deze groep zijn taalen rekendoelen omschreven en is aangegeven wat daarbij beschouwd moet worden als het fundamentele niveau (F, te behalen door 75% van de leerlingen) en het streefniveau (S, te behalen door 50% van de leerlingen). Voor scholen die op dit moment al de referentieniveaus willen gaan gebruiken, zoals de bedoeling was in het pilotproject, zijn enkele problemen te noemen: 1. Er zijn en komen geen landelijke referentieniveaus voor de groepen 1 t/m 7. Voor die groepen ontbreekt dus nog een extern houvast; scholen moeten zelf bepalen hoe ze via tussendoelen voor de verschillende jaargroepen kunnen komen tot de einddoelen. In het project worden hiervoor als hulpmiddel instrumenten aangereikt. 2. De referentieniveaus zijn voor alle soorten scholen gelijk. Ze zijn echter niet voor alle soorten scholen even gemakkelijk te realiseren. Voor scholen met veel kansarme leerlingen zal het moeilijk zijn de F-norm te halen met de meerderheid van de leerlingen; voor scholen met veel kansrijke leerlingen vormt de F-norm nauwelijks een uitdaging (zie Roeleveld & Beguin, 2009; Ledoux & Roeleveld, 2011). Voor opbrengstgericht werken is het belangrijk dat scholen ambitieuze én realistische doelen stellen. Gegeven de verschillen in leerlingenpubliek, zullen die doelen dus niet voor alle scholen gelijk kunnen of moeten zijn. Scholen zullen dus nog eigen criteria moeten kiezen voor wat betreft het halen van de referentieniveaus (met hoeveel leerlingen welk niveau). 3. De referentieniveaus geven niet voor alle leerlingen houvast. De niveaus zijn zo gekozen dat ze bereikbaar moeten zijn voor 75% respectievelijk 50% van de leerlingen. Voor een deel van de leerlingen (25%) zullen ze dus te hoog zijn. Hierbij zullen relatief veel leerlingen uit achterstandsgroepen en zorgleerlingen zijn (zie Roeleveld & Beguin, 2009). Ook voor die leerlingen moeten echter haalbare doelen worden gesteld door de school. 4. Er zijn nog geen toetsen waarmee bepaald kan worden of een leerling het referentieniveau heeft behaald op niveau F of S. Het Cito is nog bezig met de ontwikkeling hiervan, maar alleen voor groep 8. Scholen moeten dus voor andere leerjaren zelf bepalen met welke toets- of andere beoordelingsvormen ze kunnen nagaan of gewenste niveaus worden bereikt. Een complicatie hierbij is dat de huidige gangbare gestandaardiseerde toetsen uit het Cito volgsysteem primair onderwijs, die de meeste scholen al gebruiken, niet op alle domeinen een goede dekking geven van de doelen uit de referentieniveaus. Voor sommige domeinen bestaan geen gestandaardiseerde toetsen (bijvoorbeeld mondelinge taalvaardigheid en schrijfvaardigheid), bij

14


andere domeinen dekken bestaande toetsen het domein niet goed (bijvoorbeeld bij taalverzorging). Voor het bepalen of specifieke doelen zijn gehaald op een bepaald deelgebied zijn scholen dus aangewezen op methodegebonden toetsen of eigen toetsen.

1.2.3

Innovatiefactoren

De scholen die meedoen aan de pilot hebben al enige ervaring hebben met opbrengstgericht werken. Het werken met referentieniveaus betreft een vernieuwing. Om dat met succes te kunnen doen, moet aan verschillende condities worden voldaan. Er is veel wetenschappelijk onderzoek verricht naar innovatieprocessen in het onderwijs en naar factoren die innovatie bevorderen of verstoren (zie voor overzichten bijvoorbeeld Waslander, 2007; Sleegers & Ledoux, 2006). Ook uit onderzoek naar eerdere verbeterprojecten in Nederland zijn een aantal lessen te trekken (bijvoorbeeld Ledoux e.a., 2005). Het voert te ver om deze hier uitgebreid te bespreken; we volstaan daarom met een korte opsomming van negen factoren waarvan is gebleken dat ze samenhangen met effectieve vernieuwingen en die voor het pilot project in ieder geval relevant lijken: 1. een duidelijk doel en focus: het uiteindelijk doel van de vernieuwing moet bewaakt worden; 2. draagvlak en eigenaarschap: scholen moeten het doel van de vernieuwing onderschrijven en ervaren als ‘van henzelf’ en niet als van buitenaf opgelegd, daardoor zullen zij gemotiveerd zijn om er aan te werken; 3. een open cultuur en een hecht team met een bereidheid tot leren; 4. continuïteit, ook wel duurzaamheid genoemd: een vernieuwing kost meestal veel tijd en moet worden volgehouden om effectief te kunnen zijn; 5. consistentie in de omgeving: scholen worden geholpen als organisaties die invloed uitoefenen op scholen hun beleid op elkaar afstemmen; 6. effectieve begeleiding: zowel de inhoudelijke als procesmatige begeleiding moet aansluiten bij de inhoud van de vernieuwing en de situatie op de school; 7. coherentie: de vernieuwing moet sporen met andere activiteiten in de school en in zichzelf consistent zijn; 8. sterk onderwijskundig leiderschap: een schoolleider die heldere lijnen uitzet en deze bewaakt en zelf ook voor impulsen zorgt; 9. planmatig werken: werken met heldere en realistische plannen en bewaken van de voortgang.

1.3

Onderzoeksvragen en -opzet

Het doel van het project referentieniveaus is het bevorderen van opbrengstgericht werken met behulp van referentieniveaus. Om dit doel te kunnen bereiken zijn instrumenten ontwikkeld voor scholen en ontvangen zij ondersteuning. Het hoofddoel van de pilot is het testen van deze instrumenten. De verwachting is dat de instrumenten bijdragen aan het versterken van opbrengstgericht werken op de scholen en daarmee uiteindelijk aan het verhogen van de leeropbrengsten. Kanttekening daarbij is dat het gezien de korte looptijd van de pilot niet realistisch is om al tijdens de pilot (grote) effecten te verwachten op de leeropbrengsten. Onderzoeksvragen Gedurende en na afloop van de pilot heeft KBA een extern onderzoek laten uitvoeren naar het verloop en de opbrengsten ervan. Het gaat om opbrengsten van verschillende aard: het onderzoek moet inzicht opleveren in de voor- en nadelen van de gevolgde werkwijze, in de bruikbaarheid van de instrumenten (beroepsstandaarden, kijkwijzer, tussendoelen en checklists), in de effecten op competenties van schoolleiders, intern begeleiders en leerkrachten en zo mogelijk ook in de effecten bij leerlingen. De hoofdvraag van het onderzoek is: Wat is de bruikbaarheid van de ontwikkelde


15

instrumenten en de gevolgde werkwijze en wat zijn de tussenen eindopbrengsten van de pilot op het niveau van schoolleiders, intern begeleiders en leerkrachten en op het niveau van leerlingen? Deze hoofdvraag hebben we uitgewerkt in de volgende onderzoeksvragen: Verloop van de pilot: 1. Welke lessen kunnen we uit de pilot trekken over de ondersteuning door de experts? 2. Welke lessen kunnen we uit de pilot trekken over ondersteuning door middel van bovenschoolse bijeenkomsten? 3. Wat is het oordeel van de scholen over het proces en de organisatie van de pilot? Bruikbaarheid instrumenten: 4. Wat is de praktische bruikbaarheid van de beroepsstandaarden? 5. Wat is de praktische bruikbaarheid van de kijkwijzer? 6. Wat is de praktische bruikbaarheid van de tussendoelen? 7. Wat is de praktische bruikbaarheid van de checklists taal en rekenen? Overdraagbaarheid: 8. a. Wat zijn de mogelijkheden voor verspreiding en opschaling van de pilotinstrumenten, zowel binnen als buiten Amsterdam? b. Wat zijn de mogelijkheden voor overdraagbaarheid van de werkwijze van de pilot? Opbrengsten: 9. Wat zijn de opbrengsten op personeelsniveau? 10. Wat zijn de opbrengsten op leerlingniveau? Onderzoeksopzet Het doel van de evaluatie is het formuleren van een antwoord op de onderzoeksvragen. Op basis van de antwoorden geven we aanbevelingen voor bijstellingen van de pilotinstrumenten en voor de overdraagbaarheid van de instrumenten en de gevolgde werkwijze naar andere scholen. Ter beantwoording van de onderzoeksvragen hebben we de volgende activiteiten uitgevoerd.  Globale analyse van concepten van de pilotinstrumenten (voorbereiding): op basis van het theoretisch kader dat we in paragraaf 1.2 hebben beschreven, hebben we aandachtspunten geformuleerd voor bijstelling van de concepten van de pilotinstrumenten. 7  Analyse schoolontwikkelplannen (tussenmeting): als voorbereiding op de overige onderzoeksactiviteiten hebben we de schoolontwikkelplannen geanalyseerd. We hebben daarbij met name gekeken naar de beoogde doelen op personeels- en leerlingniveau.8  Groepsgesprekken per pilotschool (tussenen eindmeting): op elke pilotschool hebben we met behulp van semigestructureerde gespreksleidraden groepsgesprekken gehouden met de directie, leden van het kernteam en leerkrachten (alle onderzoeksvragen).9  Groepsgesprek met de CPS-projectleiding (tussenen eindmeting) en met de experts (eindmeting): ook deze gesprekken zijn gevoerd met behulp van semigestructureerde gespreksleidraden(alle onderzoeksvragen).  Vragenlijsten over bovenschoolse bijeenkomsten (tussenmeting): na afloop van de bovenschoolse bijeenkomsten voor directies en voor kernteams hebben de aanwezigen een door de onderzoekers ontwikkelde vragenlijst ingevuld (onderzoeksvraag 2).

7 8

9

Deze aandachtspunten zijn in een apart werkdocument ter beschikking gesteld aan de opdrachtgever. In bijlage 1 vatten we dit werkdocument samen. De relatie tussen enerzijds de ambities en de doelen en anderzijds de activiteiten van de scholen is geen onderzoeksvraag. Een duidelijke koppeling tussen doelen en activiteiten is wel een randvoorwaarde voor het succesvol implementeren van vernieuwingen. Bij de bestudering van de schoolontwikkelplannen viel ons echter op dat er in lang niet alle plannen een expliciete relatie is tussen doelen en activiteiten. Bij de tussenmeting hebben we op elke school drie groepsgesprekken gevoerd (een met het kernteam, een met het kernteam en leerkrachten gezamenlijk en een met leerkrachten) en bij de eindmeting twee (een met directie en intern begeleider en een met overige leden van het kernteam en leerkrachten).

16




Competentiemeting (tussenen eindmeting): in aanvulling op de kijkwijzers voor leerkrachten hebben we vragenlijsten ontwikkeld om de competenties op het gebied van opbrengstgericht werken met referentieniveaus te meten. Omdat de benodigde competenties voor directies, intern begeleiders en leerkrachten verschillen, hebben we drie verschillende vragenlijsten opgesteld (onderzoeksvraag 9).

Bovenstaande onderzoeksactiviteiten zijn overwegend kwalitatief van aard. Kwalitatief onderzoek is bij uitstek geschikt om zicht te krijgen op het verloop van processen in een bestaande context en op de ervaringen en argumenten van betrokkenen. In tegenstelling tot kwantitatief onderzoek gaat het niet om cijfermatige onderbouwing van de onderzoeksresultaten, maar om meer diepgaande en inhoudelijke informatie.

1.4

Leeswijzer

In de rest van deze rapportage doen we verslag van de uitkomsten van de evaluatie van de pilot van het project referentieniveaus. We starten in hoofdstuk 2 met de werkwijze binnen de pilot en de overdraagbaarheid van deze werkwijze. In hoofdstuk 3 beantwoorden we de onderzoeksvragen over de praktische bruikbaarheid en de overdraagbaarheid van de pilotinstrumenten. De resultaten van pilot op personeels- en leerlingniveau bespreken we in respectievelijk hoofdstuk 4 en 5. We sluiten elk hoofdstuk af met een puntsgewijze samenvatting van de belangrijkste conclusies en eventuele aanbevelingen per onderzoeksvraag.


2

17

Werkwijze van de pilot

In dit hoofdstuk komen de eerste drie onderzoeksvragen aan bod. We bespreken de mening van de deelnemers aan de pilot over de ondersteuning van de experts (paragraaf 2.1) en over de bovenschoolse bijeenkomsten (paragraaf 2.2). Vervolgens besteden we aandacht aan de planning, het tijdpad en andere procesmatige zaken binnen de pilot (paragraaf 2.3). We koppelen onze onderzoeksbevindingen aan de innovatiefactoren uit ons theoretisch kader. Mede op basis daarvan geven we antwoord op de vraag of de opzet en werkwijze van de pilot geschikt zijn om breder te verspreiden binnen het primair onderwijs (paragraaf 2.4). We sluiten af met de belangrijkste conclusies over de werkwijze tijdens de pilot en met aanbevelingen voor de overdraagbaarheid van de werkwijze van de pilot.

2.1

Ondersteuning experts

Tevredenheid over expertondersteuning Bij de tussenmeting waren de kernteams heel tevreden over de ondersteuning van de experts. Drie typen argumenten werden daarvoor gegeven: (1) dat ondersteuning op maat werd gegeven, (2) dat veel inhoudelijke kennis de school werd ingebracht en (3) dat in een aantal gevallen de expert al een vertrouwd persoon was op de school. De rol van de experts in de pilot was volgens verreweg de meeste scholen van wezenlijk belang. Bij de eindmeting is dit beeld niet veranderd: in de meeste gesprekken werd de expert geprezen. Op ruim de helft van de scholen werd de expertondersteuning zelfs expliciet als succesfactor binnen de pilot genoemd. Grote waardering werd (net als tijdens de tussenmeting) geuit voor de inhoudelijke kennis die de experts de scholen in hebben gebracht. “Als mens en als expert is hij een topman, hij gaat heel serieus en correct te werk.” Ook het maatwerk dat de experts leverden werd weer genoemd als winstpunt. Een directeur noemt het prettig dat de expert als ‘sparring partner’ kon functioneren en een leerkrachtenteam ziet de meerwaarde van de expert vooral in het ‘levend houden’ van de pilot. Ook de CPS-projectleiding is over het algemeen tevreden over de experts in de pilot. Zij constateren dat de rol die de experts vervulden op de scholen wisselde, sommige experts werden bijna lid van het kernteam hoewel dat niet de bedoeling was: “de expert moest de ‘critical friend’ van het kernteam zijn”. Hoewel er van tevoren met alle experts intakegesprekken zijn gevoerd, is het volgens hen niet op alle scholen gelukt om de expert de opzet en gedachte van de pilot krachtig te laten uitdragen. Twee directeuren en een leerkracht (van drie verschillende scholen) zijn niet zo tevreden over de expert; alle andere geïnterviewden zijn dat wel. Een school kreeg te maken met drie verschillende experts waardoor “er geen continuïteit in de begeleiding zat”. Voor de andere twee scholen was het doel van de expertondersteuning niet duidelijk. Expert en leerkrachten Net als bij de tussenevaluatie hebben leerkrachten die te maken hebben gehad met de expert een wisselend oordeel over de geboden ondersteuning. Qua inhoudelijke kennis en expertise was men wel tevreden, maar over werkwijze en communicatie was men iets kritischer. Op drie scholen blijkt uit de gesprekken dat de leerkrachten gedurende het hele pilotjaar vrijwel niets hebben gemerkt van de inzet van de expert. Eén leerkrachtenteam vond dat oprecht jammer, zij hadden wel behoefte gehad aan meer kennisoverdracht: “Wil je iets goed doen, dan moet je de kennis krijgen van een expert.” De experts zelf zijn van mening dat directe begeleiding van leerkrachten niet noodzakelijk is: “Wij kunnen het beste de directie en intern begeleiders trainen. Deze kunnen dan op hun beurt weer de

18


leerkrachten trainen.” Op scholen waar de leerkrachten wel te maken hadden met de expert, gebeurde dat in teamvergaderingen of tijdens klassenconsultaties. Vooral de klassenconsultaties door de expert werden doorgaans nuttig gevonden: “zijn feedback op de lesobservaties was goed en concreet. Hij kijkt echt samen met jou naar hoe het beter kan, het is geen beoordeling”. ‘Eigen’ versie ‘nieuwe’ experts Scholen mochten hun eigen experts kiezen voor deze pilot; één school zegt hier niet van op de hoogte te zijn geweest en dat een gemiste kans te vinden. De scholen die hun eigen expert hadden uitgekozen, beschouwen dat nadrukkelijk als een voordeel. Het geeft de leerkrachten veiligheid; de expert kent de school en de mensen. Tijdens de expertbijeenkomst bleek dat (hoewel scholen het prettig werken vinden met een eigen expert) de experts zelf het niet een echte randvoorwaarde vinden voor het slagen van een pilot als deze. Immers, in eerste instantie was de expertbegeleiding bedoeld voor het kernteam en niet voor de leerkrachten. Ook de CPS-projectleiding is geen voorstander van het werken met ‘eigen’ experts, zij zouden voor een volgende keer voor elke school een nieuwe expert aanwijzen. Zoals ze tijdens de tussenevaluatie al vertelden, bracht het meebrengen van eigen experts een eigen dynamiek met zich mee die het lastiger maakte om de experts de beoogde rol te laten vervullen.

2.2

Bovenschoolse bijeenkomsten

Tijdens de tussenevaluatie bleek dat de bovenschoolse bijeenkomsten weerstand opriepen bij de directies en de kernteams. Na de tussenevaluatie (voorjaarsvakantie) zijn daarom geen bovenschoolse bijeenkomsten meer gehouden. Wij hebben niemand gesproken die daar niet blij mee was, oftewel: alle geïnterviewden vonden dat een wijs besluit. De bovenschoolse bijeenkomsten werden vervangen door een gespreksronde langs de scholen door de CPS-projectleiding en een gespreksronde over de pilot per bestuur. Deze bijstelling werd door de scholen positief ontvangen, zo blijkt uit uitspraken zoals “Dat was veel fijner, want dan ga je direct het gesprek aan over de pilot op onze school” en “je kunt dan dieper ingaan op de dingen”. Hoewel de scholen de vervangende gesprekken op zichzelf dus waardeerden, was de tijdsplanning niet zo gelukkig. Voor een aantal scholen vielen de gesprekken per bestuur in dezelfde week als de gesprekken in het kader van de eindmeting. Directeuren moesten dus in één week twee keer een vrijwel identiek gesprek voeren, wat door hen niet zo werd gewaardeerd (“Precies dezelfde onderwerpen kwamen aan de orde”). De CPS-projectleiding vindt achteraf gezien dat deze gespreksronde per bestuur beter aan het begin van de pilot plaats hadden kunnen vinden, zodat ook de besturen bij aanvang al goed op de hoogte zijn.

2.3

Proces en organisatie

In de groepsgesprekken hebben we expliciet gevraagd naar de mening over het proces en de organisatie van de pilot. De door de scholen meest genoemde succesfactoren zijn:  de inzet van de expert (7x);  groeiend bewustzijn opbrengstgericht werken en referentieniveaus (5x);  de instrumenten (4x);  kennis over referentieniveaus opgedaan (3x). De CPS-projectleiding vindt (net als bij de tussenevaluatie) dat de communicatie binnen schoolteams een succesfactor was voor het al of niet succesvol werken met de referentieniveaus.


19

De eerste succesfactor die de scholen noemen, hebben we beschreven in paragraaf 2.1. Met de begeleiding door experts is voldaan aan een van de innovatie bevorderende factoren (zie 1.2.3), te weten effectieve begeleiding. De overige succesfactoren komen elders in deze rapportage aan bod. De instrumenten staan centraal in hoofdstuk 3 en het groeiend bewustzijn en de opgedane kennis in hoofdstuk 4 (opbrengsten op personeelsniveau). De door scholen meest genoemde knelpunten zijn:  bovenschoolse bijeenkomsten (6x);  de kijkwijzer (6x);  onduidelijke communicatie (6x);  tijdsdruk (5x). Twee van de genoemde knelpunten komen op andere plaatsen in deze rapportage aan bod: de bovenschoolse bijeenkomsten hebben we al besproken in paragraaf 2.2, terwijl de kijkwijzer aan bod komt in paragraaf 3.3. De overige twee knelpunten lichten we hieronder toe. Onduidelijke communicatie De helft van de directeuren noemt de onduidelijkheid bij DMO als verstorende factor in de pilot. Dit werd ervaren in de communicatie tussen DMO, CPS-projectleiding en scholen. De communicatie werd als onduidelijk en soms ook echt problematisch ervaren. Een voorbeeld daarvan wordt gegeven door de twee directeuren die vinden dat vanuit DMO niet adequaat werd gereageerd op klachten of zorgen. Sommige scholen klagen over onhelderheid van doelen. Een school heeft het onderscheid tussen opbrengstgericht werken en referentieniveaus als onduidelijk ervaren “Je moet wel duidelijk weten waar je mee bezig bent!” Een andere school had meer last van gebrekkige communicatie over de doelen (“Het doel klopte niet met datgene dat destijds was voorgesteld”). Drie andere scholen vinden dat bij aanvang van de pilot niet goed is gecommuniceerd over de pilot: die bleek meer te omvatten dan voorgespiegeld. Een andere school viel over omgegooide planningen en het wijzigen van aanleverdata. Als mogelijke oorzaak van de onduidelijke communicatie wordt een aantal keer de wisseling van projectleiders bij DMO genoemd. Een van de directeuren oppert dat de DMOprojectleiding meer met de experts had moeten overleggen, zodat de experts op hun beurt het doel van de pilot beter kunnen inleiden op de scholen. Consistentie in de omgeving van de school is een bevorderende factor voor succesvolle innovaties (zie 1.2.3). Gezien de onduidelijkheid die de scholen hebben ervaren, lijkt niet voldoende aan deze factor voldaan te zijn binnen de pilot. Tijdsdruk Bijna de helft van de scholen is van mening dat een éénjarige pilot te kort is om alle activiteiten uit te voeren en de doelen van de pilot te behalen. “Er moest veel gebeuren in een jaar. Het gaat om processen, daar moet je echt langer voor uittrekken”. Ook de experts verwachten niet dat de leerresultaten plotsklaps enorm omhoog zullen gaan door het werken met de instrumenten gedurende een pilot van een schooljaar. Voor het verbeteren van leerlingresultaten is meer nodig dan het gebruik van instrumenten en bovendien ook een langere periode, vinden zij. Ook de CPS-projectleiding vindt een jaar kort om zowel instrumenten te testen als vorderingen op leerlingniveau vast te kunnen stellen. De scholen die naast de pilot referentieniveaus ook deelnamen aan het KBA-verbetertraject of de pilot prestatiebeloning (‘Herkenning en onderkenning’) zijn unaniem in hun oordeel dat deelname aan twee projecten tegelijk te veel is. De meningen zijn in dat opzicht nog wat eenduidiger geworden dan bij de tussenmeting – toen werd vooral geklaagd over de gebrekkige afstemming tussen beide KBA-pilots. Directies zeggen dat ze niet zo snel weer aan twee trajecten tegelijk zouden deelnemen en

20


leerkrachten melden dat de pilot referentieniveaus ondergesneeuwd raakte door het KBAverbetertraject (“Dat vraag heel veel van ons”) of door de pilot prestatiebeloning (“Die heeft een enorme druk gelegd op de leerkrachten”). Daarom hebben juist ook de scholen die aan zowel de pilot referentieniveaus, als aan de pilot prestatiebeloning meededen, het gesprek met CPS-projectleiding, schoolbestuur en DMO als goed ervaren. Zij konden in dat gesprek de door hen ervaren knelpunten voor het voetlicht brengen: “Dat was een prettige bijeenkomst, omdat wij als scholen toen de gelegenheid hadden om ons standpunt over deze pilots duidelijk te maken.” Continuïteit is een van de factoren die bevorderend zijn voor het welslagen van innovaties. De pilotperiode van een jaar is volgens betrokkenen te kort om van continuïteit te spreken. Volgens de experts beseffen de scholen dat werken met referentieniveaus belangrijk is en willen zij er ook verder mee na de pilot. Het werken met de instrumenten is volgens hen echter nog niet volledig geborgd: “Scholen hebben het suikerklontje gehad, het grote voer moet nog komen.” Focus verschuift Zoals we in paragraaf 1.1 hebben beschreven is het doel van de het project referentieniveaus het bevorderen van opbrengstgericht werken op basisscholen met behulp van referentieniveaus. In de tussenmeting was een terugkerend geluid dat de aandacht in de pilot verschoof van werken met referentieniveaus naar opbrengstgericht werken. Bij de eindmeting was er nog één school die vond dat er te veel aandacht voor opbrengstgericht werken was ten opzichte van het werken met referentieniveaus. Wellicht dat het stopzetten van de bovenschoolse bijeenkomsten daaraan heeft bijgedragen. De experts vertellen dat zij het accent op de scholen zagen verschuiven van het uitproberen van de instrumenten (wat primair de bedoeling was van de pilot) naar het werken aan inhoudelijke schoolontwikkeling. Zij moesten naar eigen zeggen de scholen steeds wijzen op het doel van het traject, het uitproberen van de instrumenten. Dit heeft wellicht te maken met de eerder beschreven onduidelijkheid over de doelen, die scholen ervaren. In de ontwikkelplannen lag de focus van de scholen volgens de experts dikwijls op schoolontwikkeling en zij constateerden daardoor “in zekere zin een mismatch tussen het doel van de pilot en de inhoud van de ontwikkelplannen.” De experts denken dat als de pilot referentieniveaus elders herhaald zou worden, er eerder en strakker op gelet moet worden of de plannen van de scholen gericht zijn op het testen van de instrumenten of op schoolverbetering.

2.4

Overdraagbaarheid

Deze paragraaf gaat over de vraag of de opzet en werkwijze van de pilot geschikt zijn om breder te verspreiden binnen het primair onderwijs. Bij de tussenmeting hebben we deze vraag ook gesteld in de groepsgesprekken, maar die vond men toen nog tamelijk moeilijk te beantwoorden. Bij de gesprekken voor de eindmeting hebben we de vraag weer gesteld. Aan het einde van hoofdstuk 3 bespreken we de overdraagbaarheid van de instrumenten. In deze paragraaf gaat het om algemene overdraagbaarheid van opzet en werkwijze van de pilot referentieniveaus. Effectieve begeleiding Uit de innovatieliteratuur volgt dat effectieve begeleiding een van de factoren is die bevorderend is voor het invoeren van vernieuwingen in het onderwijs. De begeleiding die de pilotscholen kregen bestond uit ondersteuning door een expert en uit bovenschoolse bijeenkomsten. De CPS-projectleiding vond bij de tussenmeting dat de instrumenten ook zonder expertbegeleiding bruikbaar zouden moeten zijn. Bij de eindmeting vinden ze dat nog steeds. Scholen, maar ook


21

experts, zien dat echter niet zo. Experts zouden het “onzinnig” vinden om alleen de boekjes met de instrumenten aan scholen te geven. Er moeten op zijn minst werkopdrachten bij gegeven worden om te bereiken dat leerkrachten met de instrumenten aan de slag gaan. Met name ook de leerkrachten zijn stellig in hun overtuiging dat begeleiding bij het gebruik van de instrumenten nodig is. Dat blijkt uit uitspraken zoals “Er moet echt een project omheen opgezet worden, anders heeft het geen zin en verdwijnen de instrumenten onderaan de stapel” en “Aan alleen de boekjes heb je niets. Je hebt begeleiding nodig om er echt bewust als team mee aan de slag te gaan.” De helft van de scholen noemt expertbegeleiding “essentieel” of “voorwaardelijk” voor het kunnen werken met de instrumenten. Niet voor alle scholen Sommige scholen vinden de opzet en werkwijze van het project weliswaar overdraagbaar naar andere scholen, maar alleen als er aan bepaalde voorwaarden wordt voldaan. Zo vinden een leerkrachtenteam en twee directeuren dat de instrumenten alleen rechtstreeks op scholen te gebruiken zijn die al gewend zijn aan opbrengstgericht werken. In twee gesprekken met leerkrachten kwam naar voren dat voor het welslagen van een pilot als deze, teams open moeten staan naar elkaar en ook gewend moeten zijn om samen te werken. Tot slot denkt een directeur dat het ook uitmaakt of scholen al eens een KBA-traject hebben gelopen. Voor scholen die ervaring hebben met een KBAtraject, zou het traject er anders uit kunnen zien dan voor scholen die dat niet hebben. Communicatie Tot slot is een zorgvuldige communicatie volgens de scholen van belang in een nieuw traject voor andere scholen. Vanaf de start moet voor iedereen duidelijk gecommuniceerd worden wat het doel van het gebruik van de instrumenten is. Verder speelt communicatie ook een rol in het realiseren van consistentie, bijvoorbeeld in het kader van afstemming tussen projectleiding en begeleiding.

2.5

Conclusies en aanbevelingen

In dit hoofdstuk hebben we de antwoorden op de eerste drie onderzoeksvragen beschreven. Ook hebben we aandacht besteed aan onderzoeksvraag 8b. We presenteren hier per onderzoeksvraag de belangrijkste conclusies. 1.

Welke lessen kunnen we uit de pilot trekken over de ondersteuning door de experts?  De ondersteuning door de experts werd zowel bij de tussen- als bij de eindmeting gewaardeerd of zelfs onmisbaar geacht door de pilotscholen.  De scholen die zelf een expert hadden ‘meegenomen’ zijn hier zeer positief over, experts en CPS-projectleiding vinden dit wat minder voor herhaling vatbaar. Als een expert al een bepaalde rol heeft op een school, is het lastiger de beoogde rol van kritische buitenstaander te laten vervullen.

2.

Welke lessen kunnen we uit de pilot trekken over ondersteuning door middel van bovenschoolse bijeenkomsten?  Naar aanleiding van de kritiek op de bovenschoolse bijeenkomsten bij de tussenmeting zijn deze vervallen en alle betrokkenen op de scholen vonden dat een goede zet.  De vervangende gesprekken per school werden gewaardeerd. Het gesprek met deelnemende scholen per bestuur werd door de directeuren ook prettig gevonden. De planning van deze gesprekken was echter niet zo gelukkig: te dicht in de buurt van de gesprekken door de onderzoekers. Een alternatief is deze gesprekken te voeren aan het begin van de pilot.

22


3.

Wat is het oordeel van de scholen over het proces en de organisatie van de pilot?  De pilotduur van een jaar is te kort voor een ingewikkeld proces als het leren werken met referentieniveaus.  Deelname aan twee KBA-trajecten tegelijk wordt door scholen te veel van het goede gevonden.  Doelen van de pilot moeten helderder gecommuniceerd worden naar de scholen, zowel door DMO- en CPS-projectleiding als door de experts. Onduidelijke communicatie, onder andere door de wisseling in projectleiding bij DMO, werd door de scholen als storend ervaren.

8b. Wat zijn de mogelijkheden voor overdraagbaarheid van de werkwijze van de pilot?  De scholen en experts beschouwen ondersteuning als onmisbaar bij het leren werken met de pilotinstrumenten.  Bij herhaling van de pilot elders is het volgens de experts van belang te bewaken dat de plannen van scholen gericht zijn op het testen van de instrumenten en niet uitsluitend op schoolverbetering.  Niet voor alle scholen is deze pilot geschikt. Er werden voorwaarden genoemd zoals: - gewend zijn aan opbrengstgericht werken; - gewend zijn aan openheid en samenwerken binnen een team; - eerdere ervaring met KBA-traject.  Voor succesvolle overdraagbaarheid van het traject naar andere scholen moet de communicatie beter geregeld worden.


3

23

Pilotinstrumenten

In de pilot staat het uittesten van de instrumenten centraal. De drie centrale pilotinstrumenten zijn:  beroepsstandaarden voor directies, intern begeleiders en leerkrachten;  kijkwijzer (versie 2.0);  tussendoelen voor taal en rekenen. Daarnaast zijn er ook checklists voor taal en rekenen ontwikkeld, maar deze behoren niet tot de officiële pilotinstrumenten. Beroepsstandaarden De beroepsstandaarden zijn instrumenten waarin wordt aangegeven welke competenties nodig zijn voor het werken op de Amsterdamse basisscholen. Ze bieden betrokkenen handvatten voor professionalisering en competentiemanagement. Er wordt in de drie instrumenten een onderscheid gemaakt in drie kwaliteitsniveaus: startbekwaam, vakbekwaam en excellent. De beroepsstandaarden bestaan uit twee delen:  deel 1: algemene profielschetsen waarin de kerncompetenties van een functie op de drie kwaliteitsniveaus zijn beschreven;  deel 2: beroepsstandaarden waarin de profielschetsen op gedragsniveau zijn uitgewerkt Kijkwijzer (versie 2.0) De kijkwijzer is een hulpmiddel voor het observeren van leerkrachtgedrag in de praktijk. In de kijkwijzer zijn de competenties uit de beroepsstandaard voor leerkrachten vertaald in observeerbaar gedrag. Schoolleiders en intern begeleiders kunnen met behulp van de kijkwijzer lesobservaties uitvoeren en het gedrag van leerkrachten van een oordeel voorzien. De uitkomsten van dergelijke observaties bieden aanknopingspunten voor het formuleren van ontwikkeldoelen van leerkrachten. Tussendoelen De landelijke referentieniveaus voor taal en rekenen hebben ieder betrekking op meerdere domeinen. Bij taal gaat het om de domeinen mondelinge taalvaardigheid, lezen, schrijven en hantering van begrippen en taalverzorging (waaronder spelling) en bij rekenen om op getallen, verhoudingen, meten/meetkunde en verbanden. Voor het basisonderwijs hebben de referentieniveaus betrekking op het einde van het basisonderwijs. De referentieniveaus zijn omschrijvingen van wat leerlingen op dat moment moeten beheersen. Er is daarbij een onderscheid in een fundamenteel niveau (1F, te behalen door tenminste 75% van de leerlingen) en een streefniveau (1S, te behalen door 50% van de leerlingen). Om de referentieniveaus in groep 8 te kunnen halen, is het van belang dat scholen zicht hebben op wat zij hiervoor in de groepen 1 tot en met 7 moeten doen. Hiervoor zijn tussendoelen per leerjaar ontwikkeld voor taal en rekenen. Deze hebben betrekking op niveau 1F. Referentiehuis Binnen de pilot is een model ontwikkeld dat de verbinding tussen de instrumenten weergeeft: het zogenaamde referentiehuis (zie hieronder). De plaats van de instrumenten in het referentiehuis geeft richting aan het ‘wat’, het ’hoe’ en het ‘wie’. Het wat wordt aangegeven door de tussendoelen taal en Rekenen, het hoe door de kijkwijzer en het wie door de beroepsstandaarden directeur, intern begeleider en leerkracht.

24


Figuur 1

Referentiehuis

10

Leeswijzer Over der bruikbaarheid van de instrumenten en de ontwikkelingen daarin gedurende de pilot bieden de twee series groepsgesprekken (tussenen eindevaluatie), de twee interviews met de CPSprojectleiding en het interview met enkele experts informatie. In dit hoofdstuk gaan we in op de verschillende instrumenten en de bruikbaarheid daarvan volgens de geïnterviewden voor het werken met referentieniveaus en het opbrengstgericht werken (onderzoeksvragen 4 tot en met 7). We bespreken we per instrument in welke mate het instrument gebruikt is, wat de ervaringen zijn met de bruikbaarheid en hoe de relatie met (en eventuele meerwaarde voor) opbrengstgericht werken en het werken met referentieniveaus wordt gezien. Ook de ontwikkelingen daarin in de tijd worden besproken. We presenteren ervaringen en meningen van schoolleiders, IB’ers, taal-/rekencoördinatoren en leerkrachten op de pilotscholen en meningen van experts en de CPS-projectleiding. We hebben hier en daar een citaat opgenomen, omdat daarmee soms treffend geïllustreerd of onderbouwd wordt waarom betrokkenen positief of negatief oordelen.

3.1

Beroepsstandaarden

De functie van de beroepsstandaarden (ook wel competentieprofielen genoemd) in het project is vooral operationalisatie van de competenties die nodig zijn voor het werken met referentieniveaus. De beroepsstandaarden zijn echter breder doordat zij alle competenties bevatten die relevant zijn voor het functioneren van schoolleiders, IB’ers en leerkrachten. De landelijke competentie-omschrijvingen zijn namelijk als startpunt genomen en vertaald naar meetbare indicatoren. Gebruik en bruikbaarheid Uit de tussenevaluatie bleek dat de beroepsstandaarden nog nauwelijks gebruikt werden. Op verreweg de meeste scholen hadden de leerkrachten ze nog niet of nauwelijks gezien. De directeuren kenden de beroepsstandaarden wel en enkele directeuren gebruikten ze al (soms nog alleen op directieniveau). Verklaringen voor het beperkte gebruik van de beroepsstandaarden waren ten eerste 10

Overgenomen uit Handreiking werkwijze pilot referentieniveaus, Kwaliteitsaanpak Basisonderwijs (versie 9 september 2011).


25

dat dit instrument volgens de projectleiding het verst van de praktijk op de scholen afstaat (scholen zouden het pas gaan gebruiken als ze verder zijn in hun ontwikkeling) en ten tweede hadden de scholen veel vragen over het instrument. Eindevaluatie Bij de eindevaluatie is de bekendheid met beroepsstandaarden groter dan bij de tussenmeting. De beroepsstandaarden zijn in alle gevallen bekend bij de directie en vaak ook bij de intern begeleider. Soms zijn de voor hen van toepassing zijnde beroepsstandaarden verspreid onder leerkrachten en zijn leerkrachten er bekend mee. Redenen om de leerkrachten geen kennis te laten nemen van de beroepsstandaarden zijn divers: besturen hebben soms hun eigen beroepsstandaarden en hebben nog niet besloten of ze die van de pilot willen gaan gebruiken. Soms is een school er ook gewoon nog niet aan toegekomen om iets met de beroepsstandaarden (voor leerkrachten) te doen: “We konden niet alles tegelijk doen”. Het gebruik van de beroepsstandaarden is bij de eindmeting iets toegenomen ten opzichte van de tussenmeting. Enkele scholen gebruiken de beroepsstandaarden niet. De redenen hiervoor zijn gelijk aan de hiervoor beschreven redenen waarom leerkrachten nog geen kennis hebben genomen van de beroepsstandaarden. Als de beroepsstandaarden gebruikt worden dan is dat doorgaans door de directie. De wijze van gebruik is divers. Ook de CPS-projectleiding bevestigde dat de beroepsstandaarden verschillend zijn gebruikt. Bovendien: “Op sommige scholen kwam het instrument pas laat in beeld, omdat de andere instrumenten tijd en aandacht vroegen”. De beroepsstandaard is volgens de CPS-projectleiding het instrument dat het verst van leerkrachten afstaat. Dat er nog relatief weinig is gedaan met de beroepsstandaarden komt volgens de experts omdat scholen nog niet zo goed weten wat ze er mee moeten. Op scholen waar de beroepsstandaarden al gebruikt worden, gebruiken directies deze bij het schrijven van beoordelingen van leerkrachten, voor het houden van functionerings- en beoordelingsgesprekken,11 als handvat bij een sollicitatieprocedure (voor IB’er of nieuwe directeur), voor zelfreflectie (directie en/of IB’er). Een bestuur stimuleert IB’ers om kennis te nemen van de competenties voor IB’ers die de beroepsgroep heeft geformuleerd. Een beroepsstandaard voor IB’ers sluit aan op deze ontwikkeling. Leerkrachten gebruiken de beroepsstandaarden op enkele scholen bij het maken van een POP (persoonlijk ontwikkelingsplan), onder andere door zelfscoring, soms met feedback van de directie. Ook heeft een directeur een aantal leerkrachten gevraagd zichzelf te beoordelen aan de hand van de standaarden. Soms wordt de beroepsstandaard deels naast de eigen beroepsstandaard gebruikt door de directie. Er wordt ook vaak ‘creatief gebruik’ gemaakt van de beroepsstandaard. Op een school wordt het onhandig gevonden (en daarom niet standaard gebruikt) dat er eigenlijk twee instrumenten zijn om leerkrachtvaardigheden te beoordelen. Juist om opbrengsten te verhogen is het verhogen van leerkrachtvaardigheden van belang. Je wilt per vakgebied kijken wat nodig is en wat een leerkracht op een bepaald vakgebied doet. Daarvoor heeft de school twee instrumenten (kijkwijzer en beroepsstandaard voor leerkrachten) geïntegreerd tot een eigen observatie-instrument (twee A4-tjes) voor een bepaald vakgebied. Ook een andere directeur mist de link van de beroepsstandaard voor leerkrachten met de kijkwijzer: een digitale terugkoppeling van de kijkwijzer die betrekking heeft op de beroepsstandaard zou prettig zijn. Weer een andere directeur heeft de standaarden vertaald naar scoreformulieren, die samen met de kijkwijzer een goed beeld van een leerkracht geven. Op deze school is ook een vertaling voor gymleerkrachten en onderwijsassistenten gemaakt.

11

Een directeur zei expliciet de beroepsstandaard voor leerkrachten niet als beoordelingsinstrument (waarvoor een duidelijke normering nodig zou zijn) te gebruiken, maar als handvat om haar beoordeling te onderbouwen en inzichtelijker te maken.

26


De beroepsstandaarden helpen de leerkrachten inzicht te krijgen in hun eigen functioneren en zijn bijvoorbeeld handig voor leerkrachten die willen doorgroeien naar een LB-functie. Ook voor verbetertrajecten bij leerkrachten is het instrument handig, volgens een directeur. Prettig is volgens een directeur dat de standaarden voor leerkrachten veel gedetailleerder zijn dan de uitwerking van het SBL en een concrete uitwerking daarvan. Relatie met opbrengstgericht werken en referentieniveaus In de tussenevaluatie wisten de geïnterviewden (nog) niet of de beroepsstandaarden bijdragen aan opbrengstgericht werken en wat de relatie daarmee is (“Werkt een startbekwame leerkracht minder opbrengstgericht dan een excellente leerkracht?”). Ook de bijdrage aan het werken met de referentieniveaus was voor de meesten nog niet duidelijk. Volgens de CPS-projectleiding is het vreemd dat de woorden ‘referentieniveaus’ en ‘tussendoelen’ nergens in de standaarden worden genoemd. Voor tips en adviezen was het volgens de geïnterviewden nog te vroeg. Wel werd alvast gepleit voor een goede samenvatting van de beroepsstandaarden. In de eindevaluatie zagen de meeste geïnterviewden nog steeds geen relatie tussen de beroepsstandaarden en de referentieniveaus. De relatie met opbrengstgericht werken wordt door meer geïnterviewden gezien: “betere leerkrachtvaardigheden geven meer opbrengst”. Een directeur: “De standaarden helpen bij de vraag ‘hoe ver ben ik, wat heb ik nodig voor de volgende stap?’ Het is nu niet meer alleen een gevoel, je kunt het nu meten en dat is fijn.” Gewenste aanpassingen Volgens de geïnterviewde experts zijn de beroepsstandaarden inhoudelijk goed en daarmee direct overdraagbaar naar andere scholen. De experts vinden het belangrijk dat de beroepstandaarden aan de andere instrumenten gekoppeld blijven. Onze overige gesprekspartners zijn van mening dat de beroepsstandaarden eerst aangepast dienen te worden, voordat zij overgedragen kunnen worden naar andere scholen. Naast een aantal algemene aanpassingen, betreffen de suggesties voor aanpassingen met name wijzigingen of toevoegen van indicatoren. Onderstaand geven we een overzicht van de gewenste aanpassingen die door de betrokken naar voren zijn gebracht. 12 Algemeen  Naast de drie beroepsstandaarden uit de pilot is ook een beroepsstandaard voor bestuurders gewenst.  Het onderscheid tussen startbekwaam-vakbekwaam-excellent kan ten onrechte de indruk wekken dat iedereen uiteindelijk excellent moet zijn. Het streven is juist zorgen voor een goede mix binnen een schoolteam.  De verschillen tussen startbekwaam en vakbekwaam zijn minimaal.  Zorg voor eenduidige terminologie in de beroepsstandaarden en stem deze af op de terminologie in de andere instrumenten. Kernbegrippen zouden moeten zijn ‘handelingsgericht werken’ en ‘opbrengstgericht werken’. Ook de begrippen referentieniveaus en tussendoelen moeten een plaats krijgen in de beroepsstandaarden. Beroepsstandaard directeur  In juni 2012 heeft de NSA de herziene beroepsstandaard voor schoolleiders in het primair onderwijs opgeleverd. De huidige Amsterdamse beroepsstandaard is daardoor gebaseerd op een verouderde versie van de landelijke beroepsstandaard. Zeker omdat de herziene versie sterk afwijkt, is het raadzaam de Amsterdamse versie ook te wijzigen. Wellicht kan hiervoor gebruik

12

Een deel van deze aanpassingen komt overeen met bevindingen van de onderzoekers op basis van de concept beroepstandaarden (zie bijlage 1).


 



  

27

gemaakt worden van het instrument ‘NSA EFFECt’ dat bedoeld is om per basiscompetentie eigen specifieke competenties te formuleren.13 Bij alle competenties kijken in hoeverre de borging en het hanteren van een kwaliteitszorgsysteem herkenbaar is. De competenties concreter beschrijven, bijvoorbeeld met voorbeelden (bijvoorbeeld bij ‘Ontwikkelen, aansturen en begeleiden van het primaire proces’ als voorbeeld ‘leeropbrengsten én didactisch handelen’); Bij ‘Organisatiebeleid en -beheer’ toevoegen: het gebruik van een kwaliteitszorgsysteem en een interne monitor, zodat borging van bereikte kwaliteit plaatsvindt en verdere ontwikkeling middels de pdca-cyclus. Bij ‘Onderwijsondernemerschap’ toevoegen: de inzet van externen afstemmen op het bereiken van de gewenste doelen. Bij ‘Zelfsturing’ toevoegen: kent de eisen die aan een directeur gesteld worden en kan reflecteren op het eigen gedrag in relatie tot die eisen. Toevoegen: het toetsingskader van de inspectie goed kennen.

Beroepsstandaard IB’er  Bij alle competenties kijken in hoeverre de IB’er een taak heeft ten aanzien van borging.  Toevoegen: het toetsingskader van de inspectie goed kennen. Beroepsstandaard leerkrachten  Er zou voor de leerkrachten een link moeten komen met de kijkwijzer, zeker voor pedagogisch, vakinhoudelijk en didactisch, organisatorisch competent.  Ontbrekende punten zijn: uitvoering van de zorgroute (passend onderwijs), gebruik van volgsystemen voor de sociaal-emotionele ontwikkeling en rapportage naar leerlingen, ouders en andere scholen.  Bij ‘Pedagogisch competent’: “Stelt voor alle leerlingen in de groep uitdagende leerdoelen vast en handelt daarnaar” verplaatsen naar Vakinhoudelijk en didactisch competent.  Bij ‘Vakinhoudelijk en didactisch competent’ toevoegen: volgens het groepsplan, bij “Geeft directe instructie en sluit daarmee aan op de ontwikkeling van leerlingen”; betrekt alle leerlingen bij de les; kent de leerlijnen (tussendoelen voor de groep) en de referentieniveaus; kan streefdoelen per leerling en per groep vaststellen gerelateerd aan de landelijke normen kent de inhoud van de toetsen die gelden voor het leerjaar; kan individuele of groepshandelingsplannen en ontwikkelingsperspectieven opstellen onder begeleiding; kan strategieën voor denken en leren aanleren (vakbekwaam); kan groepsplannen voor de basisvakken opstellen (vakbekwaam); kent de didactiek van de basisvakken (geletterdheid, gecijferdheid, spelling, woordenschat, mondelinge taalvaardigheid) (vakbekwaam); kan zelfstandig individuele of groepshandelingsplannen en ontwikkelingsperspectieven opstellen (vakbekwaam).  Bij ‘Organisatorisch competent’ (startbekwaam): bij “deelt de leertijd voor leerlingen efficiënt en effectief in en hanteert een adequate planning” achter adequaat invoegen: (jaar-, week- en dagplanning); bij “Hanteert in het lesaanbod een logische opbouw en ruimt tijd in voor vragen” omschrijven wat met logisch wordt bedoeld: volgens het activerende directe instructiemodel met ook een evaluatie op de lesdoelen;

13

Meer informatie over de herziene standaard en NSA EFFECt is te vinden op www.nsa.nl.

28


-

toevoegen: het hanteren van klassenmanagement volgens afgesproken regels en hanteert een overzichtelijke en overdraagbare administratie. Bij ‘Competent in samenwerken met collega’s’: bij startbekwaam expliciet het overleg met de IB’er opnemen; bij vakbekwaam opnemen het hebben van een kritische houding naar de directie, het schoolbeleid en bestuur. Je mening durven geven, je grenzen stellen en kritiek uiten zijn immers belangrijke vaardigheden in een professionele organisatie.



3.2

Kijkwijzer

In de tussenevaluatie was het naast elkaar bestaan van verschillende kijkwijzers al geconstateerd. In de gesprekken die plaatsvonden in het kader van de eindevaluatie bleek opnieuw dat het begrip ‘kijkwijzer’ niet eenduidig is omdat er op sommige scholen zowel sprake is van een KBA Kijkwijzer als van een kijkwijzer van de pilot referentieniveaus. Daarnaast wordt er op sommige scholen gebruik gemaakt van een kijkwijzer voor de pilot prestatiebeloning, die minder items bevat dan de kijkwijzer referentieniveaus.14 Ook wordt nog een Dalton-kijkwijzer en een ADI-kijkwijzer gebruikt. Sommige scholen gebruiken meerdere kijkwijzers naast elkaar. Uit de verslagen van de groepsgesprekken blijkt (soms achteraf) dat directies en leerkrachten het in de antwoorden op gestelde vragen niet hebben over de kijkwijzer van de Pilot Referentieniveaus, maar over een andere kijkwijzer. Dat is met name zo op scholen die ook deelnemen aan de Pilot Prestatiebeloning. Als dat het geval is, laten we de antwoorden hier buiten beschouwing. Soms is niet duidelijk op welke kijkwijzer de antwoorden betrekking hebben. Als dat zo is, wordt dat hieronder vermeld. Gebruik en bruikbaarheid In de tussenevaluatie bleek dat de kijkwijzer op sommige scholen al wel werd gebruikt, maar op andere alleen nog maar bekeken was. De kijkwijzer werd door de meeste scholen als te uitgebreid gezien en daarmee onvoldoende praktisch bruikbaar voor klassenconsultaties. Tegelijkertijd biedt de kijkwijzer wel houvast, zoals bleek uit uitspraken zoals “Het houdt je scherp”. Sommige leerkrachten die de kijkwijzer voor zichzelf of collega’s gebruiken, vonden de kijkwijzer lastig onder meer vanwege de ingewikkelde formuleringen. Hoewel de kijkwijzer als zeer omvangrijk werd gezien, vond men dat aandacht ontbrak voor klassenmanagement, de pedagogische relatie tussen leerkracht en leerling en voor het werken met referentieniveaus. Op een school werd ook naar voren gebracht dat de kijkwijzer geen onderscheid maakt tussen bouwen, hoewel er zeker verschillen zijn in didactisch handelen tussen de leeftijdsgroepen (bouwen). Ook is in de kijkwijzer niet voorzien in het werken met combinatiegroepen, wat volgens een leerkracht wel nodig is. Andere opmerkingen die door de geïnterviewden werden gemaakt:  het is onduidelijk of de items per kopje voorwaarden of voorbeelden zijn;  het is teveel om in één les te observeren;  een les hoeft niet aan alle criteria van de kijkwijzer te voldoen om een goede les te zijn;  het is een momentopname;  het past minder bij de kleutergroepen;  de cijfermatige terugkoppeling in de digitale kijkwijzer is negatiever dan op basis van de ingevulde kijkwijzer en de nabespreking verwacht werd, dat geeft het gevoel ‘afgerekend te worden’ op verkeerde gronden;  een kijkwijzer is niet voldoende om te zeggen of een leerkracht goed is: “Het gaat ook om andere kwaliteiten en om inventiviteit, dingen die niet scoorbaar zijn.”

14

De normering van beide kijkwijzers is volgens een directeur ook verschillend. Volgens de projectleiding zijn er twee kijkwijzers vanuit KBA: de kijkwijzer 1.0 en de in de pilot gebruikte kijkwijzer 2.0.


29

Eindevaluatie Onderdeel van de Pilot Referentieniveaus was het doen van metingen bij leerkrachten in de vorm van observaties aan de hand van de kijkwijzer op alle pilotscholen (meestal drie rondes). Op twee scholen na (een school die een kijkwijzer heeft voor het eigen onderwijskundig concept en een school die alleen de kijkwijzer uit de pilot prestatiebeloning gebruikt) gebruiken alle scholen (delen uit) de kijkwijzer van de pilot, in meer of mindere mate en soms naast andere kijkwijzers. De kijkwijzer is gebruikt voor klassenobservaties, die soms meerdere malen gedurende de pilot hebben plaatsgevonden, maar ook wel eens slechts één keer (zonder nabespreking met leerkrachten). De mate van gebruik heeft in elk geval te maken met gebruik van andere kijkwijzers, bijvoorbeeld in het kader van de Pilot Prestatiebeloning. Op één school heeft het gebruik van de kijkwijzer van de Pilot Prestatiebeloning gezorgd voor een ‘nare bijsmaak’. Redenen voor het weinig gebruiken van de kijkwijzer zijn verder dat een normering ontbreekt en dat de kijkwijzer erg “zwart-wit” is (een leerkracht laat het gedrag zien of niet). De kijkwijzer is veelal gebruikt door de expert, de directie en de IB’er. Soms hebben de leerkrachten de kijkwijzer zelf van te voren ingevuld. Op een school heeft de rekenexpert instructie gegeven (onder andere videoanalyse) over het werken met de kijkwijzer “als coachingsinstrument, niet als beoordeling”. Op de meeste scholen volgde er een nagesprek met de geobserveerde leerkrachten. De kijkwijzer wordt op verschillende scholen als nuttig instrument gezien (mits een nabespreking met de leerkracht volgt), als algehele check op leerkrachtvaardigheden. “De kijkwijzer is een handig middel ter zelfreflectie en als beoordeling”, volgens een directeur, maar volgens een andere directeur moet de kijkwijzer juist niet als beoordelingsinstrument gebruikt worden. De geïnterviewde experts vinden de punten die genoemd worden in de kijkwijzer belangrijke punten voor het geven van effectief onderwijs. Maar ook zij vinden dat de kijkwijzer niet gebruikt moet worden voor het beoordelen van leerkrachten: de kijkwijzer bevat namelijk geen indicatoren om de inhoudelijke kennis van leerkrachten te observeren. Enkele scholen hebben de kijkwijzer creatief ingezet, door bijvoorbeeld een eigen kijkwijzer te maken waarin delen van de ‘pilot kijkwijzer’ zaten (bijvoorbeeld specifieke rekenpilot-items). Een andere school heeft van twee typen instrumenten (beroepsstandaard en kijkwijzer) één instrument gemaakt om vakinhoudelijk leerkrachtvaardigheden te kunnen observeren. Sommige geïnterviewden vinden dat de kijkwijzer inhoudelijk bij de beroepsstandaarden past, andere vinden dat niet. Sommigen vinden het instrument vooral goed als voorbereiding en als feedbackinstrument. Maar er zijn ook scholen die vinden dat de kijkwijzer niet goed bruikbaar is of inhoudelijk niet goed in elkaar zit. De volgende kritiekpunten zijn genoemd:  te uitgebreid voor observaties in de klas (“we hebben hem telkens gedeeltelijk gebruikt, anders ben je een hele dag mee bezig”, “je moet teveel bladeren op het moment dat je observeert”);  het computerprogramma werkt niet (meer);  er komt een slecht beeld uit de digitale versie, dat niet klopt met de werkelijkheid;  onduidelijke vraagstelling;  te weinig nuance; alleen waargenomen / niet waargenomen mogelijk, maar niet wanneer iets voldoende is, ook niet wat essentieel is;  te algemeen voor vakinhoudelijk observeren (dit punt wordt ook door de experts naar voren gebracht als aandachtspunt);  in een les is veel niet van toepassing of niet waargenomen en is ook niet alles altijd te zien;  geen mogelijkheid om aantekeningen te maken of gezamenlijke afspraken te noteren;  geen link met de andere instrumenten (uitkomsten van de kijkwijzer zouden in termen van de beroepsstandaarden moeten worden geformuleerd, zodat zichtbaar wordt of een leerkracht startbekwaam, vakbekwaam of excellent is);  geen lijn te zien, niet mogelijk te zien welke vorderingen gemaakt zijn;

30




wordt soms teveel als beoordelingsinstrument gezien.

De geïnterviewde experts voegen hier nog aan toe:  er missen punten in de kijkwijzer;  in de kijkwijzer wordt geen onderscheid gemaakt tussen de punten: het ene punt is namelijk belangrijker dan het andere;  er bestaat twijfel over de inter-beoordelaarsbetrouwbaarheid van de kijkwijzer: niet iedere beoordelaar verstaat hetzelfde onder de in de Kijkwijzer genoemde punten;  er is nog geen directe samenhang tussen een goede taal- of rekenles (volgens de kijkwijzer) en een hoge score bij leerlingen, de scores van leerlingen gaan namelijk niet altijd vooruit als leerkrachten beter scoren op de kijkwijzer. De CPS-projectleiding merkte ten aanzien van de uitgebreidheid op: “In de handreiking stond ook welke onderdelen van de kijkwijzer relevant waren bij de pilot. De rest hoefden de scholen niet te doen”. Het is de vraag of alle scholen dit begrepen hebben. Relatie met opbrengstgericht werken en referentieniveaus In de tussenevaluatie bleek dat men verschillend dacht over de vraag of de kijkwijzer bijdraagt aan opbrengstgericht werken en het werken met referentieniveaus. Volgens een geïnterviewde draagt elke kijkwijzer bij aan opbrengstgericht werken. Maar er werd ook gesteld dat dat maar ten dele zo is en dat vooral het nagesprek een bijdrage daaraan levert. De kijkwijzer heeft volgens een school vooral meerwaarde als je al bezig bent met handelingsgericht en opbrengstgericht werken. Er werden ook problemen geconstateerd, zoals “Je kunt niet alles in de klas zien... Voor het gebruik van de referentieniveaus zou je ook naar de groepsplannen moeten kijken”. De mogelijke bijdrage van de kijkwijzer aan het werken met referentieniveaus was voor de meeste scholen nog niet helder. Tijdens de eindevaluatie gaven de meeste (adjunct-)directeuren en IB’ers aan dat er een link is tussen het gebruiken van een kijkwijzer (niet per se die van de Pilot Referentieniveaus) en opbrengstgericht werken, zeker als er een nabespreking met leerkrachten plaatsvindt. Door gebruik van de kijkwijzer worden de leerkrachtvaardigheden sterker gerelateerd aan de leerlingresultaten. Citaten die deze mening illustreren zijn: “De kijkwijzer gaat uit van dingen bereiken in de klas en resultaatgericht werken. Dat sluit aan bij opbrengstgericht werken”, “Het is een middel om te komen tot een gesprek over het handelen van leerkrachten” en “De kijkwijzer geeft duidelijk en puntsgewijs aan hoe je naar jezelf kunt kijken.” Volgens een respondent helpt de kijkwijzer bij het ADI-model (waarbij je per les doelen stelt, deze nabespreekt en het aanbod aanpast op de behoeften van de kinderen) en dat komt (indirect dus) het opbrengstgericht werken ten goede. Volgens een andere respondent ligt de bijdrage aan opbrengstgericht werken meer bij de directeur dan bij het instrument zelf. Weer een andere respondent vond echter dat de kijkwijzer van de pilot geen invloed had op de ontwikkeling van het opbrengstgericht werken in de school, maar die van het KBA-verbetertraject wel. Tenslotte vond een respondent dat een aangepaste kijkwijzer (met kwaliteitsoordeel en tekstvakken) zal bijdragen aan opbrengstgericht werken. Sommige leerkrachten zien ook een duidelijke relatie van de kijkwijzer met opbrengstgericht werken. Volgens een leerkracht helpt het instrument om meer uit de kinderen te halen (bijvoorbeeld coöperatief werken, kinderen met elkaar laten reflecteren). Een andere leerkracht merkte op: “De kijkwijzer is een houvast bij het vormgeven van een goede les en draagt zo ook bij aan opbrengstgericht werken”. Aan de andere kant is opgemerkt: “Het letterlijk naleven van de kijkwijzer maakt lesgeven heel mechanisch (trucjes om aan de criteria te voldoen, wat een les niet per se goed maakt)”. Tot slot vond een leerkracht dat vooral het werken met de nieuwe methode bijdraagt aan opbrengstgericht werken (door verlengde instructie en differentiatie).


31

Volgens de CPS-projectleiding draagt de kijkwijzer van de pilot wel bij aan opbrengstgericht werken, “maar het format en de omvang leidde af. Als de lessen werden geobserveerd en nabesproken, was de meerwaarde wel duidelijk”. Volgens de geïnterviewde experts is er geen directe samenhang tussen een goede taal- of rekenles (volgens de kijkwijzer) en een hoge score bij leerlingen. De scores van leerlingen gaan volgens hen niet altijd vooruit als leerkrachten beter scoren op de kijkwijzer. Een bijdrage van de kijkwijzer aan het werken met referentieniveaus is minder duidelijk (“hooguit indirect via het leerkrachtgedrag”; “de referentieniveaus komen helemaal niet terug in de kijkwijzer”) of nog niet duidelijk. Mogelijk heeft dit te maken met problemen die scholen hebben om de verbinding tussen opbrengstgericht werken en de referentieniveaus te maken. Volgens de CPS-projectleiding begon elke kernteambijeenkomst met het visualiseren van deze verbinding in het ‘referentiehuis’ en was dat ook noodzakelijk. Gewenste aanpassingen15 De kijkwijzer zou volgens experts in de toekomst toegespitst kunnen worden op de vakdidactische competentie van de leerkrachten en uitgewerkt kunnen worden in een taalen een rekenkijkwijzer. Daarnaast zou de kijkwijzer volgens de experts niet gebruikt moeten worden voor het beoordelen van leerkrachten. “Het is geen waarderingskader, omdat je de kwaliteit van wat je ziet niet kan waarderen. W scoren betekent nog niet dat de kwaliteit oké is”. De kijkwijzer bevat namelijk geen indicatoren om de inhoudelijke kennis van leerkrachten te observeren, geen ordening in belang en ook geen norm. Met andere worden: er moet duidelijkheid komen over het gebruik (bedoeld om in gesprek te komen met leerkrachten of beoordelend en is dat laatste geval dan met waarderingskader en normering). Verdere aanpassingen die de experts voorstellen zijn:  de kijkwijzer zou handzamer moeten worden, compacter en overzichtelijker (zoals de layout van de KBA-kijkwijzer);  2.3, 2.4 en 2.5 horen bij vakinhoudelijk en didactisch competent, niet bij pedagogisch competent;  toevoegen uit KBA-kijkwijzer: blok 1 over het pedagogisch klimaat (bij Pedagogisch competent) en de punten 2.3, 2.4, 2.5, 3.1, 3.2, 4.6, 4.7, 9.6 en 9.8 bij vakinhoudelijk en didactisch competent. De scholen voegen hier de volgende aanpassingen aan toe:  toevoegen van antwoordcategorieën: nu is het bijvoorbeeld niet mogelijk om aan te geven of het waargenomen gedrag voldoende is of vaker voorkomt;  een oplossing zoeken voor het feit dat lang niet al het gewenste gedrag binnen één les te observeren is;  vergroten van de ruimte voor het maken van opmerkingen. Deze ruimte is nu erg klein, terwijl opmerkingen van groot belang zijn voor de nabespreking;  verbeteren van de link met de andere instrumenten: uitkomsten van de kijkwijzer zouden in termen van de beroepsstandaarden moeten worden geformuleerd, zodat zichtbaar wordt of een leerkracht startbekwaam, vakbekwaam of excellent is;  weglaten van items 4.7 tot en met 4.11. Deze items zijn niet geschikt om in een les te observeren. Digitale kijkwijzer De digitale kijkwijzer leverde veel problemen op omdat leerkrachten zich er niet in herkenden, een school geen terugkoppeling kreeg, de verzamelde gegevens niet anoniem waren of het programma niet (meer) werkte. Op verzoek van de opdrachtgever hebben wij bij de tussenmeting de wijze waarop de kijkwijzer is gedigitaliseerd onderzocht. Voor de volledigheid hebben we onze bevindingen in bijlage 2 van deze rapportage toegevoegd. Onderstaand vatten we de belangrijkste aandachtspunten 15

Een deel van de aanpassingen komt overeen met bevindingen van de onderzoekers op basis van de concept kijkwijzer (zie bijlage 1).

32


voor het aanpassen van de digitale kijkwijzer samen en vullen deze aan met suggesties van de scholen en experts.  De competenties, indicatoren en subindicatoren in alle formulieren en rapportages in dezelfde volgorde zetten ter vergroting van de overzichtelijkheid.  Gebruik maken van eenduidige antwoordcategorieën en een normering.  Verbeteren van de wijze waarop percentages per competentie, per leerkracht en per school worden berekend worden.  Vergroten van de gebruikersvriendelijkheid, bijvoorbeeld het publiceren van de resultaten.  Toevoegen van een optie waarmee de vorderingen van een leerkracht duidelijk in beeld worden gebracht.  Toevoegen van ruimte voor opmerkingen.  Aanbieden van een digitale ‘basiskijkwijzer’, waar scholen schoolspecifieke punten aan toe kunnen voegen.

3.3

Tussendoelen

De tussendoelen bieden handvatten voor wat leerlingen op welk moment minimaal moeten kennen en kunnen en zijn per leerjaar uitgewerkt voor niveau 1F. Gebruik en bruikbaarheid In de tussenevaluatie bleek dat de tussendoelen op de meeste scholen wel bekeken zijn, maar dat veel scholen ze om verschillende redenen nog niet gebruikten. De eerste reden was, dat het om een minimumniveau gaat, wat vaak lager ligt dan wat scholen nastreven. De tussendoelen werden wel bruikbaar gevonden voor leerlingen die uit dreigen te vallen. Een tweede reden had te maken met de constatering van de scholen dat afstemming van de tussendoelen met de methode noodzakelijk is (“Dat zou eigenlijk aangereikt moeten worden”). Aan de andere kant bieden de tussendoelen volgens de CPS-projectleiding juist inzicht in hoe methodes zijn opgebouwd en hoe de tussendoelen daarin zijn verwerkt, waardoor teams bewuster kunnen nadenken over de keuze voor methodes. Een derde reden betrof het probleem van de toetsbaarheid. Volgens de geïnterviewden worden de tussendoelen nog niet getoetst met Cito-toetsen. Eindevaluatie De meeste scholen hebben de tussendoelen inmiddels wel gebruikt, bekeken of verspreid onder de leerkrachten. Op enkele scholen worden ze niet gebruikt. De redenen daarvoor zijn dat de school er nog niet aan toegekomen is, dat de doelen te laag gesteld zijn (niveau 1F) en/of dat de school liever de methode gebruikt, die hogere doelen stelt (op niveau 1S). Als er tussendoelen op niveau 1S komen, worden deze mogelijk wel gebruikt, omdat “ze dan helpen bij het krijgen van een overzicht van de leerlijn per leerjaar. Goed zicht hebben op de leerlijn kan ertoe bijdragen dat de leerkracht boven de methode staat”. De scholen die de tussendoelen gebruiken, doen dat op verschillende manieren. Scholen gebruiken ze om te kijken welke leerlingen achterblijven, voor het opstellen van groepsplannen of om hun methode te ‘screenen’. Volgens de scholen zijn de tussendoelen handig om vast te stellen welke leerlingen uitvallen. Een directeur licht dit als volgt toe: je kunt ze dan gebruiken als bouwstenen voor hun ontwikkelingsperspectief”. Het gebruik van de tussendoelen voor het signaleren van (dreigende) uitvallers hangt samen met het gegeven dat de tussendoelen op niveau 1F zijn geformuleerd. Sommige scholen vinden dit een nadeel omdat dat niveau te laag is voor hun leerlingen. Een van deze scholen is daarom op zoek gegaan naar een alternatief en heeft dat gevonden in de methode, waarin doelen op 1F en 1S niveau zijn geformuleerd. Andere scholen vinden doelen op niveau 1S juist niet nodig: “Die kinderen gaan wel, het gaat om de kinderen die niet gaan”. Ook de geïnterviewde


33

experts meldden dat de tussendoelen vooral tot doel hebben om (dreigende) uitvallers te identificeren. De CPS-projectleiding merkte ten aanzien van niveau 1F op: “ Referentieniveaus zijn geen inspanningsverplichting, maar een opbrengstverplichting vanuit de leerling. De tussendoelen zijn juist op niveau 1F uitgewerkt, op minimumniveau dus, zodat scholen weten wanneer leerlingen daaronder zakken en het aanbod daarop gericht kunnen afstemmen en naar hun leerlijnen kunnen kijken. Het ging om die attitude.” Naast het identificeren van uitvallers hebben scholen de tussendoelen gebruikt om hun methode te screenen. Ze hebben bekeken of de doelen voldoende terugkomen in de methode. Daar waar dat niet het geval was, is gezocht naar aanvullend lesmateriaal. Een IB’er vraagt zich wel af waarom elke school de tussendoelen zelf naast de methode (en bijvoorkeur ook de Cito-toetsen) moet leggen: “Dit is een hoop werk. Het zou handig en logisch zijn als KBA dit zou doen.” Soms worden de tussendoelen gebruikt wanneer de school juist geen methode hanteert, bijvoorbeeld bij schrijfonderwijs ( “minpunt is dat er voor de groepen 1 en 2 geen tussendoelen bestaan”). Op sommige scholen is de methode leidend (en dan wordt gecheckt of alle tussendoelen daarin terugkomen), op andere scholen wil de directie juist dat leerkrachten minder methode-afhankelijk zijn. De algemene oordelen over de bruikbaarheid en toepasbaarheid van de tussendoelen variëren van “tussendoelen houden je alert” tot “niet zo praktisch, want heel uitvoerig en heel uitgebreid” en “niet goed bruikbaar voor alle leerlingen omdat de doelen te laag liggen”. Een schoolleider merkt op dat de volgorde en tijdstip van aanbieden van leerstof gekoppeld aan de tussendoelen arbitrair is. Dat impliceert een rechte lijn in de ontwikkeling van kinderen, maar in de praktijk ziet de ontwikkellijn van kinderen er vaak heel anders uit, volgens de directeur. Ook een andere directeur wil geen van de instrumenten ‘stalinistisch toepassen’; op deze school is een eigen instrument ontwikkeld op basis van de bestaande pilotinstrumenten. Een leerkracht vindt het zuiverder om naar de tussendoelen te kijken dan naar de toets, “anders ga je de toets behandelen in plaats van de stof”. De CPS-projectleiding constateerde dat de tussendoelen niet overal even goed gebruikt zijn: “Het format ‘tussendoelen’ was het nieuwe instrument. Op scholen waar het kernteam die activiteiten oppakten die van hen werden verwacht, daar werkte het goed en werd bij het team snel duidelijk hoe een leerlijn met betrekking tot referentieniveaus in elkaar zit. Bij leerlingen die uitvielen kon men zien waar ze zitten op de leerlijn en hoe een leerlijn in elkaar zit en dat hielp om de juiste interventies voor deze leerling uit te voeren.” Verder wijst de CPS-projectleiding erop dat er tijdens een van de eerste kernteambijeenkomsten is uitgelegd hoe scholen de tussendoelen kunnen gebruiken om hun methode te bekijken. De experts vinden het juist een aandachtspunt dat er geen link is tussen methoden die scholen gebruiken en de tussendoelen. Ook het feit dat er nog geen toetsen zijn om de tussendoelen te meten is volgens de experts een aandachtspunt. Relatie met opbrengstgericht werken en referentieniveaus In de tussenevaluatie bleek dat een deel van de scholen twijfelt over de bijdrage van de tussendoelen aan opbrengstgericht werken. Een geïnterviewde lichtte dat als volgt toe: “Opbrengstgericht werken is zo hoog mogelijk komen, de tussendoelen betreffen het minimale...”. Een aantal leerkrachten had 16 meer behoefte aan ambitieuze doelen, zoals de tussendoelen van SLO (TULE ). Sommige geïnterviewden dachten wel dat de tussendoelen (kunnen) helpen om opbrengstgericht te werken, omdat duidelijk is waar je naar toe moet werken en dat kan helpen een goed aanbod te creëren. Aangezien het gebruik van de tussendoelen nog beperkt was, vonden veel scholen het nog te vroeg om te kunnen zeggen of de tussendoelen bijdragen aan het werken met de referentieniveaus.

16

TULE = project tussendoelen en leerlijnen van het SLO. Het SLO heeft de kerndoelen primair onderwijs uitgewerkt in inhouden en activiteiten.

34


Eindevaluatie In de eindevaluatie kan wel meer duidelijkheid gegeven worden over de bijdrage van de tussendoelen aan opbrengstgericht werken. De meeste respondenten die ermee gewerkt hebben zeggen of verwachten dat het instrument daaraan bijdraagt, soms met de restrictie “voor de groep leerlingen met een eigen leerlijn”: “Je hebt iets in handen om 1F voor leerlingen die uitvallen, te bereiken”. Maar ook bieden de tussendoelen volgens een directeur concrete handvatten en “hoe concreter de doelen, hoe beter je de opbrengst bij kinderen kunt meten”. Een andere respondent merkte op: “We stellen nu de vraag “Wat heeft het kind geleerd in plaats van wat heb ik aangeboden?” Dat is een positieve verandering.” Maar er zijn ook minder positieve geluiden, onder meer van een school die vindt dat vooral de methode bijdraagt aan OGW. Volgens een directeur is de periode nog te kort om iets te kunnen zeggen. De relatie met de referentieniveaus is wel duidelijk: “de tussendoelen geven de lijnen aan naar de referentieniveaus’’. Ook hebben de tussendoelen bijgedragen aan “het besef en de kennis over de referentieniveaus in het team”. Een directeur tot slot: “Ze helpen bij het formuleren van een ambitieniveau. Daarnaast maken ze het mogelijk om concrete doelen te formuleren in termen van beheersingsniveaus. Dat is specifieker dan het stellen van doelen in termen van A t/m E scores”. De geïnterviewde experts merkten echter op dat er nog geen normen en meetinstrumenten zijn waarmee de tussendoelen gemeten kunnen worden. Mede daardoor bestaat er bij veel scholen onduidelijkheid over de verhouding tussen de referentieniveaus en de Cito-toetsen en leerlingvolgsystemen. Dit is ook door verschillende schoolleiders geconstateerd. Gewenste aanpassingen Op een school bestaat het vermoeden “dat DMO niets meer gaat wijzigen aan het boekje, en dat het in de huidige vorm verspreid gaat worden naar de rest van Amsterdam.” De IB’er en de directie hebben de tussendoelen al verschillende keren met KBA besproken, maar ze hebben het idee dat kritiek op de tussendoelen onvoldoende landt bij de projectorganisatie. We presenteren hieronder puntsgewijs de suggesties voor aanpassingen en de aandachtspunten die genoemd zijn door de scholen en experts: 17  Het domein meetkunde en meten is niet compleet. Slechts één van de vier subdomeinen is uitgewerkt.  Er ontbreken tussendoelen voor (voorbereidend) schrijfonderwijs voor de groepen 1 en 2.  De inhoudelijke context van de tussendoelen moet beter uitgewerkt worden.  Er zijn nog geen normen en meetinstrumenten waarmee de tussendoelen gemeten kunnen worden. Mede daardoor bestaat er bij veel scholen onduidelijkheid over de verhouding tussen de referentieniveaus en de Cito-toetsen en leerlingvolgsystemen.  Er is geen link tussen methoden die scholen gebruiken en de tussendoelen.  Leerkrachten missen de inhoudelijke kennis en didactische vaardigheden om de lesstof aan te bieden op zowel niveau 1F als niveau 1S.  Bij de verspreiding aandacht besteden aan de functie van de tussendoelen in de huidige vorm. Doordat ze alleen betrekking hebben op niveau 1F hebben ze vooral een rol om (dreigende) uitvallers te identificeren. In de toekomst kan deze ‘stoplichtfunctie’ eventueel nog versterkt worden door in de tussendoelen mijlpalen aan te geven van cruciale tussendoelen, zodat leerkrachten bijvoorbeeld weten dat eind groep 3 de automatisering op orde moet zijn.

3.4

Checklists rekenen en taal

De checklists behoren niet tot de officiële pilotinstrumenten. De CPS-projectleiding bevestigde dit tijdens de eindevaluatie: “De checklist is vooral gebruikt om wat dieper naar leerlijnen te kijken. Soms naast de kijkwijzer. De toelichting op de checklists zit ook niet in de handreiking. Het was een 17

Een deel van deze aanpassingen komt overeen met bevindingen van de onderzoekers op basis van de concept tussendoelen (zie bijlage 1).


35

extraatje, maar is toch als gedrukt boekje in de doos terechtgekomen”.Tijdens de tussenevaluatie was dit niet bekend bij de onderzoekers en is daarom wel gevraagd naar het gebruik en de bijdrage aan opbrengstgericht werken en de referentieniveaus. In de eindevaluatie is dat om genoemde reden minder uitgebreid gedaan. We geven hieronder kort de bevindingen. Gebruik en bruikbaarheid In de tussenevaluatie constateerden we dat sommige scholen de checklists (nog) niet gebruikten en andere wel. Een expert (aanwezig bij een van de interviews) verklaarde dat als volgt: “Het is weer een nieuw instrument en dat werkt verwarrend. Het zit tussen de kijkwijzer en de tussendoelen in. Het is wel een duidelijk boekje, maar het is niet zo duidelijk waar het in past.” Op één school werd de checklist rekenen door rekencoördinator en sommige leerkrachten gebruikt voor het specifieke onderwerp van de pilot, meten en meetkunde. “Dan biedt het houvast, om een les voor te bereiden en om te zien waar kinderen uitvallen”. Leerkrachten (voor zover zij de checklists gezien hebben) vonden de checklists een handig naslagwerk om te bepalen of “je vakinhoudelijk op de goede weg bent”. Op een andere school was het juist de directeur die de checklists gebruikte, ter voorbereiding op klassenbezoeken. Ook ten tijde van de eindevaluatie zijn veel scholen nog niet toegekomen aan de checklist. Soms is deze wel bekeken op kernteamniveau, maar leerkrachten hebben deze sporadisch bekeken en een enkele keer gebruikt om hiaten in het onderwijsaanbod op te sporen of om te kijken wat leerlingen moeten beheersen. Soms is de checklist met de leerkrachten besproken in relatie tot de tussendoelen en één keer door directie en expert gebruikt bij klassenbezoeken. Op een andere school zijn items uit de checklist opgenomen in het eigen observatie-instrument. De redenen dat de checklist nog nauwelijks gebruikt wordt, zijn: er zijn keuzes gemaakt bijvoorbeeld voor tussendoelen of de kijkwijzer, past niet bij de (activiteiten in de) pilot, overlapt met de kijkwijzer. Relatie met opbrengstgericht werken en referentieniveaus Voor het beantwoorden van de vraag of de checklists bijdragen aan opbrengstgericht werken of aan het werken met referentieniveaus was het volgens velen ten tijde van de tussenevaluatie nog te vroeg. Volgens één directeur “ben je wel gerichter met doelen bezig”. Volgens een andere directeur is de checklist taal in elk geval ongeschikt voor opbrengstgericht werken bij schrijfonderwijs, want daarvoor is hij te beperkt en hij sluit niet aan bij wat de school op dit punt doet. Tijdens de eindevaluatie is de situatie niet anders dan tijdens de tussenevaluatie. Slechts een enkele leerkracht denkt dat de checklist bijdraagt aan ‘opbrengstbewust werken’. “Als je bewust met de aandachtspunten uit de checklist bezig bent, dan kan het niet anders dan dat je lessen er beter van worden (bijvoorbeeld door te letten op de opbouw van je les of te reflecteren met leerlingen).” Gewenste aanpassingen Tijdens de gesprekken zijn we, vanwege eerder genoemde reden, maar zeer beperkt ingegaan op aanpassingen van de checklists. Toch willen we de volgende naar voren gebrachte gewenste aanpassingen noemen:  opbrengstgerichte zaken eruit halen vanwege de overlap met de kijkwijzer, de checklist is dan alleen nog op de inhoud gericht;  bij rekenen voor groep 4-8 toevoegen: schatten en handig rekenen;  bij rekenen toevoegen: het aanleren van of aandacht besteden aan verschillende oplossingsstrategieën/leer- en denkstrategieën.

36

3.5


Instrumenten algemeen

In de laatste paragraaf van dit hoofdstuk noemen we nog een aantal losse thema’s die met de pilotinstrumenten te maken hebben. Onderstaande is gebaseerd op zowel de tussen- als de eindevaluatie. We constateren dat er op een paar scholen geen ontwikkeling in het gebruik van de instrumenten bij leerkrachten (met name de beroepsstandaarden voor leerkrachten) heeft plaatsgevonden in de periode van de tussenevaluatie tot de eindevaluatie. Dit had te maken met interne kwesties (bijvoorbeeld ziekte van een rekencoördinator), maar ook ‘met niet alles tegelijk kunnen doen’. Zoals de CPS-projectleiding constateerde: “de beroepsstandaarden staan het verst van de leerkrachten af.” De kijkwijzer werd tijdens de tussenevaluatie wel al gebruikt op de scholen, maar er is inmiddels meer ervaring mee. Ook over de tussendoelen was in de eindevaluatie meer te melden: er is meer ervaring mee opgedaan, ook door leerkrachten. Status van de instrumenten In het algemeen geldt dat de instrumenten zodanig mooi zijn vormgegeven dat ze de indruk wekken al definitief te zijn. De CPS-projectleiding heeft dan ook regelmatig aan scholen duidelijk moeten maken dat zij (en de experts) wel degelijk invloed hebben op de instrumenten. “Het materiaal ziet er te definitief uit. Ik had liever een stapel stencils gehad” vertelden zij. Sommige scholen hebben het idee dat hun kritische punten ten aanzien van het instrumentarium onvoldoende zijn of worden gehoord. Afstemming De pilot kent volgens de geïnterviewden wel erg veel instrumenten. Men vraagt zich af: hoe is de relatie, hoe past dat in elkaar? De relatie tussen de algemene kijkwijzer en de checklists (specifieke kijkwijzers) is onvoldoende duidelijk. Ook de relatie tussen de indicatoren uit de algemene kijkwijzer en de indicatoren uit de beroepsstandaard leerkrachten kan verduidelijkt worden. De instrumenten moeten wat betreft taalgebruik nog beter op elkaar worden afgestemd, zodat er een verbinding tussen de instrumenten tot stand komt. Zo is het volgens de CPS-projectleiding vreemd dat de woorden ‘referentieniveaus’ en ‘tussendoelen’ nergens in de beroepsstandaarden worden genoemd. Tijdens de eindevaluatie is gebleken dat scholen zelfs soms creatief met de instrumenten omgaan en ze aanpassen. Een directeur raadt scholen aan een onderzoekende en kritische houding aan te nemen ten aanzien van de instrumenten en zo nodig andere instrumenten te kiezen: “De instrumenten moeten wel in je totaalpakket van je school passen, je moet het kunnen borgen.” Referentiehuis Het referentiehuis, een model dat de verbinding tussen de pilotinstrumenten weergeeft, is niet bij alle geïnterviewden bekend (met name de leerkrachten kennen dit niet, directeuren meestal wel). Sommigen vinden het wel bruikbaar: “Het geeft een integraal overzicht van de samenhang tussen de onderdelen van de pilot” of “Het geeft een illustratie van op welk niveau er gesproken wordt in het team, wanneer het om de pilot gaat”. Een directeur vindt het jammer dat de achterliggende gedachte niet wordt toegelicht, “waardoor niet duidelijk is waarom we doen wat we doen.” Handreiking De meeste directies en IB’ers (kernteams) kennen de handreiking die bij de instrumenten hoort en hebben deze gebruikt voor het schrijven van het ontwikkelplan. Maar er zijn ook enkele scholen die de handreiking niet kennen. Bij leerkrachten is de handreiking niet bekend. De handreiking wordt ‘zinnig’ gevonden, maar niet voldoende om te gaan werken met de referentieniveaus en opbrengstgericht werken: “dat kun je niet allemaal in een pilot en een handreiking vatten”. De CPS-projectleiding: “De handreiking zat niet als boekje in de doos (die hebben scholen uitgereikt gekregen op de eerste bijeenkomst). De handreiking is per onderdeel tijdens de eerste bijeenkomst en in de voorbereiding met de experts uitgebreid besproken. Door de vorm leek de functie minder relevant. In de handreiking


37

werd de focus per instrument besproken.” Dat laatste is door de geïnterviewde schoolleiders en IB’ers niet genoemd. Volgens de geïnterviewde experts is alleen het verspreiden van instrumenten onvoldoende: er zouden werkmodellen (opdrachten) bij de instrumenten gegeven moeten worden (of een app) waarmee leerkrachten in de klas aan de slag kunnen gaan. Tijdpad Ook in de eindevaluatie bleek dat niet alle scholen aan alle instrumenten zijn toegekomen, althans niet aan gebruik op leerkrachtniveau. Vaak werd opgemerkt dat je niet alles tegelijk kon doen en dat de periode te kort was. Dat is volgens een school ook een aandachtspunt voor de toekomst: niet teveel te willen doen in een korte periode. Bovendien was er tijd nodig om alle kennis omtrent het gebruik van de instrumenten en de referentieniveaus bij het hele team te krijgen. Ook de CPS-projectleiding constateerde dat: “Heel belangrijk was de verbinding van instrumenten, dat geeft een meerwaarde. De vraag is: kan ik met dit team deze doelen halen? Daarvoor heb je de drie instrumenten nodig. Voorwaarde is dat de schoolleider het overzicht heeft en de verbinding duidelijk moet kunnen maken aan het team: de verbinding tussen de instrumenten onderling en gekoppeld aan schoolbeleid. Je hebt eigenlijk drie jaar nodig voor de drie instrumenten.”

3.6


In dit hoofdstuk zijn we ingegaan op de meningen over en ervaringen met de instrumenten van de pilotdeelnemers en overige betrokkenen tijdens de tussenen eindmeting. We presenteren hier samenvattend een paar algemene bevindingen die gelden voor alle instrumenten. Daarna vatten we de conclusies samen per instrument en de daarmee corresponderende onderzoeksvraag. De pilot referentieniveaus kent veel verschillende instrumenten, waartussen de relatie niet altijd voor iedereen duidelijk is. Qua inhoud en taalgebruik kunnen de instrumenten nog beter op elkaar en op het werken met referentieniveaus afgestemd worden. Wij adviseren om hier bij een eventuele herziening van de instrumenten aandacht aan te besteden. De instrumenten zouden ook handzamer mogen zijn, zeker voor gebruik in de dagelijkse lespraktijk. 4.

Wat is de praktische bruikbaarheid van de beroepsstandaarden?  Niet alle beroepsstandaarden worden al overal gebruikt.  De beroepsstandaarden worden gebruikt bij het schrijven van beoordelingen van leerkrachten, voor het houden van functionerings- en beoordelingsgesprekken, als handvat bij sollicitaties of voor zelfreflectie.  Soms worden de beroepsstandaarden ‘creatief’ gebruikt (aangepast, samengevoegd met andere instrumenten, etc.).  De meningen over de bruikbaarheid en toepasbaarheid (wel of niet voor beoordeling) van de beroepsstandaarden lopen uiteen.  In hoeverre de beroepsstandaarden bijdragen aan het werken met de referentieniveaus is onduidelijk.  Een deel van de geïnterviewden ziet een bijdrage van de beroepsstandaarden aan opbrengstgericht werken, omdat het werken aan (leerkracht)vaardigheden meer opbrengsten geeft en inzicht geeft in wat er nodig is voor een volgende stap in de ontwikkeling.

5.

Wat is de praktische bruikbaarheid van de kijkwijzer?  Er moet afstemming komen tussen de verschillende kijkwijzers die in omloop zijn.  Vrijwel alle scholen hebben de kijkwijzer gebruikt.

38




  





Betrokkenen noemen een aantal kritiekpunten bij de kijkwijzer, waaronder: de kijkwijzer is te uitgebreid voor observaties in de klas, te weinig genuanceerd, te algemeen voor vakinhoudelijk observeren en het is niet zichtbaar welke vorderingen gemaakt zijn. Het gebruik van de digitale kijkwijzer is niet probleemloos verlopen. De kijkwijzer heeft geen duidelijke link met andere instrumenten van de pilot (met name een betere link met de beroepsstandaard zou wenselijk zijn). De kijkwijzer werkt goed als feedback- en zelfreflectie-instrument en als check op leerkrachtvaardigheden; de gesprekken die worden gevoerd naar aanleiding van de observaties zijn waardevol. De meeste respondenten zien een link tussen het gebruiken van de kijkwijzer (met nabespreking) en opbrengstgericht werken (geeft onder meer houvast bij het vormgeven van een goede les, bij het stellen van doelen en bij het afstemmen van het aanbod op behoeften van leerlingen). Een bijdrage van de kijkwijzer aan het werken met referentieniveaus is minder duidelijk (de referentieniveaus komen niet terug in de kijkwijzer).

6.

Wat is de praktische bruikbaarheid van de tussendoelen?  Een groot bezwaar van de tussendoelen is voor een deel van de respondenten dat hierin alleen het fundamentele niveau is meegenomen. Deze tussendoelen op niveau 1F liggen vaak lager dan wat de scholen willen bereiken.  De meeste scholen hebben de tussendoelen gebruikt. Scholen gebruiken ze om te kijken welke leerlingen achterblijven, voor het opstellen van groepsplannen of om hun methode te ‘screenen’.  De tussendoelen geven de lijnen aan naar de referentieniveaus en dragen (daardoor) volgens sommigen bij aan opbrengstgericht werken, met name voor leerlingen met een eigen leerlijn.

7.

Wat is de praktische bruikbaarheid van de checklists taal en rekenen?  De checklists worden nog niet op alle scholen gebruikt; scholen die ze wel gebruiken doen soms eigen aanpassingen en maken eigen varianten.  De checklists overlappen met de kijkwijzer en zijn niet geschikt voor alle domeinen.  Voor de vraag naar de bijdrage aan het werken met referentieniveaus en opbrengstgericht werken is het nog te vroeg (te weinig gebruikt).

8a. Wat zijn de mogelijkheden voor verspreiding en opschaling van de pilotinstrumenten, zowel binnen als buiten Amsterdam? Voor alle drie de instrumenten geldt dat er aanpassingen gewenst zijn voordat ze breder verspreid kunnen worden. Op hoofdlijnen zijn deze onder te verdelen in vier categorieën:  algemene aanpassingen wat betreft vormgeving en onderlinge afstemming;  verminderen van het aantal KBA-instrumenten;  versterken van de relatie met landelijk beschikbare methoden, toetsen en ontwikkelingen;  instrumentspecifieke aanpassingen.


4

39

Opbrengsten op personeelsniveau

Vrijwel alle scholen hebben in hun plannen doelen geformuleerd op het niveau van leerkrachten, IB’ers en schoolleiding. De opbrengsten op personeelsniveau (onderzoeksvraag 9) worden in dit evaluatieonderzoek niet alleen in kaart gebracht door middel van de gesprekken, maar ook met behulp van de competentiemeting. We starten met een beschrijving van wat er in de interviews over de opbrengsten op personeelsniveau is gezegd. In paragraaf 4.2 presenteren we de resultaten van de competentiemeting. We sluiten in paragraaf 4.3 af met de conclusies en aanbevelingen.

4.1

Competenties volgens betrokkenen zelf

Effect pilot lastig vast te stellen Tijdens de interviews met leerkrachten, IB’ers en schoolleiders is net als bij de tussenmeting de vraag aan bod geweest of zij veranderingen (bij henzelf of bij hun collega’s) waarnemen als gevolg van de pilot. Opnieuw geven de geïnterviewden op alle scholen aan dat het heel moeilijk is om de opbrengsten van de pilot referentieniveaus los te zien van opbrengsten van andere pilots of verbeteringstrajecten waar de scholen in participeren (pilot prestatiebeloning, project OEKT, trajecten rondom het kiezen van een nieuwe methode, et cetera). De scholen waren bovendien voorafgaand aan de pilot al bezig met opbrengstgericht werken (wat ook een voorwaarde was voor deelname aan de pilot referentieniveaus), wat het ook lastiger maakt om het effect van de pilot vast te stellen. Bewustzijn en begrip Net als bij de tussenmeting wordt op ongeveer tweederde van de scholen groei in bewustzijn en begrip bij leerkrachten en IB’ers met name rond de referentieniveaus gerapporteerd. Enkele opmerkingen die betrokkenen hierover maakten: “Ik ben me meer bewust geworden van het belang van leerlijnen”, “Je bent kritischer over de stapjes die je doorloopt” en “Bewustwording is dé winst van deze pilot.” Ook geeft men op enkele plekken blijk van een toegenomen ‘lerende cultuur’: “Je leert naar jezelf te kijken”, “Voorheen analyseerden we de resultaten ook, maar de component ‘reflectie op het eigen gedrag’ is versterkt. Wat ligt er bij mij?” Overigens plaatsen we ook hierbij de kanttekening dat de pilot volgens betrokkenen aan de genoemde ontwikkelingen heeft bijgedragen, maar dat deze groei niet los te zien is van de bredere schoolontwikkeling. De CPS-projectleiding en experts bevestigen de groei op het gebied van bewustzijn en begrip. “Leerkrachten zijn in elk geval bewuster geworden. Wanneer het gaat om de tussendoelen en het werken daarmee: je krijgt als school eerder zicht op of je wel op de goede weg bent met een leerling. Je kunt eerder ingrijpen en kunt voorkomen dat er een niveaudaling ontstaat. Kortom: er wordt preventief gewerkt.” Kennis en vaardigheden De begeleiding door de expert en de instrumenten die horen bij de pilot referentieniveaus hebben (vaak in combinatie met andere vormen van ondersteuning) op de meeste scholen in het afgelopen jaar gezorgd voor een verdere intensivering van het opbrengstgericht werken, met name waar het gaat om het denken in leerlijnen en het stellen van doelen. Aldus een directeur: “Leerkrachten zitten op het puntje van hun stoel wanneer het om opbrengsten gaat. Het leeft echt.” Op ruim de helft van de scholen constateert men dat de vaardigheden van de leerkrachten zijn toegenomen en eveneens op ruim de helft van de scholen wordt genoemd dat de vaardigheden van de directie zijn toegenomen. Toegenomen kennis en vaardigheden van de IB’er worden op een derde van de scholen genoemd. Het gaat dan in de meeste gevallen om toegenomen kennis en

40


vaardigheden op het vlak van opbrengstgericht werken (met name doelen stellen), leerlijnen en referentieniveaus. Ook noemt een aantal directeuren en IB’ers dat ze beter zijn geworden in het doen van klassenobservaties en het voeren van nagesprekken daarover met de leerkrachten. “Ik kan beter kijken, beter kritische momenten benoemen.” De Kijkwijzer is daarbij een prettige kapstok: “De Kijkwijzer helpt me om breder te kijken dan mijn eigen stokpaardjes.” Ook hebben enkele betrokkenen het als leerzaam ervaren om gezamenlijk met de expert klassenbezoeken af te leggen. De CPSprojectleiding constateert eveneens dat het gelukt is om opbrengstgericht werken op de scholen (verder) te versterken. Net als een aantal betrokkenen van de scholen noemt de projectleiding dat vooruitgang is geboekt op het vlak van het werken met leerlijnen en het stellen van doelen. De scholen benadrukken dat ze deze vorderingen zien als (kleine) stappen in een veelomvattend proces, dat in het afgelopen pilotjaar zeker niet voltooid is. “Het is een heel proces waar je doorheen gaat en daarom is het belangrijk om een lange adem te hebben.” Wanneer het gaat om de referentieniveaus geven meerdere betrokkenen aan dat ze op dat vlak wel iets geleerd hebben, maar dat hun kennis daarover nog relatief beperkt is (“Dit was nog maar een kennismaking”). Dat komt onder andere doordat hun activiteiten vooralsnog slechts betrekking hadden op één domein. Eén van de betrokkenen omschrijft de ontwikkeling op het vlak van referentieniveaus als volgt: “De referentieniveaus zijn nog geen parate kennis geworden, maar we zijn ons wel voldoende bewust van de niveaus om ze er op het goede moment bij te kunnen pakken.” Leidinggeven op enkele plekken veranderd Aan zowel directeuren als leerkrachten hebben we gevraagd of de manier van leidinggeven door de directie door de pilot is veranderd. Ten tijde van de tussenmeting was dit nog nergens het geval. Inmiddels neemt men op enkele scholen wel een verandering waar in de manier van leidinggeven. Eén leerkracht vertelt: “Er is meer kennis binnengekomen en dat dwingt de directeur om vaker te overleggen met de werkvloer.” Een leerkracht van een andere school signaleert een soortgelijke verandering, die ze een versterking van ‘communicatief leiderschap’ noemt. “Vroeger was de manier van leidinggeven meer top-down, nu is er meer ruimte voor de mening van teamleden.” Op één school noemen zowel directeur als leerkrachten dat het besef is versterkt dat het belangrijk is om doelen te stellen, ook op het niveau van de directie. Aldus een leerkracht: “Tijdens teamoverleggen vertellen ze nu duidelijk wat er van de leerkrachten verwacht wordt.”

4.2

Competentiemeting

Evenals bij de tussenmeting is bij de eindmeting een competentiemeting uitgevoerd. Het hiervoor gebruikte instrument heeft drie versies:18  competenties schoolleiders: per school is een vragenlijst ingevuld door de expert (naar eigen inzicht eventueel samen met de intern begeleider);  competenties intern begeleiders: per school is een vragenlijst ingevuld door de schoolleider;  competenties leerkrachten: per school zijn drie vragenlijsten (leerkracht groep 1 of 2, leerkracht groep 3, 4 of 5 en leerkracht groep 6, 7 of 8) ingevuld door de intern begeleider. 19

18 19

Voor de constructie van het instrument verwijzen wij naar bijlage 3. Op scholen waar geen intern begeleider is, hebben we de vragenlijsten gestuurd naar de schoolleider of de locatieleider.


41

In de volgende tabel geven we een overzicht van de respons van de competentiemeting. Tabel 4

Respons vragenlijsten competentiemeting respons aantal scholen

aantal vragenlijsten tussenmeting

competenties schoolleider ingevuld door expert

12

13

10

21

10

10

10

22

10

29

23

competenties IB’er ingevuld door schoolleider

competenties leerkrachten ingevuld door IB’er

20

aantal vragenlijsten eindmeting

De beroepsstandaarden voor schoolleiders, intern begeleiders en leerkrachten bestaan uit verschillende competenties. In het meetinstrument is de onderverdeling in competenties gelijk aan die uit de beroepsstandaarden. In bijlage 3 presenteren we de resultaten van de competentiemeting voor schoolleiders, intern begeleiders en leerkrachten per competentie in een tabel. Voor schoolleiders, IB’ers en leerkrachten geldt dat zij gemiddeld een iets hogere score krijgen bij de eindmeting dan bij de tussenmeting. Echter: deze verschillen zijn heel klein en ook niet significant. De belangrijkste bevindingen:  De schoolleiders scoren op vrijwel alle deelcompetenties gemiddeld voldoende tot goed. Er is nog één deelcompetentie waarop de schoolleiders gemiddeld een kleine voldoende scoren (ten opzichte van drie tijdens de tussenmeting). Namelijk: ‘maakt bij de tussenen einddoelen onderscheid in minimum-, streef- en extra doelen.’ Verder lijkt het erop dat de verschillen tussen de schoolleiders ten opzichte van de tussenmeting iets zijn verkleind. Dit komt doordat de ene directeur die bij de tussenmeting gemiddeld onvoldoende scoorde, bij de eindmeting een kleine voldoende kreeg, terwijl een paar andere directies iets achteruit zijn gegaan ten opzichte van de tussenmeting.  De intern begeleiders scoren op alle deelcompetenties gemiddeld voldoende tot goed, ook op de deelcompetenties waarop zij bij de tussenmeting gemiddeld slechts nog een kleine voldoende scoorden. De meeste IB’ers scoren bij de eindmeting gemiddeld iets hoger dan bij de tussenmeting, maar opvallend is dat enkele IB’ers iets achteruit zijn gegaan ten opzichte van de tussenmeting. Eén IB’er scoort over de gehele linie ‘matig’, geen enkele IB'er scoort op een meerderheid van de deelcompetenties onvoldoende.  De leerkrachten scoren op alle deelcompetenties gemiddeld voldoende tot goed, zoals ook tijdens de tussenmeting het geval was. De competentie die gemiddeld genomen het ‘laagst’ scoort is: ‘maakt bij de doelen een onderscheid in minimum-, streef- en extra doelen’.

4.3


In dit hoofdstuk zijn we ingegaan op onderzoeksvraag 9: wat zijn de opbrengsten op personeelsniveau. We vatten hier de belangrijkste conclusies samen.  Het is lastig om opbrengsten op personeelsniveau vast te stellen omdat veranderingen niet exclusief zijn toe te schrijven aan de pilot.  Uit de competentiemeting komt een overwegend positief beeld naar voren. Schoolleiders, intern begeleiders en leerkrachten scoren op (vrijwel) alle deelcompetenties gemiddeld voldoende tot 20 21 22

Voor twee scholen is de vragenlijst zowel ingevuld voor de locatieleiders als voor de gezamenlijke bovenschoolse schoolleider. Twee scholen hebben (tijdelijk) geen intern begeleider. Een school is een nieuwe school in oprichting en heeft nog geen bovenbouw. Deze school heeft de vragenlijst ingevuld voor twee leerkrachten.

42



 


goed. Voor schoolleiders, IB’ers en leerkrachten geldt dat zij gemiddeld een iets hogere score krijgen bij de eindmeting dan bij de tussenmeting. Echter: deze verschillen zijn heel klein en niet significant. Wat betreft het werken met referentieniveaus zit de meerwaarde van de pilot volgens de geïnterviewden vooral in het vergroten van bewustzijn en begrip. De betrokkenen zien dit als een eerste stap in een langduriger proces. De scholen kunnen winst boeken door dit bewustzijn en begrip in de toekomst te benutten om het werken met referentieniveaus en tussendoelen in hun dagelijkse praktijk te versterken. Opbrengstgericht werken krijgt volgens de geïnterviewden steeds meer vorm op de scholen. De manier van leidinggeven door de directie is gedurende de pilotperiode op enkele scholen in positieve zin veranderd. Er is sprake van meer communicatief leiderschap of van meer opbrengstgericht leiderschap.


5

43

Opbrengsten op leerlingniveau

Voordat we hieronder de opbrengsten op leerlingniveau bespreken, gaan we eerst in op de ambities en doelen in de ontwikkelplannen ten aanzien van leerlingen (5.1) en de haalbaarheid en meetbaarheid van leerlingopbrengsten (5.2). In 5.3 doen we – voor zover mogelijk – verslag van de opbrengsten op leerlingniveau. We presenteren hieronder ervaringen en meningen van schoolleiders, IB’ers, taal-/rekencoördinatoren en leerkrachten op de pilotscholen en meningen van experts en CPSprojectleiding, naast door de scholen verstrekte informatie op basis van de analyse van toetsresultaten.

5.1

Ambities en doelen in de ontwikkelplannen

Uit de tussenevaluatie kwam naar voren dat de ambities van de scholen ten aanzien van opbrengsten op leerlingniveau in de ontwikkelplannen op verschillende manieren zijn geformuleerd:  het voldoen aan de inspectienorm voor het terrein van de pilot (in termen van LVS-resultaten);  een optimale leerwinst (overeenkomend met het verwachte leerrendement) halen op het betreffende domein;  de leerlingresultaten boven het Amsterdams gemiddelde krijgen voor het betreffende domein;  een opbrengst realiseren in termen van referentieniveaus (bijvoorbeeld: alle leerlingen op 1F; 50% op 1S). Scholen die aan een domein werken waarvoor geen toets voorhanden is, hebben andersoortige doelen geformuleerd. Zo heeft de school die aan schrijfvaardigheid werkt de ambitie om alle leerlingen kennis te laten nemen van en te laten oefenen met het produceren van verschillende soorten teksten. Overigens hebben ook niet alle scholen doelen op leerlingniveau geformuleerd, onder meer omdat de duur van de pilot te kort werd bevonden voor opbrengsten op leerlingniveau, omdat er voor het domein geen toets voorhanden was of omdat de school nieuw was en de groepen door veel tussentijdse instroom steeds veranderen.

5.2

Werkwijze eindmeting

In het onderzoeksvoorstel voor de pilot referentieniveaus werd al geconstateerd dat niet voor alle domeinen methodeonafhankelijke toetsen beschikbaar zijn en dat vaardigheidsscores op bestaande toetsen doorgaans niet kunnen worden uitgesplitst naar het domein van de pilot. Om toch enig zicht te krijgen op ontwikkeling in leeropbrengsten, namen we ons in het onderzoeksplan voor om wel toetsscores te gaan opvragen, op de domeinen taal (begrijpend lezen) en rekenen. Daarvoor wilden we gebruik maken van Cito-LOVS toetsen uit de verschillende leerjaren (welke nader te bepalen na analyse van de schoolplannen). Bij de tussenmeting bleek dat geen goede strategie meer voor het zicht krijgen op opbrengsten van de pilots bij leerlingen. Hiervoor gaven wij in de tussenrapportage verschillende redenen. In de eerste plaats laat de analyse van de schoolplannen zien dat de doelen die de scholen zich gesteld hebben heel divers zijn. Het meten van opbrengsten via een voor alle scholen gelijke maat (vooruitgang op standaard LOVS-toetsen in het pilotjaar) past daar eigenlijk niet bij en doet aan de scholen en hun verschillende ambities geen recht. In de tweede plaats zijn de scholen nog maar net op goed op gang met het uitvoeren van hun plannen (meestal vergroten van leerkrachtvaardigheden) en geven ze zelf in de gesprekken aan dat het nog te vroeg is om daarvan al een effect op leerresultaten te verwachten. Dat gold in ieder geval voor de tussenevaluatie, maar ook voor het eind van het

44


schooljaar had men daarover nog de nodige twijfels. In de derde plaats blijkt het bij nader inzien alleen voor rekenen en niet voor begrijpend lezen mogelijk om op voldoende inzichtelijke wijze leervorderingen vast te stellen, omdat er voor begrijpend lezen niet in alle leerjaren E-toetsen worden afgenomen. Daarmee zou het vaststellen van leeropbrengsten dus nogal smal worden. We hebben daarom in de tussenrapportage een nieuw en beter bij de doelen van de pilots passend voorstel gedaan om na te gaan of en in welke mate er in het pilotjaar resultaten bij leerlingen zijn behaald. Leidend hierbij was het belang om de scholen zelf te laten nadenken over de manier waarop ze kunnen laten zien wat de opbrengsten (op leerlingniveau) zijn geweest van de pilot. Voor de eindmeting zijn de interviews met directie en intern begeleider daarom uitgebreid met vragen over leerlingopbrengsten op het domein dat door de school gekozen is en met behulp van de doelen op leerlingniveau die de school zichzelf gesteld heeft. Voorafgaand aan de interviews hebben we de scholen gevraagd of zij tijdens het interview relevante gegevens wilden laten zien en tot welke conclusies over leerlingopbrengsten op het terrein van de pilot analyse van deze gegevens volgens hen leidt. Deze werkwijze geeft scholen de kans zelf te laten zien hoe en met welke instrumenten ze op leerlingniveau evalueren, geeft de onderzoekers de mogelijkheid om mee te kijken hoe de scholen dit doen en het biedt ruimte voor het schoolspecifiek maken van effectmaten.

5.3

Analyses, vorderingen en verklaringen

Het vaststellen van leerlingopbrengsten is onderdeel van opbrengstgericht werken, maar geen doel van de pilot op zich, volgens de CPS-projectleiding. Scholen zien ook primair opbrengsten van de pilot op leerkrachtniveau, mede vanwege de korte duur van de pilot. Een school merkt op dat de pilot in zoverre heeft bijgedragen dat men bewuster is gaan kijken naar de leerlingbehoeften en naar welke instructie een leerling nodig heeft, waarbij de checklist rekenen en de tussendoelen een rol spelen. Sommige scholen hebben zich in de pilot niet gericht op leerlingopbrengsten, hebben ook geen doelen op dit niveau gesteld en kunnen daarom niets zeggen over het al dan niet behaald hebben van die doelen. Een andere school geeft aan geen uitspraken te kunnen doen over de bijdrage van de pilot aan de rekenvaardigheden en de directeur denkt dat geen enkele school dat kan doen. De school doet een integrale aanpak en daarin kun je dat domein niet isoleren. Aan de andere kant nemen alle scholen wel toetsen af en kunnen ze daar wel iets aan aflezen (alhoewel de bijdrage van de pilot daaraan meestal niet duidelijk is). Voor zover mogelijk (voor schrijfonderwijs is er geen toets) en noodzakelijk, gezien de doelen (niet alle scholen hebben doelen op leerlingniveau geformuleerd) zijn de opbrengsten dan ook geanalyseerd op de gebruikelijke wijze, dat wil zeggen met behulp van toetsen uit het Cito-leerlingvolgsysteem. Sommige scholen die in hun analyses met vaardigheidsniveaus werken vinden dat inzichtelijker om opbrengsten (en leerwinst) vast te stellen dan het gebruik van niveaus (A t/m E). De analyses vinden doorgaans op leerlingen groepsniveau plaats, soms ook op leerjaarniveau en op schoolniveau. De analyses worden – afhankelijk van het niveau waarop geanalyseerd wordt – gedaan door de (adjunct-)directeur en/of de IB’er en soms ook de leerkrachten. Op één school was de rekencoördinator betrokken bij analyses voor het domein van de pilot. Soms doen leerkrachten zelf geen analyses, maar zijn ze wel betrokken bij de bespreking van resultaten of geven ze een presentatie daarover. Ook de CPS-projectleiding vond de duur van de pilot te kort: dat maakt het lastig om vorderingen op leerlingniveau vast te stellen. Het is volgens hen ook de vraag of je leervorderingen aan de pilot kunt toeschrijven. “Doelen stellen in termen van opbrengsten en het denken in leerlijnen is richtinggevend voor scholen. Het gaat vooral om de attitude van scholen hierbij.”


45

We geven hieronder per school kort aan wat er bekend is over opbrengsten op leerlingniveau gedurende de pilotperiode van een jaar.  Een eerste school heeft geen doelen op leerlingniveau gesteld omdat de school vond dat je over zo’n korte periode geen meetbare opbrengsten kon verwachten (vooral ook omdat de school zich met name op leerkrachtvaardigheden richtte) én omdat het domein (getallen) niet te isoleren was. De school doet dan ook geen uitspraken over de bijdrage van de pilot aan de rekenvaardigheden van leerlingen.  Een andere school geeft aan dat in alle groepen op één na de doelen in termen van percentages leerlingen met een D- of E-niveau of de inspectienorm (in termen van vaardigheidscores) op de rekentoets behaald zijn. In die ene groep is het percentage leerlingen met een D- of E-niveau overigens wel gedaald. Volgens leerkrachten is het niet duidelijk of de vooruitgang met de pilot te maken heeft en ook niet of die het domein van de pilot betreft. Niet alle leerlingen zijn vooruitgegaan.  Weer op een andere school is naar het totaalbeeld voor rekenen gekeken. In sommige groepen ligt de score boven het landelijk gemiddelde. Leerkrachten kijken goed naar de resultaten, zoeken naar verklaringen en trekken conclusies, zo blijkt uit een analyse van de school. Wat precies de bijdrage van de pilot is, wordt niet duidelijk. Volgens de directeur is deze beperkt. De school werkt al lang opbrengstgericht. Leerkrachten zien ook tijdens de lessen en aan de (methodegebonden) toetsen dat hun aanpak (toepassen van 4 stappen) werkt.  De school die schrijfonderwijs als domein van de pilot heeft gekozen, heeft geen toets ter beschikking en is bezig om op basis van de tussendoelen straks producten te kunnen beoordelen. De methodiek werkt, volgens de school vanwege gemotiveerdheid voor schrijven en tekstbesprekingen (met anderen). Door het gebruik van de tussendoelen op het domein blijkt volgens de school wel dat de leerlingen over het algemeen wat hoger scoren.  De school die begrijpend lezen als domein van de pilot heeft gekozen, kon vanwege het ontbreken van een eindtoets geen vorderingen in kaart brengen. De school analyseert de toetsresultaten wel uitgebreid en geeft verklaringen voor te hoge percentages leerlingen met een D- of E-niveau. Zwakke leerlingen lijken nog niet echt een sprong te maken, volgens de directeur. Aan de andere kant is er wel een (verklaarbare) vooruitgang op woordenschat te zien. De school werkt opbrengstgericht, maar resultaten van de pilot zijn op leerlingniveau niet zichtbaar. Volgens de taalcoördinator was de pilot daarvoor ook te kort.  Een school kon op het moment van dataverzameling nog niets zeggen over al dan niet behaalde doelen, omdat de eindtoetsen nog niet verwerkt waren. De directie en IB’er zeiden wel veel positieve geluiden van leerkrachten te horen over de vooruitgang van kinderen, maar de ‘harde cijfers’ waren nog niet bekend.  Een leerkracht van een school die geen opbrengsten van de pilot meet vanwege veel nieuwe instroom zegt wel dat de scores van de eigen groep sterk zijn toegenomen (rekenen voor kleuters: sommigen van D- naar B-niveau). “Hard en opbrengstgericht werken loont. Je past het aanbod aan. Je ziet waar de sterke en zwakke punten liggen en je kunt daar je onderwijs voor de betreffende leerling op aanpassen. De pilot heeft daar toch wel aan bijgedragen door het aanbod aan te passen aan de prestaties”.  Een school die geen opbrengsten op het domein kon meten, had als breder doel dat schoolbreed 80 procent van de leerlingen een score op niveau A, B of C zou behalen op de eindtoetsen Rekenen en Wiskunde. Dat doel is niet volledig (in alle groepen) behaald. De doelen die gesteld waren, waren misschien ook wel wat aan de hoge kant, gezien de scores die op de vorige toetsen zijn behaald, denkt de schoolleider. Er is wel een duidelijke daling te zien in het percentage leerlingen met een score op D- of E-niveau. Ook is er op leerlingniveau een groei van de individuele vaardigheidsscores te zien. De leerkrachten zien positieve effecten van hun andere instructiemethode. Het is lastig te onderscheiden welk deel is toe te schrijven aan de pilot. De school neemt namelijk ook deel aan een andere pilot.

46










Een school die doelen had gesteld op een subdomein, realiseerde zich later dat meting op dat subdomein niet haalbaar was. Er is in de loop van de pilot daarom gekozen om het doel te verbreden naar het gehele domein Rekenen-Wiskunde. De school behaalde op dit domein gemiddelde vaardigheidscores die overeenkomen met de inspectienormen. Ook is het percentage leerlingen met een score op D- en E-niveau het laatste jaar afgenomen. Verder had de school zich in het ontwikkelplan als doel gesteld om 80 procent van de kinderen uit te laten stromen op niveau 1S en om 30 procent uit te laten stromen naar havo-vwo. Beide doelen zijn behaald. De adjunct-schoolleider: “We zijn vooruit gegaan, maar dan komt niet alleen door de pilot, maar ook door andere trajecten, zoals het KBA-verbetertraject.” Een andere school heeft de streefpercentages voor leerlingen met een score op niveau A, B en C op de eindtoetsen Rekenen-Wiskunde niet gehaald. Een mogelijke verklaring die gegeven wordt, is dat de school dit jaar niet alleen heeft gefocust op rekenen, maar ook op taal. Ook de twee weken meivakantie hebben wellicht bijgedragen aan het achterblijven van de scores. Daarnaast heeft de school mogelijk hinder gehad van het relatief laat beginnen van het schooljaar. De eindtoetsen moesten nu (volgens de toetskalender van het Cito) relatief vroeg afgenomen worden. Gevolg is dat de school een andere indeling in onderwijstijd heeft gehad tot aan het toetsmoment in vergelijking met scholen in andere regio’s. Hoewel de streefdoelen per groep niet zijn gehaald, was de vaardigheidsgroei van leerlingen wel overeenkomstig de landelijke vaardigheidsgroei, aldus de school. Op een school is het doel van de pilot verbreed van ‘Meten en meetkunde’ naar het hele domein Rekenen en wiskunde, omdat het subdomein niet te isoleren was en leerlingopbrengsten op dit domein dus niet vastgesteld konden worden. Op basis van analyses van de resultaten op de medio- en eindtoetsen bleken de prestaties op het domein ‘Rekenen en wiskunde’ achteruit gegaan te zijn. Men schrijft dit toe aan de dit jaar gemaakte overstap naar een nieuwe rekenmethode. Doel van de pilot van een laatste school was om 90 procent van de leerlingen voldoende te laten scoren op de methodegeboden toetsen voor rekenen. Een ander doel was om de LOVSresultaten binnen de gestelde normen van de inspectie te krijgen. Op het moment van het interview waren de resultaten van de eindtoetsen nog niet bekend. De adjunct-directeur denkt zelf dat de doelen te ambitieus waren en dat ze niet behaald worden. Op de mediotoetsen was wel een kleine verbetering van de rekenresultaten te zien, maar de resultaten waren nog steeds zwak. Over de oorzaak van het achterblijven van de resultaten is ook gebrainstormd met het team. De school denkt dat het lagere taalniveau van leerlingen een rol speelt. Volgend jaar wordt daarom in teamverband een training gevolgd in rekentaal.

De Asscher-normen Amsterdam streeft ernaar dat alle basisscholen voldoen aan de zogenaamde Asscher-normen: een minimale Cito-score van 534, iedere school geeft minstens 25 procent van haar leerlingen een havo/vwo-advies en niet meer dan 20 procent van de leerlingen heeft een leerachterstand van anderhalf jaar aan het einde van groep 8. Vrijwel alle pilotscholen zijn bekend met de Asschernormen. Op sommige scholen worden die vermoedelijk of zeker (onder meer vanwege de leerlingpopulatie) gehaald, op andere scholen (om diezelfde reden) niet of niet allemaal (bijvoorbeeld niet de gemiddelde Cito-score). Een school geeft bijvoorbeeld aan dat er een kleine groep 8 is met veel LWOO-leerlingen. “Als je die leerlingen meerekent, haal je de Asscher-normen niet.” Ook volgens een andere directeur zijn de gestelde normen niet voor iedere school haalbaar. Bovendien wordt volgens deze directeur de ‘bodem’ steeds verhoogd waardoor “achterstandsscholen achter de norm blijven aanrennen”. Het zou wat de directeur betreft beter zijn als wordt gekeken naar de leerwinst die een school behaald met leerlingen (“Je moet kijken naar de winst die je boekt”) door het niveau van instroom te vergelijken met het niveau van uitstroom.


5.4

47

Conclusies

De doelen in de ontwikkelplannen zijn, indien op leerlingniveau geformuleerd, soms wel, soms deels en soms nauwelijks behaald. Daarvoor zijn verschillende oorzaken te noemen: de (relatief korte) duur van de pilot, te ambitieuze doelen en veranderingen in focus. Opbrengsten zijn bovendien doorgaans niet op het niveau van het domein van de pilot geformuleerd, maar bijvoorbeeld op het brede domein ‘rekenen’. Het is de vraag of het realistisch is te verwachten dat inspanningen op een smal domein zich laten terugzien in vorderingen op een breed domein. De pilot richtte zich bovendien vooral op leerkrachtvaardigheden, maar de effecten daarvan zullen – mede gezien de gedeeltelijke (niet alle instrumenten zijn altijd uitgebreid aan bod gekomen en gebruikt) en gefaseerde implementatie (eerst op kernteamniveau, pas veel later op leerkrachtniveau) – ook niet zo snel op leerlingniveau zichtbaar zijn. Daarbij komt dat er in de scholen ook andere projecten liepen, waaronder de pilot prestatiebeloning net het KBA-verbetertraject. Hierdoor is het ondoenlijk om eventuele vorderingen aan het ene of andere project toe te schrijven. Gezien voorgaande is op onderzoeksvraag 10 (wat zijn de opbrengsten op leerlingniveau?) geen eenduidig antwoord te geven. Wat wel duidelijk is geworden, is dat de scholen over het algemeen goed nadenken over haalbaarheid van doelen en meetbaarheid van interventies en aanpak. Ze analyseren hun toetsgegevens (waarbij sommige scholen opmerken dat vaardigheidsscores meer zeggen dan niveaus), interpreteren deze in het licht van activiteiten op school (andere projecten, verschuiving van focus), van leerlingpopulatie (aantal LWOO-leerlingen) en van specifieke omstandigheden (nieuwe school met veel instroom), zoeken naar verklaringen en vragen zich af waar interventies nodig zijn (‘rekentaal’, speciaal aanbod voor zwakke leerlingen, etc.). Scholen hebben (op enkele na) goed in de gaten of de Asscher-normen voor hen haalbaar (en realistisch) zijn. We kunnen concluderen dat er nog niet veel te zeggen is over opbrengsten op leerlingniveau, maar dat ook duidelijk is waarom dat (nog) niet kan. Wel lijken de voorwaarden voor het verhogen van die opbrengsten (onder meer doelen stellen, selecteren van de juiste lesstof, analyseren van gegevens) al aardig vervuld te zijn.

48


Literatuur Expertgroep Doorlopende leerlijnen Taal en Rekenen (2008). Over de drempels met taal en rekenen. Enschede: SLO. Ledoux, G. & Roeleveld, J. (2011). Zal de invoering van referentieniveaus het niveau van het onderwijs verhogen? Toegepaste Taalwetenschap in Artikelen 86, 2011, 2, 17-24. Inspectie van het Onderwijs (2008). Opbrengstgericht werken in het basisonderwijs. Een onderzoek naar opbrengstgericht werken bij rekenen-wiskunde in het basisonderwijs. Utrecht: Inspectie van het Onderwijs. Kieft, M., Oomens, M., Emmelot, Y. & Ledoux, L. (2012). Tussenevaluatie pilot referentieniveaus. Utrecht: Oberon. Ledoux, G., Overmaat, M., Boogaard, M., Felix, C. & Triesscheijn, B. (2005). Onderwijskansen bekeken. De stand van zaken in het onderwijskansenbeleid. Amsterdam: SCO-Kohnstamm Instituut. Ledoux, G., Blok, H. & Boogaard, M. (2009). Opbrengstgericht werken; over de waarde van meetgestuurd onderwijs. Amsterdam: SCO-Kohnstamm Instituut. Ministerie van OCW (2012). Basis voor Presteren. Naar een ambitieuze leercultuur voor alle leerlingen. Den Haag: Ministerie van OCW Oomens, M., Aarsen, E. van, Eck, P. van & Kieft, M. (2008). Opbrengstgericht werken door scholen voor primair en voortgezet onderwijs. Onderzoek in opdracht van de Onderwijsraad. Utrecht: Oberon Onderwijsraad (2008). Partners in onderwijsopbrengst. Den Haag: Onderwijsraad. Roeleveld, J. & Beguin, A. (2009). Normering van referentieniveaus in het basisonderwijs. Amsterdam/Arnhem: SCO-Kohnstamm Instituut/Cito. Sleegers, P. & Ledoux, G. (2006). Innovatie in het primair onderwijs: strategieën, ervaringen en aanbevelingen. Een literatuurstudie naar werkzame principes. Amsterdam: SCO-Kohnstamm Instituut. Ook op www.schoolaanzet.nl. Visscher, A. & Ehren, M. (2011). De eenvoud en complexiteit van Opbrengstgericht Werken. Analyse in opdracht van de Kenniskamer van het Ministerie van OCW. Enschede: UT, Vakgroep Onderwijsorganisatie en -management Waslander, S. (2007). Leren over innoveren. Overzichtsstudie van wetenschappelijk onderzoek naar duurzaam vernieuwen in het voortgezet onderwijs. Utrecht: VO-Raad.


49

Bijlage 1 Eerste indruk concept pilotinstrumenten Beroepsstandaarden De beroepsstandaarden, ook wel competentieprofielen genoemd, zijn voor de leerkrachten afgeleid van de SBL-competenties, voor de intern begeleider van de landelijke beroepsstandaard voor intern begeleiders en voor de schoolleiders van de NSA-competenties. In alle drie de beroepsstandaarden wordt een onderscheid gemaakt in startbekwaam-vakbekwaam-excellent. Dit wordt gezien als een cumulatieve opbouw (elk volgend niveau houdt tevens het vorige in). De Amsterdamse versie bevat twee soorten aanpassingen/uitbreidingen:  geprobeerd is (met name bij leerkrachten) om specifieke competenties voor het werken met de Amsterdamse leerlingenpopulatie op te nemen (diversiteit, relatief veel achterstandsleerlingen);  de competenties zijn zoveel mogelijk geformuleerd als ‘gedragsindicatoren’ (= waaraan kun je het zien/merken dat iemand de betreffende competentie heeft). Belangrijkste functie van de beroepsstandaarden in het project is volgens het projectplan: operationalisatie van de vaardigheden die nodig zijn voor werken met referentieniveaus. De beroepsstandaarden zijn bedoeld als handvat voor scholen, te gebruiken bij het opstellen van hun ontwikkelplan en als richtlijn/hulpmiddel/meetinstrument bij evalueren in geval van deskundigheidsbevordering. In dit licht de volgende opmerkingen. Positief  Belangrijk pluspunt is de poging om de vrij algemene landelijke competentie-omschrijvingen te vertalen naar observeerbare indicatoren: wat doet iemand die een competentie op een bepaald niveau heeft? Dit geeft scholen houvast bij het beoordelen en bespreken van competenties en het geeft ook concreter dan in de algemene standaarden weer wat van iemand met een bepaald niveau verwacht wordt.  Aansluiting bij de algemene standaarden bevordert de herkenbaarheid in scholen (hier werkt men al mee). Kanttekeningen  De algemene standaarden zijn in hun geheel gevolgd, er is geen selectie gepleegd in het licht van de projectdoelen. Hierdoor gaan de beroepsstandaarden nu over alle aspecten van het onderwijs en niet alleen over opbrengstgericht werken en werken met referentieniveaus. Ze zijn dus te uitvoerig. Nadere selectie van de voor het project meest relevante competenties is nodig. Ons voorstel is dat scholen geadviseerd wordt zich te richten op een aantal competenties: - leerkrachten: accent op de rubrieken pedagogisch competent (2), vakinhoudelijk en didactisch competent (3), organisatorisch competent (4), competent in reflectie en ontwikkeling (7). - intern begeleiders: alle rubrieken zijn relevant (eventueel met uitzondering van 6, samenwerking extern), binnen de rubrieken is wel selectie mogelijk van meer en minder relevante indicatoren. - schoolleiders: accent op rubrieken ontwikkelen/sturen van het primaire proces (1), leidinggeven aan professionals (2), organisatie ontwikkeling (4), organisatiebeleid en -beheer (5), tonen en bevorderen onderzoekende houding (7). Daarbij is met name de competentie aansturen van het primaire proces van belang; bij de overige relevante competenties gaat het om enkele indicatoren.  Het onderscheid startbekwaam-vakbekwaam-excellent is, hoezeer ook algemeen gangbaar in het werkveld, minder gelukkig. Waarom: a. de eisen voor startbekwaam en vakbekwaam zijn vaak inwisselbaar, geen niveauonderscheid;

50




b. excellent is vrijwel alleen gedefinieerd als vraagbaak voor collega’s of rol in het schoolbeleid (dus vooral coaching & middenmanagement) en niet in termen van excellent gedrag in de klas; c. door het vaak vage onderscheid tussen de niveaus zal het als meetinstrument slecht differentiëren en tot veel interpretatieproblemen leiden. De mate van concreetheid is soms schijn: dan zijn alleen de verschillende aspecten van de algemene omschrijving van elkaar losgeknipt en benoemd tot verschillende indicatoren.

Tussendoelen Het belangrijkste criterium voor het project is: is dit instrument een adequaat hulpmiddel bij het stellen en kiezen van doelen voor verschillende leerjaren/leeftijdsgroepen/niveaus. In dit licht hebben wij de volgende opmerkingen. Positief  De tussendoelen zijn waardevolle pogingen om een sequentie van doelen te bepalen, afgeleid van de in de wet gestelde einddoelen (referentieniveaus groep 8).  De tussendoelen zijn qua structuur voor de meeste domeinen helder (opbouw, rubrieken, aandachtspunten).  De tussendoelen zijn waarschijnlijk nuttige hulpmiddelen voor scholen/leerkrachten om te denken in leerlijnen (wat volgt op wat) en in tussendoelen (wanneer moeten leerlingen wat kunnen). Kanttekeningen  Bij de tussendoelen (groep 1 t/m 7) is geen onderscheid gemaakt in 1F en 2F. Er wordt dus geen houvast gegeven voor wat gehaald zou moeten kunnen worden met de meeste leerlingen (1F) en met de sterkere leerlingen (2F). Hooguit kunnen leerkrachten voor het 2F niveau kijken naar het niveau van een hoger leerjaar. Risico bestaat dat bij scholen met veel sterke leerlingen deze tussendoelen leiden tot onderbenutting.  Het is niet altijd goed gelukt om de doelen voor elk leerjaar te laten oplopen in niveau. Identieke doelen komen voor bij verschillende leerjaren of bij verschillende domeinen.  De toedeling van doelen naar leerjaar is soms nogal gekunsteld. Zie bijvoorbeeld de tussendoelen begrippenlijst en taalverzorging (de dubbele punt aanleren in groep 6 en de puntkomma in groep 7? Begrip ‘mening’ in groep 6 en begrip ‘feit’ in groep 8?). Er moet voor gewaakt worden dat scholen deze richtlijnen te rigide gaan opvatten; andere keuzes wat betreft volgorde en tempo dan aangegeven zijn zeker mogelijk.  Als richtlijn voor leerstofselectie zijn de tussendoelen soms nog weinig concreet (verschilt wel per domein).  Toetsbaarheid is een probleem. Het zal voor leerkrachten zoeken worden naar toetsen die passen bij de onderscheiden doelen. Maar een leerkracht die goed observeert en regelmatig individuele instructie en feedback geeft kan wel veel uit eigen observatie beoordelen. Kijkwijzers Er zijn drie kijkwijzers ontwikkeld: versie algemeen, versie taal en versie rekenen.23 De algemene is gebaseerd op de eerste vier domeinen van de beroepsstandaarden leerkrachten. De taalen rekenversies gaan uit van subdomeinen in de beide vakken. De opbouw is steeds dezelfde: voor elke bouw (groep 1/2/3, groep 4/5/6, groep 7/8) worden per subdomein indicatoren vermeld en bijbehorende observeerbare gedragingen. De scoringswijze is niet vermeld, in een eerdere versie die we gezien hebben wel: er kon gescoord worden met +, - of nvt. De vraag is of deze antwoordcategorieën voldoende differentiëren. 23

Bij de conceptinstrumenten was nog sprake van drie kijkwijzers. De kijkwijzers voor taal en rekenen zijn niet gebruikt in de pilot. De concepten zijn aanzienlijk aangepast en onder een andere naam aan de scholen verspreid. Het betreft de checklists voor taal en rekeken. Deze checklists behoren niet tot de officiële pilotinstrumenten.


51

De functie van de kijkwijzers in het project: de bedoeling is dat intern begeleiders en/of schoolleiders de kijkwijzers gebruiken om leerkrachten te observeren tijdens een klassebezoek. Vandaar het accent op observeerbare gedragingen. Het idee is dat dit drie keer gebeurt: nulmeting, voortgangsmeting en borging. De uitkomsten moeten voor de school ondersteunend zijn voor competentiemanagement (identificeren van onderwerpen waarop deskundigheid verhoogd moet worden, evalueren van deskundigheidsgroei). In dit licht de volgende opmerkingen:  Het is ons niet duidelijk hoe de relatie is tussen enerzijds de algemene kijkwijzer en anderzijds de versies voor taal en rekenen. Welke moeten de scholen gebruiken: de algemene én één voor taal of rekenen?  Bij de vakinhoudelijke/didactische competentie ontbreekt feedback geven op resultaat.  De relatie tussen de indicatoren uit de algemene kijkwijzer en de indicatoren uit de beroepsstandaard leerkrachten is niet geheel duidelijk. De beroepstandaard zou als uitgangspunt genomen kunnen worden in die zin dat de indicatoren daaruit in de algemene kijkwijzer worden uitgewerkt in observeerbaar gedrag.  Een deel van de indicatoren in de algemene kijkwijzer is niet tijdens de les observeerbaar. Dat zijn de indicatoren in domein 4 (organisatorisch competent) die betrekking hebben op afname van toetsen, volgen van de ontwikkeling, analyse van vorderingen, administratie van vorderingen. Om deze te kunnen scoren moet dus iets anders gebeuren dan alleen lesobservatie.  De algemene kijkwijzer zou beperkt kunnen worden tot de domeinen pedagogisch competent, vakinhoudelijk/didactisch competent en organisatorisch competent. Het domein interpersoonlijk component is te weinig specifiek voor het onderwerp van het project (wel een algemene voorwaarde voor goed onderwijs, maar dat is niet wat we hier willen weten of volgen). De overige drie domeinen bevatten verder indicatoren die meer/minder relevant zijn voor opbrengstgericht werken. Hier zou dus afslanking kunnen plaatsvinden (minder relevante indicatoren er uit).  De kijkwijzers rekenen en taal vertonen een aantal inconsistenties. Soms passen de indicator en de observeerbare gedraging niet goed bij elkaar. Bijvoorbeeld: ‘kennis van rekendoelen/taaldoelen zoals uitgewerkt binnen de referentieniveaus’ (indicator) kun je niet afmeten aan het al dan niet vermelden van een lesdoel aan de leerlingen (observeerbaar gedrag). Dit type kennis is niet rechtstreeks observeerbaar, maar moet je op een andere manier vaststellen. Soms zijn vermelde gedragswijzen te willekeurig. Bijvoorbeeld: ‘biedt de leerlingen die ondersteuning die ze nodig hebben bij rekenen’(indicator) kun je niet afmeten aan het aanleren van over het tiental heen tellen. Misschien hebben leerlingen wel heel iets anders nodig. En misschien gaat de geobserveerde les over heel iets anders. Sommige gedragingen zijn niet observeerbaar binnen één les. Bijvoorbeeld: ‘oefent regelmatig het benoemen en schrijven van getallen’, ‘besteedt dagelijks aandacht aan automatiseren’. Deze vakspecifieke kijkwijzers lijken te hinken op twee gedachten: er staan veel aanwijzingen voor goed reken- of taalonderwijs in, maar dit zijn niet allemaal observeerbare categorieën (verschilt nog wel per vak en subdomein). De relevantie voor opbrengstgericht werken/werken met referentieniveaus is hier minder duidelijk dan bij de algemene kijkwijzer. Wat meet je met deze Kijkwijzers? Of leerkrachten vakdidactisch gezien voldoende verantwoord taalen rekenonderwijs geven? Of gaat het om een toespitsing van de algemene werkwijze op de twee vakgebieden, voor die onderwerpen die relevant zijn voor opbrengstgericht werken? Het eerste lijkt meer het geval dan het tweede.

52


Bijlage 2 Digitale kijkwijzer De kijkwijzer voor leerkrachten bestaat uit vier competenties. Elke competentie is uitgewerkt in meerdere indicatoren, die op hun beurt weer zijn uitgewerkt in kijkpunten voor observeerbaar gedrag (subindicatoren). Voor de pilot is een selectie gemaakt van drie competenties en van 24 indicatoren en bijbehorende subindicatoren die essentieel zijn voor opbrengstgericht werken met referentieniveaus. Van deze ingedikte kijkwijzer is een invulformulier gemaakt en een digitaal instrument voor het verwerken van de ingevulde gegevens. Op het invulformulier dient elk kijkpunt van observeerbaar gedrag gescoord te worden in een van onderstaande drie categorieën:  NW: het betreffende gedrag is tijdens de les niet waargenomen;  W: het betreffende gedrag is tijdens de les wel waargenomen;  NVT: het betreffende gedrag is tijdens deze les niet van toepassing. Nadat al het observeerbaar gedrag gescoord is op het invulformulier worden de antwoorden ingevoerd in de digitale kijkwijzer. Deze digitale kijkwijzer biedt drie overzichten waarmee de gegevens geanalyseerd en geïnterpreteerd kunnen worden:  formulier per meting;  leerkrachtrapportage;  schoolrapportage. Conform afspraken met de opdrachtgever hebben we de wijze waarop de kijkwijzer is gedigitaliseerd onderzocht. We bespreken hieronder de belangrijkste bevindingen. Deze bevindingen zijn te beschouwen als aandachtspunten voor een mogelijke herziening van de digitale kijkwijzer. Antwoordcategorieën De kijkwijzer heeft drie antwoordcategorieën per subindicator (kijkpunt), twee inhoudelijke en een categorie “niet van toepassing”. De betekenis van de inhoudelijke categorieën is niet eenduidig. Als voorbeeld geven we hier de subindicator “geeft feedback op de wijze waarop leerlingen tot hun antwoord komen”. Als deze subindicator gescoord wordt als “waargenomen” is daarmee niet bekend of het waargenomen gedrag van goede of slechte kwaliteit is. Door de gekozen benaming van de inhoudelijke antwoordcategorieën is na het invullen van de kijkwijzer niet duidelijk of een leerkracht op bepaalde subindicatoren goed of minder goed functioneert. Formulier per meting Dit is een formulier per leerkracht dat een overzicht geeft van alle antwoorden per meting. De competenties, indicatoren en subindicatoren staan in het formulier in een andere volgorde dan in het invulformulier en in de andere twee rapportages. Dit werkt niet overzichtelijk. Leerkrachtrapportage en schoolrapportage In de leerkrachtrapportage staan per leerkracht en per meting percentages per indicator en per competentie vermeld. In de schoolrapportage worden de percentages per indicator en per competentie van alle leerkrachten op een school gecombineerd tot percentages voor de school. De percentages per indicator worden berekend door het aantal waargenomen subindicatoren te delen door het totaal van het aantal waargenomen en niet waargenomen subindicatoren en vervolgens te vermenigvuldigen met 100. Subindicatoren die gescoord zijn als “niet van toepassing” blijven bij het berekenen van de percentages buiten beschouwing. Het is opmerkelijk dat er geen ondergrens is gesteld aan het aantal subindicatoren waarop het percentage berekend wordt. Zelfs als bijvoorbeeld acht van de negen subindicatoren niet van toepassing zijn, wordt een percentage berekend. Een ander nadeel van de rekenmethode is dat het voor het percentage een zeer essentieel verschil maakt


53

of een subindicator gescoord wordt als “niet waargenomen” of als “niet van toepassing”, terwijl deze twee categorieën voor de invullers van de kijkwijzer vrij dicht bij elkaar liggen. Ter verduidelijking geven we een voorbeeld:  2 x W en 3 x NW → 40%  2 x W en 3 x NVT → 100% De percentages per competentie en per school worden op vergelijkbare wijze berekend als die van de indicatoren. Alle gescoorde subindicatoren (van alle leerkrachten) worden meegenomen in de berekening. Het gevolg hiervan is dat indicatoren en leerkrachten waarbij veel items als “niet van toepassing” zijn gescoord veel minder zwaar meetellen voor de gemiddelden dan indicatoren/leerkrachten waarbij weinig subindicatoren niet van toepassing zijn. De vraag is of dat gerechtvaardigd is; zijn er inhoudelijke redenen waardoor bepaalde subindicatoren dan wel leerkrachten meer invloed hebben dan andere? Verder zien we twee tekortkomingen in de wijze waarop de percentages van de indicatoren worden weergegeven in de rapportages. Indicatoren waarbij alle subindicatoren zijn gescoord als “niet van toepassing” zijn niet opgenomen in de rapportage. Hierdoor geeft de rapportage geen volledig beeld. Ten tweede wordt het percentage 0 weergegeven als -. Gecombineerd leiden bovengenoemde bevindingen ertoe dat de percentages voor leerkrachten soms ‘onherkenbaar’ zijn, te meer daar op de website van de digitale kijkwijzer geen toelichting van de berekeningswijzen is opgenomen. Als voorbeeld presenteren we een deel uit een rapportage op leerkrachtniveau. Tabel B.1

Voorbeeld uit een rapportage score per meting op leerkrachtniveau

organisatorische competentie 02 Besteedt de geplande tijd daadwerkelijk aan het lesdoel 03 Laat de les verlopen volgens een adequate planning 08 Observeert regelmatig en neemt regelmatig toetsen af

59% 86% -

09 Volgt de sociaal-emotionele ontwikkeling

100%

10 Analyseert gegevens over de vorderingen van leerlingen

100%

Uit bovenstaande tabel wordt niet duidelijk dat:  de indicatoren “Administreert de vorderingen overzichtelijk in de groepsadministratie” en “Voert een inzichtelijke en overdraagbare groepsadministratie” ontbreken omdat alle subindicatoren gescoord zijn als “niet van toepassing”;  de twee indicatoren waar een - staat een score van 0 procent hebben. Als gevolg van dit tweede punt is het niet duidelijk hoe het komt dat de score van de competentie aanzienlijk lager ligt dan de drie percentages van de indicatoren die zijn opgenomen in de tabel. Tot slot bevatten de leerkrachtrapportage en de schoolrapportage een normering:  een score hoger of gelijk aan 75% wordt beoordeeld als voldoende/goed;  een score lager dan 75% wordt beoordeeld als zwak/onvoldoende. Het is niet duidelijk waarop deze normering gebaseerd is. Vanwege de eerder genoemde kanttekeningen bij het berekenen van de percentages, vragen wij ons bovendien af of deze normering voldoende recht doet aan het handelen van leerkrachten en de dagelijkse praktijk op de scholen.

54


Bijlage 3 Resultaten competentiemeting Onderstaand presenteren we de resultaten van de competentiemeting voor schoolleiders, intern begeleiders en leerkrachten per competentie in een tabel. Per item geven we de absolute aantallen en het gemiddelde weer.24 Competenties schoolleiders (beoordeeld door experts) Tabel B.2

Competent in organisatieontwikkeling, -beleid en –beheer Doet/kan dit

De schoolleider

slecht onvoldoende

gem.

matig voldoende goed

stelt plannen op voor de te behalen leerlingresultaten

0

0

0

3

7

4,70

geeft in de plannen de uit te voeren activiteiten aan

0

0

0

3

7

4,70

beschrijft in de plannen de verantwoordelijkheidsverdeling

0

0

2

4

4

4,20

beschrijft in de plannen de benodigde middelen

0

0

0

5

5

4,50

creëert draagvlak voor de plannen bij het team

0

0

1

4

5

4,40

controleert tussentijds de uitvoering van de plannen

0

0

2

4

4

4,20

evalueert in welke mate de gestelde doelen gerealiseerd zijn

0

0

2

4

4

4,20

bespreekt de voortgang van de plannen met het team

0

0

1

6

3

4,20

zoekt samen met het team naar verbetermogelijkheden

0

0

2

4

4

4,20

Tabel B.3

Competent in zelfsturing Doet/kan dit

De schoolleider

slecht onvoldoende

gem.


staat positief tegenover opbrengstgericht werken en werken met referentieniveaus

0

0

1

1

8

4,70

kan eigen opvattingen over opbrengstgericht werken en werken met referentieniveaus goed verwoorden

0

0

0

1

9

4,90

wil eigen functioneren steeds verbeteren en denkt na over hoe dat kan

0

0

1

4

5

4,40

werkt aan eigen professionele ontwikkeling vanuit eigen leerdoelen

0

0

1

4

5

4,40

stemt eigen ontwikkeling af op schooldoelen uit ontwikkelplan

0

0

2

4

4

4,20

vraagt feedback en gebruikt die voor verbetering eigen functioneren

0

0

3

3

4

4,10

reflecteert op eigen gedrag

0

0

3

3

4

4,10

24

Voor het berekenen van het gemiddelde hebben we de volgende waarden gebruikt: 1=slecht, 2=onvoldoende, 3=matig, 4=voldoende en 5 =goed.


55

Tabel B.4. Competent in het tonen van een onderzoekende houding Doet/kan dit De schoolleider

slecht onvoldoende

gem.


verzamelt (samen met de intern begeleider) gegevens over de leeropbrengsten

0

0

0

2

8

4,80

analyseert (samen met de intern begeleider) op vaste tijden de resultaten van leerlingen op schoolniveau

0

0

0

4

6

4,60

vergelijkt de behaalde resultaten met de gestelde doelen

0

0

1

3

6

4,50

trekt op basis van de analyses conclusies voor de gestelde doelen

0

0

2

1

7

4,50

trekt op basis van de analyses conclusies voor de schoolbrede aanpak

0

0

1

2

7

4,60

bespreekt de behaalde resultaten met het team

0

0

0

5

5

4,50

ondersteunt leerkrachten bij het vertalen van de behaalde resultaten naar acties

0

0

1

3

6

4,50

Tabel B.5

Competent in het ontwikkelen, aansturen en begeleiden van het primaire proces Doet/kan dit

De schoolleider

slecht onvoldoende

gem.


formuleert SMART-doelen voor de te behalen leerlingresultaten op schoolniveau

0

0

1

2

7

4,60

stelt per groep tussenen einddoelen op

0

0

1

7

2

4,10

maakt bij de tussenen einddoelen een onderscheid in minimum-, streef- en extra doelen

0

0

4

3

3

3,90

bespreekt de behaalde leerlingresultaten met het team

0

0

0

6

4

4,40

bespreekt de mogelijkheden om de leerlingresultaten te verhogen met het team

0

0

1

2

7

4,60

56


Tabel B.6

Competent in leidinggeven aan professionals Doet/kan dit

De schoolleider

slecht onvoldoende

gem.


stimuleert bij leerkrachten een onderzoekende houding

0

0

1

2

7

4,60

spreekt leerkrachten aan op het realiseren van hoge opbrengsten

0

0

0

2

8

4,80

observeert het handelen van leerkrachten in de klas

0

0

0

3

7

4,70

geeft teamleden feedback zodat zij hun handelen kunnen verbeteren

0

0

0

3

7

4,70

creëert daarbij een open en op leren gerichte sfeer

0

0

1

4

5

4,40

organiseert intervisiebijeenkomsten en collegiale consultatie

0

0

3

4

3

4,00

organiseert daar waar nodig deskundigheidsbevordering

0

0

0

3

7

4,70

geeft/organiseert daar waar nodig begeleiding

0

0

0

3

7

4,70

bevordert het bespreken van sterke en zwakke kanten van het onderwijs in de groepen

0

0

1

4

5

4,40

ondersteunt leerkrachten bij het plannen en organiseren van hun onderwijs

0

0

0

5

5

4,50

Tabel B.7

Overzicht totaal aantal oordelen en gemiddeld oordeel op alle items per schoolleider, bij tussenen eindmeting slecht

onvoldoende

matig

voldoende

goed

gem.

tussen eind tussen eind tussen eind tussen eind tussen eind tussen eind schoolleider 1

0

0

0

0

0

0

4

0

34

38

4,89

5,00

schoolleider 2

0

0

0

0

0

0

4

0

34

38

4,89

5,00

schoolleider 3

0

0

0

0

0

0

7

5

31

33

4,82

4,87

schoolleider 4

0

0

0

0

0

2

5

9

33

27

4,87

4,66

schoolleider 5

0

0

2

0

3

5

18

15

15

18

4,21

4,34

schoolleider 6

0

0

0

0

0

0

4

26

34

12

4,89

4,32

schoolleider 7

0

0

0

0

4

8

11

13

23

17

4,50

4,24

schoolleider 8

0

0

0

0

5

2

28

29

5

7

4,00

4,13

schoolleider 9

0

0

2

0

17

10

14

16

5

12

3,58

4,05

schoolleider 10

3

0

22

0

12

12

1

17

0

9

2,29

3,92

schoolleider 11

0

-

0

-

2

-

12

-

24

-

4,58

-

schoolleider 12

0

-

0

-

0

-

17

-

21

-

4,55

-

schoolleider 13

0

-

0

-

2

-

22

-

14

-

4,32

-

4,29

4,45

25

totaal

25

Verschil in gemiddelde score van tussenen eindmeting is niet significant.


57

Competenties intern begeleiders (beoordeeld door schoolleiders) Tabel B.8

Andragogisch competent Doet/kan dit

De intern begeleider

slecht onvoldoende

gem.


stimuleert bij leerkrachten een onderzoekende houding

0

0

0

6

4

4,40

spreekt leerkrachten aan op het realiseren van hoge opbrengsten

0

0

0

5

5

4,50

observeert het handelen van leerkrachten in de klas

0

1

1

3

5

4,20

geeft teamleden feedback zodat zij hun handelen kunnen verbeteren

0

0

1

4

5

4,40

creëert daarbij een open en op leren gerichte sfeer

0

0

1

5

4

4,30

ondersteunt leerkrachten bij het rekening houden met verschillen tussen leerlingen

0

0

1

4

5

4,40

ondersteunt leerkrachten bij het afstemmen van hun onderwijsaanbod op de tussenen einddoelen

0

0

1

6

3

4,20

adviseert leerkrachten in het gebruik van ondersteunend materiaal

0

0

1

4

5

4,40

Tabel B.9

Methodologisch competent Doet/kan dit

De intern begeleider

slecht onvoldoende

gem.


verzamelt op basis van de groepsadministraties toetsen andere resultaten van alle leerlingen

0

0

0

6

4

4,40

onderkent vroegtijdig afwijkingen in de ontwikkeling van leerlingen

0

0

1

6

3

4,20

analyseert op vaste tijden de resultaten van leerlingen op groepsniveau

0

0

0

4

6

4,60

analyseert op vaste tijden de resultaten van leerlingen op schoolniveau

0

0

0

5

5

4,50

betrekt bij deze analyses ook de gegevens uit voorgaande perioden/jaren

0

0

1

5

4

4,30

kan de gegevens en de analyses op de juiste wijze interpreteren

0

0

1

5

4

4,30

kan op basis van de analyses problemen of stagnaties signaleren

0

0

1

5

4

4,30

vergelijkt de behaalde resultaten met de gestelde doelen

0

0

1

5

4

4,30

trekt op basis van de analyses conclusies voor de gestelde doelen

0

0

1

4

5

4,40

trekt op basis van de analyses conclusies voor de schoolbrede aanpak

0

0

2

5

3

4,10

ondersteunt leerkrachten bij het vertalen van de behaalde resultaten naar acties

0

0

2

4

4

4,20

58


Tabel B.10 Beheersmatig en organisatorisch competent Doet/kan dit De intern begeleider

slecht onvoldoende

gem.


beschrijft schoolbreed de doorlopende leerlijnen voor taal/rekenen, in het bijzonder voor het domein dat op onze school centraal staat in de pilot

0

0

3

4

3

4,00

stemt de toetskalender af op de tussenen einddoelen

0

0

0

3

7

4,70

ziet toe op naleving van de toetskalender door leerkrachten

0

0

0

2

8

4,80

stelt procedures op voor het voeren van een zorgvuldige groepsadministratie

0

0

0

6

4

4,40

ondersteunt leerkrachten bij het voeren van een zorgvuldige groepsadministratie

0

0

2

6

2

4,00

voert een zorgvuldige schooladministratie van leerlingresultaten

0

0

1

5

4

4,30

begeleidt leerkrachten bij het opstellen van groepsen handelingsplannen

0

0

1

4

5

4,40

ondersteunt leerkrachten bij het evalueren van groepsen handelingsplannen

0

0

1

4

5

4,40

Tabel B.11 Competent in zelfreflectie en ontwikkeling Doet/kan dit De intern begeleider

slecht onvoldoende

gem.



0

0

0

4

6

4,60

kan eigen opvattingen over opbrengstgericht werken en werken met referentieniveaus goed verwoorden

0

0

1

5

4

4,30


0

0

0

4

6

4,60

werkt een eigen professionele ontwikkeling vanuit eigen leerdoelen

0

0

1

4

5

4,40


0

0

1

6

3

4,20


0

0

1

5

4

4,30


0

0

1

5

4

4,30


59

Tabel B.12 Overzicht totaal aantal oordelen en gemiddeld oordeel op alle items per intern begeleider, bij tussenen eindmeting slecht

onvoldoende

matig

voldoende

goed

gem.

tussen eind tussen eind tussen eind tussen eind tussen eind tussen eind IB’er 1

0

0

0

0

0

0

11

0

23

34

4,68

5,00

IB’er 2

0

0

0

0

3

0

14

4

17

30

4,41

4,88

IB’er 3

0

0

0

0

1

0

14

9

19

25

4,53

4,74

IB’er 4

0

0

0

0

0

0

22

10

12

24

4,35

4,71

IB’er 5

0

0

0

0

0

1

11

26

23

7

4,68

4,18

IB’er 6

0

0

0

0

0

0

19

32

15

2

4,44

4,06

IB’er 7

0

0

0

0

7

4

25

26

2

4

3,85

4,00

IB’er 8

0

0

0

1

14

22

17

11

2

0

3,64

3,29

IB’er 9

-

0

-

0

-

2

-

10

-

22

-

4,59

IB’er 10

-

0

-

0

-

0

-

30

-

4

-

4,12

IB’er 11

0

-

0

-

8

-

25

-

1

-

3,79

-

IB’er 12

0

-

2

-

8

-

21

-

3

-

3,74

-

-

-

-

-

-

-

-

-

-

-

4,32

4,36

26

totaal

Competenties leerkrachten (beoordeeld door intern begeleiders) Tabel B.13 Pedagogisch competent Doet/kan dit De leerkracht

slecht onvoldoende

gem.


geeft expliciet blijk van hoge verwachtingen van alle leerlingen

0

0

1

7

14

4,59

heeft zicht op de capaciteiten en mogelijkheden van leerlingen

0

0

1

6

16

4,65

26


60


Tabel B.14 Vakinhoudelijk en didactisch competent: doelen stellen en hanteren Doet/kan dit De leerkracht

slecht onvoldoende

gem.


kent de opbouw van de leerinhouden voor taal/rekenen in leerlijnen, in het bijzonder voor het domein dat op onze school centraal staat in de pilot

0

0

2

10

11

4,39

kent de tussenen einddoelen voor taal/rekenen, in het bijzonder voor het domein dat op onze school centraal staat in de pilot

0

0

3

12

8

4,22

stelt op basis van de tussen- of einddoelen plannen (groep en/of individueel) op

0

0

2

10

11

4,39

formuleert doelen op basis van de plannen (groep en/of individueel)

0

0

1

9

13

4,52

maakt bij de doelen een onderscheid in minimum-, streef- en extra doelen

0

1

4

11

7

4,04

verduidelijkt bij het begin van de les de lesdoelen

0

0

1

6

16

4,65

stemt het onderwijsaanbod af op de doelen

0

0

0

9

14

4,61

gaat na of de doelen bereikt zijn

0

0

0

11

12

4,52

Tabel B.15 Vakinhoudelijk en didactisch competent: differentiëren Doet/kan dit De leerkracht

slecht onvoldoende

gem.


stemt het onderwijsaanbod af op verschillen tussen leerlingen

0

0

0

10

13

4,57

stemt instructie af op relevante verschillen tussen leerlingen

0

1

0

11

11

4,39

stemt verwerking af op relevante verschillen tussen leerlingen

0

0

2

8

13

4,48

biedt zwakke leerlingen extra instructietijd

0

0

0

2

21

4,91

Tabel B.16 Vakinhoudelijk en didactisch competent: Instructie, strategieën en feedback Doet/kan dit De leerkracht

slecht onvoldoende

gem.


hanteert de principes van directe instructie

0

0

0

8

15

4,65

geeft duidelijke uitleg over de leerstof en opdrachten

0

0

0

4

19

4,83

laat leerlingen hardop denken

0

0

3

11

9

4,26

leert leerlingen strategieën voor denken en leren

0

0

5

8

10

4,22

laat leerlingen reflecteren op oplossingsstrategieën

0

0

6

9

8

4,09

stimuleert het gebruik van controleactiviteiten

0

0

3

11

9

4,26

geeft feedback aan leerlingen

0

0

2

8

13

4,48


61

Tabel B.17 Organisatorisch competent Doet/kan dit De leerkracht

slecht onvoldoende

gem.


neemt op de afgesproken momenten methodegebonden toetsen af

0

0

0

3

20

4,87

neemt op de afgesproken momenten Cito-LOVStoetsen af

0

0

0

0

23

5,00

registreert toetsen/of observatiegegevens zorgvuldig

0

0

0

2

21

4,91

analyseert op vaste tijden de resultaten van alle leerlingen op individueel niveau

0

0

1

7

15

4,61

analyseert op vaste tijden de resultaten van alle leerlingen op groepsniveau

0

0

1

8

14

4,57

betrekt bij deze analyses ook de gegevens uit voorgaande perioden/jaren

0

0

4

6

13

4,39

kan de gegevens en de analyses op de juiste wijze interpreteren

0

0

3

8

12

4,39

vraagt hierover bij twijfel hulp of feedback van collega’s of de IB’er

0

0

1

7

15

4,61

kan op basis van de analyses problemen of stagnaties signaleren

0

0

3

6

14

4,48

stelt een (handelings)plan op voor de aanpak van zulke problemen

0

0

2

7

14

4,52

voert het opgestelde plan uit

0

0

0

8

15

4,65

evalueert het opgestelde plan

0

0

3

7

13

4,43

Tabel B.18 Competent in reflectie en ontwikkeling Doet/kan dit De leerkracht

slecht onvoldoende

gem.



0

0

0

7

16

4,70


0

0

0

4

19

4,83

analyseert resultaten van leerlingen met dit doel (niet omdat het ‘moet’)

0

1

0

8

14

4,52

werkt aan eigen professionele ontwikkeling vanuit eigen leerdoelen

0

0

1

6

16

4,65


0

0

3

7

13

4,43


0

0

2

8

13

4,48

stelt zich open op bij het bespreken van leeropbrengsten

0

0

0

7

16

4,70


0

0

3

7

13

4,43

62


Tabel B.19 Overzicht totaal aantal oordelen en gemiddeld oordeel op alle items per leerkracht, bij tussenen eindmeting slecht

onvoldoende

matig

voldoende

goed

gem.

tussen eind tussen eind tussen eind tussen eind tussen eind tussen eind leerkracht 1

0

0

0

0

0

0

11

1

30

40

4,73

4,98

leerkracht 2

0

0

0

0

0

0

0

2

41

39

5,00

4,95

leerkracht 3

0

0

0

0

0

0

9

2

32

39

4,78

4,95

leerkracht 4

0

0

0

0

0

0

9

2

32

39

4,78

4,95

leerkracht 5

0

0

0

0

0

0

17

3

24

38

4,59

4,93

leerkracht 6

0

0

0

0

0

0

22

3

19

38

4,46

4,93

leerkracht 7

0

0

0

0

0

0

25

4

16

37

4,39

4,90

leerkracht 8

0

0

0

0

0

1

9

4

32

36

4,78

4,85

leerkracht 9

0

0

0

0

0

0

7

6

34

35

4,83

4,85

leerkracht 10

0

0

0

0

1

0

25

10

15

31

4,34

4,76

leerkracht 11

0

0

0

0

6

3

17

6

18

32

4,29

4,71

leerkracht 12

0

0

0

0

2

0

27

15

12

26

4,24

4,63

leerkracht 13

0

0

0

0

2

2

19

19

20

20

4,44

4,44

leerkracht 14

0

0

0

0

3

0

13

28

25

13

4,54

4,32

leerkracht 15

0

0

0

0

0

1

21

28

20

12

4,49

4,27

leerkracht 16

0

0

0

0

1

2

31

34

9

5

4,20

4,07

leerkracht 17

1

0

0

0

12

6

26

30

2

4

3,68

3,95

leerkracht 18

0

0

0

0

9

11

21

21

11

9

4,05

3,95

leerkracht 19

0

0

0

1

8

14

27

18

6

8

3,95

3,80

leerkracht 20

0

0

0

2

4

11

15

24

22

4

4,44

3,73

leerkracht 21

-

0

-

0

-

2

-

10

-

29

-

4,66

leerkracht 22

-

0

-

0

-

3

-

14

-

24

-

4,51

leerkracht 23

-

0

-

0

-

7

-

20

-

14

-

4,17

leerkracht 24

0

-

0

-

0

-

1

-

40

-

4,98

-

leerkracht 25

0

-

0

-

0

-

5

-

36

-

4,88

-

leerkracht 26

0

-

0

-

0

-

8

-

33

-

4,80

-

leerkracht 27

0

-

0

-

5

-

26

-

10

-

4,12

-

leerkracht 28

0

-

0

-

5

-

31

-

5

-

4,00

-

leerkracht 29

0

-

0

-

12

-

28

-

1

-

3,73

-

leerkracht 30

0

-

0

-

0

-

14

-

15

-

-

-

leerkracht 31

0

-

0

-

0

-

31

-

8

-

-

-

leerkracht 32

0

-

0

-

0

-

37

-

2

-

-

-

4,45

4,55

27

totaal

27


Evaluatie pilot project referentieniveaus

Recommend Documents