I-Probenet. Comenius 3 netwerk over zelfevaluatie op school MAAK EEN SPIEGEL VOOR UW SCHOOL

I-Probenet Comenius 3 netwerk over zelfevaluatie op school

MAAK EEN SPIEGEL VOOR UW SCHOOL

INHOUD

2

VOORWOORD I-Probenet

2 2

1 ZELFEVALUATIE: ACHTERGROND EN CONCRETISERING DE ACHTERGROND VAN ZELFEVALUATIE De geschiedenis van onderwijsevaluatie Zelfevaluatie en autonomie van scholen Zelfevaluatie en leren Autonomie, autonoom leren en zelfevaluatie Evaluatie en belangen Implicaties EEN RAAMWERK VOOR ZELFEVALUATIE Niveaus van zelfevaluatie DE INHOUD VAN EEN ZELFEVALUATIE Inhoudelijke planning van een zelfevaluatie

4 4 4 4 5 6 6 6 8 9 12 14

2 GEZOCHT:VRUCHTBARE RELATIE TUSSEN INTERNE EN EXTERNE EVALUATIE Inleiding 1. Interne en externe evaluatie 2. De ESSE-landen op zoek naar een evenwicht tussen interne en externe evaluatie. 3. Het evenwicht tussen interne en externe relatie in de toekomst?

15 15 16 17 34

3 WAT MAAKT ZELFEVALUATIE SUCCESVOL? 1. Evaluatie is niet alleen een techniek, maar ook een proces 2. Deelname van docenten aan zelfevaluatie en het gevoel dat het iets van henzelf is, is ontzettend belangrijk. 3. Docenten worden gerustgesteld door verplichting, vaardigheid en bereidheid. 4. Bespreken van contracten voor het zelfevaluatieproces is noodzakelijk. 5. Er moet gezorgd worden voor reflectie in een constructieve cultuur van communicatie. 6.Vertrouwen in het beheer van het proces, vooral op het gebied van energie 7. Zelfevaluatie moet zichtbare effecten hebben.

38 38

4 HET VERBETEREN VAN DE LESPRAKTIJK DOOR ‘ACTION RESEARCH’.

45

5 MOMENTOPNAMES VAN ZELFEVALUATIE Kinderen in het centrum van zelfevaluatie Leerkrachten in het middelpunt van zelfevaluatie Zelfevaluatie van schoolhoofden en de school als organisatie Zelfevaluatie van projecten

48 48 59 66 82

6 KIJK IN UW EIGEN SPIEGEL

88

39 40 41 41 43 43

VOORWOORD I-Probenet Zelfevaluatie is een noodzakelijke stap naar kwaliteitsverbetering in het onderwijs. Het introduceren van een cultuur van zelfevaluatie op school is niet gemakkelijk. Het zou moeten plaatsvinden in een open, participatieve, democratische atmosfeer.Voor de meeste landen en scholen is deze cultuur van zelfevaluatie nieuw. Het introduceren vereist dan ook de juiste kennis, het juiste materiaal en de juiste strategieën. Anderzijds is een massa aan ervaring beschikbaar in sommige landen, in sommige scholen en voor sommige aspecten en domeinen. Dit alles samenbrengen om ervaringen te delen, bruikbaar materiaal uit te wisselen en verdere Europese samenwerking in dit veld te genereren, is het hoofddoel van I-Probenet. I-Probenet is een Comenius 3 thematisch netwerk. Het creëert kansen voor de uitwisseling van goede ideeën, goede praktijk en nieuwe contacten door middel van de website, nationale workshops en internationale conferenties. De doelgroep is: schoolleerkrachten, projectcoördinatoren, schoolleiders, docenten uit de lerarenopleiding, beleidsmakers, inspecteurs, academici en andere geïnteresseerden in het proces van zelfevaluatie op school. Zelfevaluatie is een sleutelelement geworden in innovatie op school. Scholen zijn altijd verantwoordelijk geweest voor hun eigen kwaliteit, maar doordat zij in vele landen evolueren naar meer autonomie zou het proces van de zorg voor zulke kwaliteit ingebed moeten worden in het dagelijkse leven van de school. Zelfevaluatie komt ook in de aandacht via het beeld van de school als een lerende organisatie met leerkrachten en administratief personeel die leren uit hun werk en van studenten die geëngageerd zijn in autonoom en levenslang leren. Om het te onderscheiden van externe evaluatie of inspectie wordt zelfevaluatie opgevat als uitgaande van de school zelf, intern georganiseerd en zelf gereguleerd. Het moet de professionalisering van de besluitvorming op school als doel hebben, evenals het verbeteren van de realisatie van de eigen doelen en de kwaliteit van het onderwijs op school. Evaluatieprocessen, waar rekenschap en verantwoording gevraagd worden op basis van externe indicatoren, worden aanzien als extern, zelfs wanneer ze deels intern georganiseerd zijn. Het netwerk organiseerde drie internationale conferenties over zelfevaluatie op school. Gedurende de eerste conferentie: “Creëer een spiegel voor uw school” in Sibiu, Roemenië in september 2002, gaven we aandacht aan instrumenten, stappen en technieken. De tweede conferentie “Zelfevaluatie is een leerproces” in Brdo, Slovenië in september 2003, beklemtoonde de leerprocessen in zelfevaluatie en de school als een lerende organisatie. “Zelfevaluatie is een dialoog” was de titel van de derde conferentie in Graz, Oostenrijk in september 2004. In Graz benadrukten we de sociale processen in zelfevaluatie. Deze drie titels dekken eveneens de visie van de netwerkpartners om zelfevaluatie te zien als een optimale gelegenheid tot leren voor alle betrokkenen en voor de school in zijn geheel. Deze handleiding is een compilatie van geselecteerde artikels, geschreven door netwerkleden, en van presentaties gedaan gedurende de conferenties. Het start met wat theoretische input, maar gaat snel naar

3

praktische richtlijnen en voorbeelden. Hiermee willen we laagdrempelig materiaal aanbieden aan leerkrachten en schoolleiders om hen te helpen het pad van zelfevaluatie te bewandelen. Het is bedoeld als een start, een lokmiddel om te motiveren tot verder lezen en oefenen. Meer theorie, meer richtlijnen en meer voorbeelden kunnen gevonden worden in de ‘library’ en ‘your story’ secties op de netwerkwebsite: www.I-Probenet.net. Het boek is eveneens vertaald in het Engels, Nederlands, Frans, Spaans, Duits, Roemeens, Sloveens en Litouws en kan gratis gedownload worden in .pdf van de netwerkwebsite. Ik zou graag alle partners en leden bedanken voor hun werk en hun bijdragen aan dit boek, en in het bijzonder de leden van de redactieraad: Mary Ann Halton, Marjolijn Smith-Voerman en Chris Williams. Dit is eveneens de juiste plaats om de Europese Commissie te bedanken voor hun financiële steun binnen het Comenius 3 programma en voor hun begeleiding gedurende de levensduur van het netwerk. Als projectmanager van de Landcommanderij Alden Biesen was het voor mij een plezier om dit netwerk, bestaande uit 17 partners uit 10 landen, te coördineren. Het was een uitdaging om zoveel verschillende instellingen, mensen en visies samen te brengen. Bovendien was het ook boeiend om de vele resultaten en het gedane werk te zien en in het bijzonder om deel uit te maken van het leerproces dat de groep gedurende de jaren onderging. Alden Biesen, een cultureel centrum van de Vlaamse Gemeenschap, probeert de ontmoetingsplaats te zijn voor Europeanen en voor internationale samenwerking in onderwijs en cultuur. Het I-Probenet programma heeft zeker bijgedragen tot dat doel. Geniet van het lezen en grasduinen in deze handleiding, laat het een startpunt zijn voor leren.

Guy Tilkin Coördinator I-Probenet

4

Lies Kerkhofs Directeur Alden Biesen

1 ZELFEVALUATIE: ACHTERGROND EN CONCRETISERING Jaap van Lakerveld, Platform Opleiding Onderwijs en Organisatie Universiteit Leiden

DE ACHTERGROND VAN ZELFEVALUATIE De geschiedenis van onderwijsevaluatie Over evaluatie is in de loop der tijden op heel verschillende manieren gedacht. In het verre verleden lag het accent bij evaluaties eigenlijk altijd op het testen van leerlingen. Als meer kinderen hoger scoorden op tests of toetsen dan was daarmee aangetoond dat het onderwijs, dat daartoe geleid had, beter was. Midden vorige eeuw kwamen er de eerste nuanceringen in de benadering van evaluatie. In Amerika raakte de doelstellingenbenadering in voege. Het ging daarbij niet om de vraag hoe goed leerlingen scoorden op tests en toetsen, maar vooral om de vraag of het onderwijs daarmee ook het van te voren geformuleerde doel bereikt had. In de zestiger en zeventiger jaren van de vorige eeuw kwamen er tal van nieuwe evaluatiemodellen en evaluatiebenaderingen bij. Sommige modellen hadden het karakter van beslissingsmodellen. Zij zijn bedoeld om te kunnen beslissen over een gekozen werkwijze (Gaan we thematisch of werken we in afzonderlijke vakken? Willen we onze poging om het curriculum te modulariseren voortzetten of niet? Worden we een huiswerkvrije school of niet?) Andere modellen besteden aandacht aan de dialoog tussen de verschillende betrokkenen, omdat zij evaluatie zien als een middel om de besluitvorming democratisch en transparant te maken. In zulke modellen ligt het accent op het verhelderen van de verschillende invalshoeken van waaruit verschillende betrokkenen (ouders, leerlingen, management) tot hun eveneens verschillende oordelen komen. Er waren ook consumentenmodellen die onderwijsevaluatie zien als een soort klantonderzoek en die zich speciaal richten op de tevredenheid over het geboden onderwijs. Na de hausse van modellen die in deze periode ontstonden, rees het besef dat evaluatie toch vooral effectief was, als het tot conclusies en tot acties zou leiden. Tal van boeken verschenen, die allemaal klaagden over het falen van evaluatie als middel om veranderingen in gang te zetten. Men evalueerde wel, maar deed er vervolgens niks mee. Oplossingen werden gezocht in nog verfijndere modellen en benaderingen met veel aandacht voor werkvormen, methoden en instrumenten.Vragenlijsten en tests werden aangevuld met nieuwe methoden zoals groepsgesprekken, visualisaties en discussievormen. Het denken over evaluatie verschoof de aandacht naar de vraag hoe een evaluatie zo zou kunnen worden opgezet, dat ze een gevoelige snaar raakt bij de mensen en dat de betrokkenen ervan leren en daarnaar handelen. Over deze evaluatieopvatting, en in het bijzonder over de zelfevaluatie die van die opvatting een uitwerking is, gaat dit hoofdstuk. Allereerst wordt beschreven wat de achtergrond is van het begrip zelfevaluatie en hoe die geworteld is in ideeën over bestuur, schoolorganisatie en leren. Daarna volgt een deel, dat een concreet raamwerk biedt voor zelfevaluatie. Stap voor stap wordt uitgelegd, hoe een verantwoord zelfevaluatieplan kan worden opgesteld. In het daarop volgende deel wordt ingegaan op de inhoud van een zelfevaluatie. De overheid stelt eisen aan het onderwijs, ouders doen dat ook. De samenleving hecht op allerlei manieren waarde aan goed onderwijs. Daarom wordt stilgestaan bij indicatoren van kwaliteit en de terreinen waarop die indicatoren betrekking hebben. Het hoofdstuk wordt afgerond met een reeks van vuistregels die iedere zelf-evaluator in acht zou moeten nemen, om de kans op een leerzame en effectieve en motiverende zelfevaluatie te vergroten.

Zelfevaluatie en autonomie van scholen In heel Europa heeft zich in de afgelopen decennia een tendens afgespeeld in de richting van een vergroting van de autonomie van scholen. In Nederland, waar ooit de strijd om de vrijheid van onderwijs gewoed heeft, was de autonomie van scholen met het oog op het garanderen van die vrijheid van oudsher vrij groot. Nederland, dat nooit voorop heeft gelopen in processen van onderwijsvernieuwing, bleek in dit opzicht opeens een voorloper te

5

zijn. Toch kon ook daar de autonomie nog vergroot worden en dat is ook gebeurd. Het gevolg is een verandering van de rol van de school. Schooldirecteuren en rectoren zijn meer leiders en managers die bepalen wat de koers van de school moet zijn. De toenemende vrijheidsgraden om eigen keuzes te maken, vergroten echter wel de noodzaak voor scholen om zich te verantwoorden. Die verantwoording is nodig in velerlei richtingen. Scholen moeten transparant zijn naar ouders toe en met elkaar concurreren. Scholen moeten aan de inspectie hun keuzes duidelijk maken en ook hoe die keuzes zich vertalen in kwaliteit. De inspecteur is niet langer een schoolopziener die de school controleert volgens standaardcriteria. De inspectie is uitgegroeid tot een instantie die samen met anderen (accreditatiecommissies, beroepenveld commissies en visitatiecommissies) de dialoog zoekt om te begrijpen hoe scholen functioneren en die daarover een kwaliteitsdebat voert. De evaluatieve taak van de inspectie veranderde deels in een meta-evaluatieve taak: analyseren hoe scholen zich zelf-evalueren en die evaluatie in kwaliteitsverbetering vertalen. De autonomiegedachte beperkt zich niet alleen tot de schoolleiding maar strekt zich ook uit naar de hele schoolorganisatie. Moderne organisatiekundige inzichten wijzen op de noodzaak dat organisaties voor alle betrokkenen erin de functie van een leeromgeving vervullen. Het gaat daarbij niet enkel om de leerlingen. De school is ook voor leerkrachten, docenten en andere functionarissen in de school een leeromgeving. Hoe groter de kracht is van die leeromgeving, des te vitaler en slagvaardiger kan een school reageren op de ontwikkelingen in de samenleving. Autonomie wordt gezien als een belangrijke voorwaarde voor, en motor van, dergelijk leerprocessen. Een lerende school verdiept haar vakkennis en haar vermogen om problemen op te lossen. Een lerende school ontwikkelt communicatieve en reflectieve competenties en raakt in toenemende mate in staat zichzelf te reguleren. Zulke scholen weten een balans te vinden en te behouden tussen een zekere rust en stabiliteit en, aan de andere kant, een creatieve onrust. Lerende scholen zijn betere vernieuwers, maar lerende scholen laten zich niet gek maken.

6

Scholen met hun relatieve autonomie ontwikkelen hun eigen beleid, hun eigen school- werkplannen, ze kiezen hun eigen methodes en materialen, ze bepalen hun eigen didactiek, hun eigen organisatievormen, ze zoeken zelf hun partnerscholen en gaan nationale en internationale samenwerking aan. De manier waarop ze deze en dergelijke keuzes maken en invullen zijn allemaal onderwerpen waarop zelfevaluatie betrekking heeft, of kan hebben. Alle zaken waarover scholen eigen beslissingen nemen in plaats van een nationale lijn te volgen vragen om verantwoording gebaseerd op gegevens. Zelfevaluatie verschaft die gegevens en maakt de schoolwerkelijkheid inzichtelijk en bespreekbaar.

Zelfevaluatie en leren Leren is, zoals reeds betoogd, op alle niveaus van de school een sleutelbegrip. Het leren door leerlingen was dat altijd al, maar het leren door leerkrachten/docenten, schoolmanagers/leiders was dat tot op heden veel minder. Tegenwoordig wordt leren op al die niveaus als cruciaal beschouwd. Om te leren is feedback, ofwel informatie over het effect van je handelen, essentieel. Wie geen zicht heeft op de effecten van wat hij doet, handelt in den blinde en zal daar weinig of niets van opsteken. Feedback is een noodzaak. In organisaties c.q. in schoolorganisaties, vervult zelfevaluatie die rol. Zelfevaluatie-activiteiten geven het management, de leerkrachten, de leerlingen en andere betrokkenen een beeld van hoe de zaken lopen, en welke resultaten er geboekt worden. Zelfevaluatie kan terugkoppeling opleveren over een heleboel verschillende aspecten van het reilen en zeilen van de school. Het kan gaan om: • • • • • •

Evaluatie van leerlingen (examens, toetsen, selectie) Evaluatie van het personeel (selectie, beoordeling, functioneringsgesprekken) Evaluatie van het leerplan (evaluatie van boeken, methodes, cursussen, roosters, vakken, de basisvorming, het studiehuis, ..) Evaluatie van de school (kwaliteit, tevredenheidsonderzoek, voorlichting en PR, inspectie) Evaluatie van schoolontwikkeling (school audit, beleidsevaluatie, evaluatie van een implementatietraject, evaluatie van een proefproject en de verspreiding van die vernieuwing) Evaluatie van de schoolleiding en het school management (evaluatie van strategieën, draagvlak, transparantie, communicatie, informatie, coördinatie, effectiviteit etc.)

Autonomie, autonoom leren en zelfevaluatie Scholen ontwikkelen zich in de richting van een steeds grotere autonomie. Leerlingen worden door de school opgeleid om autonoom, of zelfstandig, en zelfverantwoordelijk te kunnen leren en levenslang leren wordt op alle niveaus in de school gepropageerd. Zelfstandigheid, zelfverantwoordelijkheid, zelfsturing, professionele autonomie, lijken de kernwoorden van deze tijd. Het streven naar al die zelfsturing stelt nieuwe eisen aan iedereen en aan ieders omgeving. Dit geldt voor schoolleiders, leerlingen en leerkrachten. Schoolleiders en schoolmanagers Directeuren en rectoren geven leiding, dragen verantwoordelijkheid en leggen verantwoording af. Zij leren van hun ervaring en van het delen van die ervaring met anderen binnen en buiten de school. Zij leren zelf, maar zijn ook verantwoordelijk voor het organiseren van een werk-leeromgeving in hun school. Zij creëren een klimaat waarin professionele groei, kennisproductiviteit, kwaliteit en vernieuwend vermogen tot ontwikkeling kunnen komen. Zelfevaluatie is bedoeld om hun een beeld te geven van de kracht van hun eigen leeromgeving en die van hun personeel en leerlingen. Tevens dient een zelfevaluatie om aan te tonen dat die leeromgeving tot kwaliteit en resultaten leidt. Leerlingen Leerlingen leren en leerlingen leren hoe ze moeten leren. Ze moeten zich de bekwaamheid eigen maken om zich zelf te ontwikkelen en in toenemende mate hun eigen leerprocessen te organiseren. Om die bekwaamheid te ontwikkelen hebben ze ruimte nodig om te kunnen onderzoeken, te experimenteren, wel of niet fouten te maken en daarover van gedachten te wisselen. Leerlingen hebben in de vorm van Internet en andere media tal van bronnen tot hun beschikking en tal van platforms waarop ze in gesprek kunnen komen met anderen. Die nieuwe rijke omstandigheden vragen een hoge mate van leervaardigheid. Die bekwaamheid is van belang om niet te verdrinken in de veelheid van informatie. Zelfevaluatie levert informatie over de vorderingen en maakt het mogelijk om het leerproces en de resultaten te bespreken. Leren leren was nog nooit zo noodzakelijk als nu. Leraren Om leerlingen in staat te stellen op een moderne manier te leren en zich in het leren te bekwamen wordt van leraren een heel nieuw gedragsrepertoire gevraagd. Zij organiseren de leeromgeving, zij organiseren en geven de feedback, zij leveren hun inhoudelijke inbreng, zij faciliteren het leren. Tevens ontwikkelen leraren mede het leerplan, ze moeten voldoen aan exameneisen, ze nemen gecoördineerde proefwerken af, ze vergaderen in teams of in secties, ze maken deel uit van vakverenigingen etc. Kortom ze bevinden zich in een meervoudige werk-leeromgeving waarin ze van, en met allerlei mensen leren. Hun leerprocessen zijn een noodzakelijke voorwaarde om te kunnen omgaan met de veranderende omstandigheden in de samenleving, in hun vak, in de school en onder de leerlingen. Zelfevaluaties door scholen geven docenten inzicht in hun eigen functioneren en stellen hen in staat zich te meten met anderen of met externe eisen en criteria. Zelfevaluatie is een belangrijk ingrediënt in een reflectieve leeromgeving.

Evaluatie en belangen Behalve dat zelfevaluatie een belangrijke bijdrage levert aan professioneel leren, verheldert het ook de posities van alle betrokkenen en de belangen die er tussen (groepen van) betrokkenen op het spel staan. Dat maakt van evaluatie een spannende zaak. Er staat iets op het spel. Er zijn posities in het geding, er worden kampen gevormd. Het is goed deze kant van evalueren te onderkennen en expliciet te maken.Voer de discussies, toon de partijen, wijs de conflictpunten aan. Op die manier wordt aan iedereen duidelijk wat er speelt. Tevens wordt duidelijk dat het belangrijk is dat er meegedaan wordt aan de evaluatie. Men raakt gemotiveerd om zich te roeren in de zelfevaluatie. In die motivatie om mee te doen ligt de basis voor het beoogde leerproces.Van een evaluatie die ergens om gaat leer je meer dan van een evaluatie die je koud laat. De belangen vergroten de belangstelling. De dialoog, die het gevolg is, ondersteunt het leerproces evenzeer. In de uitwisseling van gedachten en waarnemingen bevindt zich de inhoud van het leerproces; in de argumenten het groeiende vermogen om op die inhoud vat te krijgen.

Implicaties Evaluatie is leren Evaluatie is het leren van ervaringen en die vertalen in beslissingen en gedragsverandering. Dat is een andere

7

manier om te zeggen dat het om leren gaat. Het doel van dat leren is het, waar nodig, verbeteren of veranderen van de tot dan toe gevolgde werkwijzen. Leren als sociaal constructivisme Tegenwoordig wordt leren opgevat als een proces van kennisontwikkeling. Kennis wordt opgevat als een aantal persoonlijke competenties waarin zowel een inhoudselement, als een gedragselement als ook een houdingselement is opgenomen. Leren is het verwerven van dergelijke competenties door te bouwen aan je persoonlijke kennis en daarover in dialoog te gaan met anderen om je gedachten en begrip te scherpen en te toetsen. Leren is in deze opvatting minder een ontvangende bezigheid en meer een actieve en interactieve bezigheid. Leerprocessen van volwassenen De leerprocessen waarover het gaat in zelfevaluatie zijn de leerprocessen van alle betrokkenen, niet in de laatste plaats die van de leraren. Het gaat daarbij om leerprocessen van volwassenen.Van het leren door volwassenen is bekend dat die het beste verlopen als: • • • • •

8

De volwassenen een direct verband zien tussen het geleerde, hun werk en hun ervaring. De volwassene zich gehoord voelt. Er moet gelegenheid zijn om zelf een inbreng te hebben. De volwassene de leeromgeving als veilig ervaart. Men moet niet het gevoel hebben te kunnen uitglijden, ten prooi te vallen aan kritiek, of iets dergelijks. Het leerresultaat als direct toepasbaar wordt gezien. De inbreng van de volwassene erkend wordt als waardevol en relevant.

Zelfevaluatie is organisatie-leren Het beoogde leerproces is meer dan alleen een leerproces van de betrokken individuen. Het gaat er ook om de ervaringen te vertalen in nieuwe structuren, werkwijzen, processen en producten. De zelfevaluatie heeft consequenties voor de organisatie, de cultuur, de gemeenschappelijke waarden en normen, de reputatie en dergelijke. Ook die kunnen beschouwd worden als leerresultaten, maar dan wel collectieve leerresultaten. Voor de organisatie betekent dit alles, dat er in de school aan groepen, afdelingen, vaksecties, jaargroepen, gelegenheid geboden moet worden om te leren. Daartoe moet de school een omgeving bieden: • • • • • • •

Die motiveert Die veel gelegenheid tot informeren en communiceren biedt Die mogelijkheden geeft om te experimenteren Waarin dialoog en feedback zijn ingebouwd Waarin intercollegiale en zelftoetsing zijn opgenomen Die ruimte biedt voor reflectie Waarin heldere informatie beschikbaar is over de resultaten van het werk (zoals leerprestaties, vervolgstudiekeuze, maatschappelijke impact etc.)

Zelfevaluatie moet de belangenposities verhelderen Ieders rol en positie brengt eigen normen, waarden en criteria met zich mee. Het verhelderen van die invalshoeken, de verschillen ertussen en de bandbreedtes waarbinnen een consensus haalbaar is of zou moeten zijn, is belangrijk voor een goed verloop van zelfevaluatie. Zonder dat verloopt zelfevaluatie ongemotiveerd en ondemocratisch. Beide kenmerken frustreren de evaluatie en de leereffecten ervan. In het vervolg van deze gids gaan we in op de concretisering van de geschetste filosofie in een concreet evaluatieplan.

EEN RAAMWERK VOOR ZELFEVALUATIE Zelfevaluatie kan tal van doelen dienen. Het kan dienen ter verantwoording van keuzes of werkwijzen, bijvoorbeeld in de richting van de inspectie, of van Brussel als het gaat om internationale projecten. Zelfevaluatie kan hulp bieden bij het nemen van beslissingen. In zo’n geval is het zinvol om van tevoren de opties vast te stellen waartussen gekozen moet worden en voor elk van die opties alvast te bepalen welke informatie voor, en welke tegen een alternatief pleit. Wij richten ons in deze handleiding vooral op zelfevaluatie gericht op leren. Het gaat

erom de school, de eigen manier van werken zo door te lichten dat we beter zicht hebben op hoe de zaken lopen, beter begrijpen hoe dat komt en ideeën kunnen ontwikkelen over hoe we beter in ons opzet kunnen slagen. Evaluaties zijn vaak terugblikkend van karakter. In ons raamwerk echter gaan we ervan uit dat je met evaluatie niet vroeg genoeg kan beginnen. We maken onderscheid tussen verschillende fasen in een zelfevaluatie van een programma, een product, een project etc. In het volgende schema noemen we alles maar gemakshalve een project: Fase van een project

Evaluatievragen

Tijdstip

Diagnose

Stand van zaken? Welk soort project is nodig om daar iets aan te verbeteren?

Voorafgaand aan het project

Ontwikkeling

Zijn we goed bezig en leidt het tot Begin van het project een goed plan?

Introductie

Begrijpt iedereen het plan? Is er een draagvlak voor? Weet men wat men moet doen?

Tijdens het project

Proef project/pilot

Is het project uitvoerbaar? Kunnen wij het aan?

Tijdens het project

Invoering

Loopt het project goed?

Tijdens het project

Resultaten

Levert het project de gewenste leerresultaten?

Aan het einde van het project

Effecten

Impact

Doen de deelnemers aan het project het ook beter in latere Na het project onderdelen? Zijn er ideeën van het project ook vertaald in vernieuwingen elders in Lang na het project het programma, in de school of in het management?

In het werk van leerlingen, leerkrachten en schoolleiders zitten vanzelf al veel evaluatie-achtige activiteiten verweven. Dat is mooi maar toch is het belangrijk om die activiteiten expliciet te benoemen als elementen uit een zelfevaluatie. Het leereffect van een zelfevaluatie is net als bij andere leerprocessen groter, als het gaat om intentioneel, doelbewust leren, dan wanneer het gaat om incidenteel, toevallig leren. Plan daarom bewust momenten om de resultaten van zelfevaluatie de revue te laten passeren en ze onderling te bespreken.

Niveaus van zelfevaluatie Zelfevaluatie kan op verschillende terreinen betrekking hebben. Om die terreinen systematisch in kaart te brengen wordt hier een onderscheid gemaakt in niveaus van werken en functioneren van een school. Op elk van die niveaus kan een zelfevaluatie worden toegepast: • • • • • • • •

Leerprocessen van leerlingen Lesgeven/onderwijzen Het curriculum De nascholing van docenten Schoolorganisatie en -management Leiderschap Schoolontwikkeling De maatschappelijke context

9

Speerpunten in de evaluatie Naast niveaus van evaluatie kan er ook een andere manier gekozen worden om de aandacht op bepaalde onderwerpen te richten. Het is onmogelijk en evenmin wenselijk om alles te evalueren. Het stellen van prioriteiten is daarom van vitaal belang. Het gaat daarbij eigenlijk om het vaststellen van een soort kernthema’s in de evaluatie. Er kan bijvoorbeeld gedacht worden aan:

10

• • • • • • •

De Europese dimensie in het onderwijs Gelijke kansen Zelfverantwoordelijk leren Morele ontwikkeling Culturele integratie Vakkennis Spijbelen en verzuim

Doelen van de evaluatie Na het vaststellen van de niveaus en de thema’s wordt het tijd om specifieker te worden over wat het eigenlijke doel is van de zelfevaluatie. Belangrijk is de doelen helder en meetbaar in handelingen te formuleren. Tevens is het van belang te bepalen wat de achterliggende doelstelling is. Het kan onder meer gaan om: • • • •

Verbetering van een project Leren ten behoeve van toekomstige activiteiten of projecten Persoonlijke ontwikkeling en professionele groei Verhelderen van de belangen in het democratische spel van besluitvorming.

Doelgroep(en ) Zelfevaluaties worden uitgevoerd voor verschillende doelgroepen. Het is zinvol om je af te vragen voor welke doelgroep er wordt geëvalueerd. Dat bepaalt namelijk in hoge mate welke gegevens nodig zijn en hoe daarover gerapporteerd moet/kan worden. Tot de doelgroep(en) kunnen behoren: • • • • • • • •

Uzelf Collega’s Het team De ouders De leerlingen Het bestuur De inspectie De gemeenschap

Benodigde informatie Vaak richten evaluaties zich vooral op oordelen en meningen. In onze opvatting is het echter juist belangrijk om eerst op de feiten te mikken. Het gaat er in eerste instantie om een helder en liefst gedeeld beeld op te bouwen van hoe het verloop van een project of een activiteit is geweest. Met de verschillen in perceptie die in dat proces al naar boven komen, verdwijnen veel vormen van ruis uit de discussies over de betekenis van de gegevens en de waardering daarvan.Voor een goede evaluatie is het noodzakelijk onderscheid te maken tussen: 1. 2. 3. 4.

Hoe het proces is verlopen In welke context alles zich heeft afgespeeld Wat de opbrengst van het project/de activiteit is geweest Wat ieders mening is over de bovenstaande drie onderwerpen en de relatie daartussen

Bij het opzetten van een evaluatie is nog een onderscheid nuttig. Er zijn gegevens over: • • • •

Intenties, verwachtingen en plannen Feiten, cijfers en producten Verschillende normen, waarden, criteria van alle betrokkenen Beoordelingen, meningen en waarderingen.

Methoden en instrumenten van evaluatie Een groot aantal methoden en instrumenten is beschikbaar. We noemen er enkele: • •

• •

•

•

•

•

•

Vragenlijsten: een lijst van vragen om aan respondenten voor te leggen. Een vragenlijst kan bestaan uit open en/of gesloten vragen en meer of minder voorgestructureerd zijn. Observatie: gegevens kunnen verzameld worden middels observatie. Het gedrag van leerlingen, docenten en anderen laat zich observeren. Het is echter van groot belang de observatie-categorieën helder en eenduidig te formuleren en vast te stellen. Interviews: mondelinge vragenlijst die voorgelegd kan worden aan individuele respondenten of aan een groep. Zelfevaluatiebijeenkomsten: bijeenkomsten stimuleren mensen om te reflecteren en de zaken te bespreken. Er wordt als het ware op een vanzelfsprekende manier geëvalueerd. Het is wel van belang de opbrengst van zo’n evaluatie expliciet te maken en te bevestigen. Sneeuwbal/delphi methode: Aan individuen wordt gevraagd om een aantal punten te noemen die zij kenmerkend vinden voor bijvoorbeeld de gang van zaken in een project. Aan anderen wordt dezelfde vraag gesteld. De lijst die het resultaat is wordt in een tweede ronde aan de respondenten voorgelegd. Zij kunnen nu aangeven welke van de door henzelf en door anderen genoemde punten ze kenmerkend vinden. Daardoor verandert de lijst, waarna een derde ronde tot de mogelijkheden behoort. Het resultaat is een overzicht van meningen en van de mate waarin die meningen gedeeld worden. Analyse van schriftelijke producten: notulen, proefwerken, notities, opdrachten, etc. Het zijn allemaal schriftelijke producten waarvan veel valt af te lezen over de kwaliteit van het proces dat geleid heeft tot die producten. Het is ook mogelijk bewust te vragen aan respondenten om hun impressies te beschrijven ten behoeve van de evaluatie. Presentaties: weinig middelen zijn zo krachtig als te vragen of iemand over een project of een activiteit een presentatie wil geven. Dat vergt dat iemand de gang van zaken doorziet, begrijpt en er een analyse van kan geven. Dat is nu juist het soort leerproces dat met zelfevaluatie wordt beoogd. Kritiek: het uitnodigen van een criticus om een onafhankelijke externe beoordeling te geven van een project of activiteit, plan of strategie, product of structuur, kan een frisse nieuwe kijk opleveren. De kritiek is doorgaans vrijblijvend, zoals die van een literatuur- of theatercriticus dat is. Het is de mening van een persoon, maar wel van een deskundig persoon. Onopgemerkte methoden: Deze methodes, de zogenaamde “unobtrusive measures” zijn zodanig dat de deelnemers aan het te evalueren project of initiatief er niets van merken. Aan de slijtage van de vloerbedekking kan men zien of er veel leerlingen in de bibliotheek komen, uit het lawaai-niveau kan je de concentratie afleiden, uit het gebruik van de kopieermachine kan je afleiden of leraren veel eigen materiaal ontwikkelen om in de klas te gebruiken etc.

11

•

Rapporten en notulen: uit dergelijke producten valt veel te reconstrueren van een voorbije periode. In zo’n reconstructie zijn dan weer verklaringen te vinden voor het slagen of falen van een initiatief.

Organisatie van de evaluatie In zelfevaluaties kunnen de betrokkenen verschillende rollen vervullen. Daarom moet een evaluator zich afvragen hoe de evaluatie het beste georganiseerd kan worden en hoe de taken verdeeld kunnen worden.Verschillende taken en rollen zijn denkbaar: • Lid van een evaluatiecommissie • Respondent • Doelgroepslid • Evaluator • Criticus • Belanghebbende • Verwerker van gegevens • Rapporteur Verwerking van gegevens Veel zelfevaluaties eindigen in onbedoeld veel monnikenwerk. Door van te voren na te denken over de manier van gegevensverwerking kan veel leed op dit punt vermeden worden. Houd het simpel! Kies waar mogelijk gesloten vragen (Multiple choice). Zorg ervoor dat het proces van de gegevensverwerking vlot kan verlopen. Langzame processen leiden tot trage feedback. Zelfevaluatie komt dan vaak als mosterd na de maaltijd. Er zijn methoden die directe feedback mogelijk maken. Laat bijvoorbeeld door de respondenten stickertjes plakken bij antwoord alternatieven. Onmiddellijk wordt zo zichtbaar welke alternatieven het meest gekozen worden.

12

Indicatoren en criteria Bepaal indicatoren en criteria van tevoren zodat de discussie over de betekenis van de uitkomsten van de evaluatie gericht kan plaatsvinden. Te vaak zien we dat er op het moment van de bespreking van de gegevens gelegenheidscriteria de kop op steken, meer ter verdediging, dan ter lering.Voorbereiding en focussen op de vroegere vastgestelde criteria kan dergelijke problemen niet helemaal, maar wel deels oplossen. Analyse en interpretatie Kies zorgvuldig met wie de analyse wordt verricht, zorg voor draagvlak en evenwichtige vertegenwoordiging. Zie toe op eenduidige toepassing van de bepaalde criteria voor analyse. Houd de interpretatie strak bij de gegevens. Laat mensen er niet op los filosoferen. Dat moeten we niet verwarren met zelfevaluatie. Rapporteren Verschillende doelgroepen vragen verschillende rapportages. Daarvan moet een zelfevaluator zich bewust zijn. Het bestuur, de inspectie, de ouders de leerlingen, het personeel, allemaal vragen ze om andere prioriteiten, andere terminologie, andere omvang van rapportage. Het is efficiënt om te werken met een modulaire opzet, waarin per onderdeel een soort publiekssamenvatting gevolgd wordt door een diepere uitwerking, waarna bijlagen volgen. Daaruit kan dan voor verschillende doelgroepen een verschillende mix worden samengesteld. Tijdsplanning Een goed project heeft een tijdsplanning. Een goede evaluatie is daarvan altijd een klein onderdeel. Als er meer dan 5 tot 10 procent van de tijd van een project naar evaluatie gaat, zitten we op de verkeerde weg. Meestal weten we bovendien al zonder te evalueren een aantal verbeterpunten aan te geven. Daarin investeren is vaak beter dan in nog meer evaluatie. Alle onderdelen die in dit deel zijn aangestipt en aangegeven in cursief, vormen samen de contouren van een zelfevaluatieplan. Door op elk van die punten een aantal beslissingen te nemen en die in eigen woorden zo specifiek mogelijk op te schrijven, is het zelfevaluatieplan compleet. Mocht de lezer denken dat alleen een gek zo diep wil duiken in iets als zelfevaluatie, dan willen we hier nogmaals benadrukken dat onvolledig voorbereide zelfevaluaties al zo vaak tot niets hebben geleid, dat er eigenlijk maar één mogelijkheid is om de evaluatie te beperken en dat is door in te zoomen op enkele thema’s of doelen. Er zit geen besparing in het negeren van elementen uit een evaluatieplan. Een incomplete evaluatie zal ons inziens altijd een vergeefse inspanning blijken te zijn. De keuze is of volledig, of niet.

DE INHOUD VAN EEN ZELFEVALUATIE De twee eerste delen van dit hoofdstuk, de filosofie en het raamwerk, geven een idee over hoe zelfevaluatie benaderd kan worden. Ze geven echter nog weinig beeld van wat er geëvalueerd kan worden, noch over de inhoudelijke criteria die daarbij gebruikt kunnen worden. Aan die kwesties is dit laatste deel gewijd. We gaan achtereenvolgens in op de terreinen waarop kwaliteit bepaald kan worden, vervolgens noemen we de indicatoren van die kwaliteit. Het gaat natuurlijk om suggesties want een zelfevaluatie zou geen zelfevaluatie zijn als de criteria door anderen c.q. door ons worden aangedragen. Een zelfevaluatie vereist een eigen keuze van indicatoren en criteria, die passen bij de eigen visie van de school of het project. Een zelfevaluatie kan zich richten op verschillende aspecten van de school. In een opsomming hieronder hebben we een aantal van die aspecten bij elkaar gezet. De lijst is afkomstig uit een Comenius project getiteld 2EQBS (http://www.utv.mh.se/projekt/2eqbs/tool/). In dat project is een instrument ontwikkeld waarmee scholen zichzelf op de in de lijst opgenomen punten kunnen analyseren. Contextfactoren • • •

Schoolidentiteit, missie? Autonomie, welke vrijheidsgraden heeft een school om eigen beslissingen te nemen en over welke zaken (geld, leerlingen werving, leerplan, didactiek, organisatie, personeel, exameneisen etc.)? Prestaties, hoe goed doet de school het relatief in termen van uitstroom, niveau, uitvalcijfers, succes in vervolgonderwijs?

Onderwijs en leren • • • • • • •

Curriculum, vakken, inhouden, leeractiviteiten? Pedagogiek, hoe gaan we om met de leerlingen in opvoedkundig opzicht? Hoe is de stand van zaken op het vlak van ICT? Leertaken en opdrachten, wat voor soorten taken onderscheiden we, wat is in dat opzicht typisch voor onze school? Les- en leermaterialen. Onderwijsbenadering, lesmodellen, onderwijskundige en didactische ideeën? Toetsing en leerlingenevaluatie.

Schoolontwikkeling • • • • • •

Rollen, posities en verantwoordelijkheden, welke taken en verantwoordelijkheden worden binnen de school/het project onderscheiden? Roosters, periode-indeling, aantal vakken per periode, aantal uren per dag, aantal contact-uren en lesuren. Organisatie, wie is in welke werkeenheid ondergebracht, welke eenheden worden onderscheiden (vakgroepen, jaargroepen, directie, commissies, diensten, projecten). Cultuur en klimaat, samenwerking, onderlinge omgang, professionele en informele cultuur. Informatie en communicatie, door welke kanalen wordt er gecommuniceerd binnen de school en naar buiten (memo’s, blaadjes, krant TV, intranet, internet). Waarden en normen, wat is op school normaal en wat niet, wat wordt geaccepteerd en wat niet?

Leiderschap en verandering • • • •

Visie en missie, welke visie en missie dienen als kompas voor de schoolleiding? Strategische planning: welke strategieën worden gehanteerd om de toekomst tegemoet te treden? Deskundigheidsbevordering en loopbaanbeleid. Curriculumbeleid, plannen om het onderwijs te vernieuwen.

13

• •

Innovatiebeleid, plannen om de school te vernieuwen. Commissies, taakgroepen, projectgroepen en andere tijdelijke of semi-tijdelijke elementen in de organisatiestructuur.

Wie probeert de school te beschrijven en te typeren met het oog op een systematische zelfevaluatie, kan van bovenstaande terreinen gebruik maken als staalkaart van mogelijke onderwerpen/aspecten. Eenzelfde functie kan vervuld worden door zestien indicatoren, die door de Europese commissie zijn beschreven als criteriumvariabelen. Het zijn nog geen echte criteria, want die zal iedere school zelf in het kader van de zelfevaluatie moeten opstellen, maar het zijn dimensies waarop criteria gekozen kunnen worden. De volgende zestien punten worden als indicator genoemd: Indicatoren van prestaties 1. Wiskunde/rekenen 2. Lezen 3. Natuurkunde/scheikunde/biologie 4. ICT 5. Talen 6. Leren leren 7. Burgerschap Indicatoren van doorstroming 8. Uitvalcijfers 9. Behalen van een startkwalificatie (eindexamen) 10. Deelname aan tertiair onderwijs (HBO/WO)

14

Indicatoren van monitoring 11. Evaluatie en bestuur van het onderwijs 12. Ouderparticipatie Indicatoren van middelen en structuren 13. Scholing en nascholing van onderwijzend personeel 14. Deelname aan vroege en voorschoolse educatie 15. Aantal studenten per computer 16. Onderwijsbesteding per student

Inhoudelijke planning van een zelfevaluatie

Deze indicatoren zijn mogelijk behulpzaam bij het nader specificeren van de inhoud van een zelfevaluatie. Ze kunnen degenen die de zelfevaluatie opzetten helpen de discussie te voeren over prioriteiten en speerpunten. De terreinen en de indicatoren bieden een houvast aan allen die aan dat debat willen deelnemen (ouders, bonden, leerlingen, inspectie, autoriteiten, bestuur, etc.) Dergelijke discussies kunnen uitmonden in een overzicht van evaluatieterreinen en indicatoren. Gekoppeld aan een kalender waarop staat aangegeven welke terreinen en welke indicatoren in welke periode of welk jaar zullen worden bekeken, ontstaat een werkplan voor zelfevaluatie. Daarin krijgen concrete zelfevaluatieplannen en inspanningen een plaats. Zo’n document geeft structuur aan een meerjarig zelfevaluatiebeleid. In concreto zou alles in een schema als het volgende kunnen worden ondergebracht: Terreinen van zelfevaluatie Kwaliteitsindicatoren

Criteria voor zelfevaluatie

Periode of jaar van uitvoering ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. ................................................. .................................................

VUISTREGELS VOOR ZELFEVALUATIE • • •

• • • • • • • • • • • • • • • • •

•

Verweef evaluatie in alle fasen van een project, een programma of een activiteit. Organiseer zelfevaluatie als een motiverend leerproces. Betrek iedereen zoveel mogelijk bij de opzet, de uitvoering en het na-traject van een zelfevaluatie ( in allerlei verschillende taken en rollen, als respondent, als dataverzamelaar, als analist, als gespreksleider etc.). Maak de belangenverschillen zichtbaar en benoem ze. Maak afspraken over wie de eigenaar is van de gegevens. Stel vast hoe de besluitvorming over de gegevens zal gebeuren. Probeer eerst een helder beeld te (re)construeren van wat er gebeurd is, voordat u er een oordeel over vraagt. Maak heldere plannen met een taakverdeling, deadlines, tijdschema, etc. Stel prioriteiten en probeer vooral niet alles tegelijk te evalueren. Zelfevaluatie is zelfevaluatie. Laat dus leraren het onderwijs evalueren, leerlingen het leren, managers het management. Ze benutten elkaar natuurlijk wel als respondenten. Maak van een snelle terugkoppeling, zelfs liefst directe feedback, een uitdaging. Bespreek de uitkomsten van een evaluatie niet alleen puur inhoudelijk maar sta altijd stil bij het leereffect dat eruit voortvloeit. Maak van zelfevaluatie een gevarieerde reeks activiteiten met daarin voor elk wat wils. Evaluatie moet leuk zijn! Maak zoveel mogelijk gebruik van gegevens die sowieso in de school in omloop zijn. Bouw te allen tijde ruimte en tijd in om ook aan die onderwerpen aandacht te kunnen geven die niet in een zelfevaluatieplan verwerkt zijn, maar tijdens de zelfevaluatie de kop opsteken. Laat de rollen van evaluator en geëvalueerde met vrij grote snelheid rouleren, zodat evalueren en geëvalueerd worden voor iedereen herkenbaar en gewoon wordt. Plan aan het einde van een zelfevaluatie het follow up traject. Wijs taken toe en organiseer alles in een tijdsbalk met daarin heldere deadlines. Maak iemand verantwoordelijk voor het follow-up traject. Zelfevaluatie is nooit klaar. Maak duidelijk dat het om een structurele activiteit gaat. Zelfevaluatie hoort erbij. Zelfevaluatie moet als taak worden verankerd in taakomschrijvingen, aanstellingen, beloningsstructuur, functioneringsgesprekken etc., zodat het voor iedereen duidelijk is dat het hier gaat om een onderdeel van het werk. Zelfevaluatie loont. Maak zelfevaluatie ook in de organisatie van de school iets aantrekkelijks met uitzicht op faciliteiten, loopbaanontwikkeling, statusverbetering, netwerkopbouw en bewegingsvrijheid.

15

2 GEZOCHT:VRUCHTBARE RELATIE TUSSEN INTERNE EN EXTERNE EVALUATIE Bart Maes, Els Ver Eecke, Martine Zaman, Dienst voor Onderwijsontwikkeling, Ministerie Vlaamse Gemeenschap, dep.Onderwijs

Key note door Bart Maes op de I-ProbeNet conferentie, Brdo, september 2003 In Impuls voor Onderwijsbegeleiding, 34e JG, nr. 4, juni 2004, 215-237.

Inleiding In Impuls, 32e JG, nr. 1, september 2001 werd het Effective School Self-Evaluation (ESSE) Project van de Standing International Conference of Central and General Inspectorates of Education (SICI)1 beschreven. Het project was erop gericht indicatoren en een methodologie voor meta-evaluatie2 te ontwikkelen, sterktes en zwaktes m.b.t. zelfevaluatie in de verschillende landen te identificeren, gevalstudies van effectieve zelfevaluatie te ontwikkelen en een analyse te maken over de relatie tussen interne en externe evaluatie.

16

De veertien landen/regio’s3 die aan het ESSE-project deelnamen, zijn: Engeland, Schotland, Noord-Ierland, Ierland, Nederland, Oostenrijk, Tsjechië, Portugal, Frankrijk, de Franstalige Gemeenschap van België,Vlaanderen, Hessen, Saksen en Denemarken. Deze tekst bespreekt het evenwicht tussen interne en externe evaluatie binnen en tussen onderwijssystemen aan de hand van de ervaringen met en informatie uit het ESSE-project. Deze bespreking is gebaseerd op de kenmerken en op de sterke en zwakke punten van zelfevaluatie en externe ondersteuning daarvoor in de landen die aan het project deelnamen. Het project heeft aangetoond dat de relatie tussen interne en externe evaluatie zeer complex is en dat het meest effectieve evenwicht tussen beide bepaald wordt door een aantal factoren, zoals de context van het onderwijssysteem en de rol die inspectiekorpsen daarin spelen. De gezamenlijke inspecties uitgevoerd binnen het ESSE-project hebben aangetoond dat zelfevaluatie het meest effectief is in landen waar de externe ondersteuning het sterkst ontwikkeld is en waar op die manier een gunstig klimaat voor zelfevaluatie werd gecreëerd. De belangrijkste vaststelling van het project is echter dat er geen eenvoudig of definitief model is om de relatie tussen interne en externe evaluatie te bepalen. Hierbij gaat het immers over het bepalen van de rol van leraren, scholen, inspecteurs, ambtenaren, begeleiders, inrichtende machten en over een evenwichtige verdeling tussen interne en externe evaluatie. Er dient bovendien een dynamisch evenwicht gevonden te worden tussen: • verantwoording en verbetering, • ondersteuning en uitdaging (druk), • bottom-up – top-down benaderingen. Voor een goed begrip dient te worden gezegd dat het project uitging van een werkdefinitie van zelfevaluatie (interne evaluatie): ‘Zelfevaluatie is een proces uitgevoerd door de school waarbij het personeel systematisch gegevens verzamelt en analyseert, inbegrepen feedback van betrokkenen. Zij gebruiken deze informatie om de resultaten van de school te evalueren en te beoordelen aan de hand van overeengekomen standaarden. Dit proces moet leiden tot resultaten die de school kan aanwenden om doelgericht en effectief te plannen en om initiatieven voor verbetering te nemen’. Cruciaal in deze definitie is dat zelfevaluatie wordt beschouwd als een instrument voor verandering en verbetering, niet als een doel op zich. Wat volgt in deze tekst is een meer gedetailleerde en volledige analyse van wat in de inleiding beschreven werd. Deze analyse is gebaseerd op alle bronnen van het ESSE-project: literatuur- en landenstudie uit de eerste fase, de gezamenlijke inspecties, rapporten en gevalstudies van de tweede en derde fase en de vragenlijsten van de derde fase. In deel 1 van dit artikel wordt het conceptueel raamwerk beschreven dat bij de ontwikkeling en uitvoering van het ESSE-project werd gehanteerd. Deel 2 beschrijft de stand van zaken in de diverse landen op vijf domeinen en geeft ook een reflectie t.o.v. van de vier belangrijke dimensies van zelfevaluatie. In deel 3 wordt vooruit geblikt naar de toekomst aan de hand van de mening van de deelnemende inspecteurs over wat in hun onderwijssysteem zou moeten veranderen opdat zelfevaluatie effectiever zou worden. Dezelfde inspecteurs geven ook hun opinie over het ‘ideale evenwicht’ tussen interne en externe evaluaties. De tekst eindigt met enkele kritische reflecties. 1Meer informatie kan gevonden worden op de website van de Standing International Conference of Central and General Inspectorates of Education (www.sici.org.uk, klikken op Effective School Self-Evaluation Project). 2Meta-evaluatie wordt in deze tekst beschouwd als de externe evaluatie van de kwaliteit en de effectiviteit van de zelfevaluatieprocedures in scholen. 3Sommige deelnemers aan het ESSE-project zijn inspecteurs van bepaalde Europese regio’s. Met de verwijzing naar “landen” worden in de tekst zowel landen als regio’s bedoeld.

1. Interne en externe evaluatie Naast een werkdefinitie van zelfevaluatie, hanteerde het ESSE-project een aantal basisconcepten die samen het conceptuele raamwerk vormden waarbinnen het project werd uitgewerkt. Wat volgt is een korte samenvatting van dat raamwerk, o.m. op basis van de visie op interne en externe evaluatie van Macbeath et al. (2000).

1.1 Externe evaluatie: verantwoording en verbetering Externe evaluatie kan worden gelegitimeerd op grond van de behoefte van een centraal niveau om scholen te controleren en te begeleiden. Daarbij wordt getracht kwaliteit te waarborgen, ervoor te zorgen dat scholen de middelen die ze krijgen efficiënt gebruiken en te garanderen dat de overheid waar voor haar geld krijgt. Externe evaluatie heeft o.m. als opdracht erover te waken dat de verschillen in kwaliteit tussen scholen niet te discrepant zijn en dat de vooropgezette resultaten worden behaald. Externe evaluatie bevordert ook het inzicht in kwaliteitsaspecten bij de bevolking door het publiceren van rapporten over de stand van zaken van een onderwijssysteem of van scholen. Externe evaluatie wordt dus vooral aangestuurd door de behoefte aan (politieke) verantwoording. Toch kan men dit combineren met een verbeteringsperspectief. Externe evaluatie kan scholen feedback geven over hun sterke en zwakke punten, het kan actiepunten vooropstellen, ondersteuning en middelen bieden. Externe evaluatie kan bovendien impulsen voor schoolverbetering geven door comparatieve gegevens ter beschikking te stellen die kunnen worden gebruikt als een beheersinstrument waarbij de school haar prestaties bekijkt in vergelijking met de prestaties van andere scholen (‘benchmarking’) (Macbeath, 2000, 91).

1.2 Zelfevaluatie: verbetering en verantwoording Zelfevaluatie wordt onderbouwd door een andere beweegreden. Het heeft ook een verantwoordingsfunctie maar is in hoofdzaak gericht op ontwikkeling. Zelfevaluatie is een intrinsiek kenmerk van een effectieve school en van een professionele aanpak en is bovendien zeer actueel binnen het perspectief van decentralisering van onderwijssystemen. Vanuit een beleidsperspectief wordt zelfevaluatie beschouwd als een mechanisme om scholen in staat te stellen hun kwaliteit van binnenuit te verbeteren. Zelfevaluatie helpt scholen om hun vooruitgang op te volgen en om te rapporteren aan betrokkenen zoals ouders en het bredere publiek. Zelfevaluatie wordt gezien als een bijdrage aan het democratische debat over wat kwaliteit op school- en klasniveau betekent terwijl het tegelijk complementair is aan het werk van externe evaluerende instanties zoals de onderwijsinspectie. Vanuit het schoolperspectief heeft zelfevaluatie een meer direct belang. De dialoog is hier meer gericht op de interne betrokkenen en hun rol ten aanzien van planning en verbetering op het niveau van de klas, de school en de lokale gemeenschap. Om dit op een effectieve manier te realiseren, moeten alle relevante actoren betrokken zijn en dient men over instrumenten te beschikken die de besluitvorming en het leren en onderwijzen het beste ondersteunen (Macbeath, 2000, 91-92).

1.3 De relatie tussen interne en externe evaluatie Het doel waarnaar de meeste Europese onderwijssystemen streven is een succesvol en duurzaam huwelijk tussen interne en externe evaluatie. De eigenschappen van het kwaliteitsbewakingssysteem van een land kunnen worden geplaatst op een positie binnen de dimensie interne/externe evaluatie (zie figuur). Om een overzicht te hebben van de instrumenten die onderwijssystemen ter beschikking hebben om een systeem van kwaliteitsbewaking vorm te geven, dienen bovendien de dimensies druk/ondersteuning en bottom up/top down in beschouwing te worden genomen. De dimensie intern-extern is een continuüm, dat gaat van zelfevaluatie naar evaluatie door een externe instantie. Op het ene uiteinde van dit continuüm zijn systemen terug te vinden waar het bewaken van kwaliteit uitsluitend de verantwoordelijkheid is van externe organisaties zoals bv. de inspectie. Aan de andere kant van het continuüm bevinden zich systemen waar er geen externe instantie is en waar kwaliteitsbewaking uitsluitend de bevoegdheid van de school is.

17

De dimensie druk-ondersteuning beschrijft een continuüm met aan de ene kant een hoog niveau van ondersteuning door ‘het systeem’ en aan de andere kant extreem hoge druk. Men kan deze dimensie objectief waarnemen maar het gaat hier ook om een subjectieve realiteit. Druk en ondersteuning worden immers best begrepen in de betekenis van wat mensen ervaren: voelt men dat men onder druk moet werken of voelt men zich eerder ondersteund? Het evenwicht kan hier worden gevonden door zowel rekening te houden met individuele als met collectieve ervaringen. Mensen presteren het best wanneer er een evenwichtige situatie is waarbij ze zowel intrinsiek gemotiveerd zijn als zich extern erkend en beloond voelen. De top down/bottom up dimensie geeft weer hoe een systeem verandering benadert en implementeert. Aan de ene kant wordt verandering gestuurd door een centraal niveau, via wetgeving en door nationale structuren. Aan de andere kant komt verandering vanuit de basis en wordt het aangestuurd door leraren, leerlingen en ouders. Een ideaal evenwicht vinden binnen en tussen deze dimensies is de uitdaging voor alle onderwijssystemen die ernaar streven kwaliteit te evalueren op een manier die de capaciteit van scholen vergroot. Een top down aanpak heeft bottom up antwoorden nodig. Externe verwachtingen moeten stroken met interne noden, en druk uitoefenen werkt niet zonder het aanbieden van ondersteuning (Macbeath, 2000, 93). Ook Van Petegem (1996’97) is van mening dat het evenwicht tussen externe druk en intern aangestuurde kwaliteitsbewaking zeer subtiel is. Externe druk zal volgens hem altijd nodig zijn om de interne aandacht voor kwaliteit hoog te houden, maar de druk mag ook niet te sterk worden opgevoerd.

18

Met behulp van dit conceptueel kader wordt in het vervolg van de tekst een analyse gemaakt van de zoektocht naar het evenwicht tussen interne en externe evaluatie door de ESSE-landen. Hoe gebruiken zij de middelen die ze ter beschikking hebben? Om een correcte en volledige analyse te maken, dient met alle vormen van externe ondersteuning rekening te worden gehouden. Meer concreet zullen al deze vormen van externe ondersteuning onder de loep worden genomen en zal worden gereflecteerd over hun bijdrage tot het vinden van het evenwicht tussen de dimensies die hier werden beschreven.

2. De ESSE-landen op zoek naar een evenwicht tussen interne en externe evaluatie. 2.1 Wetgeving en het statuut van zelfevaluatie In Ierland, Denemarken, één Oostenrijkse provincie en de Franstalige Gemeenschap van België is er voor scholen een formele verplichting om zelfevaluatie te implementeren.  In Ierland is zelfevaluatie verplicht aangezien het een essentieel onderdeel is van het proces van scho olontwikkelingsplanning. Scholen moeten ervoor zorgen dat het schoolontwikkelingsplan regelmatig geëvalueerd en geactualiseerd wordt.  In de Franstalige Gemeenschap van België moeten scholen jaarlijks de implementatie van het schoolplan evalueren en moeten ze verbeteringen suggereren in een activiteitenrapport. In dat rapport moet ook vermeld staan in welke mate de vooropgestelde doelen werden bereikt.

 In Denemarken is zelfevaluatie tot op heden enkel verplicht in de handelsscholen op niveau van hoger secundair onderwijs. In deze scholen zijn de directie en de leerkrachten verplicht om tweemaal per jaar aan de studenten te vragen wat hun ervaringen zijn m.b.t. de kwaliteit van het onderwijs in de verschillende vakken, de onderwijskundige organisatie van de school, etc.  In één Oostenrijkse provincie is zelfevaluatie verplicht in scholen voor algemeen secundair onderwijs. In 8 landen bestaat er geen formele verplichting tot zelfevaluatie, maar scholen worden wel sterk aangemoedigd om aan één of andere vorm van zelfevaluatie te doen. In sommige landen hebben ze zelfs weinig andere keuze. In Engeland, Schotland, Noord-Ierland, Nederland, Frankrijk, Oostenrijk,Vlaanderen en Hessen wordt de implementatie van zelfevaluatie aanbevolen door de overheid en/of de inspectie. Landen stimuleren scholen op diverse wijzen om aan zelfevaluatie te doen:  In Engeland, Schotland, Noord-Ierland, Ierland, Nederland, Frankrijk, Oostenrijk, de Franstalige Gemeenschap van België en Hessen moeten scholen een schoolontwikkelingsplan of –project maken en implementeren. In een aantal van deze landen moeten scholen ook hun vooruitgang in het bereiken van de doelen uit het ontwikkelingsplan nagaan. Scholen dienen doorgaans ook een strategie te bepalen om hun schoolontwikkeling(splan) te verbeteren.  In Engeland, Schotland, Noord-Ierland en Vlaanderen moeten scholen een zelfevaluatieformulier, vragenlijst of schoolprofiel invullen ter voorbereiding van een doorlichting door de inspectie. In Vlaanderen bijvoorbeeld moeten scholen een informatiedossier invullen waarbij ze zichzelf moeten beoordelen op verschillende aspecten zoals algemeen beleid (inclusief interne kwaliteitszorg), onderwijskundig beleid, personeelsbeleid, en logistiek beleid  In Engeland, Schotland en Noord-Ierland moeten scholen streefdoelen bepalen (‘target setting’) om via regelmatige zelfevaluatie tot schoolverbetering te komen en/of om de leerlingprestaties op te volgen en te verbeteren.  In Engeland en Nederland moeten scholen de kwaliteit van hun prestaties opvolgen en garanderen.  In de meeste landen wordt van scholen ook verwacht dat ze formeel rapporteren over een of meer van de bovengenoemde aspecten. In Tsjechië, Portugal en Saksen is er geen verplichting om zelfevaluatie in te voeren. In de meeste landen die schoolontwikkelingsplanning of schoolverbetering in toenemende mate benadrukken of zelfs verplichten, wordt zelfevaluatie aanbevolen. In de verschillende landen is er een enorme verscheidenheid in procedures en benaderingen die de zelfevaluatie stimuleren en initiëren. Sommige landen evolueren stilaan in de richting van meer verplichte systemen van interne evaluatie.

Het verband tussen zelfevaluatieresultaten en schoolplanning Elf landen beschouwen het gebruik van de zelfevaluatieresultaten als een essentieel element voor schoolontwikke lingsplanning, actieplanning en verbetering. Er is dus een duidelijke link tussen school(ontwikkelings)planning en de resultaten van zelfevaluatie. • In Engeland, Schotland en Hessen is enkel schoolontwikkelingsplanning verplicht, terwijl scholen “vrij” zijn om een zelfevaluatieproces te implementeren. Aangezien in deze landen zelfevaluatie een onmisbaar onderdeel van de schoolontwikkelingsplanning en de schoolverbetering is, hebben scholen eigenlijk toch niet veel keuze. In Engeland is zelfevaluatie niet verplicht maar het is de sleutel voor het bepalen van streefdoelen (‘target setting’). Het selecteren van doelen is verplicht en impliceert een vorm van zelfevaluatie. Bovendien moedigt het Department for Education and Skills scholen sterk aan om te werken aan een schoolontwikkelingsplan en om zelfevaluatie te gebruiken als sleutel voor schoolverbetering. Zelfevaluatie moet leiden tot effectieve actieplanning door verder te bouwen op de sterktes van de school en de bestaande zwaktes te verhelpen. • In Ierland, Frankrijk, Denemarken en de Franstalige Gemeenschap van België zijn zowel zelfevaluatie als school(ontwikkelings)planning verplicht.

19

In Frankrijk vormt de jaarlijkse toetsing ten behoeve van het regionale bestuur (de ‘Académie’) een onderdeel van het ‘projet d’établissement’ (zowel schoolproject als zelfevaluatie zijn verplicht).Wanneer de toetsresultaten suggereren dat de doelstellingen niet realistisch zijn, kan dit leiden tot het aanpassen van het schoolproject. • In Noord-Ierland, Portugal,Vlaanderen en Saksen is er ook een duidelijk verband tussen zelfevaluatieresultaten en ontwikkelingsplanning. Toch kunnen scholen er zelf beslissen of ze al dan niet aan zelfevaluatie en/of schoolontwikkelingsplanning willen doen. Sommige Portugese scholen gebruiken de zelfevaluatieresultaten vooral om de prioriteiten van hun schoolontwikkelingsplan te bepalen. Dit gebeurt vaak in scholen die werken met een strategische planning. Noch schoolplanning, noch zelfevaluatie is verplicht in Portugal.

De zelfevaluatierapporten van de scholen Scholen kunnen op verschillende manieren rapporteren over de resultaten van hun zelfevaluatieproces. • In Engeland, Schotland, Nederland, de Franstalige Gemeenschap van België, Frankrijk en Denemarken zijn scholen verplicht om een rapport te schrijven over hun zelfevaluatieresultaten. Alle Engelse scholen moeten een “Governors’ Annual Report” publiceren dat gebaseerd moet zijn op een zelfevaluatieproces op het vlak van het selecteren van doelen en de huidige stand van zaken m.b.t. die doelen. • In Noord-Ierland en Nederland en binnenkort wellicht ook in Oostenrijk worden de schoolverslagen over zelfevaluatieresultaten gebruikt als vertrekpunt voor metaevaluatie.

20

In Noord-Ierland voert de school een interne audit uit en brengt over de resultaten verslag uit bij het personeel. Dit auditrapport is het startpunt voor een kwaliteitsborgingsinspectie waarbij de efficiëntie van de interne kwaliteitsborgingsprocedures en de validiteit van de resultaten extern worden beoordeeld door de onderwijsinspectie. • Rapporten die (ook) bedoeld zijn voor de inspectie maar niet als basis voor metaevaluatie worden geschreven in Noord-Ierland, Hessen, Saksen, Frankrijk en Denemarken. In Saksen en Hessen gebruikt de inspectie deze informatie om ondersteuning te bieden en advies te geven over de volgende stappen in het proces van schoolontwikkeling en/of zelfevaluatie. • In 8 landen (Ierland, Tsjechië, Portugal, Hessen, Saksen, Denemarken, Engeland en Nederland) rapporteren scholen intern over de resultaten van hun zelfevaluatie aan de relevante betrokkenen bv. leerkrachten, leerlingen, ouders, etc., door middel van een verplichte schoolgids, prospectus, (plannings)documenten, vergaderingen, ... In Nederland is de schoolgids, die informatie bevat over de doelen van de school, haar onderwijskundige activiteiten en de geboekte resultaten, bedoeld als een openbaar verslag dat ouders moet toelaten om een invloed uit te oefenen op de kwaliteit van het onderwijs. • In sommige landen vermelden de scholen zelfevaluatieresultaten in hun folders (bv. in Frankrijk), brochures (bv. in Hessen), informatieve portfolio’s (bv. in Portugal) en andere documenten (bv. via een jaarrapport zoals in Tsjechië) die doorgaans bestemd zijn voor een breed publiek. Men kan besluiten dat op dit ogenblik op diverse manieren over zelfevaluatie(resultaten) wordt gerapporteerd. Enerzijds hebben sommige landen een sterke traditie in het afleggen van verantwoording via het publiceren van schoolresultaten, vaak in een klimaat van vergelijkbaarheid en competitie. Hierbij wil men openheid t.o.v. de verschillende actoren bewerkstelligen. Anderzijds is er in sommige landen nog helemaal geen traditie om aandacht te besteden aan alle mogelijke leerling- en schoolresultaten en daarover te rapporteren.  Top down – bottom up Zelfevaluatie is in sommige landen verplicht. In andere landen is er slechts een gedeeltelijke of onrechtstreekse

wettelijke verplichting bv. waar de scholen moeten rapporteren over hun vooruitgang t.o.v. hun vooropgestelde doelen (doelenselectie is dan weer wel verplicht). Terwijl een breed zelfevaluatieproces niet specifiek bij wet wordt vereist, heerst in deze landen toch een sterke (nationale) verwachting dat alle scholen aan zelfevaluatie zouden moeten doen. Het gevolg is dan ook dat in deze landen de meeste scholen een vorm van zelfevaluatie hebben geïmplementeerd (top down). Het ESSE-project heeft aangetoond dat in landen zonder enige verplichting tot zelfevaluatie, sommige scholen - die aan zelfevaluatie doen- aan de overheid op dit vlak vaak toch meer impulsen vragen. Zij vinden dat veel energie verloren gaat wanneer er geen duidelijke reglementering ter zake is. Anderzijds zijn er in diezelfde landen ook scholen die een sterke zelfevaluatiecultuur hebben of die actief zijn op het vlak van zelfevaluatie (bottom up) en die tegelijkertijd tegen een verplichting of reglementering gekant zijn.  Druk – ondersteuning Het (gedeeltelijk) verplichten van zelfevaluatie legt een grote druk op de scholen. Er wordt druk op hen uitgeoefend door bv. van hen te verwachten dat ze een zelfevaluatievragenlijst invullen, een schoolontwikkelingsplan maken en implementeren, een schoolverbeteringsplan maken, doelen selecteren en hun prestaties opvolgen, etc. Anderzijds is deze verplichting vaak gekoppeld aan een of andere vorm van ondersteuning van de zelfevaluatie (gaande van financiële ondersteuning tot aanleveren van specifiek materiaal, instrumenten, training, etc). Dit geldt in sommige gevallen ook omgekeerd. In bepaalde landen kunnen scholen op vrijwillige basis participeren in een project. In dat geval kunnen ze genieten van bepaalde vormen van ondersteuning. Anderzijds hangen aan die deelname aan een project meestal ook een aantal verplichtingen vast die leiden tot een zekere druk. Ze moeten bv. rapporteren over hun bevindingen en resultaten. Deze bevindingen en resultaten kunnen dan op hun beurt weer gebruikt worden als een vorm van ondersteuning voor andere (project)scholen (bv. via voorbeelden van goede praktijk).  Extern – intern In sommige landen worden bepaalde aspecten van het zelfevaluatieproces rechtstreeks gecontroleerd of beoordeeld door de inspectie of het ministerie, of worden ze onrechtstreeks opgevolgd in de context van een verplichting tot rapportering. Bijgevolg hebben vele scholen een vorm van zelfevaluatie. Tegelijkertijd zijn zowel de inspectie als het ministerie in de meerderheid van de ESSE-landen ook actief betrokken bij het ontwikkelen van ondersteunend materiaal en bij de begeleiding en training rond zelfevaluatie. Op die manier is er meer kans dat de externe en de interne evaluatie goed op elkaar zijn afgestemd en elkaar aanvullen.Voor de inspectie heeft het in elk geval ook het voordeel dat bij een externe evaluatie kan vertrokken worden van zelfevaluatieresultaten die door middel van quasi dezelfde methoden en instrumenten werden gedistilleerd. Anderzijds schuilt hierin wel het gevaar dat zowel intern als extern gefocust wordt op dezelfde punten en dat andere aspecten onontgonnen terrein blijven. De school waakt er best over dat ze de aspecten die ze zelf essentieel/prioritair acht niet uit het oog verliest en zich in haar zelfevaluatie/planning hierop richt. Bovendien is het risico groot dat scholen enkel aan zelfevaluatie doen om in orde te zijn met de regelgeving en niet omwille van een intrinsieke motivatie en eigen behoefte aan kwaliteitszorg.  Verantwoording – verbetering Intrinsieke motivatie is een noodzakelijke voorwaarde om een degelijk zelfevaluatieproces op gang te brengen. Wanneer het zelfevaluatieproces in een school ontstaan is vanuit een behoefte om zichzelf te verbeteren, zal dit wellicht met meer overtuiging, engagement, grondigheid en openheid gebeuren en bijgevolg ook leiden tot doelgerichte verbeteracties die door de betrokkenen gedragen worden. Het opnemen van zelfevaluatie in de reglementering is doorgaans bedoeld om de kwaliteit van het zelfevaluatieproces te verbeteren en dus ook om een positieve impact te hebben op de werking van de school. Maar de verplichting houdt echter het gevaar in dat het verantwoordingskarakter de bovenhand zal halen ten koste van de verbeteringsgedachte. De kans op artefacten is dan ook niet denkbeeldig. Het is niet uit te sluiten dat scholen zich bij het uitwerken van zelfevaluatie vooral gaan toespitsen op de elementen waarvoor ze t.a.v. de overheid (met inbegrip van de inspectie) of een andere instantie verantwoording moeten afleggen, ook al sluiten deze niet aan bij de eigenheid van de school. Bij een verplichte zelfevaluatie is het gevaar reëel dat scholen zich zullen beperken tot het aanmaken van een zelfevaluatiedocument dat in de kast wordt gelegd in afwachting van een externe evaluatie. Dergelijke zelfevaluatierapporten zullen wellicht ver af staan van de schoolrealiteit en weinig bijdragen aan onderwijsverbetering.

2.2 Beschikbaarheid van (statistische) vergelijkingsgegevens In de meeste landen (12) leveren nationale/regionale instanties of andere organisaties referentiegegevens aan scholen zodat ze kunnen nagaan hoe ze presteren in vergelijking met andere scholen, en op basis daarvan gepaste

21

verbeterdoelen kunnen selecteren. Enkel in Oostenrijk, Hessen en Tsjechië zijn er (bijna) geen echte “nationale” vergelijkingsgegevens voorhanden. In de meeste landen zijn diverse (statistische) referentiegegevens gegevens beschikbaar: • Nationale prestatiegegevens Deze informatie laat scholen toe hun resultaten te vergelijken met recente nationale leerlingresultaten en met de landelijke prestatiegegevens van de voorgaande jaren.Vaak wordt ook het bereik aangegeven van de prestaties van scholen met vergelijkbare kenmerken, bv. scholen gegroepeerd op basis van de leerlingkenmerken. Dergelijke gegevens zijn beschikbaar in Engeland, Schotland, NoordIerland, Ierland, Nederland, Portugal, Frankrijk,Vlaanderen en de Franstalige Gemeenschap van België, Tsjechië, Denemarken en Saksen. • Nationale indicatoren over leerwinst Leerwinstindicatoren zijn kwantitatieve indicatoren die gebruikt worden om te meten welke meerwaarde de scholen bieden aan de prestaties van de leerlingen rekening houdend met wat men normaliter zou verwachten op basis van de achtergrondkenmerken van de leerlingen en hun eerdere prestaties. Dit biedt een indicatie van de relatieve vooruitgang die de leerlingen geboekt hebben. Leerwinst toont de vooruitgang die geboekt wordt door een individu of een groep in vergelijking met de gemiddelde vooruitgang van gelijkaardige leerlingen. Scholen kunnen aan de hand van deze informatie nagaan hoe hun leerlingen presteren in vergelijking met leerlingen die gelijkaardig presteerden bij een beginmeting. De informatie laat meestal ook toe om de prestatie van verschillende klassen of leerlingengroepen te beoordelen (bv. jongens, etnische minderheden, kinderen met specifieke onderwijsbehoeften) of om de prestatie van een hele cohorte te bestuderen. Dergelijke indicatoren worden aan scholen geleverd in Engeland (als onderdeel van het “Herfstpakket” en via de Local Education Authorities), Schotland, Nederland (via leerlingvolgsystemen) en Frankrijk.

22

• Gegevens uit het “jaarlijks” rapport van de inspectie over de toestand van het onderwijssysteem In Nederland, Tsjechië, Engeland, Schotland,Vlaanderen en de Franstalige Gemeenschap van België moet de inspectie regelmatig (bv. jaarlijks) rapporteren over de stand van zaken in het onderwijs. In de meeste gevallen is dit rapport gebaseerd op de inspectiebevindingen die gedurende het voorgaande jaar of de vorige jaren verzameld zijn tijdens de schooldoorlichtingen. Deze rapporten kunnen ook nationale vergelijkingsgegevens leveren aan de scholen. • Eenvoudige kwantitatieve indicatoren op nationaal niveau Kwantitatieve indicatoren en statistieken op nationaal niveau bv. gemiddelde schoolkost, aanwezigheidsratio’s, leerling/leerkracht ratio’s worden in de meeste landen gepubliceerd bv. in een statistisch jaarboek (Schotland, Engeland, Noord-Ierland, Ierland, Tsjechië, Portugal, Saksen,Vlaanderen, de Franstalige Gemeenschap van België, Denemarken en Frankrijk). • Andere gegevens De beschikbaarheid van allerlei andere specifieke referentiegegevens werd gemeld door Schotland, Denemarken, Nederland,Vlaanderen, Hessen, Saksen en Oostenrijk. In de meeste landen die vergelijkingsgegevens ter beschikking stellen, worden deze data beschouwd als een essentiële basis en startpunt voor zelfevaluatie door de scholen, zeker op het vlak van analyse van prestatiegegevens. Scholen worden uitgenodigd om nationale gegevens te gebruiken om hun resultaten te beoordelen en om op basis daarvan doelstellingen te definiëren.Vergelijkingsgegevens bezorgen de scholen een minimaal objectief referentiekader. In sommige landen is het gebruiken van vergelijkingsgegevens zelfs verplicht (Engeland, Schotland, Frankrijk) of aanbevolen door de inspectie (Nederland,Vlaanderen, de Franstalige Gemeenschap van België) in de context van zelfevaluatie, schoolontwikkelingsplanning en/of het bepalen van prestatiedoelen. In Ierland, Portugal en Saksen worden vergelijkingsgegevens (nog) niet beschouwd als een belangrijk onderdeel van de zelfevaluatie door de school, ondanks het feit dat deze gegevens wel beschikbaar zijn.

Het is duidelijk dat landen die op nationaal niveau centrale examensystemen hebben, meestal een massa informatie in de vorm van vergelijkende prestatiegegevens ter beschikking stellen van scholen en/of andere participanten. Deze gegevens kunnen meer of minder gesofistikeerd zijn. In Engeland wordt er zowel door de nationale als de locale onderwijsoverheden (LEA) een overvloed aan statistische gegevens en gedetailleerde vergelijkingsgegevens geleverd aan scholen. Om scholen bij te staan in hun prestatiemanagement produceren het Department for Education and Skills (DfES), Ofsted (de onderwijsinspectie), en de Qualifications and Curriculum Authority (QCA) samen een jaarlijks “Autumn Package of Pupil Performance Information”. Dit pakket bestaat uit “National Summary Results” (een overzicht van leerlingresultaten op nationale toetsen en examens op systeemniveau), “National Value Added Information”, “National Benchmark Information” (vergelijkingsgegevens die de resultaten van gelijkaardige scholen samenbrengen) en een “Performance and Assessment Report” (“PANDA”, dit is een pakket gegevens dat uniek is voor elke school en gekaderd is binnen de context van de sociaal-economische omgeving van de school). Het gebruik van dit herfstpakket is verplicht en essentieel voor het proces van prestatiedoelen selecteren, schoolverbetering en zelfevaluatie. Hoe meer zelfevaluatie geïncorporeerd is in het gehele evaluatiesysteem en hoe meer prestatiegegevens beschikbaar zijn op nationaal niveau, des te meer worden vergelijkingsgegevens gebruikt op schoolniveau. In sommige landen speelt de inspectie ook een significante rol in het verzamelen, analyseren en/of verspreiden van vergelijkingsgegevens en statistische gegevens.  Top down – bottom up In sommige landen is er een sterke impuls of zelfs een verplichting vanuit de overheid om aan zelfevaluatie te doen. Eén van de middelen om ervoor te zorgen dat scholen zichzelf evalueren, is hen ertoe aanzetten of zelfs dwingen om hun prestatiegegevens te analyseren en te confronteren met nationale vergelijkingsgegevens (top down impuls). Uit de projectgegevens blijkt dat de beschikbaarheid van nationale vergelijkingsgegevens een goede zelfevaluatie inderdaad in de hand werkt, maar enkel op voorwaarde dat scholen openstaan voor de idee van zelfevaluatie, en dat ze een zekere cultuur en expertise op dit vlak hebben uitgebouwd (bottom up).  Druk – ondersteuning Vergelijkingsgegevens zorgen tegelijk voor druk en voor ondersteuning. Het is een vorm van ondersteuning omdat vergelijkingsmateriaal om de output van een school te analyseren inderdaad een essentieel en noodzakelijk onderdeel van zelfevaluatie vormt.Vandaar dat scholen vragende partij zijn voor zowel betrouwbare gegevens en vergelijkingsmateriaal als voor een degelijke inscholing in het gebruik ervan. Anderzijds zorgen (nationale) vergelijkingsgegevens ook voor druk, zeker als ze gebruikt worden in een context van verantwoording en prestatiemanagement, waarbij scholen zich t.o.v. van de buitenwereld moeten verantwoorden over hun resultaten. De druk is uiteraard ook onmiskenbaar aanwezig wanneer het gebruik van deze gegevens verplicht wordt en scholen worden gecontroleerd op het gebruik ervan. In Schotland zijn er bv. “education authorities” die van hun scholen eisen dat ze een jaarlijks “standards & quality report” schrijven en publiceren. Een dergelijk rapport dient gebaseerd te zijn op een zelfaudit en op de analyse van statistische prestatiegegevens. Sommige EAs (locale overheden bevoegd voor scholen in hun regio) doen zelfs visitaties om dit rapport te bespreken en te valideren.  Extern – intern Resultaten van externe evaluatie (meestal zijn de gegevens gebaseerd op de resultaten van nationale examens, van evaluaties door de inspectie of systeemevaluaties door het ministerie) worden gebruikt om scholen aan te zetten of zelfs te dwingen tot interne evaluatie of om de kwaliteit van interne evaluatie te verbeteren. In deze context kunnen vergelijkingsgegevens beschouwd worden als objectieve gegevens die kunnen gebruikt worden als vertrekpunt voor een sterkte-zwakte analyse. Anderzijds kan men zich afvragen of die nationale vergelijkingsgegevens inderdaad een goede weergave zijn van de realiteit, van de reële output van scholen. Immers, er zijn nogal wat (wetenschappelijke) bedenkingen bij de validiteit van nationale examens en het gebruik van die resultaten als basis voor externe evaluatie (ranking, inspectie) of voor een interne evaluatie. Bezwaren zijn het “teaching to the test”-fenomeen, het feit dat leerlingen worden uitgesloten om resultaten op te krikken, het onvoldoende in rekening brengen van context en input van de school, het in hoofdzaak meten van makkelijk meetbare dingen (bv. vooral zuivere kennis, en veel minder attitudes, metacognitieve processen, vaardigheden). Heel wat scholen betwisten de realiteitswaarde en dus ook de bruikbaarheid voor zelfevaluatie van vergelijkingsgegevens, die grotendeels gebaseerd zijn op externe examens.

23

 Verantwoording - verbetering Het leveren van vergelijkingsgegevens draagt uiteraard bij tot de verbetering van de kwaliteit van het zelfevaluatieproces op zich en daardoor ook tot schoolverbetering. Sommige scholen in fase 2/3 van het ESSE-project waren zelfs vragende partij voor meer en betere gegevens omdat ze dit nodig achten voor een genuanceerde en gedetailleerde sterkte-zwakte analyse. Die sterkte-zwakte analyse leidt op haar beurt tot een betere selectie van actiepunten. Anderzijds worden vergelijkingsgegevens vanuit de overheid (met inbegrip van de inspectie) vaak geleverd vanuit de verantwoordingsgedachte.Vergelijkingsgegevens confronteren scholen met hun prestaties (output) en dwingen hen om hierover verantwoording af te leggen. In enkele Angelsaksische landen is het gebruiken van die vergelijkingsgegevens trouwens verplicht in het kader van wat ze “performance management” noemen. Scholen moeten realistische prestatiedoelen kiezen op basis van hun vergelijkingsgegevens, en later wordt daadwerkelijk geëvalueerd aan de hand van nieuwe referentiegegevens of die objectieven ook gehaald zijn. De scholen worden bovendien verplicht om dit alles te publiceren. In Vlaanderen zitten de vergelijkingsgegevens verwerkt in het outputgedeelte van het informatiedossier dat scholen moeten invullen ter voorbereiding van een doorlichting. Scholen kunnen bij het invullen meteen zien wat hun positie is t.o.v. van het Vlaams gemiddelde. Bij sterke afwijkingen zullen ze hierover tijdens de doorlichting verantwoording moeten afleggen.

2.3 Beschikbaarheid van een set van kwaliteitsstandaarden/-indicatoren Systematische zelfevaluatieprocessen in scholen zouden gebaseerd moeten zijn op een duidelijk raamwerk met kwaliteitsindicatoren. Er werd onderzocht of er in de verschillende landen een nationaal overeengekomen of gestimuleerd kwaliteitskader met indicatoren, standaarden, en/of criteria, beschikbaar is voor scholen. In de meeste landen worden de huidige inspectieraamwerken voor het extern evalueren van scholen ook gebruikt door scholen om hun eigen functioneren op te volgen. Dit gebeurt al in Engeland, Schotland, NoordIerland, Nederland en Vlaanderen. Het gebruik van het analysekader van de inspectie voor zelfevaluatie door de school is dan niet verplicht maar wordt in sommige gevallen wel aanbevolen bv. door de overheid.

24 HM Inspectorate of Education (HMIE) in Schotland heeft “How Good is Our School” ontwikkeld, een nationaal aanvaard evaluatieraamwerk bestaande uit 33 kwaliteitsindicatoren, die zowel gebruikt kunnen worden voor externe evaluatie door HMIE als voor zelfevaluatie door de school. Het gebruik van dit analysekader is niet verplicht maar het wordt onderschreven door de locale “Education Authorities” en door de onafhankelijke privé-scholen. Ierland, Tsjechië en Portugal zijn van plan om in de toekomst het inspectieraamwerk ter beschikking te stellen van scholen. Als een onderdeel van het ontwerpen van het “Whole School Evaluation”(WSE)-systeem voor volledige schooldoorlichtingen heeft de Ierse inspectie ook “evaluatiecriteria” ontwikkeld. Dit kwaliteitskader met indicatoren voor volledige schooldoorlichtingen werd al uitgetest via een pilootproject. Hoewel de planning voor de introductie van het WSE-model in het lager en secundair onderwijs nog niet rond is, is het toch de bedoeling om deze kwaliteitscriteria te publiceren in de toekomst en ze beschikbaar te maken voor scholen als een bron voor zelfevaluatie. Het gebruik van de WSE-evaluatiecriteria als basis voor zelfevaluatie is optioneel. In Oostenrijk, Hessen, Frankrijk en in de Franstalige Gemeenschap van België kunnen de sleutelgebieden van het schoolontwikkelingsplan door scholen gebruikt worden als kwaliteitskader. In de meeste van deze landen is er een vorm van verplichting t.o.v. een schoolontwikkelingsplan (en bijgevolg ook t.o.v. het gebruik van de sleutelgebieden van dit ontwikkelingsplan als referentiekader voor zelfevaluatie door de school). In Oostenrijk, Denemarken, Hessen en Saksen werd een raamwerk voor zelfevaluatie voor scholen ontwikkeld in het kader van een project dat de implementatie van ontwikkelingsplanning of zelfevaluatie wil stimuleren.

In Oostenrijk zijn er nog geen nationale of regionale standaarden maar heeft een departement van het Federaal Ministerie van Onderwijs,Wetenschappen en Cultuur een aantal kwaliteitsdomeinen en indicatoren voor scholen ontwikkeld in het kader van het “Quality in School”-project (QIS). Scholen zijn vrij om deze QIS-indicatoren te gebruiken. Saksen heeft recent de schoolportretten geïntroduceerd. In een schoolportret moet de school haar situatie beschrijven in een aantal gebieden en deze informatie elektronisch ter beschikking stellen voor de scholendatabank van het ministerie. De gebieden van het schoolportret kunnen functioneren als raamwerk voor zelfevaluatie. Het werken met schoolportretten is verplicht.

Alternatieve kwaliteitskaders In 10 landen mogen scholen ook kiezen voor andere raamwerken dan degene die nationaal gestimuleerd worden. Het populairste alternatief zelfevaluatiekader is het model van de “European Foundation for Quality Management” (het “EFQM”-model) dat ook bekend is als het “European Business Excellence Model”. Dit model wordt gehanteerd door sommige scholen in Nederland, Portugal, Vlaanderen en in de meeste regio’s van het Verenigd Koninkrijk. In NoordIerland wordt het gebruik van dit model zelfs gesteund door de Regional Training Unit. In de regio’s van het Verenigd Koninkrijk en in Vlaanderen proberen sommige scholen ook één of meer specifieke kwaliteitslabels te behalen zoals bv. “Investors in People”, “Charter Mark/Service first”, “ISO 9000”. In Engeland worden scholen ook aangemoedigd door het Department for Education and Skills om een specifiek kwaliteitslabel te behalen. Een onderzoek naar de voordelen van deze specifieke labels heeft o.a. uitgewezen dat scholen met een “Investors in People”-label en scholen die proberen om er een te halen, bij een doorlichting door Ofsted beduidend betere beoordelingen kregen op het vlak van onderwijskwaliteit dan scholen die geen label haalden of trachtten te halen. In sommige landen maken scholen gebruik van instrumenten die via wetenschappelijk onderzoek werden ontwikkeld. Voorbeelden zijn de “SETAQ-vragenlijst” (ontworpen door de Universiteit van Strathclyde) in Noord-Ierland, sommige instrumenten die gebruikt worden door Nederlandse scholen (bv. het “Diagnostisch Instrument voor Schoolverbetering-DIS”, het “SAS-Instrument voor Schooldiagnose”), raamwerken van Oostenrijkse deskundigen zoals Schratz en Posch, instrumenten en kwaliteitskaders ontwikkeld door Vlaamse onderzoekers (bv. IZES door Van Petegem). In Nederland, Portugal en Denemarken gebruiken scholen raamwerken en instrumenten voor zelfevaluatie die

25

ontwikkeld werden in de context van een project. In Portugal gebruiken sommige scholen het model van het “European project on school quality evaluation” (Quality XXI genaamd). In Nederland werden verschillende projecten opgestart om de implementatie van systematische zelfevaluatie te stimuleren en te ondersteunen, bv. het Q5-project. Het KWAPO (kwaliteit in primair onderwijs), een Nederlands project, heeft een inventaris en beschrijving van mogelijke raamwerken, indicatoren en instrumenten gepubliceerd op haar website. Vlaanderen, Engeland en ook Nederland melden dat alternatieve raamwerken en instrumenten voor schoolzelfevaluatie ontwikkeld werden door onderwijsbegeleidingsdiensten of (privé-)consultancy organisaties.  Top down – bottom up Indien men (nationale) kwaliteitskaders ter beschikking stelt van scholen en het gebruik ervan aanmoedigt, dan heeft dit in heel wat landen als gevolg dat scholen inderdaad ten minste beginnen te reflecteren en te discussiëren over zelfevaluatie. Dat bleek ook uit de reacties van enkele van de scholen die via een gezamenlijke inspectie in het kader van dit project geconfronteerd werden met het ESSE-raamwerk.Voor sommigen was dit de eerste keer dat ze een kwaliteitskader te zien kregen. Maar als scholen worden verplicht om een nationaal ontwikkeld raamwerk te gebruiken, dan wordt de focus van de zelfevaluatie eigenlijk ook bepaald door de overheid (top-down). Dit heeft als voordeel dat het raamwerk doorgaans goed doordacht en via wetenschappelijke ondersteuning is opgesteld, rekening houdt met de “heersende visie” op onderwijskwaliteit en dat het ook de aandacht richt op de prioriteiten van de overheid. Een top-down kwaliteitskader vormt anderzijds een inbreuk tegen de toenemende trend in de richting van meer autonomie voor scholen. Net als bij het werken met vergelijkingsgegevens stellen we hier trouwens vast dat het verschaffen van een nationaal raamwerk doorgaans slechts een merkbaar positieve invloed heeft op het zelfevaluatieproces en daadwerkelijk gebruikt wordt als scholen openstaan voor zelfevaluatie, als er al een zekere cultuur van zelfevaluatie in de school is gegroeid vanuit de eigen behoeften (bottom up).

26

 Druk - ondersteuning In diverse landen blijkt het aanreiken van een nationaal raamwerk door scholen beschouwd te worden als een vorm van ondersteuning. In bijna de helft van de landen die deelnamen aan dit project zijn scholen immers op zoek naar een goed kwaliteitskader als basis voor hun zelfevaluatie-activiteiten. Anderzijds kan de stimulans of de (indirecte) verplichting om een bepaald raamwerk te gebruiken, contraproductief werken. Scholen organiseren dan hun zelf-evaluatieactiviteiten op basis van een “opgedrongen” raamwerk dat niet echt aangepast is aan de zelfevaluatienoden van de school. Zelfevaluatie die gebaseerd is op een kader waar men zich niet in kan vinden, zal wellicht veel minder leiden tot een adequaat actieplan voor de school.Vandaar dat scholen in sommige landen op zoek zijn naar een raamwerk dat beter inspeelt op hun specifieke karakteristieken en situatie. Wellicht is het om hieraan enigszins tegemoet te komen dat scholen in heel wat landen “alternatieve” kwaliteitskaders gebruiken ter aanvulling van de nationale raamwerken. In Engeland stimuleert het Department for Education and Skills het gebruik van bijkomende referentiekaders. In Frankrijk zijn scholen verplicht om hun schoolproject (een soort schoolontwikkelingsplan) uit te werken volgens nationale richtlijnen, maar ze mogen wel een selectie maken uit de nationaal voorgestelde indicatoren en mogen ook hun eigen kwaliteitsindicatoren toevoegen. Bovendien verklaart dit waarschijnlijk ook het succes van een aantal netwerken en projecten rond zelfevaluatie waarbij een massa kwaliteitsraamwerken en instrumenten voor zelfevaluatie worden aangereikt, zodat scholen zelf het meest passende kwaliteitskader kunnen kiezen (shoppen) of zelf een raamwerk kunnen samenstellen op basis van verschillende bestaande kaders.  Intern - extern In landen waar scholen het analysekader voor de externe evaluatie door de inspectie ook gebruiken voor hun zelfevaluatie, is er inderdaad het voordeel dat de interne en de externe evaluatie gebaseerd zijn op dezelfde visie op onderwijskwaliteit. Dit vermindert ook het gevaar op begripsverwarring. Het is bovendien makkelijker om het intern en het extern evaluatierapport van de school met elkaar te vergelijken.Voor de inspectie is het eenvoudiger om te vertrekken vanuit het zelfevaluatierapport van de school dan wanneer de school een totaal ander referentiekader hanteert. En voor scholen zal het gemakkelijker zijn om voort te bouwen op de externe evaluatie door de inspectie. Externe evaluatie wordt dan immers een soort validering van het interne evaluatierapport. Anderzijds leidt het gebruik van eenzelfde referentiekader voor interne en externe evaluatie wellicht toch wel tot een zekere verschraling van de interne evaluatie en van de diversiteit in het onderwijslandschap. Er is minder kruisbestuiving tussen interne en externe evaluatie aangezien in de beide gevallen eigenlijk hetzelfde wordt geëvalueerd. Als elke school zelf op zoek gaat naar het referentiekader dat het beste aansluit bij haar eigenheid

of zelf een raamwerk ontwikkelt, zal dit ook weerspiegeld worden in een zelfevaluatieproces dat gericht is op die aspecten die de school zelf als problematisch of belangrijk ervaart. Dat hoeft niet noodzakelijk overeen te stemmen met wat de inspectie onderzoekt. Dit betekent niet noodzakelijk dat inspectieraamwerken, indien ze voldoende open en flexibel zijn, altijd deze neveneffecten zullen veroorzaken. Indien er ruimte is voor de eigen prioriteiten en visie van de school en wanneer de indicatoren door iedereen onderschreven worden, zijn het nuttige instrumenten om te communiceren en te werken aan kwaliteitsbewaking en –verbetering.  Verantwoording - verbetering Nationaal gestimuleerde kwaliteitskaders zijn vaak ontworpen vanuit een verantwoordingsperspectief. Dat is duidelijk wanneer het gaat over het analysekader voor een externe evaluatie door de inspectie (dat is het geval in praktisch alle landen die aan externe schooldoorlichting doen). Dat geldt zeker ook voor de landen waarbij sleutelgebieden van het schoolontwikkelingsplan (dat trouwens vaak een verplicht karakter heeft) als raamwerk gehanteerd kunnen of moeten worden. Een geval apart maar toch een mooi voorbeeld van de invloed van de verantwoordingsgedachte is Saksen waar scholen recent verplicht werden om van zichzelf een schoolportret te schetsen m.b.t. een aantal domeinen. Deze portretten worden opgenomen in de databank van de overheid en kunnen geraadpleegd worden via het internet. Scholen zullen hun zelfevaluatie gaan toespitsen op de domeinen waarover ze zich via hun portret moeten verantwoorden. Het is dan ook de vraag of de zelfevaluatie die in hoofdzaak gebeurt vanuit een verantwoordingsperspectief, even grondig en oprecht zal verlopen als een zelfevaluatie die gegroeid is vanuit een nood aan zelfverbetering van de school. Wanneer het zelfevaluatieproces gebaseerd is op een kwaliteitskader dat vertrekt vanuit het verbeteringsperspectief (bv. een kwaliteitskader op maat van de school, dat de school zelf ontwikkeld of laten ontwikkelen heeft, en dat rekening houdt met de eigenheid van de school) zal er wellicht ook meer engagement vanuit de verschillende participanten zijn, zal het proces meer gedragen zijn en als zinvol worden ervaren en bijgevolg ook meer leiden tot daadwerkelijke verbeteringsacties.

2.4 Beschikbaarheid van ondersteuning en begeleiding bij de uitbouw van zelfevaluatie Enige aanmoediging en ondersteuning van het macroniveau is belangrijk om scholen aan te zetten tot zelfevaluatie. In de meeste landen die aan het project deelnamen zijn verschillende vormen van ondersteuning en begeleiding beschikbaar. In de meerderheid van de landen staat het de scholen vrij gebruik te maken van het aanbod. In Ierland, Frankrijk, Saksen en Denemarken is het aanwenden van begeleiding (relatief) verplicht, maar in al deze gevallen is de verplichting enkel van toepassing voor een bepaalde onderwijssector of voor een specifieke doelgroep als gevolg van deelname aan een bepaald initiatief. - In Denemarken krijgen enkel de handelsscholen op niveau hoger secundair onderwijs gedurende een periode van 3 jaar op verplichte basis bezoek van een nationaal adviseur of van een ander staflid van het departement hoger secundair onderwijs. Enkel in Tsjechië is er op dit moment nog geen begeleiding voorhanden omdat zelfevaluatie daar nog in de kinderschoenen staat. In landen waar zelfevaluatie reeds op grote schaal geïmplementeerd werd of waar men de intentie heeft om meer in zelfevaluatie te investeren, vindt men een brede waaier aan initiatieven omtrent verschillende thema’s die lokale besturen, scholen, etc. in hun opdracht ondersteunen. •

• •

De meeste landen voorzien begeleiding ten aanzien van zelfevaluatie of interne auditprocessen in het algemeen, alsook meer specifiek omtrent het gebruik van zelfevaluatie-instrumenten en het verzamelen van data voor het zelfevaluatieproces. In negen landen wordt ondersteuning geboden in de context van schoolontwikkelingsplanning en/of schoolverbetering. In Schotland, Noord-Ierland, Nederland en Oostenrijk wordt nascholing verzorgd over het gebruik van ethosindicatoren in het kader van zelfevaluatie. Dit houdt in dat scholen advies wordt gegeven over de wijze waarop ouders, leerlingen, … op een systematische manier geconsulteerd kunnen worden.

27

•

In sommige Angelsaksische regio’s wordt begeleiding aangeboden bij het bepalen van doelen (target setting) om tot schoolverbetering te komen en bij het analyseren van statistische data zoals alle mogelijke leerling- en schoolresultaten.

In enkele landen, zoals Portugal, wordt begeleiding en nascholing nog niet op systematische wijze georganiseerd. In vele landen wordt begeleiding en ondersteuning ontwikkeld en ter beschikking gesteld door een hele reeks nationale en regionale instanties en organisaties: • De overheid, het onderwijsministerie stelt in de meerderheid van de landen nascholing en ondersteuning ter beschikking. Het Oostenrijks Federaal Ministerie van Onderwijs,Wetenschappen en Cultuur biedt de provinciale autoriteiten in-service training om hen te ondersteunen bij het lanceren van een zelfevaluatieproject in de diverse regio’s. Het Saksische onderwijsministerie organiseert training over schoolontwikkeling en management voor schoolhoofden. Het Hessisch ministerie verspreidt handboeken over schoolontwikkelings planning. •

In enkele Angelsaksische regio’s, Frankrijk, Oostenrijk en Saksen bieden lokale onderwijsautoriteiten training bij het toepassen van zelfevaluatie in scholen. In Frankrijk worden schoolhoofden getraind in het gebruik van zelfevaluatiemethodes en in het geven van feedback op de kwaliteit van de procedures.

•

De inspectie is eveneens in verschillende landen, zoals in Engeland, Schotland, Noord-Ierland, Frankrijk, Nederland,Vlaanderen en Hessen actief geëngageerd terzake. Het Engelse Ofsted en de Schotse HMIE promoten zelfevaluatie als de sleutel tot verbetering van de kwaliteit via een breed scala aan ondersteuning. De Noord-Ierse inspectie werkt mee aan het ontwikkelen van ondersteuningsmateriaal ten behoeve van zelfevaluatie in scholen.

28

•

In enkele landen wordt begeleiding verzorgd door begeleidingsdiensten of adviseurs. Dit is het geval in Oostenrijk, Denemarken,Vlaanderen, Saksen en Nederland.

•

In Oostenrijk worden in-servicetrainingen en seminaries over schoolontwikkeling en zelfevaluatie georganiseerd door speciaal daartoe opgeleide adviseurs. In Nederland spelen de begeleidingscentra een belangrijke rol bij de uitbouw van het kwaliteitsnetwerk.

•

Organisaties van schoolbesturen spelen in sommige landen ook een belangrijke rol. De “Irish School Management and Trustee Bodies” ondernemen lokale initiatieven om scholen te ondersteunen bij het uitwerken van hun schoolontwikkelingsplanning en zelfevaluatieprocessen. Op initiatief van organisaties van schoolbesturen werd in Nederland een kwaliteitsproject en een netwerk dat dit project ondersteunt, opgestart, met als doel scholen aan te moedigen voor en te begeleiden bij het ontwikkelen van systematische zelfevaluatie.

•

In bepaalde landen / regio’s, zoals in Engeland,Vlaanderen en Oostenrijk bieden vakbonden en/of lerarenorganisaties nascholing aan.

•

In Engeland is de vakbond actief terzake. In Oostenrijk verspreiden sommige lerarenverenigingen publicaties, o.m. over het geven van feedback. In o.a. Saksen en Vlaanderen verzorgen instituten voor lerarenopleiding training en begeleiding.

• •

•

In landen / regio’s zoals Portugal, Denemarken,Vlaanderen en Nederland worden universiteiten en onderzoeksinstituten expliciet vermeld als aanbieders van ondersteuning aan scholen inzake zelfevaluatie. Nationale organisaties bieden begeleiding aan in sommige landen, zoals de QCA (Qualification and Curriculum Authority) in Engeland, SLO (het Nederlands instituut voor leerplanontwikkeling) en HeLP (het nascholingsinstituut in Hessen). In Engeland, Schotland, Noord-Ierland en Vlaanderen zijn private organisaties geëngageerd in het

•

promoten van zelfevaluatieraamwerken en het ontwikkelen en ter beschikking stellen van specifieke nascholing voor scholen. De educatieve uitgeverijen sluiten hier het rijtje. Zij zijn actief in het ontwikkelen van ondersteuningsmateriaal ten aanzien van zelfevaluatie in Nederland.

Ondersteuning en advies wordt op diverse wijzen aangeboden. Nationale en regionale instanties en organisaties dragen bij tot de implementatie van het zelfevaluatieproces door: • •

• •

•

informatie ter beschikking te stellen van scholen, o.a. via het publiceren van richtlijnen en handboeken, het verspreiden van rapporten over bv. schoolontwikkelingsplanning in (piloot-)scholen, via internet. materiaal te ontwikkelen zoals zelfevaluatie-instrumenten, kwaliteitskaders met indicatoren, methodes om gegevens te verzamelen in het kader van zelfevaluatie, etc. Dit is o.a. het geval in Schotland, Engeland, Ierland, Noord-Ierland, Denemarken. in-service training aan te bieden, seminaries en conferenties te organiseren, zoals in Engeland, Oostenrijk, Noord-Ierland,Vlaanderen, Saksen en Hessen. advies te geven, via discussies met betrokkenen in de individuele scholen tijdens (de implementatie van) het zelfevaluatieproces, bijvoorbeeld in Noord-Ierland, Saksen, Denemarken, of via diverse actoren die functioneren als “kritische vriend”, zoals in Portugal, Ierland en Frankrijk. kwaliteitsnetwerken, -projecten op te richten die scholen voorzien van informatie, instrumenten, begeleiding, enz. In Nederland werden de Q5-, QPO- en KWAPO-projecten uitgebouwd. Het QISproject (Quality In Schools) werd opgestart in Oostenrijk. In Saksen heeft men de zogenaamde ‘modelprojecten’.

 Top down – bottom up In de meeste landen die deelnamen aan het project is de overheid (met inbegrip van de inspectie) betrokken bij het ontwikkelen en het voorzien van ondersteuning en begeleiding aan scholen. In bepaalde landen wordt het benutten van het aanbod aan begeleiding zelfs opgelegd of sterk aangemoedigd door een overheidsinstantie (top down). Uit de rapporten in het ESSE-project blijkt dat dit aspect een proces op gang brengt en stimulerend werkt t.a.v. (het opzetten van) zelfevaluatie in de scholen.Voorwaarde is wel dat scholen reeds enige evolutie t.a.v. het principe van zelfevaluatie hebben doorgemaakt, of minstens open staan voor de idee van zelfevaluatie. Naarmate scholen reeds een aantal stappen in het zelfevaluatieproces hebben doorgemaakt (gaande van het reflecteren over het principe van zelfevaluatie, het ontwikkelen van een visie, over het overtuigd geraken van de mogelijke meerwaarde en het effectief opstarten, tot het systematisch uitvoeren van een zelfevaluatie), is men geneigd meer in te gaan op het aanbod, en begeleiding meer als zinvol te bestempelen (bottom up). Dit geeft dan weer bij de verschillende instanties een aanzet om het begeleidingsaanbod uit te breiden, de kwaliteit te verhogen en het meer af te stemmen op de specifieke noden van de school. M.a.w. hoe ruimer zelfevaluatie geïmplementeerd geraakt, hoe ruimer en beter het begeleidingsaanbod wordt en hoe meer men de krachten bundelt in het opzetten van netwerken en het uitwerken van projecten. In de meeste landen, maar vooral in landen waar zelfevaluatie nog maar weinig voorkomt, vormt begeleiding het essentieel fundament en het startpunt voor zelfevaluatie. Begeleiding en training, door of in opdracht van de overheid, heeft bovendien als voordelen dat doorgaans een hoge kwaliteit gegarandeerd wordt (gebaseerd op wetenschappelijk onderzoek) en dat de missie van de school in het breder perspectief van het landelijk kwaliteitsbewakingssysteem en vastgelegde onderwijsprioriteiten wordt geplaatst. Wanneer anderzijds begeleiding wordt ontwikkeld vanuit een bottom up perspectief, m.a.w. geïntroduceerd wordt door of op verzoek van de school zelf, wordt gemakkelijker gefocust op de specifieke noden en specifieke kenmerken van de individuele school. Het aanbod is dan meer op maat, dan wanneer de begeleiding top down wordt samengesteld (als een algemeen aanbod voor alle scholen).  Druk – ondersteuning Het aanbieden van begeleiding en training is in eerste instantie bedoeld als ondersteuning. In landen met een enigszins langere traditie in en een sterk engagement t.a.v. zelfevaluatie, lopen er vele initiatieven over een gevarieerd aantal topics om lokale autoriteiten, scholen, enz. te ondersteunen. In landen waar er nog geen uitgesproken vorderingen kunnen opgetekend worden t.a.v. zelfevaluatie, blijken scholen grote belangstelling te tonen in begeleiding om zelfevaluatie op gang te trekken en/of hun zelfevaluatieproces verder te ondersteunen. Men is ervan overtuigd dat begeleiding een essentieel onderdeel van de zelfevaluatie is. Een Ierse inspecteur vatte het kort maar krachtig samen: ‘self-evaluation depends on external support’. Begeleiding die daarentegen van bovenaf wordt opgelegd, werkt vaak contraproductief. Na afloop wordt de

29

meerwaarde wel eens als te verwaarlozen ingeschat. Dit is een gevolg van de wijze waarop verplichte begeleiding vaak wordt ingevuld: eerder aanbodgericht en algemeen, dan georiënteerd op de specifieke noden van de individuele scholen. Sommige landen trachten deze inconsistentie weg te werken. De Deense handelsscholen op het niveau hoger secundair onderwijs bijvoorbeeld, ontvangen van de overheid een budget om begeleiding op maat te kopen. Dit verklaart wellicht het bestaan van vele soorten instituten die een breed gamma aan begeleiding aanbieden en het feit dat meer en meer netwerken worden gevormd en projecten worden opgestart (die vaak worden gestimuleerd en ondersteund door de overheid).  Extern – intern Zowel de inspectie als het ministerie van onderwijs zijn in de meeste landen actief betrokken bij het ontwikkelen en verschaffen van begeleiding en training. Het begeleidingsaanbod is soms ook gebaseerd op resultaten van externe evaluatie. De externe evaluatoren treden op deze manier richtinggevend op t.a.v. (de zelfevaluatie in) de scholen. Het gevolg is dat de externe en interne evaluatie en het materiaal dat hierbij gehanteerd wordt, veelal gebaseerd zijn op dezelfde visie en uitgangspunten. Bijvoorbeeld in Engeland heeft de inspectie een bijdrage geleverd aan een nationaal pakket voor het trainen van schoolmanagers in zelfevaluatie “helping schools to carry out self-evaluation”. Dit trainingsaanbod is ontworpen om schoolleiders gelijkaardige competenties te laten ontwikkelen als de inspectieleden. In Schotland biedt de inspectie nascholing aan over het gebruik van hun kwaliteitskader ten behoeve van zelfevaluatiedoeleinden van de scholen. Scholen zijn hierdoor ook beter voorbereid op een externe evaluatie vermits ze beter inzicht hebben in de door de inspectie gehanteerde evaluatie-instrumenten en methodologie. Daarbij is het voor de inspectie ook handiger om bij een externe evaluatie te kunnen vertrekken van zelfevaluatieresultaten die door middel van overeenkomstige methoden en instrumenten werden gedistilleerd. Het bewust op elkaar inspelen van interne en externe kwaliteitsbewaking is tot op zekere hoogte bevorderlijk voor de kwaliteit. Het gevaar dreigt echter dat bepaalde aspecten onontgonnen terrein blijven.Vooral de prioriteiten van de school mogen niet uit het oog verloren worden. Bovendien kan het afstemmen van de zelfevaluatie van de school op externe evaluatiemethodes leiden tot een geringere diversiteit aan zelfevaluatieprocessen en -methodes. Het verbreden van de horizon bij het zoeken naar andere perspectieven blijft belangrijk.

30

 Verantwoording – verbetering In de meeste landen worden allerlei vormen van begeleiding en nascholing opgezet vanuit verantwoordingsper spectief. Immers, zowel de inspectie als het onderwijsministerie zijn er actief betrokken bij het ontwikkelen en aanreiken van begeleiding. Het is vrij evident dat scholen zich bij het aanwenden van begeleiding gaan richten tot de punten waarvoor ze ten aanzien van het ministerie, de inspectie of een andere instantie verantwoording verschuldigd zijn. Het is niet uit te sluiten dat deze vormen van begeleiding niet (volledig) inspelen op de noden van de school. Scholen moeten daarentegen intrinsiek gemotiveerd zijn om gebruik te maken van begeleiding. Begeleiding opgezet vanuit de verbeteringsgedachte zal doorgaans beter aansluiten bij de overtuiging, karakteristieken en prioriteiten van de school. Dit zal leiden tot een grondigere zelfevaluatie en adequate verbeteracties.

2.5 Beschikbaarheid van regelmatige externe evaluaties Wanneer men nadenkt over het evenwicht tussen interne en externe evaluatie, bottom up of top down benaderingen, druk of ondersteuning, verantwoording of verbetering, mag men de bredere context waarin scholen functioneren niet uit het oog verliezen. Deze context omvat de mate van centralisatie of decentralisatie binnen onderwijssystemen op diverse vlakken, het systeem om leerlingen te evalueren (centrale examens, school interne leerlingevaluatie), de mate waarin scholen een voorgeschreven curriculum moeten volgen, de mate waarin scholen moeten voldoen aan bepaalde kwaliteitseisen of -criteria, … Dit uitwerken, zou de grenzen van het ESSE-project overschrijden. Wat echter wel sterk aanleunt bij de projectdoelen is de wijze waarop inspectiekorpsen van de verschillende landen zich verhouden t.o.v. de scholen. Deze rolpatronen hebben een grote invloed op mate waarin en de manier waarop scholen aan zelfevaluatie doen. Vormen van schooldoorlichtingen, waarbij scholen als geheel of als systeem worden geëvalueerd, komen voor in Engeland, Schotland, Noord-Ierland, Ierland,Vlaanderen, Nederland, Tsjechië en Portugal (sinds1999 tot onlangs). In Ierland, Noord-Ierland en Portugal wordt dit gecombineerd met het opvolgen van individuele leerkrachten. Deze landen combineren schooldoorlichtingen met de evaluatie van vakken, studierichtingen, bepaalde thema’s of aspecten. Het evalueren van leerkrachten los van een schooldoorlichting komt voor in Hessen, Saksen, Frankrijk, de Franstalige

Gemeenschap van België en Oostenrijk.Vaak gebeurt dergelijke controle in de context van aanwerving of promotie. Dit type van inspectie wordt vaak gecombineerd met het controleren van het naleven van wettelijke verplichtingen door de school. Inspecteurs in Oostenrijk, Hessen, Saksen en Denemarken richten zich vooral op het adviseren van scholen en leerkrachten. Het kan gaan om advies over bepaalde vakken, schoolontwikkelingsplanning, de implementatie van nationaal beleid, etc. Dergelijk advies wordt ook in Portugal, Ierland en in de Franstalige Gemeenschap van België gegeven, maar in deze landen ligt de focus van het inspectiewerk meer op evaluatie dan op advies. Laten we nu even inzoemen op de rol van de inspectie met betrekking tot zelfevaluatie. •

• •

• •

• •

•

• •

•

•

• •

De inspectie levert ondersteuning, advies en begeleiding. De meeste inspectiekorpsen ondersteunen de implementatie en de verbetering van het zelfevaluatieproces in de scholen. Ze doen dit echter op verschillende manieren: In 10 landen / regio’s (Engeland, Schotland, Noord-Ierland, Ierland, Nederland, Tsjechië, Hessen, Vlaanderen, Denemarken en Saksen) ondersteunt de inspectie het zelfevaluatieproces rechtstreeks. Zeven ervan (Nederland, Oostenrijk, Frankrijk, Denemarken, Ierland, Saksen en Hessen) bieden indirecte ondersteuning aan de zelfevaluatie door het proces van schoolontwikkelingsplanning (dat een vorm van zelfevaluatie impliceert) op te volgen en te ondersteunen. In Ierland en Hessen levert de inspectie ondersteuning, advies en begeleiding door op te treden als “kritische vriend”. In Nederland, Oostenrijk en Saksen speelt de inspectie een actieve en belangrijke rol in het opbouwen en ondersteunen van netwerken die de implementatie van zelfevaluatie bevorderen.Via deze netwerken kunnen scholen met elkaar communiceren over hun vooruitgang, hun problemen en ervaringen, etc. De inspectie levert een kwaliteitskader met indicatoren en/of kwaliteitscriteria voor zelfevaluatie en andere instrumenten en/of materialen. Tien inspectiekorpsen (Engeland, Schotland, Noord-Ierland, Ierland, Nederland, Tsjechië, Portugal, Frankrijk,Vlaanderen en Denemarken) hebben een analysekader ontwikkeld dat (ook) kan gebruikt worden voor zelfevaluatiedoeleinden. In 7 landen / regio’s (Engeland, Schotland, Noord-Ierland, Portugal, Frankrijk, Saksen en Denemarken) levert de inspectie tevens andere instrumenten en materiaal (handboeken, zelfevaluatie-instrumenten, etc.) om het zelfevaluatieproces in de scholen te bevorderen. De inspectie heeft een engagement ten opzichte van de complementariteit tussen interne en externe evaluatie. Zeven inspectiekorpsen (Engeland, Schotland, Noord-Ierland, Nederland, Oostenrijk,Vlaanderen en Tsjechië) hebben een expliciet engagement t.o.v. de complementariteit tussen interne en externe evaluatie. In 8 landen / regio’s (Engeland, Schotland, Noord-Ierland, Ierland, Nederland, Portugal,Vlaanderen en Denemarken) besteedt de inspectie aandacht aan het zelfevaluatieproces tijdens de externe evaluatie, en/of vereist ze een vorm van zelfevaluatie voorafgaand aan de externe evaluatie. In Noord-Ierland, Oostenrijk en Nederland voert de inspectie een vorm van meta-evaluatie uit aan de hand van de zelfevaluatieresultaten of het schoolwerkplan of denkt ze eraan om dit systeem in de nabije toekomst in te voeren. De inspectie promoot of stimuleert zelfevaluatie De inspectiekorpsen van 11 landen / regio’s (Engeland, Schotland, Noord-Ierland, Nederland, Portugal, Hessen, Saksen, Ierland, Oostenrijk,Vlaanderen en de Franstalige Gemeenschap van België) promoten zelfevaluatie bv. door scholen aan te moedigen, door het belang van zelfevaluatie voor schoolverbetering te beklemtonen, …

Deze gegevens tonen aan dat de inspectie in de Angelsaksische regio’s (Noord-Ierland, Schotland, Engeland) een heel belangrijke en actieve rol spelen m.b.t. het zelfevaluatieproces. Dit kan geïllustreerd worden aan de hand van

31

een samenvatting van de taken van de Noord-Ierse inspectie in verband met zelfevaluatie. • • • •

• •

De Noord-Ierse inspectie stimuleert zelfevaluatie door: haar openbaar engagement t.o.v. de professionele complementariteit tussen interne en externe evaluatie, het leveren van kwaliteitsindicatoren waartegen scholen zichzelf kunnen spiegelen, het promoten en gebruiken van inspectietypes die een vorm van zelfevaluatie vereisen (in de tweedelige gefocuste inspectie en het werk met de scholen binnen het “Raising School Standards Initiative” en het “School Support Programme Initiative”, in de zelfevaluatieve opvolgingsdoorlichting en in de onaangekondigde doorlichting), alle secundaire scholen uit te nodigen voor een kwaliteitsborgingsdoorlichting, de ontwikkeling van materiaal voor zelfevaluatie dat in het basisonderwijs wordt uitgetest.

In hun zoektocht naar een evenwicht tussen interne en externe evaluatie wordt in Ierland, Nederland, Oostenrijk, Tsjechië,Vlaanderen de rol van de inspectie herbekeken. Drie specifieke aspecten van de relatie tussen interne en externe evaluatie worden hieronder nader bekeken: de externe evaluatie van de kwaliteit of de effectiviteit van het zelfevaluatieproces van de school, het gebruik van de resultaten van de zelfevaluatie tijdens een externe doorlichting, en de rapporten van de inspectie over de kwaliteit van de zelfevaluatie van de school.

Externe evaluatie van de kwaliteit/effectiviteit van het zelfevaluatieproces In 7 landen / regio’s (Engeland, Schotland, Noord-Ierland, Ierland, Nederland,Vlaanderen en sommige “académies” in Frankrijk) is de evaluatie van de kwaliteit en/of van de efficiëntie van het zelfevaluatieproces een onderdeel van de externe evaluatie door de inspectie. Er zijn echter wel verschillen in de manier waarop dit in de verschillende landen gebeurt:

32

•

Door meta-evaluatie: de kwaliteitsborgingsinspectie is één van de manieren waarop de Noord-Ierse inspectie de kwaliteit en de effectiviteit van het zelfevaluatieproces van de school extern evalueert. Bij zo’n doorlichting wordt de inspectie door de school uitgenodigd om het zelfevaluatieproces van de school te komen evalueren.

•

Door het gebruik van een analysekader voor schooldoorlichtingen waarbij “zelfevaluatie en/of kwaliteitsbewaking” één van de sleutelgebieden, indicatoren of criteria is voor een kwaliteitsvolle school (Ierland, Nederland,Vlaanderen, Schotland, Engeland).

In Ierland, Tsjechië, Oostenrijk en Hessen is er momenteel externe evaluatie van de effectiviteit van het zelfevaluatieproces, maar dit zal wellicht in de (nabije) toekomst een nieuwe taak worden voor deze inspectiekorpsen. Deze landen wachten op de implementatie van nieuwe wetten en/of de implementatie van een nieuw systeem om scholen extern te evalueren. In Portugal, de Franstalige Gemeenschap van België, Saksen, Frankrijk en Denemarken is er geen externe evaluatie van de kwaliteit en/of effectiviteit van het zelfevaluatieproces.

Het gebruik van zelfevaluatieresultaten bij externe evaluaties Acht landen maken gebruik van de zelfevaluatieresultaten voor de externe evaluatie door de inspectie. De overige landen niet, hoewel sommigen deze resultaten wel voor andere doeleinden gebruiken. Bijvoorbeeld de Saksische inspectie gebruikt deze informatie om feedback te krijgen over het al dan niet slagen van het modelproject, om de volgende stappen te plannen en om informatie te krijgen over de problemen m.b.t. schoolontwikkeling in het algemeen. En de Oostenrijkse inspectie zal deze informatie in de toekomst gebruiken om een regionaal actieplan op te stellen. De inspectie gebruikt zelfevaluatieresultaten voor hun externe evaluatie op verschillende manieren: • Door gebruik te maken van het zelfevaluatierapport van de school, van de visie van de school op haar

eigen sterktes en zwaktes en/of door andere informatie en documentatie uit de interne evaluatie als startpunt te nemen voor de externe evaluatie (Noord-Ierland, Schotland, Nederland, Denemarken, Portugal) Door de nieuwe Wet op het Toezicht (2002) schakelt de Nederlandse inspectie over naar proportioneel toezicht op scholen. De inspectie zal haar doorlichtingswerk zoveel mogelijk baseren op het werk dat de school heeft gedaan in de context van haar intern kwaliteitsbewakingssysteem. Het zelfevaluatierapport van de school is het startpunt voor de doorlichting door de inspectie. Het inspectieteam controleert zowel het kwaliteitsbewakingssysteem als de betrouwbaarheid en de validiteit van de zelfevaluatiegegevens van de school.Wanneer deze gegevens betrouwbaar en valide zijn, zal het inspectieteam bij de schooldoorlichting enkel focussen op de kwaliteitsindicatoren in het evaluatieraamwerk van de inspectie die niet door de school zelf werden geëvalueerd. “Hoe beter het zelfevaluatieproces en hoe beter de kwaliteit van de school blijkt uit de zelfevaluatie, hoe beperkter de doorlichting door de inspectie zal zijn”. •

Door aan scholen te vragen om voorafgaand aan de doorlichting vragenlijsten of formulieren in te vullen die een vorm van zelfevaluatie vereisen (Engeland,Vlaanderen, Schotland en Noord-Ierland). Hierbij worden scholen uitgenodigd om hun visie te geven over de stand van zaken in de school m.b.t. de verschillende gebieden die via de doorlichting worden gecontroleerd. Tijdens de doorlichting wordt nagegaan of de school een goede perceptie heeft van zichzelf.

•

Door het zelfevaluatieproces van de school en de resultaten ervan te beschouwen als een deel van het bewijsmateriaal dat door de inspectie wordt verzameld in de context van een schooldoorlichting. Dit is het geval in alle landen / regio’s waar de kwaliteit van de zelfevaluatie één van de indicatoren of criteria is van het inspectieraamwerk om de schoolkwaliteit te evalueren (Engeland, Schotland, Vlaanderen, Ierland, Nederland).

Inspectierapporten over de kwaliteit van de zelfevaluatie van de school 33 In 9 landen / regio’s rapporteert de inspectie over de kwaliteit van de zelfevaluatie van de school. In de meeste gevallen is er geen apart inspectieverslag over dit onderwerp maar zit dit vervat in het inspectie/evaluatieverslag van een schooldoorlichting of een andere vorm van externe evaluatie. Enkel in Noord-Ierland wordt na een kwaliteitsborgingsinspectie of een zelfevaluatieve opvolgingsdoorlichting een apart rapport gepubliceerd over de bevindingen van de inspectie m.b.t. de kwaliteit van de zelfevaluatie. In de meeste landen waar de inspectie een rapport schrijft over de algemene kwaliteit van een school en/of over de kwaliteit van de zelfevaluatie in het bijzonder, worden deze verslagen gepubliceerd en soms zelfs op het web geplaatst (Engeland, Schotland, Noord-Ierland, Portugal, Nederland). In Vlaanderen worden doorlichtingsverslagen niet gepubliceerd, maar de wet op de openbaarheid van bestuur zegt dat de verslagen naar iedereen gestuurd moeten worden die daartoe een verzoek indient bij de inspectie of administratie. Enkel in Ierland, Frankrijk, Denemarken en de Franstalige Gemeenschap van België zijn inspectierapporten (momenteel) vertrouwelijk. Er zijn 5 landen waar de inspectie niet rapporteert over de kwaliteit van de zelfevaluatie omdat zelfevaluatie er eerder zeldzaam is, of omdat de inspectie de kwaliteit van het zelfevaluatieproces (nog) niet evalueert.  Top down – bottom up Uit de bespreking van de wetgeving en het statuut van zelfevaluatie (2.1) is reeds gebleken dat de overheid in de meeste landen scholen stimuleert, aanmoedigt en soms zelfs (indirect) verplicht om werk te maken van zelfevaluatie. Dit wordt duidelijk bevestigd door de rol van de inspectie (als onderdeel van de overheid). Als de inspectie het gebruik van haar kwaliteitsraamwerk aanmoedigt, zelfevaluatiemateriaal ontwikkelt en nascholingen organiseert, en als ze tijdens haar schooldoorlichtingen of andere controleactiviteiten in de scholen aandacht besteedt aan het zelfevaluatieproces van de school, en/of verder bouwt op de resultaten van de zelfevaluatie van de school, dan is er duidelijk sprake van een top-down sturing van de invoering van zelfevaluatie-activiteiten. Een Engelse inspecteur vertelde dat “most schools prepare themselves for an inspection by evaluating their own quality”. Dit staat in contrast met de gedachte dat zelfevaluatie de meeste kans op slagen heeft als het initiatief vanuit de school zelf komt, als zij de nood voelt aan zelfevaluatie. Zij zijn ook in het kader van toenemende autonomie van scholen immers de eerste verantwoordelijken voor de onderwijskwaliteit en zouden dan ook

moeten aanvoelen dat ze een wijze moeten zoeken om over deze kwaliteit te waken. Als het initiatief voor de implementatie van een proces van zelfevaluatie van de school zelf komt, zal men het nut er meer van inzien, dan wanneer het alweer een bijkomende verplichting van hogerhand is. Wellicht is bij een top-down ingevoerde zelfevaluatie de kans op een papieren zelfevaluatie veel groter. Toch zijn nogal wat deelnemende inspecteurs van mening dat de overheid zelfevaluatie moet verplichten.  Druk – ondersteuning In de meeste landen / regio’s speelt de inspectie zowel een controlerende (druk) als begeleidende (ondersteuning) rol ten aanzien van zelfevaluatie van scholen. Enkel in Frankrijk, Hessen en Saksen beperkt de inspectie zich tot ondersteuning. Op zich is het wel vreemd dat een controlerende instantie (ook) aan begeleiding gaat doen, vooral omdat er in de meeste landen ook nog diverse andere organisaties zijn die begeleiding en ondersteuning bieden. Leidt dit niet tot rolverwarring en onduidelijkheid zowel bij scholen als inspectie? Zal ondersteuning die geboden wordt door een controlerende instantie niet vooral als druk en veel minder als ondersteuning ervaren worden door de school?  Extern – intern In 10 landen betrekt de inspectie de interne evaluatie op de een of andere wijze in de externe evaluatie. Dit heeft als gevolg dat de externe evaluatie veel invloed heeft op de interne evaluatie. In sommige landen zijn scholen daardoor meer gaan reflecteren over zelfevaluatie en zijn ze er zich ook meer bewust van geworden. Het leidt ook tot een toenemend aantal scholen dat aan zelfevaluatie gaat doen. In een aantal landen nemen scholen het kwaliteitskader voor externe evaluatie over voor hun zelfevaluatie. Er wordt aan zelfevaluatie gedaan ter voorbereiding van een externe evaluatie. Daartegenover staat dat een externe evaluatie in een totaal andere sfeer verloopt dan een interne evaluatie. Een directeur verwoordde het als volgt: “Externe evaluatie maakt een organisatie defensief en verbetert de kwaliteit van de zelfevaluatie helemaal niet”. In dit licht is het opmerkelijk dat landen waar nog geen of een minder goed uitgebouwde externe evaluatie plaatsvindt, duidelijk voorstander zijn van de introductie van externe evaluatie en/of de uitbouw van een meer systematische externe evaluatie, om op die manier de zelfevaluatie van de scholen te verbeteren.

34

 Verantwoording – verbetering Wanneer de interne evaluatie een element is van de externe evaluatie en wanneer dit resulteert in een openbaar inspectierapport, krijgt de interne evaluatie duidelijk een ‘verantwoordingskarakter’. Dit is a fortiori het geval bij vormen van proportioneel schooltoezicht, waarbij de inspectie de facetten die de school zelf op betrouwbare en valide wijze geëvalueerd heeft, niet nog eens extern gaat evalueren, maar gebruikt om tot een oordeel over de kwaliteit van de school te komen. In een dergelijke situatie gaat de school haar zelfevaluatie eigenlijk uitvoeren om ervoor te zorgen dat de inspectie minder werk heeft tijdens de externe doorlichting (waarbij ze enkel die dingen nog gaat bekijken waarover de school geen zelfevaluatiegegevens heeft). Zes landen / regio’s (Schotland, Ierland, Nederland, Tsjechië, Portugal en Vlaanderen) waarvan de meesten toevallig ook voorstander zijn van een vorm van proportioneel schooltoezicht, rapporteren dat scholen op basis van de sterktes en zwaktes in het inspectierapport, hun prioriteiten voor verbeteringsacties bepalen. Dit illustreert dat de inspectie eigenlijk een essentieel deel van het zelfevaluatieproces van scholen “afneemt” of “overneemt”, nl. het bepalen van eigen sterktes en zwaktes, en daaruit zelf een aantal acties voor verbetering afleiden. Hier is het gevaar reëel dat de acties voor verbetering niet gedragen worden door de school maar in hoofdzaak gericht zijn op het “in orde zijn tegen de volgende controle”. Dit is wellicht iets minder het geval bij een zuivere meta-evaluatie waarbij de zelfevaluatieresultaten niet gebruikt worden voor een externe evaluatie, maar waarbij de kwaliteit van het zelfevaluatieproces op zich wordt geëvalueerd. Hierbij wordt nagegaan of de scholen op een effectieve en efficiënte wijze aan zelfevaluatie doen. Bij een meta-evaluatie heeft de school meer vrijheid om zelf te bepalen hoe en wat er geëvalueerd wordt, terwijl bij een proportioneel schooltoezicht de mogelijke thema’s van de zelfevaluatie best een onderdeel zijn van het kwaliteitskader dat de inspectie hanteert. Zelfevaluatie zal meer tot verbetering leiden als scholen zelf kunnen bepalen wat ze op een bepaald moment gaan evalueren.

3. Het evenwicht tussen interne en externe relatie in de toekomst? De beschrijvingen, analyses en reflecties in deel 2 zijn gemaakt op basis van de situatie zoals die was toen de gegevens werden verzameld (tot januari 2003). Het ESSE-project wil ook vooruit denken en vroeg aan de deelnemers welke verbeteringen in hun systeem zouden kunnen worden aangebracht. Er werd hen ook gevraagd te reflecteren over het ‘ideale evenwicht’ tussen interne en externe evaluatie op basis van hun ervaringen met zelfevaluatie binnen en buiten het project.

3.1 Mogelijke verbeteringen Wanneer inspecteurs werden bevraagd over wat volgens hen in hun land/regio zou moeten worden ondernomen om de kwaliteit en effectiviteit van zelfevaluatie te verbeteren, werden suggesties gedaan die zeer dicht aanleunen bij de elementen van de indicator ‘externe ondersteuning’ van het ESSE-project. Wat volgt, is een algemeen maar niet exhaustief overzicht van deze suggesties. Inspecteurs uit tien landen / regio’s hebben het over wetgeving. Een Vlaamse inspecteur zou zelfevaluatie wettelijk willen verplichten. Opvallend is de reactie van een Vlaamse schooldirecteur: ‘Het beleid moet zelfevaluatie ondersteunen en stimuleren maar een wettelijke verplichting zal niet tot verbetering leiden. Zelfevaluatie mag niet gebaseerd zijn op een externe verplichting. Scholen zouden dan zelfevaluatie introduceren om te voldoen aan wettelijke verplichtingen. Het zou dan louter papierwerk zijn. Scholen moeten aan zelfevaluatie doen omdat ze daar behoefte aan hebben en omdat ze er de vruchten van dragen in hun dagelijks werk’. In Frankrijk wordt zelfdiagnose verplicht wanneer scholen middelen willen om hun verbeteringsdoelstellingen uit te voeren.Volgens de Franse inspecteur zou dit systeem minder prescriptief moeten zijn, zeker wanneer het over leren, onderwijzen of de schoolorganisatie gaat. Franse scholen zouden meer autonomie moeten hebben bij het ontwikkelen van hun pedagogisch project. De Nederlandse inspecteur is van mening dat de nieuwe wet op het toezicht voldoende mogelijkheden biedt voor effectieve zelfevaluatie. In Portugal zou er wetgeving moeten komen om zelfevaluatie te ondersteunen. Saksen zou meer algemene verplichtingen willen die scholen aanzetten tot ontwikkeling. Het is daarbij niet de bedoeling om meer verplichtingen voor zelfevaluatie op te leggen. Drie landen spreken over wetgeving in de context van schoolontwikkeling, wellicht als een manier om zelfevaluatie indirect te verplichten: schoolontwikkelingsplanning moet een verplichting zijn (Noord-Ierland), scholen moeten worden verplicht om een rapport over hun schoolontwikkelingsplan te schrijven (Tsjechië) en de evaluatie van de schoolontwikkelingsplanning (inclusief zelfevaluatie) zal het verder beleid op dit vlak inspireren (Ierland). Een Schotse inspecteur benadrukt de rol van lokale autoriteiten: zij zouden meer moeten worden betrokken in de beleidsvorming en het ondersteunen van scholen. Oostenrijk heeft het over tijdsmanagement: de werktijd van leraren moeten worden herbekeken opdat zelfevaluatie onderdeel van het normale werk kan worden (en niet alleen lessen voorbereiden en onderwijzen zoals nu het geval is). Heel wat suggesties gingen over het ter beschikking stellen van (statistische) vergelijkingsgegevens. Schotland is van mening dat de ontwikkeling van referentiegegevens moeten worden verder gezet. Engeland stelt voor om een gemeenschappelijk databestand te maken dat informatie van verschillende organisaties combineert. Enkele landen willen de vergelijkingsgegevens gebruiksvriendelijker maken en aanpassen aan de betrokken scholen (Ierland, Portugal, Frankrijk). Sommige landen en regio’s willen meer (gedifferentieerde) gegevens (Engeland, Schotland, Nederland, Frankrijk, Portugal).Volgens Vlaanderen moeten de beschikbare data beter worden ingepast in de cultuur van zelfevaluatie.Vanuit een volledig ander vertrekpunt op het gebied van dataverzameling (weinig of geen ervaring hiermee), zeggen Tsjechië en Oostenrijk dat referentiegegevens ter beschikking moeten worden gesteld en dat een cultuur gericht op werken met dergelijke gegevens moet worden gecreëerd.Volgens Oostenrijk moeten scholen worden aangemoedigd om hun eigen gegevens te verzamelen en die te vergelijken met nationale en regionale gegevens. Denemarken plant de oprichting van een website om gegevens voor scholen ter beschikking te stellen. Bij de voorstellen over het ter beschikking stellen van kwaliteitskaders met indicatoren of criteria, melden Ierland, Tsjechië, Frankrijk, Portugal en Vlaanderen de (verdere) ontwikkeling van indicatoren. Tsjechië wil zelfevaluatie richten op bepaalde domeinen (effectiviteit, doelstellingen en waarden, onderwijsresultaten en schoolmanagement).Voor Nederland moeten de kwaliteitsindicatoren verder worden uitgewerkt met het oog op de externe beoordeling van zelfevaluatie door scholen.Vlaanderen stelt voor om meer specifieke indicatoren voor zelfevaluatie te formuleren en die beter naar scholen te communiceren. Er werden heel wat suggesties gedaan over ondersteuning en begeleiding. Het gaat hier om een grote variëteit aan verbeteringsvoorstellen. Die gaan van het regelmatig actualiseren van begeleiding en ondersteuning om gelijk te lopen met nieuwe vormen van inspectie (Schotland), tot het verder ontwikkelen van de capaciteit en professionele cultuur van de scholen (Ierland, Noord-Ierland en Nederland). In sommige landen / regio’s wil men meer nascholing, bv.: • •

meer nascholing voor iedereen (Tsjechië, Hessen), nascholing in technische aspecten van zelfevaluatie (Ierland en Frankrijk),

35

• • • • •

nascholing in het gebruik van statistische data (Engeland, Noord-Ierland, Schotland, Nederland, Oostenrijk, Frankrijk), meer nascholing voor directeurs en leidinggevend personeel (Ierland, Oostenrijk,Tsjechië, de Franstalige Gemeenschap van België), meer nascholing voor directeurs en schoolteams in de principes van systematische en cyclische zelfevaluatie (Nederland), voortgezette nascholing voor niet leidinggevend personeel (Schotland), nascholing in het gebruik van kwaliteitsindicatoren (Schotland, Oostenrijk, Hessen, Frankrijk, de Franstalige Gemeenschap van België).

Ierland en Tsjechië willen goede praktijkvoorbeelden verspreiden en Denemarken vindt het belangrijk om scholen te stimuleren ideeën en ervaringen uit te wisselen. Saksen wil meer materiaal voor zelfevaluatie ontwikkelen. Zij gaan het ESSE-materiaal uittesten en een organisatie voor evaluatie oprichten. Ook Tsjechië plant een nationaal evaluatiecentrum op te richten en wil tevens een workshop over zelfevaluatie ontwikkelen. Schotland en Ierland wensen meer betrokkenheid van de inspectie bij het adviseren over en bij het ondersteunen en organiseren van nascholing over zelfevaluatie. Een voorstel van een andere aard is van Engeland, Portugal en Saksen waar men het bewustzijn van schoolbesturen en/of schoolpersoneel voor zelfevaluatie wil vergroten.

3.2 Het ‘ideale’ evenwicht tussen interne en externe evaluatie

36

Wanneer de deelnemende inspecteurs werd gevraagd te reflecteren over wat volgens hen het ideale evenwicht tussen interne en externe evaluatie zou kunnen zijn en over hoe externe evaluatie daarbij zou kunnen worden verbeterd, kwamen 3 categorieën van antwoorden naar voren. De eerste zeven landen / regio’s (Nederland, Schotland, Portugal, Engeland,Vlaanderen, Ierland en Tsjechië) zien het ideale evenwicht in varianten van wat de Nederlanders ‘proportioneel toezicht’ noemen. Dit type van inspectie neemt de gegevens van de zelfevaluatie door de school als vertrekpunt. Hoe beter de zelfevaluatie, hoe minder intens de inspectie is. Het ideale Vlaamse, Tsjechische en Engelse evenwicht ziet er zeer gelijkaardig uit. Een belangrijke voorwaarde voor dit proportioneel toezicht is dat de criteria waarmee zelfevaluatie wordt beoordeeld, goed gecommuniceerd en begrepen worden. Schotland heeft het over inspectie die op een meer flexibele manier de kenmerken van een specifieke school in rekening moet nemen.Volgens Portugal zou de inspectie over de aard van de externe evaluatie moeten beslissen op basis van een jaarlijks zelfevaluatierapport geschreven door de scholen.Voor Ierland zou een geregelde externe evaluatie het continue proces van zelfevaluatie moeten opvolgen en valideren. Daarom zouden de resultaten en processen van de zelfevaluatie als uitgangspunt moeten dienen voor complementaire externe evaluatie. Drie andere landen / regio’s beschrijven de ‘ideale’ benadering van zelfevaluatie door de inspectie.Volgens Noord-Ierland moet de inspectie meer belang hechten aan het evalueren van en rapporteren over zelfevaluatie en mogelijkheden tot verbetering aanduiden. Dit mag echter niet aan de scholen worden opgedrongen. De Oostenrijkse inspecteur wil teaminspectie introduceren en ook evaluatie van de kwaliteit van zelfevaluatie.Volgens Frankrijk moet de klemtoon worden gelegd op een meer systematische externe evaluatie van de analyse door de school van de eigen sterke en zwakke punten en van de uitvoering van het pedagogisch project. Daarom moeten externe evaluatie en zelfevaluatie eenzelfde aanpak hanteren en dezelfde indicatoren gebruiken. De derde cluster van landen / regio’s ziet vooral een ondersteunende rol voor de inspectie bij zelfevaluatie. Dit is het geval voor Hessen en Denemarken.Volgens Saksen moet externe evaluatie duidelijk maken in welke mate de onderwijsdoelstellingen in elke school worden bereikt. Dit moet transparantie creëren, een basis vormen om scholen te vergelijken en verantwoording door scholen verhogen. Daarbij moet externe evaluatie de scholen ondersteunen. Hierbij moet worden opgemerkt dat landen die het evenwicht tussen ondersteuning en druk zien in vormen van externe evaluatie van de zelfevaluatie, ook pleiten voor ondersteuning van scholen door de inspectie. Tsjechië is hierin zeer duidelijk: ‘externe evaluatie domineert te veel; inspectie zou scholen moeten ondersteunen,

versterken, de kwaliteit van scholen bevestigen en motiveren’. Schotland wil verder gaan met het promoten van gevalstudies en het organiseren van nascholing over het evalueren van effectiviteit. Ierland stelt de ontwikkeling van kwaliteitsindicatoren voor en Portugal zou willen dat de inspectie begeleiding en nascholing biedt op het vlak van zelfevaluatie. Ook volgens Oostenrijk is het van belang dat de inspectie de implementatie van zelfevaluatie ondersteunt. Een rode draad in de opinie van de deelnemende inspecteurs is dat zowel interne als externe evaluatie tot verbetering moet leiden. Maar de meerderheid van de respondenten (10) legt daarbij de klemtoon op de rol van externe evaluatie terwijl er slechts 3 ondersteuning als belangrijkste focus aanhouden. Zij hechten minder belang aan zelfevaluatie als een manier voor scholen om verantwoording af te leggen en zien het vooral als een intern aangestuurd mechanisme voor kwaliteitsbewaking.

3.3 Enkele bedenkingen In het algemeen kan men besluiten dat de meerderheid van de deelnemende inspecteurs gelooft in een top down aanpak als het over de betrokkenheid van de inspectie gaat. Deze houding zal bijna onvermijdelijk leiden tot een sterke invloed van de externe op de interne evaluatie. De positie van de inspectie als organisatie waartegenover scholen verantwoording moeten afleggen, zal tot die invloed leiden. Maar, het ESSE-project heeft voorbeelden aangetoond van zeer succesvolle zelfevaluatie op het initiatief van de scholen zelf, waarbij de eigen autonomie werd gebruikt of gecreëerd om de eigen kwaliteit op te volgen en te bewaken. Zouden deze scholen met hetzelfde enthousiasme werken als hen zelfevaluatie en allicht ook de daarbij horende methoden en indicatoren werden opgedrongen? Is het risico reëel dat deze scholen afglijden naar vormen van ‘window-dressing’ in plaats van te blijven werken aan echte zelfevaluatie die leidt tot concrete verbeteringsacties? Of zouden ze bereid zijn te werken binnen het raamwerk van de inspectie omdat het hen richting geeft en stimulansen biedt? Naast deze kritische vragen dient ook de observatie te worden geplaatst dat in sommige ESSE-landen waar er weinig of geen zelfevaluatie was, de aandacht van de inspectie daarvoor een evolutie op gang heeft gebracht die er anders wellicht niet was geweest. Bovendien worden analysekaders van de inspectie dikwijls beschouwd als belangrijke instrumenten voor de communicatie tussen overheid en scholen. Of deze raamwerken een bottom up aanpak bemoeilijken of niet hangt af van de flexibiliteit ervan. Deze flexibiliteit wordt dan weer door allerlei factoren bepaald: • laten de raamwerken voldoende ruimte voor eigen keuzen en klemtonen van scholen (het open of gesloten karakter van de indicatoren)? • werd er op een brede wijze over geconsulteerd? • worden de kwaliteitskaders geaccepteerd door scholen en de onderwijssector? • zijn ze gelegitimeerd en geschikt voor het doel waarvoor ze worden gebruikt? De hamvraag hierbij is waar de grens ligt van de betrokkenheid van de inspectie bij zelfevaluatie. Het bepalen van die grens hangt uiteraard af van een aantal contextfactoren. Maar men kan alleszins stellen dat wanneer inspectie, handelend vanuit haar verantwoordingsperspectief, te sterk stuurt, zelfevaluatie eigenlijk opnieuw ‘evaluatie’ wordt. Het woord ‘zelf’ wordt dan overbodig. Deze situatie wordt zeer dicht benaderd wanneer scholen, ter voorbereiding van externe controle, de evaluatie uitvoeren in de plaats van de inspectie en daarbij strikt gebruik dienen te maken van de instrumenten en indicatoren van de inspectie. Het verbeteringsperspectief komt hier in het gedrang. Als scholen niet zelf de focus van zelfevaluatie kunnen bepalen op basis van hun eigen gepercipieerde behoeften of op basis van hun eigen visie op kwaliteit, dan riskeren verbeteringen oppervlakkig of onbestaand te zijn. Indien inspectie leidt tot zelfevaluatie vanuit een verantwoordingsperspectief, zal de druk op scholen groter zijn dan wanneer zelfevaluatie op vrijwillige basis gebeurt. Uiteraard kan men dit niet los bekijken van de rol van inspectiekorpsen in het algemeen. Een van de functies van inspectiekorpsen is net een zekere druk (veel of weinig, afhankelijk van het land en de context) op scholen uit te oefenen opdat ze de van hen verwachte kwaliteit ook effectief realiseren. Bovendien heeft o.m. de ‘innovatieliteratuur’ aangetoond dat vernieuwingen niet kunnen overleven zonder een zekere druk. De druk vanuit de inspectie kan dan ook worden gelegitimeerd wanneer men bijvoorbeeld zelfevaluatie als een vernieuwing beschouwt voor scholen die hiermee weinig of geen ervaring hebben. De vraag hierbij is dan wanneer deze druk kan worden losgelaten. In sommige landen waar scholen gaandeweg meer en betere zelfevaluatie uitvoeren, wordt de druk nog opgevoerd door scholen in nog striktere raamwerken te laten functioneren. Tezelfdertijd vragen scholen het tegenovergestelde: ondersteuning die de ontwikkeling van hun school volgt en die is afgestemd op de specifieke kenmerken, gevoeligheden en behoeften van de betrokken school.

37

Literatuur BLANCQUAERT, Antonine, MAES, B.,VER EECKE, Els, De relatie tussen zelfevaluatie en externe evaluatie. Evenwichtsoefening tussen verantwoording en schoolverbetering? Impuls, 2001, 32 (1), 11-16 LEARMONTH, J., Inspection.What’s in it for schools ? London/New York, Routledge Falmer, 2000, 171 pp. MACBEATH, J., SCHRATZ, M., MEURIT, D., & JAKOBSEN, L., Self-evaluation in European schools. A story of change. London/ New York, Routledge Falmer, 2000, 202 pp. MACBEATH, J., SCHRATZ, M., MEURIT, D., & JAKOBSEN, L., Evaluating quality in schools. A European pilot project. Final report. Brussels, European Commission, 1999, 118 pp MACBEATH, J., Schools must speak for themselves.The case for school self-evaluation. London/New York, Routledge Falmer, 1999, 165 pp. MAES, B.,VER EECKE, Els, ZAMAN, Martine, Inspectorates of Education in Europe. A Descriptive Study. Utrecht/Brussels, SICI-DVO, 1999, 431 pp. PEPIN, N., QUALS: Mechanisms for quality assurance and evaluation of school education (SOCRATES Programme (III, 3.1) Agreement Number 96-01-3PE-0421-00). Edinburgh,The Scottisch Office Education and Industry Department, HM Inspectors of Schools, Audit Unit, 1999, II-62 pp. STANDAERT, R., Inspectorates of Education in Europe. A critical analysis. Leuven/Leusden, Acco, 2001, 122 pp. THE STANDING INTERNATIONAL CONFERENCE OF CENTRAL AND GENERAL INSPECTORATES OF EDUCATION, Effective School Self-Evaluation Project (ESSE-project). Belfast, SICI/European Commission, 2003, 160 pp.

38

VAN PETEGEM, P., Scholen op zoek naar hun kwaliteit. Effectieve-scholenonderzoek als inspiratiebron voor de zelfevaluatie van scholen. Gent, Universiteit Gent, doctoraatsverhandeling, 1996-1997, 539 pp. + bijlagen VAN PETEGEM, P.,Visie- en methodologie-ontwikkeling voor de zelfevaluatie van scholen. Schoolleiding en -begeleiding. Aflevering 22, oktober 1998, 1-44

3 WAT MAAKT ZELFEVALUATIE SUCCESVOL? Elgrid Messner, Schulverbund Graz-West, Graz, Oostenrijk Key note op de I-ProbeNet conferentie, Sibiu, september 2002.

1. Evaluatie is niet alleen een techniek, maar ook een proces Het woord evaluatie roept al gauw de associatie op met vragenlijsten, statistiek en zeer wetenschappelijke methodes. Ik heb de ervaring dat zelfevaluatie op scholen altijd zulke gedachten naar boven brengt en dan worden die ook nog gevoed door achterdocht en angst bij de docenten. Bij evaluatie voelen docenten zich vooral onzeker. In het onderzoek naar ontwikkelingen op scholen wordt dit verschijnsel de endemische onzekerheid van docenten genoemd. Die onzekerheid is gebaseerd op een tweetal sociologische factoren die betrekking hebben op de ervaringen van docenten. Er bestaat een discrepantie tussen de doelen die docenten zich stellen voor hun lesgeven en de realiteit. Doelstellingen in ons werk zijn meestal vaag en we vinden het moeilijk om ze precies te formuleren, omdat we binnen het sociale proces van educatie werken. Maar elke docent heeft zijn/haar doelstellingen meestal niet expliciet verwoord, maar heeft ze in het hoofd of in het hart zitten. De beste manier om deze psychische spanning kwijt te raken, is niet naar deze discrepantie te kijken. En dat is nu net wat evaluatie wil. Dan moet je naar spanningen en dilemma’s kijken. En dat is de reden dat er bij docenten een soort natuurlijke weerstand bestaat tegen evaluatie. Evaluatie draait om beoordelen en onder controle hebben. Je kan iemand alleen onder controle houden als je daartoe de macht hebt, dat wil zeggen dat je macht over die persoon kunt uitoefenen. En dus schrikken docenten natuurlijk van evaluatie, omdat zij allereerst denken aan controle door iemand met macht. Daarom moeten we ons er heel erg van bewust zijn dat evaluatie op school niet alleen een kwestie is van techniek, maar meer nog een kwestie van processen en procedures. Evaluatie wordt door de schoolontwikkelingsonderzoekers, Burkhard en Pfeiffer, een ‘emotionele duik’ genoemd. Met diepgaande emotionele gevolgen.

Zelfevaluatie is niet alleen een technisch proces, maar ook een sociaal proces. Daarom moeten we bij de opzet beide processen in overweging nemen! TECHNIEK

PROCES

Hoe komen we aan de meest informatieve vragen, geformuleerd op de meest economische manier?

Wat is ons doel? Welke voorbereidingen voor het onderzoek? Hoe wordt het uitgevoerd? Wie analyseert de gegevens? Hoe gaan we communiceren? Wat zijn de plannen voor het vervolg? Gaan we verder op grond van de gevolgtrekkingen? Hoe kunnen we dit alles gebruiken om constructieve processen te stimuleren in de verdere ontwikkeling binnen de organisatie, of er op zijn minst voor zorgen dat die niet belemmerd worden?

Altrichter, Messner, Posch, 2004 In deze lezing zou ik graag wat kwesties naar voren willen brengen betreffende dilemma’s in het proces van zelfevaluatie op scholen en een paar cruciale aspecten laten zien die ervoor zorgen dat dit proces in stand blijft. Om dat te kunnen doen, zou ik verder willen uitweiden over de vraag ‘Wat maakt zelfevaluatie succesvol?’ en het antwoord daarop benaderen vanuit de zienswijze dat evaluatie altijd verbonden moet zijn aan ontwikkeling.

39

2. Deelname van docenten aan zelfevaluatie en het gevoel dat het iets van henzelf is, is ontzettend belangrijk. Zelfevaluatie is dan succesvol als de mensen die erbij betrokken zijn een aandeel hebben in de besluiten en plannen en het gevoel hebben dat zij goed op de hoogte worden gehouden. Als dat niet zo is, dan kunnen er een heleboel conflicten ontstaan, wat duidelijk wordt uit het ‘bom voorbeeld’. Op een van de scholen waar Altrichter, een bekende Oostenrijkse wetenschapper op het gebied van educatie, onderzoek deed naar het proces van de toepassing van evaluatie, kwam hij wat ‘typische’ situaties tegen. Het evaluatieproject was een idee van de directeur en de docenten waren met dit plan akkoord gegaan tijdens een vergadering op school. Zij vertrouwden hem en er werden niet veel vragen gesteld. De planning voor het evaluatieproject werd aan ‘iemand’ gedelegeerd en het concept werd zonder open discussie en uitvoerige informatie ontwikkeld. De docenten wisten dat ‘een paar collega’s’ hiermee bezig waren en er begonnen wat geruchten rond te gaan. Daarop presenteerden de makers van het plan hun ideeën op een vergadering, die later de ‘bom vergadering’ werd genoemd. Na de presentatie van het plan ontstak men in woede en de zeer emotionele discussie leidde tot het afgelasten van het evaluatieproject. De makers van het concept en de directeur stonden perplex en het initiatief eindigde met ontslagname en privé gesprekken.

40

Zulke ‘typische’ situaties komen nogal eens naar voren in veel andere studies naar het omgaan met veranderingen en we kunnen daar een en ander uit concluderen.Veel studies beschrijven dergelijke conflicten aan het begin van een evaluatieproces. In hun analyses beschrijven de auteurs het dilemma van een ‘individualistische cultuur binnen educatieve instellingen tegenover de operationele cultuur van de schoolleiding’. Dat wil zeggen dat vernieuwingen op scholen langs nogal persoonlijke lijnen lopen omdat docenten niet gewend zijn aan de planningstrategieën van leidinggevenden. Docenten zijn gewend om alleen, achter gesloten lokaaldeuren te werken. Teamwork is op veel scholen nog geen routine en gedetailleerde planning van gemeenschappelijke activiteiten op school gebeurt maar zelden. De horizontale lijnen op scholen zorgen er alleen maar voor dat de directeur, die meestal de enige is wiens gezag over docenten wordt geaccepteerd, degene is die stappen onderneemt voor een schoolactiviteit.Verder hebben de auteurs het in hun studies over het volgen van ‘kalmerende strategieën’. Evaluatieprojecten worden op een meer vrijwillige basis gedaan, er zijn meer persoonlijke gesprekken op het gebied van aanpak en afspraken en directeuren en groepen die de leiding hebben wijzen meestal het recht op informatie af. Het gevaar ontstaat dat zelfevaluatie dan wordt gebruikt als een manier om te controleren en overgelaten wordt aan individuele bereidheid. De gevolgen zijn dat de spanning door het ‘doen alsof’ van de instelling vermindert en dat het onderwerp terug komt bij educatieve beleidsvorming. Evaluatie moet transparant zijn en soms is dat moeilijk vol te houden omdat de situaties waarin geëvalueerd wordt nogal complex zijn. Toch is het van het grootste belang dat die inspanning geleverd wordt en dat die signalen worden gegeven.

Evaluatieprocessen vereisen veel informatie en signalen van transparantie. Dus als evaluator moet u niet vergeten om zulke signalen te geven! Wij gaan correct met de informatiestroom om -gestructureerd systeem van informatie (plaatsen, kleuren, enzovoorts) We zullen u niet elk klein detail vertellen, maar wel alles wat u moet weten -bijvoorbeeld een poster met één zin We werken in het openbaar en niet in gesloten groepjes -bijvoorbeeld uitnodiging voor openbare bijeenkomsten-bijvoorbeeld uitnodiging voor openbare bijeenkomsten We geven er de voorkeur aan om samen met u besluiten te nemen -besluiten binnen een kader van alternatieven Altrichter, Messner, Posch, 2004

3. Docenten worden gerustgesteld door verplichting, vaardigheid en bereidheid. Waarom moeten docenten aan zelfevaluatie doen? Strittmatter, een Zwitserse onderzoeker naar ontwikkelingen op school onderscheidt drie soorten motieven. Zelfevaluatie is succesvol als de docenten het kunnen, moeten en willen doen. Hij stelt ook dat alleen een productief samengaan van deze drie groepen motivatie tot succesvolle evaluatieprocessen leiden omdat zij elkaar aanvullen. Dat wil zeggen dat de andere twee groepen motieven hun effect verliezen als een ervan een effect gelijk aan ‘0’ heeft. Het volgende plaatje geeft een overzicht van de drie groepen motieven, ‘verplichting’, ‘vaardigheid’ en ‘bereidheid’ die evaluatieprojecten op scholen voeden. De inhoud van de rechthoeken staan voor de praktische situaties die de motieven ondersteunen waarmee zij door lijnen verbonden zijn.

Strittmatter, 1998

41

4. Bespreken van contracten voor het zelfevaluatieproces is noodzakelijk. Zelfevaluatie vraagt om doelstellingen, transparante rollen en verantwoordelijkheden, regels voor samenwerking en afspraken over verslagen en gevolgen. Er wordt meestal te weinig belang gehecht aan contracten en daaraan wordt te weinig tijd besteed, maar dit zou toch zeker in overweging moeten worden genomen. Het afsluiten van contracten is belangrijk! Het contract zou de volgende onderdelen moeten bevatten: 1. Doel/Thema/Beschrijving van de situatie waarin het project plaatsvindt 2.Verwachtingen van elkaar. • taakomschrijvingen en verantwoordelijkheden • taken en prestaties van de betrokkenen 3. Regels voor het proces • hoe gaan we om met interne informatie • hoe gaan we om met rapporten naar buiten • omgaan met openheid en problemen met vertrouwelijkheid • hoe gaan we om met conflicten • situaties en gevolgen die we moeten vermijden • wie moet in welke situaties het initiatief nemen 4.Tijd en plaats b.v. minimum of maximum te besteden tijd, deadlines, enzovoorts.

42

Bij het opstellen van het contract is het handig om het hele proces van evaluatie te volgen, want daarin staan alle vragen die bij een evaluatie kunnen rijzen. De evaluatiecyclus

5. Er moet gezorgd worden voor reflectie in een constructieve cultuur van communicatie. In de praktische uitvoering van evaluatieprojecten heb ik ontdekt dat het heel erg belangrijk is om gedragsregels te hebben voor communicatie over de organisatie. Om te kunnen reflecteren en feedback te kunnen geven hebben twee Oostenrijkse onderzoekers op het gebied van evaluatie, Altrichter en Posch, een speciale ethiek voor evaluatie ontworpen die geworteld is in het begrip ‘action research’. Ik heb de ‘geboden’ waaraan alle betrokkenen zich moeten houden, op een rijtje gezet.

Geboden voor de ethiek van evaluatie 1. Werk niet alleen. 2. Geef alle personen en groepen die erbij betrokken zijn informatie over de wijze, het kader en de functie van de evaluatie. 3. Zorg voor de volmacht van degenen die het uiteindelijk voor het zeggen hebben. 4. Betrek degenen die het betreft er direct bij en praat in ieder geval met degenen die er indirect bij betrokken zijn. 5. Doe regelmatig verslag van het proces. 6. Bereik overeenstemming over doelstellingen, methodes en processen. 7. Zorg voor toestemming voordat u met het verzamelen van gegevens begint. Bereik overeenstemming over ‘eigendomsrechten’ en ‘het recht van toegang’ wat gegevens betreft. 8. Zorg voor veelzijdigheid (d.w.z. verzamel informatie van verschillende bronnen). 9. Neem de verantwoordelijkheid voor alle gegevens en respecteer verzoeken om vertrouwelijkheid. 10. Verbind gegevens, analyses en beoordeling aan gepubliceerde criteria. 11. Vermijd het om iemand in het openbaar voor schut te zetten als gevolg van verkeerde informatie of een eenzijdige visie. 12. Wees bereid om uzelf te evalueren. 13. Trek conclusies uit evaluatieresultaten en verklaringen die duidelijk aangeven dat er verdere stappen moeten worden ondernomen. 14. Verspreid deze principes. Altrichter, Messner, Posch, 2004.

‘Vertrouwenscontracten’ zijn een geschikt middel om zeker te stellen dat er ruimte is voor reflectie en een dergelijke houding, vooral in feedbackgroepen. Je kunt er geen problemen mee vermijden, maar ze op zijn minst wel kleiner maken. Contract voor vertrouwelijkheid Binnen een groep docenten die samen de feedback die zij persoonlijk hebben gekregen van leerlingen, collega’s en ouders bespreken. De leden van de kwaliteitsgroep komen de volgende regels overeen voor hun samenwerking en het bewaren van vertrouwelijke informatie van ………… tot …………… 1. Betreffende de samenwerking moeten het team en de leden daarvan proberen zo open mogelijk te zijn jegens elkaar en absoluut discreet zijn naar mensen daarbuiten. 2. Elke docent besluit zelf in hoeverre discretie wordt toegepast in alle zaken die hem/haarzelf betreffen. Dit wordt door alle leden van het team volstrekt gerespecteerd. 3. Het team neemt van te voren op een constructieve en prettige manier besluiten over de evaluatieonderwerpen, het proces en feedback door collega’s. De regels voor feedback gelden voor alle leden of voldoen aan de eisen van individuele docenten in het team. 4. De verslagen van de stuurgroep voor evaluatie op de school zijn over het algemeen anoniem en gaan uit van de expliciete instemming van alle leden van het team. Het verslag van het evaluatieproces geeft informatie over wat er door wie en op welke manier is geëvalueerd. Het verslag over de evaluatie-uitkomsten geeft informatie over die aspecten en problemen die belangrijk lijken voor de hele school, zonder daarbij namen te noemen. 5. Het team is het er van tevoren over eens dat in het geval van een conflict, er gezocht zal worden naar een goede oplossing en/of zal praten over de mogelijke terugtrekking van een docent uit de groep. 6. Discretie houdt niet op bij het terugtrekken uit de groep of het uiteenvallen van de groep in haar geheel (geen roddel!). 7. De kwaliteitsgroep overweegt en beoordeelt regelmatig de eigen kwaliteit van samenwerking in het team. Handtekeningen: …………………………………………………… A.Strittmatter, 1998.

43

6.Vertrouwen in het beheer van het proces, vooral op het gebied van energie Uit eigen ervaring weet ik ook dat vertrouwen in het beheersen van het evaluatieproces erg belangrijk is. Een van de belangrijkste aspecten is dat directeuren en projectgroepen weten wat zij doen en hoe zij dat het beste kunnen doen. Het sturen van projecten en veranderingen levert heel veel know-how op en dat kan erg nuttig zijn. Maar een van de allerbelangrijkste aspecten is toch wel het beheer op het gebied van energie, omdat daar meestal niet aan wordt gedacht. Docenten zullen het waarderen als leiders van evaluatieprojecten ook aandacht schenken aan de ‘regels voor de energiehuishouding’ in een organisatie. De ‘Energiehuishouding’ Processen worden gekarakteriseerd door ritme. Er zijn periodes van spanning en ontspanning. Professioneel beheer van energie is noodzakelijk. 1. 2. 3. 4. 5.

de hoeveelheid energie blijft altijd gelijk energie heeft dragers, verschijningsvormen en richtingen onzichtbare energie kan vrijkomen het vrijkomen van energie kan maar gedurende korte tijd plaatsvinden het vrijkomen van vrije energie staat in verband met processen van burning-out (laden – ontladen) Strittmatter, 1998

Er zijn energie-leverende en energieverslindende aspecten. Dus bij het ontwikkelen van zelfevaluatieprojecten moeten deze aspecten in ogenschouw worden genomen!

44

LEVEREN

VERSLINDEN

• persoonseigen energie • visies/’verlichte ideeën’ • druk om eind te maken aan pijn/wil • professionele verplichting • aanvaarding van wettelijk verplichte opdrachten • hoop op privileges/beloning • ervaring van deel uitmaken van een groepsleven/ solidariteit • zoeken naar waardering • kans op zelfdeterminatie (controlepunt) (geloof in eigen kunnen)

ervaren

verwacht

• verloren tijd (twijfel aan nut) • devaluatie (zichtbaar/ verborgen) • competitie met iets anders (in werkelijkheid of gezocht)

Strittmatter, 1998

7. Zelfevaluatie moet zichtbare effecten hebben. Uit mijn ervaring blijkt ook dat evaluatie acceptabel en succesvol is als docenten zichtbare effecten zien. Altrichter bevestigt dit wanneer hij stelt dat docenten tevreden kunnen zijn met hun evaluatie als de resultaten of hun nieuwe kennis hebben geleid tot concrete stappen voor het nemen van actie.

Docenten kunnen tevreden zijn met hun evaluatie als de resultaten of de verworven kennis hebben geleid tot concrete actie! •

Docenten kwamen soms voor verrassingen te staan door bepaalde gegevens, maar konden daar makkelijk mee omgaan. Dit heeft tot nieuwe gezichtspunten geleid of nieuwe strategieën voor het lesgeven, of nieuwe manieren om besluiten te nemen op school, of zelfs een nieuw aanbod aan leerlingen.

•

Docenten begrijpen beter hoe leerlingen hun lessen ervaren en hoe zij leren.

•

Docenten hebben nieuwe ideeën gekregen voor hun dagelijkse routine in de klas en in de personeelskamer en worden aangemoedigd om ze in praktijk te brengen.

•

Docenten zijn zich meer bewust van de verscheidenheid in zienswijzen (hoe kijken leerlingen naar mijn lessen?) en de verscheidenheid in acties (hoe treden collega’s op in dergelijke situaties?)

•

Docenten kunnen over hun resultaten praten met een groepje kritische vrienden.

•

Docenten kunnen hun eigen ideeën tegen die van anderen (bijv. leerlingen, collega’s) afzetten.

•

Docenten kunnen beter omgaan met stress-situaties , ook in de ogen van collega’s.

•

Zij hebben ideeën en hebben veel zin om nog eens te evalueren (misschien niet direct of voortdurend, maar zo af en toe). E. Messner, H.Altrichter, Pädagogik 2001

Literatuur Altrichter, H. / Messner, E. / Posch, P. : Schulen evaluieren sich selbst. Ein Leitfaden. Publicatie 2004. Strittmatter, A. : niet gepubliceerde manuscripten, pilotproject ‘FQS in Schulverbund Graz-West’, Graz, 1998.

45

4 HET VERBETEREN VAN DE LESPRAKTIJK DOOR ‘ACTION RESEARCH’. Christa Bauer, Elgrid Messner, Schulverbund Graz-West, Oostenrijk.

Wat is action research? Action research is een specifieke benadering van evaluatie en verbetering van professionele activiteiten door degenen die deze activiteiten zelf uitvoeren. Het is een opvatting over zelfevaluatie en verbetering die is ontstaan in het Angelsaksische deel van de wereld en is geworteld in het paradigma van systematiek en constructivisme; degenen die dit hebben ontwikkeld zijn David Stenhouse, Donald Schön en John Elliott.

Action research is ‘het bestuderen van een sociale situatie teneinde de kwaliteit daarvan te verbeteren’. John Elliott: Action Research for Educational Change. Open University press: Milton Keynes 1991, 69.

Veel docenten voelen zich niet op hun gemak als zij het woord evaluatie horen. Het is nauw verbonden met ‘beoordeling’ en zelfs al is dat iets wat docenten voortdurend doen met hun leerlingen, toch vinden de meeste het idee om beoordeeld te worden niet prettig. In de zienswijze van action researchers is evaluatie iets dat iedereen elke dag vaak doet. Wij doen dat bijvoorbeeld als wij naar ons werk rijden en bij een kruispunt stoppen om te kijken of er ander verkeer aankomt, kijken of er gevaar is als we verder rijden en daarover een beslissing nemen. Hierbij passeren we alle stadia van een evaluatieproces. De belangrijkste is dat wij even stilhouden en de tijd nemen om de feiten te ontdekken.

46

Het begrip ‘action research’ is hier nauw mee verbonden. Het gaat ervan uit dat iemand die dit toepast in staat is om de nodige feiten te ontdekken door te observeren en de juiste beslissing te nemen als die feiten eenmaal zijn vastgesteld. Het is de tijd die wordt genomen voor observatie, feedback en reflectie om bruikbare conclusies te kunnen trekken. Het doel van action research is duidelijk: het is verbonden aan de ontwikkeling van een persoon of de verbetering van een programma of een organisatie door het vergroten van professionaliteit en kwaliteit. Tegelijkertijd is het een onafhankelijk begrip, omdat het hele proces van evaluatie en ontwikkeling in de handen ligt van degene die het uitvoert. Hij is het die beslist wat, wanneer en hoe hij evalueert en zich ontwikkelt. Hij besluit welke actie hij neemt, hoe hij observeert en dan reflecteert, zijn eigen praktische theorie ontwerpt voor die actie door zijn verwerking van de observaties en daarop nieuwe acties plant.

Wat is doceren? Wat is leren? Als we onze lespraktijk willen verbeteren dan moeten we eerst weten waar we het over hebben en daarvoor moeten we een definitie hebben voor ‘doceren’ en ‘leren’. Een mogelijke definitie van het begrip doceren is ‘het overbrengen van de ideeën die de maatschappij waardevol vindt (meestal vastgelegd in het curriculum) op de nieuwe generatie’.

In de 18e eeuw begon Descartes met moeilijke dingen uit te leggen door ze te vereenvoudigen tot eenvoudige werktuigmodellen. Ik wil proberen om ‘doceren’ en ‘leren’ uit te leggen met behulp van een machinemodel. Een “eenvoudige machine” heeft een invoer aan de ene kant en een uitvoer aan de andere kant van de machine. De doceermachine heeft de invoer, het lesgeven van de docent en een uitvoer, de reproductie van de les door de leerling. Als de uitvoer hetzelfde is als de invoer, dan heeft de machine goed gefunctioneerd. Als de uitvoer erg verschilt van de invoer, of als er helemaal geen uitvoer is, dan heeft de machine niet gewerkt en dan luidt de diagnose dat er iets aan de leerling mankeert. Maar we leven niet meer in een industriële maatschappij die wordt gedomineerd door machines. In de 20e eeuw hebben veel belangrijke veranderingen plaatsgevonden in de informatiemaatschappij en dat heeft ook invloed gehad op doceren en leren. Enerzijds zijn we niet meer zo zeker van de invoer. De meeste westerse landen bevinden zich in een proces van het doorvoeren van veranderingen in het curriculum, praten over ‘afslanking’ of het afstoten van onderdelen van vakken. Kennis neemt explosief toe en we kunnen niet maar doorgaan met het toevoegen van nieuwe ideeën en die bovenop alle andere gooien. Leerlingen en docenten krijgen te maken met meer kennis binnen een steeds korte tijdspanne en dat in een omgeving die doceren bemoeilijkt omdat er zoveel meer leuke alternatieven zijn voor leerlingen. Anderzijds staat de uitvoer steeds meer onder vuur. De moderne economie is niet gelukkig met afgestudeerden die alleen maar kennis kunnen reproduceren en hebben geleerd dingen uit hun hoofd te leren. Zij willen studenten die weten waar zij hun informatie vandaan kunnen halen en die dan gebruiken voor het ontwikkelen van nieuwe kennis, studenten die in een team kunnen werken om hun vaardigheden uit te wisselen en die kunnen communiceren en ideeën kunnen voorleggen. Kortom, zij willen studenten met sociale vaardigheden. Maar die komen niet uit de eenvoudige doceermachine. Bovendien weet niemand wat voor soort kennis mensen over een aantal jaren nodig hebben en daarom moeten we onze leerlingen voorbereiden op levenslang leren. Dat betekent dat het doceer- en leerproces op zich steeds belangrijker wordt.Voor Action research training sessie door Christa Bauer in De Rozenberg S.O. in Mol, Belgium leerlingen is het belangrijk om kennis te vergaren, maar even belangrijk is dat zij weten hoe zij dat moeten doen. Doceren betekent dan het overdragen van kennis door aandacht te schenken aan het leerproces, omdat leerlingen moeten leren hoe zij kunnen leren. Leerlingen moeten in staat zijn om en aangemoedigd worden om hun hele leven lang te blijven leren. Dat betekent dat we binnenin de machine moeten gaan kijken, we moeten kijken naar het proces. Constructivisme, de huidige waarnemingstheorie, stelt dat we informatie binnenkrijgen via al onze zintuigen en die dan individueel verwerken en zo onze eigen verschillende realiteit creëren. Geen twee personen denken aan precies hetzelfde, zelfs niet als je zoiets eenvoudigs als ‘appel’ zegt; van sommigen zijn de appels rood, van anderen groen of geel, zij zijn sappig of zuur. Sommigen denken bij ‘apple’ zelfs aan hun computer. Als we dus begrip willen kweken, dan moeten we onze verschillende opvattingen van de realiteit aan elkaar overbrengen en met elkaar delen, in het lokaal, met de leerlingen om elkaar te ‘voeden’. Er zijn nieuwe definities voor leren volgens het beginsel dat leren het creëren van een identiteit is. ‘Leren wil zeggen dat er iets is veranderd’. Daarom moet doceren zich richten op het leerproces, op de leerling als een expert in het leren en op het omgaan met verschillen in de klas, in plaats van op controle over informatie.

47

Hoe ondersteunt Action research doceren en leren? Action research helpt ons bij het concentreren op het proces, moedigt ons aan om te proberen om beter te begrijpen waaruit een goede leeromgeving voor onze kinderen bestaat, door aan hen of hun ouders te vragen om feedback of aan collega’s te vragen om intervisie. De basishouding is dat docenten experts zijn in het doceren, maar de leerlingen experts in hun leren. Action research verlangt het creëren van feedbacksituaties om het wederzijdse begrip te vergroten en het leerproces aan de leerlingen aan te passen. Action research moedigt docenten aan om met hun leerlingen de tijd te nemen om de situatie in de klas te bespreken. Hierdoor verandert de houding van de docent en die van de leerling en dat draagt bij tot een betere verstandhouding, de basis voor een goed leerklimaat. Ouders vermelden vaak dat gesprekken met docenten moeizaam verlopen, omdat zij niet kunnen uitleggen waarom zij een bepaalde actie hebben ondernomen en dat docenten geen rekening houden met het effect dat hun lessen op individuele leerlingen kan hebben. Action research moedigt docenten aan om hun situatie eens te onderzoeken en zo gegevens te krijgen over de effectiviteit van hun functioneren en meer kennis te krijgen over hun beroep. Dit zou een bijdrage kunnen leveren aan de reputatie van het lesgeven die in veel landen niet erg hoog is. In veel landen hebben docenten niet het gevoel dat onderzoek door universiteiten op het gebied van lesgeven en educatie hen kan helpen in de dagelijkse praktijk. Docenten hebben geen behoefte aan de vergelijking van statistische gegevens over klassen en leerlingen, zij hebben behoefte aan ideeën die zij in praktijk kunnen brengen. AR moedigt docenten aan om de resultaten van hun onderzoekproces op te schrijven in een ‘case study’. Het lezen van een kort verslag uit de praktijk (‘Waarom is het in klas 1E zo onrustig?’) geeft de docenten ideeën over de manier waarop zij met een moeilijke situatie kunnen omgaan en op die manier krijgen de docenten een grotere voorraad van acties waaruit ze kunnen putten.

Hoe doen we Action research? 48

In de grond van de zaak kunt u beginnen met nadenken over uw eigen werk. John Elliott, een Brit die Action research toepast, zegt het volgende: “Lopend van het leslokaal naar de personeelskamer vergeten docenten hun kostbaarste schat: de actuele ervaring in de klas.” Dus als u uw observaties en ideeën verzamelt en over uw werk nadenkt, dan verkrijgt u ‘gegevens’ die u kunnen helpen om een situatie duidelijk te krijgen en dingen misschien vanuit een andere hoek te bekijken. U wordt ook aangemoedigd om degenen die met uw werk te maken hebben, te vragen om feedback. Hoe kijken zij tegen uw werk aan? Uw eigen realiteit wordt rijker en u krijgt een duidelijker beeld van de realiteit. U krijgt ook het advies om anderen te vragen uw werk te observeren en feedback te geven. Het begrip ‘kritische vriend’ wil zeggen iemand die u vertrouwt en mag, een vriend dus, maar die duidelijk de taak heeft om ook kritisch te zijn; geen vriend die probeert u gerust te stellen en te troosten, deze persoon moet u uitdagen om uw zwakke plekken in uw lesgeven onder ogen te zien.

Wat heeft u nodig om ermee te beginnen? In het geval dat u uw lespraktijk eens beter wil bekijken door middel van Action research, om ervan te leren en misschien het een en ander te veranderen, probeer dan om te zien hoe u dat kunt doen op een manier die u kracht en overtuiging geeft. Er bestaan heel wat boeken over Action research, er staat informatie op de website van I-ProbeNet over het proces en de instrumenten. U moet zich er wel van bewust zijn dat u twee basisvaardigheden moet hebben: het kunnen onderscheiden van observaties en interpretaties en het geven en ontvangen van feedback. Het is gewoonlijk makkelijker om in een groep te beginnen en deze vaardigheden samen te oefenen, maar u kunt het zeker ook alleen doen. De eerste vereiste is uw houding: leren over acties in uw werk teneinde die te verbeteren. Wat u ook doet als u ermee begint, vergeet dan het KISS principe niet. Oftewel, houd het klein en maak het niet te moeilijk. Dit moet u eraan herinneren om zacht en geduldig te zijn voor uzelf en uw omgeving, maar het betekent ook dat u moet beginnen met veranderingen waarvan u het gevoel heeft dat u ze kunt beheersen en stap voor stap kunt uitvoeren.Veel succes!

5 MOMENTOPNAMES VAN ZELFEVALUATIE In dit hoofdstuk richten we ons voornamelijk op voorbeelden van scholen die actief met zelfevaluatie bezig zijn. We hebben die voorbeelden in de volgende groepen ingedeeld: • • • •

Zelfevaluatie waar kinderen centraal staan Zelfevalautie waar docenten centraal staan Zelfevaluatie van leiders en de school als geheel Zelfevaluatie van projecten

Kinderen in het centrum van zelfevaluatie 1. Feedback als evaluatie-instrument op ‘De Toverboom’, België. Luc Zajac, directeur van basisschool De Toverboom in Geel, België.

Achtergrondinformatie: “ De Toverboom” ligt in de stad Geel, 40 kilometer van Antwerpen. Het is een openbare basisschool met 185 leerlingen in de leeftijd van 2 tot 11 jaar. De school is in 1689 opgericht en de kosten worden uit privéfondsen betaald. Sommige mensen vinden de naam van onze school, “De Toverboom”, erg grappig. Net als een tovenaar willen wij kinderen boeien. Onze school ligt vlak bij de bossen van Bel en daarom hebben we een boom als symbool voor de school gekozen en daarmee was de naam compleet. De tekst is geschreven door Christiene Helsen en haar collega’s.

A. Bepalen van je eigen houding Inleiding: Elke leerling heeft zijn/haar eigen manier van leren. Sommige zijn doeners, andere denkers of praters en daar moeten we rekening mee houden als we zelfevaluatie gaan doen. We kunnen kinderen feedback geven door ze na te laten denken over hun eigen gedrag, over de klas of het leerproces, door ze eenvoudige tekeningen voor te leggen. Op die manier hoeven ze niet altijd formulieren in te vullen wanneer zij iets evalueren. Het proces: Leerlingen kunnen zichzelf op deze manier beoordelen. Een 5-jaar oude jongen zit alleen sommen te maken, de andere leerlingen werken in groepjes. De docent laat hem een tekening zien en vraagt de jongen of hij de situatie daarop herkent. De jongen geeft toe dat hij nooit andere jongens mee laat spelen. De docent vraagt hem of dat alleen door de andere jongens komt. Hij antwoordt dat hij het niet weet. Uit het volgende gesprek wordt duidelijk dat de jongen erg selectief te werk gaat bij beslissingen over wat hij leuk vindt en wie hij aardig vindt. (d.w.z. dingen en klasgenoten). Ook neemt hij een zeer vast standpunt in als het gaat om dingen die hij niet leuk vindt en personen die hij niet mag.

49

Als hij een ander plaatje te zien krijgt, dan realiseert hij zich dat hij een hekel heeft aan domme klasgenoten. De jongen tekent een muur op vraag van de docent. En als hem wordt gevraagd waarom er kantelen op die muur staan, dan antwoordt hij dat hij op die manier zowel kan aanvallen als zich verdedigen. De wapens die hij tegen zijn klasgenoten gebruikt zijn uitschelden, uitlachen, vechten en slaan. Hij wil zich achter de kantelen verbergen om zelf niet geslagen te worden. De jongen beweert dat anderen hem ook uitlachen. De docent laat hem nog een andere tekening zien en vraagt of hij het voorwerp herkent. Als hij antwoordt dat hij het niet weet, legt de docent uit dat het een bloemknop is die in hem verborgen zit en open zal gaan als de zon erop schijnt. Dan wordt het een prachtige bloem. De docent vertelt hem dat als hij een deel van de muur kapot maakt, de zon bij zijn bloemknop kan komen en dat hij dan een veel leuker en aardiger persoon wordt om mee om te gaan. De jongen begrijpt dit en denkt dat hij dat wel kan, maar hij denkt ook dat hij het weer snel vergeten zal zijn. Dan krijgt hij het advies om zelf een tekening te maken die hij alleen kan begrijpen en die moet hij in zijn kamer aan de muur hangen. Dezelfde evaluatiemethode kan ook gebruikt worden voor andere problemen in een klas met kleine kinderen. De hele dag door hebben leerlingen vaak de gelegenheid om even op zichzelf na te denken over hun leerproces. Evaluatie kan op individuele basis worden gedaan, in groepjes of met de hele klas. Het belangrijkst is de relatie met leerlingen, de atmosfeer en het scheppen van een vertrouwensband. (Dit verhaal staat met illustraties in de sectie ‘my story’ van de bibliotheek van de I-ProbeNet website.)

B. Zesdeklassers evalueren hun schooltijd in basisschool ‘De Toverboom’. Hier volgt een verslag van een evaluatieproject dat in maart 2004 door 11-jarige leerlingen van het zesde leerjaar op de basisschool is uitgevoerd. Zij evalueerden hun schooltijd in “De Toverboom”. Het verslag beschrijft zowel de positieve als de negatieve ervaringen. Er wordt een korte toelichting gegeven over het project en de evaluatieactiviteiten worden getoond in woord en beeld. We vermelden ook het gesprek met de betrokken personen.

50

TOELICHTING BIJ HET PROJECT 1. Wat is er vooraf gebeurd. Op De Toverboom is het gebruikelijk dat een van de betrokken partijen elk jaar een vragenlijst voorgelegd krijgt. In het verleden zijn de ouders, docenten en leerlingen ondervraagd door middel van evaluaties met pen en papier. Voor elk van de groepen werd een specifieke vragenlijst opgesteld. 2.Visie Wij vinden dat de leerlingen eigenlijk de enigen zijn die kunnen vertellen hoe de school zich kan ontwikkelen, omdat zij ook degenen zijn die alles meemaken tijdens de negen jaar dat zij op de kleuterschool en de basisschool zitten. Daarom is het erg belangrijk dat de leerlingen hun docenten en de directeur laten zien hoe zij hun schooltijd op de Toverboom hebben ervaren. Door de evaluatie en de gesprekken die in dit kader zijn gevoerd, nemen de leerlingen deel aan het hele schoolproces. Na de I-ProbeNetconferentie over zelfevaluatie ontstond het idee om de kinderen evaluatieformulieren te geven die om meer actie vragen en ze op basis van de uitkomsten deel te laten zijn van het schoolleven. Dit paste beter bij hun leeftijd en daardoor kreeg het evaluatieproces een speelse en leuke noot.

Leerlingen van zesde jaar evalueren hun school

Het doel van de school is het creëren van een fijne leeromgeving voor de leerlingen. Dat betekent: een uitdagende en actuele inhoud die past in de maatschappij van 2004 en structuren waarin de leerlingen kunnen meedoen. Dat betekent niet dat de leerlingen zelf alles kunnen bepalen of hun eigen dingetje kunnen doen. Samen moeten zij tot een compromis komen. Dankzij het evaluatieproces komt de discussie tussen de betrokken partijen op gang. 3. Organisatie De directeur heeft het initiatief genomen en de evaluatie-activiteiten in de klas begeleid. De klassenleraar heeft deze werkbijeenkomsten niet bijgewoond om de leerlingen niet te beïnvloeden. Eerst heeft de directeur het doel van het project uitgelegd en daarna de leerlingen met klem gevraagd om de zaken zo voor te stellen als zij ze ook echt zagen. Dat is nodig om tot waardevolle resultaten te komen. Het is de leerlingen van de zesde klas als een serieuze activiteit voorgelegd, al was het in feite gespeeld. ACTIVITEITEN Inleiding: Eerst wil ik een beschrijving geven van de activiteiten die in het kader van de evaluatie van de school door de leerlingen hebben plaats gevonden, en de resultaten daarvan. Ten tweede wil ik in het stukje met de titel ‘De dialoog’ de discussie weergeven die de betrokkenen over de uitkomsten hebben gevoerd. 1. Brainstormen door middel van een gedachtenkaart (mind map). Om zoveel mogelijk elementen van het leren op school en het schoolleven bij de activiteiten te betrekken hebben de leerlingen een gedachtenkaart / woordveld getekend. Wat houdt ‘leren’ in, waaraan denk je bij het woord ‘leren’? De onderdelen werden door de leerlingen op het bord geschreven. Zij kregen de kans om vragen te stellen over die onderdelen die niet duidelijk waren. Zij kenden deze techniek al. Nadat zij alles op een rijtje hadden gezet, namen zij de gedachtenkaart / het woordveld over op een groot vel papier zodat het ook op andere dagen gebruikt kon worden. 2. Individuele top 6 van leren: wat helpt je niet bij het leren? De leerlingen hebben ervoor gekozen om eerst de negatieve aspecten van de school aan te pakken, waaronder een meningsverschil met een van de moeders die in de eetzaal helpt. Aan de leerlingen werd gevraagd om op te schrijven of te tekenen wat zij storend, ongepast, belemmerend, vervelend, …… vonden tijdens hun schoolperiode. Naderhand hebben zij dit aan elkaar uitgelegd. Nadat zij elkaars mening hadden gehoord, begon het gesprek over de negatieve aspecten: de ontoereikende voorzieningen, het gedrag van sommige moeders in de eetzaal, afval, plagerijen, enzovoorts. Wegens tijdgebrek moest dit gesprek de volgende dag worden voortgezet. Aan het eind van die activiteit werd een vraag gesteld: Heb je kunnen tekenen / opschrijven wat je duidelijk wilde maken? Er werd een dik touw op de grond gelegd als een middellijn in de wiskunde. De uiteinden betekenden ofwel ‘alles kunnen zeggen’ of ‘helemaal niets kunnen zeggen’. De leerlingen werd gevraagd om op een bepaald punt van het touw te gaan staan om zo hun ervaring aan te geven. Naderhand legden zij aan de directeur en aan andere leerlingen uit waarom ze op die bepaalde plek waren gaan staan. 3. Individuele top 6 van leren: hoe kunnen we het beste leren? Op de tweede dag werd de leerlingen gevraagd om eenvoudige potloodtekeningetjes te maken (op een hartvormig stukje papier) om hun persoonlijke top 6 aan te geven. De beginvraag luidde: “Wat heb je als erg positief ervaren op De Toverboom?” Dan bekeken de leerlingen elkaars tekeningen en vormden kleine groepjes naar de volgorde van hun top 6. Zij legden hun keuze uit aan elkaar en trokken samen conclusies. De consensus over de manier van werken en de voorzieningen in de klas was opvallend. Dat roept de vraag op over het volgende schooljaar. In hun volgende schooljaar gaan de leerlingen allemaal naar een secundaire school in het centrum van Geel of Mol. Enerzijds kijken zij hier naar uit, maar anderzijds zullen zij ‘De Toverboom’ missen, was hun conclusie. Zij leken het

51

allemaal eens te zijn over die zaken die de secundaire scholen van De Toverboom moesten meekrijgen: humor in de les, ‘hoekenwerk’, een fijne sfeer, zelf projecten ontwikkelen. Zij besluiten om na te gaan hoe deze scholen van hun wensen op de hoogte kunnen worden gesteld. De activiteit werd op de tweede dag afgerond met een evaluatie: in hoeverre ben je het eens met de rest van de klas? De leerlingen kleurden het bijbehorende vakje op het schema in en vroegen elkaar om hun keuze toe te lichten. 4.Wat nemen we mee naar het voorgezet onderwijs? De leerlingen besloten een video te sturen naar de secundaire scholen om hun wensen kenbaar te maken. Samen hebben zij het scenario vastgesteld en de verschillende taken verdeeld. Zij hebben de opname in kleine groepjes voorbereid. Een voor een hebben zij het filmen op zich genomen. De zoon van een docent bewerkte de opnames en voegde de tekst toe die door de leerlingen werd opgesteld. Na de opnames hebben de leerlingen besproken hoe zij de videobanden naar de betreffende scholen kunnen krijgen. Zij besloten dat elke leerling de band naar de schoolleiding van zijn/haar toekomstige school zou brengen. De directeur van De Toverboom zou met hen meegaan. DE DIALOOG Zelfevaluatie heeft alleen dan zin als de uitkomsten leiden tot verbeteringen voor iedereen. De positieve en de negatieve punten die de leerlingen naar voren hebben gebracht hebben geleid tot een consensus onder de leerlingen zelf, de docenten en de schoolleiding van de scholen voor voortgezet onderwijs. Het volgende verslag laat zien wat er is gebeurd.

52

1.Gesprek met de directeur over de moeders die in de eetzaal helpen. Tijdens de activiteit op de eerste dag over negatieve ervaringen, kwamen de moeders die als vrijwilligers op school werken, heel negatief uit de evaluatie naar voren. De leerlingen vonden hen ongeduldig, kortaangebonden, star en bevooroordeeld. In een groepsdiscussie kregen alle leerlingen de kans om hun klachten te uiten. Die werden op het bord geschreven. Daarop volgde een gesprek tussen de directeur en de leerlingen. Dit was meer genuanceerd omdat sommige leerlingen aangaven waarom zij weinig of geen problemen met deze moeders hadden. Sommige hadden een karweitje voor ze gedaan zonder dat dat hun gevraagd was of hadden een praatje met hen gemaakt op de speelplaats. Dat had een positief effect op hun relatie. De directeur vatte het gesprek samen in een eenvoudige tekening en vroeg de leerlingen om die uit te leggen. De leerlingen realiseerden zich dat de oplossing van twee kanten moet komen, al legden sommige de verantwoordelijkheid voor het probleem meer bij de moeders. De directeur verontschuldigde zich voor de houding van deze moeders jegens de leerlingen en beloofde hen en de andere docenten op een diplomatieke manier op de hoogte te stellen. Om het gesprek te evalueren vertelde de directeur de leerlingen wat hij had ervaren: iedereen scheen erg betrokken, aangezien het onderwerp de belangstelling van de leerlingen had. Daarom verliep het gesprek vlot, want iedereen was heel duidelijk en bereid om een oplossing te zoeken, iedereen was bereid te luisteren. 2.Onderhandelen met de docenten en de directeur over voetballen op de speelplaats. Tijdens de evaluatie-activiteiten legden de leerlingen verband tussen het voorstel om op de speelplaats te voetballen en hun negatieve ervaringen. De jongens in de zesde klas spelen graag voetbal terwijl de meisjes liever iets anders doen. In de groepsdiscussie werden de verschillen weer duidelijk. De leerlingen formuleerden een voorstel: twee of drie keer per week zouden de jongens op de speelplaats voetballen, de meisjes konden dan in de tuin spelen of op het toneel. De directeur beloofde dit op de agenda voor de personeelsvergadering te zetten. Daarna zou hij verslag uitbrengen aan de klas. De groepsdiscussie is met kleuren geëvalueerd. De leerlingen werd gevraagd om twee kleuren te kiezen om aan te geven hoe zij de discussie en het voorstel vonden. Hun eigen evaluatie van de discussie:

Rood: Ik vind de kleur en het voorstel van de klas leuk. Groen en blauw: groen omdat we graag in de tuin spelen; blauw omdat ik de kleur en de tuin leuk vind. Wit: er is niets dat ons tegenhoudt om te doen wat we hebben afgesproken. Roze: ik vind het een goed idee. Van rood tot blauw: eerst leek het me niet zo’n goed idee, maar nu wel. Zwart en geel: een keer per week voetballen is niet genoeg, daarom is het zwart. Geel geeft de verwachting aan dat er meer dan een keer per week kan worden gevoetbald. Alle kleuren van de regenboog: ik heb alle kleuren gekozen omdat er in de discussie naar iedereen is geluisterd. 3. De directeur als bemiddelaar tussen leerlingen en leerkrachten. De directeur heeft het voorstel van de leerlingen op de personeelsvergadering van april 2004 uitgelegd. Moeten we goedvinden dat de jongens 2 tot 3 keer per week op de speelplaats voetballen terwijl de meisjes en de leerlingen van de andere klassen in de tuin spelen, ook al is die tuin niet echt geschikt om in te spelen? Het voor en tegen werd tegen elkaar afgewogen en uiteindelijk ging het personeel niet akkoord. De voornaamste reden was dat alle kinderen op de speelplaats moeten kunnen spelen en niet alleen de 8 jongens van de zesde klas. Dit zou ook een extra belasting voor de surveillanten betekenen. Aan de andere kant waren de docenten en de sportleraar bereid om zo nu en dan zo’n activiteit met hun eigen klassen op de speelplaats te organiseren. De directeur bracht verslag uit aan de zesde klas van het besluit van het personeel. De leerkrachten gingen soms met hun eigen klas voetballen. 4. Leerkrachten op de hoogte stellen van de positieve en negatieve aspecten. De zesde klas werd gevraagd om op de personeelsvergadering hun ervaring te delen met de docenten. Op een vergadering die in juni tussen de middag werd gehouden, hebben twee leerlingen kort verslag uitgebracht en de docenten een videoband laten zien. In een eerdere vergadering waren de docenten voorbereid en zelfs wat gerustgesteld door de directeur. Deze legde de gang van zaken uit en het doel van de evaluatie-activiteiten en hij lichtte een tipje op van de sluier wat betreft de uitkomsten. Daardoor konden de docenten de vergadering ontspannen bijwonen. De docenten steunden de ideeën en op de vergadering van september 2005 zal de directeur, volgens een eerdere afspraak, vragen om zoveel mogelijk ‘hoekenwerk’ en projectwerk in elke klas op te zetten. 5. De directeur heeft zelf vragen gesteld over de slecht ruikende toiletten. Een negatief punt dat naar voren kwam was de geur in de toiletten. De directeur vroeg de leerlingen om een verklaring en probeerde een oplossing te vinden. Tenslotte besloot hij om een filtersysteem aan te laten brengen. 6. De film als communicatiemiddel met het voortgezet onderwijs (secundair). In juni 2004 hebben de leerlingen van de zesde klas de scholen voor voortgezet onderwijs bezocht waar zij in september in vier groepen naartoe zullen gaan. De directeur heeft van tevoren een afspraak gemaakt en is met de kinderen meegegaan. De leerlingen werden door de diverse directeuren welkom geheten en kregen de kans hun bedoelingen toe te lichten. Op een van de scholen keek de directeur samen met de leerlingen naar de videoband. Hij beloofde dat hij de band ook op een personeelsvergadering samen met de leerkrachten zou gaan bekijken. De directeur van De Toverboom heeft de vertegenwoordiger van de scholengemeenschap gevraagd om de overgang van basis- naar voortgezet onderwijs terug op de agenda van de werkgroep te zetten. 7. Contacten met oud-leerlingen van De Toverboom. Tijdens de bezoeken hebben de directeuren van de twee middelbare scholen afspraken gemaakt met hun

53

toekomstige leerlingen. Beide hebben de leerlingen gevraagd om begin september opnieuw contact met hen op te nemen zodat zij hun konden vertellen wat zij met de videoband hadden gedaan en hoe de docenten van die middelbare scholen hadden gereageerd. De directeur van De Toverboom vroeg zijn oud-leerlingen om ook aan hem in september verslag uit te brengen. HOE DIT VERDER GAAT Evalueren is geen doel op zich. Het leidt tot reflectie, initiatieven en veranderingen. Dit gaat ook op voor De Toverboom. Niet alleen zijn enkele positieve en negatieve punten binnen de school besproken, en een paar daarvan zijn intussen opgelost, maar de evaluatie van de school door de zesde klas heeft ook tot meer communicatie geleid. Er is duidelijk veel besproken tussen leerlingen en docenten. Bovendien bleven zij praten, ook over onderwerpen die niet tot het evaluatieproces behoorden. Een van de belangrijkste resultaten van het evaluatieproces is het oprichten van een leerlingenraad. De raad bestaat uit vertegenwoordigers van de jongste leerlingen (2,5 jaar) tot aan de oudste (11 jaar) toe. Samen met twee docenten (van de jongste) en de directeur nemen zij besluiten die zij met de klas voorbereiden. Zo hebben de kinderen zelf de spelletjes, het eten en het Zomerfestival van eind juni georganiseerd. Dit succes zorgt ervoor dat het evaluatieproces bijna zeker herhaald gaat worden. Andere klassen die nog een tijdje op school zullen blijven, gaan De Toverboom ook evalueren, opdat de kinderen zullen zien dat evaluatie leidt tot communicatie en verandering. De leerlingenraad kan een positieve rol hebben in de voorbereiding, het verwerken en de uitvoering van evaluatieprocessen. De docenten waren zelf ook positief over het proces en zouden graag zien dat het herhaald wordt. Zij hebben een levendige belangstelling getoond voor het verloop van het project en de resultaten. Intussen is de schoolleiding geïnformeerd over de manier van werken en de resultaten. Ook zij steunen het idee van zelfevaluatie. CONCLUSIE

54

Evaluatie is de moeite waard! Zelfevaluatie is de moeite waard! Daardoor gaan leerlingen zien hoe zij naar hun eigen werk moeten kijken, hun thuis of hun klas. Op deze manier draagt zelfevaluatie bij tot ‘leren leren’ en tot een volwassen en zelfstandige leerhouding. Kinderen leren communiceren en verantwoordelijkheid te nemen. Zo draagt zelfevaluatie bij tot een gevoel voor sociale verantwoordelijkheid anno 2004. In de toekomst zullen andere actieve evaluatiemodellen worden gebruikt in de kleuterschool en de basisschool.

2. Leerlingen op een Britse school houden zichzelf een spiegel voor, met zelfverbetering tot doel. (GB) Achtergrondinformatie: Lincoln Christ’s Hospital School staat in Lincoln, 200 kilometer ten noorden van Londen. De geschiedenis van de school gaat terug tot de eerste school die in 1090 in de stad is gesticht. De huidige locatie is sinds 1906 in gebruik en in 1974 is er een scholengemeenschap opgericht. Het is nog steeds een echte school voor leerlingen van alle niveaus; de school telt 1200 leerlingen in de leeftijd van 11 tot 18 jaar. Het volgende verhaal komt van docent Jason Stevens. Inleiding: Het verbeteren van de leerresultaten krijgt op alle scholen in het Verenigd Koninkrijk de grootste aandacht en daarom worden leerlingen aangemoedigd om hun eigen functioneren op een aantal manieren te evalueren, vaak in korte oefeningen die zij zelf uitvoeren. Deze specifieke oefening is ontwikkeld in de godsdienstlessen, een verplicht vak in het curriculum voor leerlingen tot 18 jaar.

Zelfevaluatie: Leerlingen in jaar 10 en 11 krijgen het volgende vel papier om in te vullen: ‘Geef eerlijk antwoord op deze vragen door het juiste antwoord te omcirkelen’ (1=uitstekend, 2= erg goed, 3=OK, 4=slecht, 5=bijzonder slecht) 1. Hoe hoog schat je jouw inspanning in deze module in?

12345

2. Hoe hoog schat je jouw kennis en begrip van het werk tot nu toe in?

12345

3.Was je ook afgeleid en er niet helemaal bij?

Altijd

vaak

soms

nooit

4.Vraag je om hulp als dat nodig is?

Altijd

vaak

soms

nooit

5.Welke zin past het best bij de antwoorden op de vragen over religie die jij hebt opgeschreven? Hele zinnen met details en gebruik van religieuze termen? Zinnen met wat details en een paar religieuze termen? Korte zinnen zonder details en religieuze termen? Maar een paar woorden lang, zonder religieuze termen? Antwoorden van een of twee woorden? Geen religieuze termen of woorden? 6. Steek jij je hand op om vragen te stellen?

Altijd

vaak

soms

nooit

7. Doe je ook mee aan klassengesprekken?

Altijd

vaak

soms

nooit

8. Bekijk je antwoorden en geef twee manieren aan waarop je jouw werk in dit vak zou kunnen verbeteren. Dit vormt dan de basis voor individuele gesprekken, discussies met z’n tweeën of groepsdiscussies, met of zonder de docent.

3. Zelfevaluatie op een Nederlandse school (NL) Achtergrondinformatie: Het Stedelijk Dalton Lyceum ligt in een van de buitenwijken van de stad Dordrecht, 28 kilometer te zuiden van Rotterdam. De leerlingen zijn 12 tot 18 jaar oud. Zij hebben een nogal verschillende sociale en etnische achtergrond, met immigranten en vluchtelingen uit de hele wereld. Op het ogenblik telt de school die de Dalton werkwijze gebruikt, ongeveer 250 docenten en 2.300 leerlingen op de verschillende locaties. Het is een openbare scholengemeenschap. Het volgende verhaal is geschreven door docente Marjolijn Smith. Dit voorbeeld betreft zowel docenten als leerlingen. Het staat bij de verhalen van leerlingen omdat het vooral over lesgeven en leren gaat. Inleiding: Zelfevaluatie heeft zich op het Stedelijk Dalton Lyceum voornamelijk

55

gericht op de gevolgen van een fusie met een andere school in dezelfde stad. Die fusie is in augustus 2003 een feit geworden. Daarbij wilde de directie ook enige veranderingen invoeren: • lessen van 70 minuten in plaats van de gebruikelijke 40 of 50 minuten, • invoeren van de Dalton werkwijze op de locatie met de nieuwe collega’s, • een ‘thuiswerkvrije’ school voor de leerlingen van het 1e en 2e leerjaar. Deze besluiten hielden in dat er vooraf al veel is geëvalueerd en dat er nog veel geëvalueerd zou moeten worden in de nabije toekomst. Zo ging de evaluatie in 2003-2004 voornamelijk over deze 3 hoofdthema’s: verlengde lestijd, is onze ‘thuiswerkvrije’ school echt wel zo thuiswerkvrij en het invoeren van de Daltonwerkwijze en Daltontaken. U kunt zich wellicht voorstellen dat dit plan heel wat commotie heeft opgeroepen, vooral op het moment dat het voor het eerst werd geïntroduceerd bij de verschillende teams. Er is heel wat gediscussieerd over de voors en tegens. Sommige docenten vonden het wel een goed idee omdat zij nu de kans kregen om verschillende werkvormen te gebruiken en vaardigheden te trainen in één lesuur, maar anderen uitten hun twijfels en zeiden bang te zijn dat leerlingen zich niet zo lang (70 minuten) zouden kunnen concentreren. Veranderingen, waaronder de 70-minuten lessen – de mening van leerlingen: Eind september is aan de leerlingen van klas 1 en klas 2 gevraagd om de eerste zes weken op school te evalueren: hiervoor maakten zij gebruik van vragenlijsten, dialoog en groepsdiscussies. De evaluatie betrof de duur van de lessen, de studielessen aan het eind van de schooldag die zij drie keer per week kregen, en die ofwel door de klassenleraar of een vakdocent werden begeleid, en als laatste onderdeel de Daltonuren en de Daltontaken. Wat betreft de 70 minuten: de meeste leerlingen vinden dat zij niet genoeg tijd krijgen om hun werk tijdens de les af te maken, hoewel maar een enkeling vindt dat hij/zij thuis nog veel moet doen. De uitkomsten zijn geëvalueerd en op grond daarvan zijn er wat veranderingen aangebracht in de studielessen, vooral in die van de tweedeklassers.

56

Veranderingen, waaronder de 70-minutenlessen – de mening van docenten: Eind november hebben de docenten de verlengde lestijden geëvalueerd. De meeste hadden niet echt bezwaren tegen de lengte van de lessen, maar klaagden over discontinuïteit. Als een docent een bepaalde klas maar 1 keer per week lesgeeft en die les vervalt om de een of andere reden, dan zit er een gat van twee weken tussen twee lessen en soms kan dat nog langer zijn. De enige manier om dit te voorkomen is dat de docent leerlingen vraagt om in het Daltonuur naar hem/haar toe te komen. We waren het erover eens dat de studielessen nu beter verliepen dan aan het begin van het schooljaar. Sommige collega’s zouden een studieles liever aan het begin van de dag zien. (In 2004-2005 is die studieles ook meer naar het begin van de dag verschoven). Dalton- de mening van de leerlingen: Dezelfde leerlingen is gevraagd naar ervaring met het Daltonuur en de taken. Sommige vinden het Daltonuur prettig vanwege de fijne sfeer in de klas, al zitten zij soms teveel en te lang te kletsen en maken zij het werk dat zij wilden doen niet af. Zij vinden het ook leuk om in kleine groepjes aan een taak te werken of in de mediatheek aan de computer te werken. Andere werken graag in de bibliotheek, waar het stil moet zijn of zouden graag in het lokaal aan een computer werken. Weer andere zeggen last te hebben van het geklets van medeleerlingen. Wel vinden zij het allemaal fijn dat zij zelf een lokaal kunnen kiezen, zelf mogen weten bij welke docent zij gaan zitten en met welke andere leerlingen. Zij hebben het gevoel dat zij meestal bij die docent terecht kunnen waar zij naartoe wilden gaan. Wat betreft het

Daltonuur zijn er geen veranderingen aangebracht. Maar de leerlingen waren veel negatiever over de taken. De meeste klaagden dat de taken vaak teveel tijd kosten om ze goed te doen, dat de taken vaak saai zijn en dat zij soms voor verschillende vakken bijna dezelfde soort taak moeten maken. Wat is hiermee gedaan? De resultaten van de evaluatie zijn in de teams besproken en er is nog eens goed naar de taken gekeken om te zien wat er verbeterd kon worden. Intussen is een Daltoncommissie aan het werk gegaan. De leden van die commissie gaan een inventarisatie maken van de verschillende taken van het afgelopen jaar en er wordt een lijst opgesteld van de verschillende vaardigheden die in de taken aan bod zijn gekomen. Er is vooral gelet op de periode waarin dit gebeurde en de manier waarop de vaardigheden zijn aangeboden. De volgende grensoverschrijdende stap: leerlingen evalueren docenten. Leerlingen is gevraagd om docenten te evalueren. Aangezien dit de eerste keer was, mochten de docenten zelf twee klassen uitkiezen die hen zouden evalueren. Het gaat erom dat docenten inzicht krijgen in de manier waarop de leerlingen hun lessen ervaren, om de sterke en de zwakke punten ervan. De schoolleiding kan zo bepalen wat voor soort scholing de docenten misschien nodig hebben. Dit jaar mogen de docenten besluiten of ze de resultaten al dan niet meenemen naar hun functioneringsgesprek. De antwoorden die sommige klassen hadden gegeven riepen nogal wat vragen op. Daarom hebben een paar docenten de evaluatie als het ware nog eens geëvalueerd en wel met gebruikmaking van de dialoog. Daaruit is veel duidelijk geworden, namelijk dat er vooraf wel heel duidelijke uitleg moet zijn over het wat, hoe en waarom van de evaluatie. De groep waarbij het was misgegaan had het als een spelletje opgevat! Conclusie: Als we terugkijken op het afgelopen schooljaar dan realiseren we ons dat we geleidelijk steeds meer één team gaan worden, vooral door al onze gezamenlijke inspanningen om met al deze veranderingen om te gaan en een goede school te creëren voor de jongeren van Dordrecht en omstreken. De eerste moeizame stappen zijn genomen en de volgende stappen zullen ook geëvalueerd worden, want we weten allemaal dat evaluatie een proces is dat steeds verdergaat.

4. Een Frans verhaal (FR) Context: het Collège de Goulaine, geopend in 1994, is gelegen aan de rand van Nantes in het westen van Frankrijk. De 576 leerlingen met leeftijd tussen 11 en 15 in deze school komen uit families met weinig zware problemen en een oprechte interesse in de kwaliteit van de opvoeding van hun kinderen. Inleiding: “ Laat ons leren hoe we de vaardigheden van het kind kunnen identificeren en evalueren zodat we hem of haar kunnen bijstaan in het opbouwen van hun eigen succes.” Deze titel, aangekondigd in een vergadering, verbaasde aanvankelijk de staf van het Collège de Goulaine. De eerste antwoorden onderstreepten toen de moeilijkheid en de theoretische aard van een onderwerp welk eigenlijk een logisch pad volgde. Sinds 1996 was het Collège in partnerschap met scholen in Italië, Portugal en Denemarken. Een eerste Comeniusproject gekend als UMID (over het gebruik van ICT in alle disciplines) liet de leerkrachten toe om de intellectuele autonomie van de leerlingen te bekijken. Daardoor werd het tweede Comeniusproject: “Een project om leerlingautonomie te ontwikkelen” genoemd. Op zijn beurt, ontstonden moeilijkheden in precies het meten van de impact van het projectwerk en de graad van bekomen autonomie. Hierdoor werd een derde project in werking gezet, dit keer een School Ontwikkelings Project waarin twee nieuwe partners van Polen en Portugal de andere vergezelden. Twee hoofdthema’s: Enerzijds benadrukte het project de nood om indicatoren te ontwikkelen om leerlingen hun vaardigheden te meten. Observatie- en evaluatietools werden opgesteld. Anderzijds was het noodzakelijk dat voor de driejarige duur van het project de leerkrachten waakzaam zouden zijn in het zoeken naar zwakheden welke hun effectiviteit, in de exacte gebieden van identificatie en evaluatie van vaardigheden, schaden. Het team moest een zelfbeoordeling en een standaardisatie van procedures in elke school uitvoeren, en de ervaringen en resultaten uitwisselen met de partners. “Om de angst te kalmeren en de nervositeit te overwinnen”: twee woorden zouden de samenhangdheid van het project kunnen belemmeren. Het concept ‘bekwaamheid’ zaait twijfel in het brein omdat, bewust of onbewust, voor goed of slecht, het refereert naar een mengsel van kennis, knowhow, zelfcontrole en vaardigheden. Het was noodzakelijk voor ons om een duidelijke omschrijving te hebben van het woord.

57

Vervolgens, het woord ‘evaluatie’ met al zijn associaties is gebonden aan concepten van subjectiviteit, gelijkheid, vooroordeel, en het beoordelingswerk welke hand in hand gaan met de job van een leerkracht en onvermijdbaar een bittere smaak achter laat. Het uitzicht op geconfronteerd te worden met een heleboel problemen, onenigheden en het moeten ontwikkelen van gezamenlijke evaluatie-instrumenten, een gemeenschappelijke aanpak en het nemen van verantwoordelijkheid voor gezamenlijke besislissingen verwijderde vele van de obstakels. Tenslotte hield de experimentele aard van ons project alleszins de belofte in van delen wat zeker goed was, maar ook de mogelijkheid om constructief te zijn bij het omgaan met vergissingen. Het Comenius Schoolontwikkelingsproject was het initiatief van een groep die eerst wat beperkt was, afgezwakt door angst en nervositeit op sommige momenten, maar die daarna een katalysator werd. Elke deelnemer zag in zijn/haar geplande activiteiten de wijze om een steentje bij te dragen aan de groeiende structuur die gestimuleerd werd door vele kleine inspanningen. Het is essentieel dat leerkrachten informatie hebben opgeslagen voor het einde van het schooljaar: door het volgen van de officiële regelingen (B21) werd een schaal van bekwaamheden opgesteld voor elk niveau: het was de verantwoordelijkheid van elke leerkracht om op te slaan wat hij/zij had geobserveerd in zijn lessen. Het ontwerpen van een versie van ‘Trivial Pursuits’ voor de hernieuwde EU van 25 leden was een extra-curricullaire activiteit. De coördinatoren van de ‘Europese Club’ hadden de idee om dit spel te gebruiken in een speciaal evenement. Dit niet alleen om de kennis van Europa van alle leerlingen van de school te testen maar ook om hun vaardigheden te testen in het terugvinden van ontbrekende informatie.

5. Leerling- en ouderengagement in Roemenië (RO)

58

Context: “Mihail Sebastian” Middelbare School ligt in Braila, een stad in het zuidoostelijk deel van Roemenië. Momenteel heeft het ongeveer 790 studenten met een leeftijd tussen 15 en 18 jaar en 55 personeelsleden. Deze school werd gesticht in 1974 en het heeft zijn naam van “Mihail Sebastian”, een bekende schrijver geboren in Braila. Op dit moment heeft de middelbare school een algemene oriëntatie met sterke interesse in vreemde talen, ICT en menswetenschappen. Evaluatieprocessen: Evaluatie vindt plaats op formele en informele wijzen. De formele methoden bevatten: 1. Evaluatieformulieren ingevuld door studenten gedurende de lessen of de evaluatieperiodes 2. Evaluatie van het schoolmanagement gedaan door de Schoolinspectie 3. Rapporten van de Schoolinspectie over schoolactiviteiten. De informele evaluatie bevat: 1. Conversatie tussen personeel en ouders 2. Conversatie tussen personeel en de plaatselijke gemeenschap. In onze school wordt het leerproces en het schoolmanagement vergezeld door evaluatie en zelfevaluatie. We realiseerden dat evaluatie verschillende doelen dient. Wanneer het gaat over de schoolinspectie van The Teaching Staff Centre, wordt evaluatie gedaan met het oog op het geven van rekenschap, om te tonen dat de school werkt in een verantwoordelijke manier en volledig functioneel is. Tegelijkertijd heeft evaluatie bewezen een handig instrument voor besluitvorming te zijn.Verschillende evaluatiemethoden en -instrumenten worden gebruikt in onze school om de nodige informatie te verzamelen. In 2003 ontwierpen de psychologieleerkracht en een vormingsleerkracht van de twaalfde graad een vragenlijst voor de ouderontmoeting. De vragenlijst heeft als hoofddoelstelling het begeleiden van de carrièreoriëntatie van de studenten in de twaalfde graad en de wijze waarop de ouders worden geduid op de vaardigheden van hun kinderen en hun voorkeuren voor een specifiek beroep. De vragenlijst onderzocht de volgende aspecten van de mogelijkheden van een kind: • •

Intelligentie Leervermogen

• • • • • • • • •

Creativiteit Geheugen Doorzettingsvermogen Leidinggevende vaardigheden Handvaardigheid Werkbetrokkenheid Wetenschappelijke vaardigheden Geletterdheid vaardigheden Muzikale vaardigheden

Andere vragen trekken de aandacht van de ouders op de persoonlijke waarden van hun kind: integratie in de werkwereld, toekomstige steunbehoeften, de sterktes van zoon/dochter, communicatievaardigheden, potentieel voor het bezitten en runnen van een zaak, vaardigheid om verschillende ideeën om te zetten in praktijk, bereidheid om anderen te helpen, vaardigheid om verschillende taken uit te oefenen en te werken in team. De ouders kregen ook vragen over hun verwachtingen voor de toekomstige tewerkstelling van hun kind bv. salaris, sociale erkenning, werkomgeving, verantwoordelijkheid, autonomie, werkveiligheid, persoonlijke prestaties, werkinhoud, scholingsniveau, sociale contacten. Een andere stap in het evaluatieproces was om de studenten zelf te betrekken. Als resultaat deden de studenten in de negende graad wat marketingonderzoek over de topic “De meningen van de negende graad studenten over de middelbare school waar zij studeren”. De studenten werden gecoördineerd door professor Sanda Visinescu en het was eigenlijk een toepassing voor het vak “Marketing”. Gedurende tien dagen in mei 2002 werden 168 studenten van de negende graad, van een totaal van 176 studenten, beide meisjes en jongens, bevraagd. De leerlingen werden bevraagd over het volgende: • • • • •

De school De leerkrachten Individuele manier van leren Examenresultaten gebaseerd op hun bekwaamheidsniveaus Favoriete vakken

Een evaluatie van de karakteristieken van de organisatiecultuur werd opgesteld. Het project refereerde naar manieren om de “Schooldag” te organiseren met inclusief een evaluatie van het schoolmanagement en van de atmosfeer in de school. Met behulp van SWOT nam de projectcoördinator de sterktes en zwaktes van de organisatiecultuur mee op. Dit zijn enkele voorbeelden van hoe evaluatie en zelfevaluatie zijn uitgevaardigd in onze school. Het is een voortdurend proces dat altijd verbeterd en gekoppeld kan worden aan de noden van studenten en aan schoolontwikkeling. Het vereist de participatie van alle personeelsleden in school, en het behoort tot alle activiteitsvelden in de school.

6. Een Ierse opvatting over de waarde van zelfevaluatie van de leerling (IE) Context: Dominican College is opgericht in 1883 in Eccles Street, Dublin. Het bleef een meisjes middelbare

59

school, met vandaag 690 leerlingen. De schrijfster is waarnemend schoolhoofd Mary Anne Halton. “Zelfevaluatie in zijn verschillende vormen bewijst een positieve ervaring te zijn voor leerlingen binnen één vakgebied aan het Dominican college. De bereidheid van de leerkracht om zelfevaluatie op te nemen als een leeractiviteit, ondersteunde, vergemakkelijkte en beloonde het leren van de leerling. Op dit niveau omvat zelfevaluatie zowel de leerkracht als leerling. Observaties op klasniveau over een driejarige periode suggereren dat om zelfevaluatie als een effectieve leerstrategie voor projectwerk te krijgen: •

• •

•

60

De leerkracht de leerlingen moet coachen in geschikte zelfevaluatietechnieken op een wijze die betekenisvol of oprecht is voor de leerlingen. Jonge mensen zijn niet geneigd om de dingen automatisch te doen. Leerlingen moeten begrijpen wat ze aan het doen zijn, waarom ze het doen, hoe ze het gaan doen en wanneer dat ze het gaan doen. Zelfevaluatie-activiteiten moeten praktisch en geconcentreerd zijn. Leerlingen moeten eigenschap nemen van het proces en zelf verantwoordelijkheid opnemen voor hun eigen leren, ondersteund door de leerkracht. Ze moeten actief betrokken worden in constructieve, interessante en uitdagende zelfevaluatietaken die zo opgesteld zijn dat ze in het studiemateriaal passen. De mogelijkheid om eigenaarschap te creëren moet ingebouwd worden in de alledaagse praktijken van het klaslokaal. Samenwerking en coöperatie tussen leerling en leerkracht ondersteunt motivatie en het leerproces. Effectieve communicatie is essentieel.

Doorheen zelfevaluatie kan het leren van de leerling en de kwaliteit van hun werk verbeteren als leerlingen actief betrokken worden in zelfregulering en reflectie. Dit ondersteunt planning, controlering, en het maken van beslissingen in hun werk indien nodig. Zelfevaluatie op leerling-niveau vereist tijd en oefening. Leerlingen leren over de belangrijkheid van het besluitvormingsproces en het daaropvolgende besluit, gebaseerd op hun persoonlijke beslissingen. Zelfevaluatie promoot creativiteit en verbetert motivatie, zolang de leerling het proces begrijpt. De leerkracht treedt op als een “kritische vriend” in het evaluerende onderzoeksproces door regelmatig feedback en steun te voorzien. Leerlingen zeiden dat ze het plezant vonden om “meer betrokken te zijn bij hun werk dan op andere momenten”. Zelfevaluatie kan duidelijk een studentgecentraliseerde activiteit zijn, welke de kwaliteit van de leerervaring voor leerkrachten en leerlingen promoot en ondersteunt.”

Leerkrachten in het middelpunt van zelfevaluatie Scholen zijn plaatsen waar lesgeven en leren hand in hand gaan. De beste leerkrachten zijn constant de klaservaringen aan het evalueren, om zowel hun effectiviteit in het ondersteunen van het leren van de leerlingen te meten als om henzelf en hun professionele praktijk te ontwikkelen. Dit gebeurt op vele manieren.

7. Het creëren van een structuur voor zelfevaluatie van leerkrachten in een Britse school (GB) Context: Bishop Stopford School is een Church of England Foundation School voor leerlingen van 11 – 18 jaar met de status van Technologisch College. In de stad van Kettering in Northamptonshire is het met 1450 studenten, de grootste middelbare school in de omtrek. De kernwaarden van de school beklemtonen samenwerken en het vormen van relaties gebaseerd op verantwoordelijkheid, eerlijkheid, rechtvaardigheid, vertrouwen en medeleven. Afgevaardigd schoolhoofd Jill Silverthorne droeg bij aan dit artikel. Inleiding: “ Op Bishop Stopford is de visie van een ‘lerende gemeenschap’ ontwikkeld om ieder aspect van ons werk te ondersteunen. Onze visie is manieren te ontwikkelen om de welvaart aan ervaring die we bezitten onder ons personeel te delen en om onze beste praktijken onder de grotere gemeenschap te verspreiden om zo het effectieve leren en lesgeven te promoten.” Deze ethos heeft vele bindingen:

• • • • • • • •

Interne overplaatsingen voor individuen en teams In-huis training over nationale ontwikkelingen, gegeven door collega’s (Geletterdheid, denkvaardigheid, burgerschap, speciale opvoedingsnoden.) Partnerschaptraining met lokale bedrijven/industrie Zelfevaluatie van een team Raadgeving en observatie van collega’s Het deelnemen aan voordrachtprojecten zoals Sexuele Opvoeding, waar zesde graad studenten en het personeel het programma leveren voor jongere studenten. Specifieke curriculum training Intel ICT training om het personeel en de leerkrachten te ondersteunen.

Het zelfevaluatieproces is een essentiële component van de lerende gemeenschap, en is een proces welke over lokale ontwikkelingsplannen, individuele doelen en de hele schoolagenda informeert. Gids voor evaluatie van afdelingen (vakgroepen) op school Een boekje voor vakverantwoordelijken werd opgesteld, om hen te helpen beslissen over de prioriteiten om hun werk te verbeteren en om een actieplan op te stellen om standaarden in het onderwerp te verbeteren voor welke zij verantwoordelijkheid dragen. De initiële controle wordt best uitgevoerd in de zomerperiode wanneer een ruimer gamma aan informatie over de prestaties van de leerlingen beschikbaar is. Al het personeel in de vakgroep zou in de discussies opgenomen moeten worden en bijdragen tot het verzamelen van bewijzen. Vele van de noodzakelijke beoordelingen kunnen gemaakt worden door middel van discussies in twee of drie vakgroep-vergaderingen. Anderen zullen ontstaan uit het analyseren van test- en onderzoeksgegevens, het bekijken van werken en aantekeningen van de leerlingen, refererende naar de opnames van de vooruitgang van de leerlingen en van het bijwonen van lessen. Informatie van lessen die al geobserveerd zijn als deel van onze normale routine kunnen ook gebruikt worden. Het verzamelen van bewijs, vooral van lesobservaties en nauwkeurigheid van het werk van de leerlingen, zal zorgvuldig gepland moeten worden over enkele weken. Het gebruik van passende zinnen en aankruisvakjes doorheen het boekje helpt om het opnemen tot een minimum te houden. Wanneer de mogelijke actiepunten voor iedere sectie bepaald zijn, kan het departementshoofd het actieplan vervolledigen. Het school management zal dan een duidelijk beeld hebben over de algemene noodzakelijke ontwikkelingen.

8. Departementale zelfevaluatie aan Cordeaux School (GB) Context: Cordeaux School is een gemengde algemeen vormende school (11-18) gelegen in de historische marktstad van Louth in Lincolnshire Wolds in de East Midlands. De leerlingenaantallen stijgen. Examenresultaten verbeteren, van 9% 5 A*-C GCSE in 1999 tot ons beste resultaat van 37% in 2003. Deze voortgezette evolutie heeft geleid tot het ontvangen van een School Achievement Award in 2003 en heeft het vertrouwen in de school versterkt. Aan deze samenvatting heeft Assistent Schoolhoofd, Gil Barker bijgedragen . Beweegreden: Een ‘zelf-terugblik’ is een regelmatig en belangrijk gebruik bij Cordeaux, en wordt uitgevoerd

61

op alle managementniveaus. Departementale terugblikken worden doorheen het schooljaar op drie momenten gehouden. De vakverantwoordelijke ontmoet een lijnmanager in een SMT (Senior Management Team – de schoolleiders) om over voorafbepaalde onderwerpen te discussiëren. Het proces: MMMSR (Moderated Middle Management Self Review) werd geïntroduceerd in 2003 om schoolverbetering te bevorderen en om het ‘Leiden vanaf het midden’ initiatief van de NCSL (National College of School Leadership, Nottingham www.ncsl.org.uk) te vervolledigen. Oorspronkelijk werd het gevoel om MMMSR in zijn geheel uit te vaardigen als een lastige en onhandelbare taak beschouwd door vakverantwoordelijken omwille van de toevoeging aan de vele andere taken die ze reeds hadden. Hoewel, doordat het proces van zelfterugblikken een noodzakelijk en waardevol proces is, werd besloten dat de ‘beste’ elementen van het MMMSR precies gepast zouden kunnen worden in onze huidige uitoefening van departementale terugblikken. De resultaten zijn dat de departementale terugblikken nu een duidelijkere focus hebben en dat aanvullende bladen uitgezonden worden voorafgaand aan de vergaderingen binnen de departementen. Focus van terugblikmeetings:

62

Herfsttijd: Leerlingprestaties op alle kernniveaus. • Beoordeling en groepering Het gebruikte bewijs bevat het herfstpakket, analyse van de gegevens door het departement, geheugensteuntjesblad en evaluatieblad van MMMSR sectie 1. Lentetijd: Lesgeven en leren • Bewijs van observaties, werkcorrectheid en huiswerkcontrole, geheugensteuntjesblad en evaluatie van MMMSR sectie 2. Zomertijd: Effectieve en efficiënte plaatsing van personeel en bronnen • Strategische richting en ontwikkelingsplanning • Leiden en beheren Bewijs van CPD informatie, Prestatie Management informatie en het gebruik van MMMSR geheugensteuntjesbladen secties 3, 4 en 5. Resultaat/Ontwikkelingen: • • • • • •

•

Op het tijdstip van het schrijven van dit artikel had enkel de terugblik van 2003 plaatsgevonden. HOS (Head of Subjects) evalueren en bereiden de vergaderingen voor. Het rangschikken van activiteiten en prestaties voor MMMSR heeft interessante discussies gepromoot en een scherpere klemtoon op de criteria verzekerd. Het lenteoverzicht in 2004 zal interessant zijn, vermits HOS het nodig vindt hiervoor bewijzen te verzamelen over werkstiptheid en huiswerk. De tijd hiervoor vinden zal cruciaal zijn. De uiteindelijke terugblik zal de systemen voor CPD (Continuous Professional Development) en PM (Performance Management) testen, waarvan beide aan het evolueren zijn op Cordeaux School. Een vollediger beeld van de waarde van het linken van de Departementsterugblik aan MMMSR zal niet duidelijk worden tot een volledige cirkel heeft plaatsgevonden en een volledige discussie met HOS (Heads of Subjects) heeft plaatsgevonden. Externe begeleiding van de MMMSR is tot nu toe niet opgenomen omdat we een jaar nemen om het te vervolledigen! We zouden externe begeleiding kunnen vragen in de toekomst.

9. Zelfevaluatie in lagere school “De Fontein” (NL) Context: Dit praktische voorbeeld van zelfevaluatie van leerkrachten komt van de basisschool “De Fontein” in Damwoude, Nederland. Klaas Fokkinga is het schoolhoofd. Inleiding: Iedere school in Nederland moet een beschrijving geven over hun kwaliteitsbeleid. Dit concept refereert naar de aandacht besteed aan zowel onderwijskwaliteit als de testkwaliteit die door de school gebruikt werd om resultaten op te slaan.

Focus: De leerkracht is de belangrijkste spil in het verzekeren van de onderwijskwaliteit, die wij aanbieden aan onze studenten. Leerkrachten zorgen ervoor dat de studenten voldoende tijd hebben om het leermateriaal te absorberen. Ze creëren een lerende omgeving voor de studenten welke ondersteunend en uitdagend is, en effectief leert. Ze volgen ook systematisch de ontwikkeling van hun studenten en voorzien specifieke ondersteuning wanneer er problemen ontdekt worden. Onze leerkrachten moeten geïnteresseerd zijn in de student en het materiaal. Het is belangrijk voor de leerkrachten om zich verantwoordelijk te voelen voor de resultaten en dat de stappen ondernomen om de kwaliteit te verbeteren, gedeeld worden door alle betrokkenen. Dit betekent ook dat beslissingen en metingen op het niveau van leerkrachten, groepen en de school worden genomen. We streven na dat onze school: o Een goed begrip heeft van zijn startpositie o Zijn doelen heeft geformuleerd o Systematisch de kwaliteit van de producten, het onderwijs en het leren evalueert o Doelbewust werkt aan de verbetering van hun onderwijs o Verantwoordelijkheid voor de kwaliteit van het aangeboden onderwijs opneemt ten opzichte van de beheerders o Systematisch bezig is met het controleren van de kwaliteit. Aandacht voor kwaliteit heeft een bemiddelende functie tussen visie, schoolontwikkeling en persoonlijke ontwikkeling. Dit betekent ook dat onze leerkrachten vrijwillig aan hun competenties moeten werken. Akkoorden hierover zijn opgenomen in een persoonlijk ontwikkelingsplan. Een leerkracht kan werken aan zijn/haar persoonlijke competenties vanuit twee perspectieven: verantwoordelijkheid en ontwikkeling. Het is een teken van professionalisme om niet aan te nemen dat uw werk als leerkracht goed is en niet verbeterd kan worden. Met andere woorden: het is belangrijk om regelmatig objectief naar jezelf te kijken en om kritisch te zijn over je eigen werk. Jezelf kritisch bekijken kan wel de moeilijkste taak zijn die er bestaat; ofwel ben je te optimistisch ofwel ben je te pessimistisch. Hoewel, kritisch zijn niet het wijzen op fouten betekent, maar eerder het zorgvuldig afwegen wat er gebeurt in het educatieve leerproces in uw klaslokaal. Met andere woorden: wat zou eerst moeten komen en doe je echt de eerste dingen … eerst? De belangrijkste vraag die de leerkracht constant zichzelf moet vragen is: Hoe kan ik mezelf verbeteren? Deze vraag brengt alle aspecten van het educatieve leerproces waar hij/zij mee moet omgaan in zijn/haar klas in rekening. Voorbeeld: Dit voorbeeld duidt op het pedagogische element van onderwijs in onze school. Deze die willen onderwijzen, moeten starten met zichzelf te onderzoeken. Laat ons de meest karakteristieke kwaliteiten van de leerkracht, die eveneens een onderwijzer is beschouwen. Een leerkracht is een onderwijzer of hij/zij het nu wil of niet doordat leerlingen in termen van leerkrachten, en niet van vakken denken! Dit betekent dat goede, solide educatieve inhoud baat heeft bij een goede relatie tussen de leerkracht en de leerling. Daarom is het heel belangrijk dat de leerkracht de doelen kent die hij/zij wil bereiken in het “geven van onderwijs.” Kinderen zijn natuurlijk gericht (ingesteld) op ontwikkeling en leren. Ze worden constant geëngageerd om hun kennis, hun bevattingsvermogen en hun vaardigheden te laten stijgen. Het blijkt dat zij een intrinsieke motivatie voor leren heben. Daardoor is motivatie een voorwaarde voor leren. Er zijn drie voorwaarden om die intrinsieke motivatie te behalen: 1. Competentie 2. Autonomie 3. Relatie

63

Laat ons focussen op de basisnood. Dit zijn relaties en wordt gelinkt met het gedrag van de leerkrachten in het management, de interactie en de opdracht van het klaslokaal. Binnen een driejaren cyclus in onze school, wordt over de concrete specificaties van deze drie voorwaarden gediscussieerd in het team en worden ze door vragenlijsten geëvalueerd door de individuele leerkrachten. Het resultaat van dit zelfonderzoek wordt besproken met het schoolhoofd. Eén of meer verbeteringspunten worden opgenomen in het persoonlijke ontwikkelingsplan. Dit plan kan een tijdspanne hebben van maximum één jaar, maar ook van enkele maanden. Gedurende die tijd, zal de leerkracht werken aan het verbeteren van de door hem/haar gekozen delen. Klasvergaderingen en/of tussentijdse discussies duiden erop dat verbeteringen hebben plaatsgevonden of aan het plaatsvinden zijn. De coach (of mentor) in dit proces is niet noodzakelijk het schoolhoofd, maar het kan eveneens een collega of een externe expert zijn. Dit hangt af van de verbeteringspunten. Het eindresultaat wordt opgenomen in de tweejaarlijkse beoordelingsconversatie met het schoolmanagementteam. Op deze manier trachten we de kerncompetenties van onze leerkrachten te verbeteren en te behouden, wat zou moeten leiden tot het bereiken van de doelen die we gezet hebben voor onderwijs in onze school. Persoonlijk ontwikkelingsplan - een voorbeeld van lagere school “De Fontein”

64

Naam Tijdsperiode Ontwikkelingsdoelen a. Wat zijn de belangrijkste (één of meerdere) onderwerpen waaraan je wil werken? b. Op welke wijze komen uw doelen overeen met de kerncompetenties van de school en/of de basiscompetenties van de groepsleerkracht? Motivatie Waarom wil je actie ondernemen over dit onderwerp? Verklaar wat de gewenste resultaten zullen zijn voor jezelf en je werk. Specifieke activiteiten Hoe wil je je doelen bereiken? Welke specifieke stappen zal je nemen? (bv. onafhankelijk studeren, netwerken, interne training, externe training, lesopdracht, stage, collega’s contacteren, coachen, werkplaatsen ruilen, met vrienden samenwerken etc.) Coachen ( raadgeven) Wie helpt je in het bereiken van je doelen (intern/ extern)? Acties coachen Verwachtingen van de coaching Evaluatie Wanneer werden je doelen bereikt? a. gedurende b. op het einde van de les Leider van de evaluatie (schoolmanagement) Vereiste middelen a. Tijd • Gedurende de lesuren Als een regel, valt de implementatie • …………………uren van de PDP onder de akkoorden over professionalisatie • buiten de lesuren • …………………uren b. Trainingsuitgaven: €………………

Toegekend? Ja / nee Ja / nee Ja / nee

De ontwikkelingsdoelen vastgelegd in dit persoonlijk ontwikkelingsplan zullen in de beoordelingsontmoetingen besproken worden. Opmerkingen: Handtekening: Datum: ___________________________ Handtekening werknemer:

Handtekening management/coach(mentor):

10. “Een team is een team ................................., is het niet?” in Oostenrijk (AU) Context: De NMS Puntigam is één van de vijf scholen van Schulverbund Graz-West, Oostenrijk. Het is een lagersecundaire hervormingsschool voor tien- tot veertienjarigen. Dit verhaal wordt verteld door Ingrid Ninaus. Inleiding: Kinderen van alle competentieniveaus worden in één klaslokaal zonder groeperingen onderricht, maar met team-lesgeving in sommige vakken. Werken als “team-leerkrachten” voor sommige vakken is niet het enige team waarin we zitten. Eén van de innovaties van onze schoolorganisatie is de samenwerking van leerkrachten in leeftijdgegroepeerde teams. Wat is een leeftijdgegroepeerd team? Het zijn een aantal leerkrachten verantwoordelijk voor alle leerlingen van dezelfde leeftijdsgroep (jaar-teams). Op regelmatige tijdstippen hebben deze leerkrachten vergaderingen om plannen en projectwerk te organiseren, te reflecteren, regels en problemen te bediscussiëren, het dagelijkse leven op school voor te bereiden etc. Maar hoe doen we dat? Hoe goed is ons werk? Hoe weten we dat? Het proces: Twee jaar geleden werd een zelfevaluatieproject gestart. Eerst moesten de tien meest essentiële topics in verband met lesgeven in Schulverbund Graz-West uitgeklaard worden. Daarna werden ze beperkt tot vijf. Groepen van leerkrachten geïnteresseerd in evaluatie en schoolontwikkeling vormden zogenoemde “kwaliteitsgroepen” en kozen één van de vijf overblijvende topics: team-lesgeven, schoolmanagement, waardering, samenwerking met ouders en werken in leeftijdgegroepeerde teams. Wij namen deel aan “werken in leeftijdgegroepeerde teams” omdat we denken dat zowel leerkrachten als leerlingen veel baat zouden hebben van zulke samenwerking. Als evaluatie-instrumenten gebruikten we vragenlijsten en deels foto-evaluatie. Eerst kozen we de vier focusgebieden in de leeftijdgegroepeerde teams: Rahmenbedingungen (omkadering), Arbeitsinhalte (vakleerstof), Strukturen (structuren), Klima (klimaat). Ten tweede moesten de vragenlijsten voor ieder van de vier aspecten ontwikkeld worden wat redelijk wat tijd vergde. Op het einde moesten bijna alle vragen beantwoord worden met “ja” of “nee”. Enkel een paar hadden een open einde. Door dit te doen ontdekten we dat het verzamelen van de resultaten gemakkelijker ging en minder tijd vroeg. Om het klimaat in een team te visualiseren, op een wijze die toont hoe goed de leden van een team met elkaar kunnen omgaan, gebruikten we een foto als een evaluatiemiddel. Daarvoor was één van de taken van de leerkrachten om een menselijke piramide te bouwen, een menselijke sculptuur om de dichtbijheid en de afstand tussen hen uit te drukken. Setting (Rahmenbedingungen) Ja Zijn er regelmatig jaar-team-ontmoetingen? Is er een vastgelegde jaar-team-ontmoetingsdag? Is het dezelfde dag voor alle jaar-teams? Is er een teamruimte beschikbaar? Is deze uitgerust met een telefoon, PC, ...? Wordt dit materiaal gebruikt in de teammeeting? Worden de ontmoetingen gehouden in een private omgeving? Worden de vergaderingen genotuleerd?

Nee

65

Structures (Structuren) Hoeveel mensen zitten er in uw team? Hoeveel mensen van het “kernteam” bleven samen over de 4 jaren? Ja

Nee

Ja

Nee

Is er een woordvoerder van het jaar-team aangeduid? Zijn er duidelijk gedefinieerde rollen in uw team? Zo ja, wat zijn ze? Is er een duidelijke werkverdeling voor de implementatie van projecten? Is er een bepaalde persoon verantwoordelijk voor projecten? Is de verantwoordelijkheid roterend? Is de samenstelling van de klassen goedgekeurd door het jaar-team? Heeft ieder lid van het jaar-team dezelfde macht/invloed? Arbeitsinhalt (vakinhoud) Worden de projectthema’s beslist door de jaar-teams? Is de constructie, planning en implementatie van projecten de taak van de jaar-teams? Zijn experten van de projectthema’s uitgenodigd op de teammeetings? Gaat uw team algemeen akkoord met belangrijke opvoedingsregels? Vinden er specifieke opvoedingsdiscussies/-gesprekken plaats? Zo ja, hoe dikwijls? Reflecteer je over je teamwerk? Worden beslissingen die belangrijk zijn voor de school gemaakt door het jaar-team? Zo ja, welke soort?……………………………………………….

66

Atmosphere (Klimaat) en Jaar-team spirit (Stufenteam-Gefühl) In het jaar-team voel ik me meestal ... 1 2 3 4 5 6 7 Zwak Sterk Gespannen Relaxed Passief Actief Eenzaam Geïntegreerd Geïsoleerd Aanvaard Koud Warm

11. Het starten van een informatieve conversatie in België (BE) Inleiding: De Toverboom, in Geel, België is een typisch voorbeeld van een school waar mogelijkheden bestaan om de leerkrachten te laten refelecteren over hun lesgeven, houding, organisatie van hun klas etc. Dit proces helpt de leerkrachten met hun zelfevaluatie. Het kan taken en reflectie over vragen inhouden. De opdrachten worden ruim op voorhand aan hen gegeven zodat zij hun antwoorden kunnen voorbereiden. Leerkrachten denken na over vragen zoals: • “Als je een toverstokje had, wat zou je veranderen aan jezelf, je klaslokaal, de school, het team, het schoolhoofd, de kinderen, de ouders…?” • “Welke soort school laat je je comfortabel voelen?” • “Wil je werken?” Aan de leerkrachten wordt gevraagd om hun eigen werk te beoordelen door het beschouwen van de volgende aspecten: • Klasdifferentiatie • Uw kennis van de vakinhoud • Samenwerking met ouders en collega’s

• • • •

Participatie van studenten en ouders Lange en korte termijn planning Leren van collega’s Betrokkenheid van buitenstaanders in uw werk”

Een rapport voor de leerkracht Context: Net zoals het evalueren van hun eigen werk, kan het nuttig zijn voor leerkrachten om wat feedback te krijgen van hun klanten – de kinderen. Leerling-leerkracht evaluatie – een tweerichtingsproces: Aan “De Toverboom” in Geel, in Vlaanderen, ontvangen de kinderen van de CD-klas, de zesdejaars, vier keer per jaar een rapport geschreven door hun leerkracht. Maar waarom zou de leerkracht geen rapport ontvangen? Zo ontvangt leerkracht Jan twee keer per jaar een rapport van zijn leerlingen. Op deze manier kan men leren van elkaar over hoe omgaan met beoordelen en beoordeeld worden. In september vertelt de leerkracht aan de leerlingen om na te denken over het gedrag van hun leerkracht. In november schrijven de leerlingen dan een eerste rapport over leerkracht Jan. Hij bespreekt samen met hen enkele van de aspecten die niet duidelijk zijn en brengt hun opmerkingen en voorstellen in rekening. Voor Pasen is er een ander rapport voor de studenten en de leerkracht. Op dit moment van het jaar kan de leerkracht nog steeds de bemerkingen van zijn leerlingen in rekening brengen om nog meer zijn sterke punten te verbeteren en zijn zwakheden te corrigeren. De leerlingen gebruiken tekeningen, nota’s, grafieken, tekst etc. om hun leerkracht te beoordelen. Het rapport biedt feedbackmogelijkheid over attitudes en gedrag. Het stelt de leerlingen gerust en maakt de relatie tussen leerkracht en leerlingen meer gelijk en wederzijds, wat de basis is voor goed teamwerk.”

Zelfevaluatie van schoolhoofden en de school als organisatie Schoolhoofden zijn de centrale figuren in scholen doorheen Europa hoewel de omvang van hun individuele en de institutionele autonomie sterk varieert. Hun zelfevaluatie als individuen komt vaak overeen met de ruimere zelfevaluatie van hun professionele effectiviteit en de successen van hun scholen. Zulke analyse kan ook toegepast worden in andere organisaties.

12. Het portfolio van het schoolhoofd ontwikkeld in Slovenië (SI) Deze tekst is gebaseerd op de oorspronkelijke presentatie door Meta Budnar en Monika Tratnik van het Nationale Opvoedingsinstituut, Slovenië op de I-ProbeNet conferentie in Sibiu, september 2002.

67

Inleiding: De school is een formele instelling en op hetzelfde moment een zeer complex systeem blootgesteld aan voortdurende veranderingen. Daardoor wordt verwacht dat scholen zich aanpassen aan constante veranderingen en erop antwoorden door hun werk- en managementmethoden te wijzigen. Het Portfolio4 van het schoolhoofd is tegelijkertijd een authentiek document en een geschikt instrument dat bijdraagt tot meer succesvolle veranderingsprocessen, verbeterd leiderschap en analyse, inclusief beter besef van iemands eigen werk, onderzoek, samenwerking en besluitvorming. Wat is het portfolio van het schoolhoofd? Het is enerzijds een verzameling van relevante en zorgvuldig geselecteerde documenten die het eigen werk, het leiderschap, de kennis en de vaardigheden van het schoolhoofd tonen. Anderzijds is het een basis voor reflectie en analyse van iemands eigen ontwikkeling, voor toekomstige planning, en voor persoonlijke en professionele ontwikkeling. Het is daarom een instrument dat verandering, de ontwikkeling van vaardigheden, professionele groei en betere antwoorden op nieuwe uitdagingen promoot . Het portfolio maken is ook een intensief proces dat inspanning en tijd vereist om efficiënte wijzen te zoeken om iemands werk voor te stellen en te promoten. Met zelfanalyse en reflectie draagt het bij tot de verspreiding van goede uitoefening, persoonlijke en professionele groei en de ontwikkeling van bekwaamheden (bv. kennis en vaardigheden voor beter leiderschap).

68

Vahapassi5 verklaart het portfolio van het schoolhoofd als zijnde een goed georganiseerd, doelgericht document van individuele ontwikkeling en een verzameling van vaardigheden verkregen voor verbeterd leiderschap. Het portfolio is een document dat een breder beeld bevat van iemands kennis, voorkeuren en vaardigheden, van zijn individuele en persoonlijke groei, evenals een reflectie van de individualiteit en autonomie van het schoolhoofd. Portfoliogebruik: De rollen van een schoolhoofd in eender welke school zijn gevarieerd en zo is ook het gebruik van een portfolio. Omdat ieder portfolio geïndividualiseerd is, moet ieder schoolhoofd over zijn inhoud en doelen beslissen. De inhoud en doelen zullen ook beïnvloed worden door wat elke schoolleider graag wil bereiken met zijn/haar leiderschap; welke praktijken hij of zij wil introduceren en veranderen; welke professionele competenties hij of zij wenst te verbeteren; waar hij/zij verwacht te starten; de gebieden waarin hij/zij plant om de persoonlijke effectiviteit te laten stijgen enz. Los van het feit dat een portfolio een persoonlijk document is kan het ook een belangrijke publieke rol spelen. Het kan een document zijn dat het schoolhoofd zijn werk en resultaten toont aan een breder publiek: aan ouders, collega’s, schoolraad en schoolautoriteiten. Het kan ook een cruciale rol spelen in het uitbreiden van de leiderschapspositie van het schoolhoofd of in externe beoordeling. 4 Sentočnik, S.: Portfolio, instrument za procesno vrednotenje učenčevega in učiteljevega dela, VIZ, XXX, No. 3, ZRSŠ, Ljubljana, (p.15) 5 Cenčič, M.: Mapa dosežkov in izdelkov v procesu študija prihodnjih učiteljev, VIZ XXIX, No. 4, ZRSŠ, Ljubljana, 1998. (p. 28-31)

Ons baserend op de bovenvermelde gebruiken, kunnen we besluiten dat er drie hoofddoelen (of misschien delen) van het portfolio van het schoolhoofd bestaan: 1. Professionele groei - bevat zelfbeoordeling en leiderschapsanalyse. Het is niet enkel bedoeld voor persoonlijk gebruik en als checkpunt voor het beoordelen van de verworvenheid van doelen en het plannen van persoonlijke ontwikkeling, maar ook om gevoeligheid voor initiatieven in teamactiviteiten en ‘peer-consultation’ te ontwikkelen. 2. Evaluatie – het is bedoeld als zijnde een begrijpbaar overzicht van het eigen werk in een bepaalde periode en een verzameling van documenten voor externe evaluatie van de leiderschaps-efficiëntie. 3. Carrièrevooruitgang – het kan een systematisch middel zijn voor persoonlijke en professionele prestaties en voor groei van de verdere carrièreontwikkeling. (bv. het nastreven van andere leiderschapsposities, het zoeken naar promotie, etc. ) Portfolio inhoud en presentatie: Het portfolio zou een professioneel uitzicht moeten hebben, gestructureerd zijn en gemakkelijk te doorbladeren. Een individuele afwerking is aangeraden, maar de stijl en de inhoud zouden in overeenstemming moeten zijn met de doelen welke de auteur nastreeft met het gehele document. Doordat een portfolio iemands individueel werk vertegenwoordigt, variëren onvermijdelijk de inhoud en de organisatie van het ene schoolhoofd ten opzichte van een ander. Gemeenschappelijke onderwerpen bevatten vaak: doelen, documentatie, bemerkingen en kritische opmerkingen, reflecties en analyses. Het ontwikkelen van een portfolio is op zichzelf een proces. Het is een verzameling van voorbeelden en artefacten die het werk van het schoolhoofd presenteren. Het is aangeraden om verschillende secties voor verscheidene ervaringsgebieden te organiseren. Het portfolio kan het hele gamma van individuele professionele vaardigheden en prestaties voorstellen, en daardoor een holistische tekening van iemands werk weergeven. Maar het kan ook meer geconcentreerd zijn, door het tonen van slechts een deelgebeid van het werk zoals bv. communicatie, leiderschapsstijl. Het is essentieel om te onderstrepen dat een portfolio niet enkel een verzameling van documenten, etc. is. Het hoofdelement van een portfolio is reflectie. Overeenstemmend met Korthagen6, betekent reflectie een mentaal proces voor het structureren en herstructureren van ervaringen, problemen, bestaande kennis en inzichten. Het betekent een metacognitieve kennis, competentie om te kunnen reflecteren over iemands gebruiken, actie, denken, procesanalyse, beslissingen en resultaten. We praten over een verdiepingsproces in iemands eigen inzichten en kritisch denken hetgeen het bewustzijn meebrengt van gevoelens, processen, resultaten, het beter begrijpen van anderen en jezelf, van iemands eigen ideeën, zwaktes en sterktes, acties en activiteiten. Het is een vereiste voor persoonlijke verandering en zelfregulatie. Het is een instrument van levenslang leren.

13. Het schoolhoofdportfolio in een Lagere School in Ballyhale, Ierland (IE) Context: Dit verslag over het zich aanpassen aan zelfevaluatie in Scoil Phádraig, Lagere School in Ballyhale, Co. Kilkenny, is opgesteld door schoolhoofd, Noel Murphy. Het is eveneens een goed voorbeeld van hoe transnationale ontmoetingen verandering in andere landen kan inspireren. Ontwikkeling: Sinds het bijwonen van de I-ProbeNet conferentie in Brdo, Slovenië in 2003 heb ik de uitdaging van zelfevaluatie in onze kleine landelijk gelegen lagere school beschouwd als vallende onder twee titels: ten eerste de uitdaging voor mij persoonlijk als schoolleider, en ten tweede de uitdaging voor de hele school als een organisatie en een gemeenschap.Voor de ontwikkeling van de individuele schoolleider werd een inspirerend idee voorgesteld door de Sloveense afgevaardigden onder de vorm van een Portfolio van het schoolhoofd. Ik ben dit aan het ontwikkelen sinds mijn terugkomst. Het document bevat het vijfjaren-plan van het schoolhoofd in enkele hoofdrubrieken en uitgedrukt in termen van praktische realiteiten eerder dan van theoretische aspiraties. In deze map presenteert het schoolhoofd documentair bewijs over zijn visie voor de leerkrachten, het personeel en de organisatie. Naast deze visie-verklaringen staan stap voor stap plannen voor het bereiken van de doelen onder iedere hoofding. Ideeën voor professionele- , beleids- en organisatie- en curriculumontwikkeling zijn allen 6

Marentič Požarnik, B.: Profesionalizacija izobraževanja učiteljev - nujna predpostavka uspešne prenove,VIZ, No. 4 XXXI, ZRSŠ, Ljubbljana, 2000. (p.6)

69

voorgesteld in dit formaat en bovendien is een oefening in het plannen van het portfolio een handige toevoeging aan de toolkit. De vestiging van een nieuwe Managementraad in alle lagere scholen in Ierland sinds 1 december 2003 heeft nieuwe uitdagingen en opportuniteiten voorgesteld. Het is essentieel dat evaluatie verder gaat dan de schaarse noodzakelijkheden van lesgeven en leren in curriculaire gebieden en evolueert naar bredere onderwerpen zoals kwaliteitsmanagement, ontwikkelingsbeleid en -implementatie en leerlingenondersteuning. Leden van de nieuwe Managementraad hebben zich zeer bereidwillig opgesteld om training te volgen en om volledig in te gaan op hun nieuwe taken. Gegeven de goede wil rond de schoolgemeenschap, kijk ik uit naar een aantal realistische en constructieve jaren in een spiraal van vooruitgang, gebaseerd op realistische en aanhoudende zelfevaluatie in de vitale managementgebieden, in schoolplanning, curriculumvoorziening, lesgeven en leren en ondersteuning voor leerlingen.

14. Zelfevaluatie in St. Patrick’s Lagere School, Slane, Co. Meath, Ierland (IE) Context: St. Patrick’s Nationale school is gelegen in Slane, Co. Meath, veertig kilometer van Dublin. Het is een gemengde lagere school met acht leerkrachten en een 170-tal leerlingen van 4 – 13 jaar. Het is een katholieke lagere school onder de voogdij van de Bisschop van Meath en ze wordt door de overheid gesubsidieerd. Het verhaal wordt verteld door Gerard Ruane. Inleiding: “Samen met andere Europese landen, adopteert Ierland een model voor kwaliteitsverzekering dat schoolontwikkelingplanning benadrukt door middel van interne terugblik en zelfevaluatie, en met de steun van externe evaluatie uitgevoerd door de inspectie” (The Inspectorate, 2003, p.vii, ‘Looking at our school’).

70

Het verhaal: In het creëren van ons hele schoolplan startten we samen met een vreugdevol en verdienstelijk zelfevaluatieproces. Een lid van de ‘Ondersteuning voor School Ontwikkeling Planning’ begeleidde ons aanvankelijk. Hij introduceerde het S.C.O.T (Strengths, Concerns, Opportunities, Threats) proces van onze schoolherziening (Sterktes, Zorgen, Opportuniteiten, Bedreigingen). We schreven een lijst van al onze sterktes in alle gebieden neer – van de fysische omgeving tot de schoolethos. Daarna identificeerden we enkele gebieden waar we beter konden doen. Individueel gaf iedere leerkracht een score van drie punten aan voor het gebied waar ze het dringendst aan moesten werken, twee punten en één punt voor de volgende meest dringende punten. Ons schoolhoofd hield de stand van de resultaten bij en wij identificeerden de vijf meest belangrijke onderwerpen waar rekening mee te houden in dat schooljaar. We praatten over hoe we deze onderwerpen gingen sturen, en keken naar mogelijke hinderpalen. Ons schoolhoofd gaf ons een lijst met ideeën en deadlines. Wat later ontmoetten we elkaar en reflecteerden over wat goed was gegaan en waar verdere aandacht noodzakelijk was. We hebben dit jaar opnieuw het proces gestart met vijf nieuwe gebieden die bijgestuurd moesten worden. Het proces was van het begin positief doordat we het fijn vonden een lange lijst van onze sterktes op te stellen. We hadden onmiddellijk vertrouwen in onszelf. Alle leerkrachten waren van bij de start betrokken. De ideeën kwamen ‘bottom-up’ als tegengesteld aan ‘top-down’ zodat er onmiddellijk eigenaarschap van de ideeën ontstond. We stelden voor onszelf vijf haalbare doelen op - trachten om al onze bekommernissen weg te werken in één schooljaar zou onhaalbaar en demotiverend geweest zijn. We ervaarden succes vorig jaar, en zo willen we het opnieuw doen.

15. Kwaliteitsverzekering aan het Sint-Godelievecollege in Gistel, België Context: Het Sint-Godelievecollege is een middelbare school (12 tot 18 jaar) in Gistel, West-Vlaanderen, 10 kilometer van Oostende. De auteur is Gilbert Deketelaere, kwaliteitscoördinator van de school. Inleiding: Het woord ‘kwaliteit’ kan op vele verschillende manieren begrepen worden. In onze school betekent het “de juiste dingen juist doen”, maar de vraag blijft: wanneer doe je dingen juist en wat is in feite “het juiste ding”? Elke individuele school selecteert zijn eigen “juiste dingen”. De meeste scholen hebben hun eigen pedagogisch project, met kwaliteitsstandaarden, hoewel, een school ook de vereisten van de inspectie en het departement Onderwijs in rekening moet brengen. Recente onderwerpen zijn cross-curriculair werk, het gebruik van ICT en autonoom leren. Doordat de samenleving continu wijzigt, doen de “juiste dingen” dat ook. De grootste uitdaging voor een school is om de juiste balans te vinden tussen het koesteren van de reeds bereikte positieve elementen en een toewijding naar continue verbetering. Dit is geen gemakkelijke taak. Een school die wenst up-to-date te zijn

moet zich continu evalueren en aanpassen om echte kwaliteit in onderwijs te leveren. Het proces: Om te kunnen omgaan met de “juiste dingen” gebruikt onze school het PROZA-instrument (www. prose.be), dat gebaseerd is op het EFQM-model. Het is verdeeld in negen gebieden die de kwaliteit van de school beschrijven. Deze zijn: A. Inputfactoren • Leiderschap • Beleid en strategie • Human Resources beleid • Middelen B. Procesfactor • Onderwijsproces C. Outputfactoren • Persoonlijke tevredenheid • Tevredenheid van leerling en ouders • Impact op de maatschappij • Resultaten Ieder gebied is verder verdeeld bv. lesgeven, evaluatie van leerlingen, begeleiding en advies, etc. Het is belangrijk om te gaan met verschillende gebieden. PROZA is een dialooginstrument. Alle betrokken partijen kunnen deelnemen aan het proces: de directie, leerkrachten, technisch personeel, coördinatoren, leerlingen, ouders,… PROZA is gebaseerd op individuele analyse en gesprekken met anderen in zelfbeoordelingsteams. Effectieve kwaliteitsontwikkeling is het uiteindelijke doel. Om de “juiste dingen juist te doen” gebruikt de school de PDCA Quality Circle (Plan, Do, Check and Act) (Plan, Doe, Check en Voer uit). Dit kan toegepast worden op verschillende processen in de school, bv. de organisatie van een studie-uitstap, in-service training voor leerkrachten, begeleiding van leerkrachten. Wat betreft de lessen betekent PDCA het voorbereiden van de lessen (Plan), het lesgeven (Doe), het reflecteren over de lessen (Check) en het aanpassen van de lessen en de wijzigingen neerschrijven (Act). Dit is een eenvoudige maar zeer efficiënte methode. Zelfevaluatie is de verantwoordelijkheid van het individu, en niet enkel van het management. Kwaliteitdenken is teamwerk. Bovendien moeten alle deelnemers voordeel hebben van kwaliteitsontwikkeling: management, leerkrachten, leerlingen, ouders, de gemeenschap,…

16. Hoe bereik je een overzicht in een Ierse middelbare school (IE) Context: Dominican College was opgericht in 1883 in Eccles Street, Dublin. Het is een secundaire meisjesschool met 690 leerlingen. De school tracht in te spelen op de significante wijzigingen die plaatsvinden in onderwijs en maatschappij. De schrijver is plaatsvervangend schoolhoofd Mary Anne Halton. Inleiding: Interne reflectie is altijd belangrijk geweest in onze school. Een geschreven formele verplichting voor interne evaluatie staat in het schoolplan en dit vervolledigt de vereisten van het wettelijke raamwerk “The Education Act 1998”. De centrale rol van de school met het oog op ontwikkeling en kwaliteit in onderwijs, opereert binnen een nationale en een specifieke lokale context. Beide worden in rekening gebracht als er een interne evaluatie wordt uitgevoerd. Op Dominican College is zelfevaluatie een voortdurend proces voor het onderzoeken en het begrijpen van de kritische onderwerpen gerelateerd aan het werk van de school. Het is een organisationele lerende activiteit. Als een gemeenschappelijke schoolactiviteit gaat zelfevaluatie over de ‘actoren’ op school die reflecteren over wat goed is, of wat aangepast of gewijzigd moet worden om de kwaliteit van het onderwijs te behouden en te verzekeren. Als resultaat van de betrokkenheid van de school in I-ProbeNet komt de basis voor een meer

71

formele cultuur van zelfevaluatie te voorschijn, met meer tijd en middelen aan het proces toegewezen door het management. Netwerkpartners waren ‘critical friends’ en fungeerden als een alternatieve ondersteuningsstructuur voor het werk aan een kader voor de zelfevaluatie van de verschillende activiteiten. Evaluatieactiviteiten: Aanpak tot zelfevaluatie Evaluatiegebieden werden geïdentificeerd, gebaseerd op de noden van de school op verschillende niveaus. Zelfevaluatie wordt gebruikt als “een katalysator voor de verandering, groei en vernieuwing van de organisatie”. Het bevat een leerproces, dat de verschillende niveaus van zelfevaluatie vergemakkelijkt. Individueel en organisatieleren bevatten dialoog, reflectie, vragen stellen, en het identificeren en verklaren van waarden, geloof, assumpties en kennis. Belangrijkste niveaus van zelfevaluatie: • Zelfevaluatie sturen • Zelfevaluatie implementeren • Het toepassen van leren en ondernemen gebaseerd op de resultaten. Wie zal er betrokken worden? De schoolraad, het schoolmanagement, het academisch personeel, studenten, ouders en werknemers. Wanneer wordt zelfevaluatie uitgevoerd? Op de Managementraad en de Senior Managementontmoetingen, in het begin van het jaar (senior management en personeel), gedurende het jaar op de voornaamste sleutelmomenten en op het einde van het jaar.

72

Wat werd geëvalueerd in 2002-2003? Een variëteit aan activiteiten werd geëvalueerd om te passen in: • Schoolmanagementstructuren • Aspecten van het schoolplan • Curriculumplanning en organisatie (programma, vakdepartement) • Kwaliteit van leren en lesgeven in vakken (planning, middelen, methodologie, leren, resultaten, beoordeling en prestaties) – verschillende benaderingen werden gebruikt afhankelijk van het vakgebied; evaluatie was een continu proces. • Kwaliteit van ondersteuning voor studenten ( nieuw SPHE onderwijs, geestelijke zorg) • Academische onderzoeksactiviteiten die onderzoekers, leerkrachten, studenten en ouders betrekken. Hoe worden deze gebieden geëvalueerd – welke instrumenten zijn gebruikt? De belangrijkste gebruikte methoden bevatten personeelsdiscussies (alle personeelsleden in groep), discussies in deelgroepen, vakdepartement discussies, vragenlijsten, onderzoeken, interviews (met studenten), documentanalyse, SWOT analyse, data analyse en leerkracht-leerling evaluatie. Instrumenten werden geselecteerd om de individuele evaluatieplannen aan te passen en formats werden gekozen om relevante informatie te geven en aan deelnemers kansen te geven om hun mening te uiten in een klimaat van veiligheid en vertrouwen. UITEINDELIJK – Wat gebeurt er met deze bevindingen? De bevindingen werden verspreid en de verzamelde gegevens werden gebruikt om het jaar 2003-2004 te plannen. Nieuwe richtlijnen, voorbereid door de Evaluation Support and Research Unit (ESRU), van de Inspectie van het Departement Onderwijs en Wetenschappen in Ierland, werden naar de scholen gestuurd in mei 2003. Dominican College moet zijn interne zelfevaluatiebeleid en gebruiken herzien met het oog op de nieuwe richtlijnen. Wat werd geëvalueerd gedurende 2003-2004? • Schoolplan: beleid en gebruiken • Werknemerevaluatie van de werkervaring van studenten • Curriculumplanning en organisatie • Kwaliteit van leren en lesgeven in de verschillende vakken • Kwaliteit van ondersteuning van studenten Deze resultaten zullen dan op hun beurt de planning voor het volgende schooljaar beïnvloeden (2004-2005).

17. Hoe de school de ouders informeert over zelfevaluatie in Schotland (GB) Context: Marchburn Infant School is gelegen in de Northfield regio van Aberdeen, Noord-Oosten van Schotland en werd gebouwd in 1952. De school is specifiek ontworpen voor kinderen van drie tot zeven jaar. Op dit ogenblik zijn er 60 kleuters: 32 eerstejaarsstudenten en 38 tweedejaarsstudenten. De school is gesticht door de lokale overheid. De school betrekt leerlingen uit de sociale woonwijken (eigendom van de lokale overheid) in sociaal achtergesteld gebied; enkele ouders hebben een eigen huis. Inleiding: Ieder jaar produceert de school een Standaard- en Kwaliteitsrapport. Dit is beschikbaar voor ouders die de volledige kopij in de school kunnen opvragen. Een samenvatting is ook beschikbaar op een tweezijdige A4 flyer. Hier zijn enkele bewerkte uittreksels van de 2002-2003 samenvatting voorzien voor de ouders door schoolhoofd Anne Wood: Ons bewijs om te zeggen hoe goed we zijn komt van: •

• • • • • • • • • • •

H.M.I. Rapport (Her Majesty’s Inspectors).Voorbeeldbemerkingen houden in: • “ De algemene kwaliteit van leren en lesgeven was zeer goed” • “ Leerkrachten speelden goed in op de noden van hun leerlingen en zetten algemeen hoge standaarden voor hen.” Nationale testresultaten Nationale kwaliteitsindicatoren om de prestatie te beoordelen Controleren en evalueren van de plannen van de leerkrachten Controleren van leren en lesgeven Controleren van het gebruik van het klaslokaal Verslagen van bijscholingen Vragenlijsten voor de ouders en het personeel Discussies met personeel, ouders en leerlingen.Voorbeelden van bemerkingen van ouders bevatten: “Marchburn is een uitstekende kleuterschool” “Ik merk zeker een groot verschil in het vertrouwen, gedrag en de manier van doen van mijn zoon sinds hij in Marchburn is, dank u.” “Mijn kinderen en ik zijn zeer gelukkig geweest in Marchburn.”

18. Verbeteringen zetten zich verder door middel van zelfevaluatie (ES) De Zaleo kleuterschool, Madrid Op school vinden we dat we de cultuur van zelfevaluatie volledig hebben opgenomen en als gevolg daarvan is zowel onze autonomie als ons missiestandpunt versterkt. Zelfevaluatie heeft ons beslissingsproces verstevigd, ons verbeteringsplan gestroomlijnd en positief bijgedragen tot onze professionele ontwikkeling en binnenschoolse innovatie. Het heeft eveneens veranderingen vergemakkelijkt en, in algemene termen, de kwaliteit van leren en lesgeven verbeterd. De Zaleo kleuterschool is gelegen in het Puente de Valecasdistrict in het zuiden van Madrid. De school is een van de weinige scholen die onderwijs bieden aan kinderen van 0 tot 6 jaar die opereren onder de controle van de Madrid City Council. Het heeft drie klaslokalen voor de Eerste Cyclus (0-3 jaar) en drie klaslokalen voor de Tweede Cyclus (3-6 jaar), allemaal op kleine schaal uitgerust met ICT en bibliotheekmogelijkheden. We hebben een integratieprogramma opgezet voor kinderen met speciale onderwijsnoden en we doen hiervoor beroep op de diensten van de lokale ondersteuningsgroep. We maken ook deel uit van een lokaal initiatief om vreemde talen te geven op kleuterniveau. We bieden eveneens een gamma van diensten aan om te voldoen aan de noden van de lokale gemeenschap, zoals extra opvang voor de voormiddag- en namiddagsessies, zomerklassen en maaltijden op school. De kinderen Er zijn 106 kinderen, gemengd, met een leeftijd van 0 tot 6 jaar. We geloven in inclusief onderwijs en daarom is 7% van ons toegelaten quotum bestemd voor kinderen met speciale onderwijsnoden.

73

De achtergrond In 1999 stelden we een schoolverbeteringsplan op gebaseerd op het proces van zelfevaluatie (gebruikmakende van het EFQM-model). Ons missiestandpunt werd uitgewerkt en de succescriteria werden opgesteld. Het doel van dit alles was om de kwaliteit van het onderwijs op deze school te verbeteren. We trachtten om alle personeelsleden te betrekken in dit proces. Individuele collega’s werden aangemoedigd om na te denken over hun eigen prestaties en wat zou gedaan kunnen worden om hun professioneel leven meer af te stemmen op het verbeteren van de school. Alle personeelsleden werden betrokken in een driejarig plan waarin zij werden aangemoedigd hun professionele vaardigheden te versterken door bijscholing, zowel lokaal als nationaal. 1999/2000 •

De realisatie van een kwaliteitscontract van de school: bestudeerd en overeengekomen door de groep: o

Definiëring van de belangrijkste variabelen en kritische factoren die het onderwerp zouden moeten zijn voor zelfevaluatie.

o

Definiëring van de kernprocessen

o

Definiëring van de missie of verbintenis met de gebruikers van de onderwijsdienst

o

Definiëring van de visie of het einddoel waar we met onze school willen staan op korte of lange termijn

2000/2001

74

•

Samenstelling van het verbeteringsteam: •

Het creëren van een instrument voor zelfevaluatie 1. Analyse van de EFQM vragenlijst met zijn nieuwe criteria 2. Aanpassen van de subcriteria aan onze eigen realiteit 3. Valideren van dit document door het te testen via een steekproef van 3% van de ouders/ moeders, 20% van het personeel van de school en 2 externen

•

Toepassen van de zelfevaluatiegids en de nieuwe criteria van EFQM door alle onderwijspersoneel en 65% van het serviceteam, gebruikmakend van de volgende methode: 1. Eerst werd zelfevaluatie toegepast op een individuele basis, 2. daarna waren er discussies over de scores in kleine groepen, 3. uiteindelijk zochten we een consensus onder het hele team.

•

Het creëren van een vragenlijst voor het bevragen naar de tevredenheid van de gebruikers. Drie gebieden werden geselecteerd waarvoor we een vragenlijst ontwierpen die enerzijds de graad van verwerving en anderzijds de belangrijkheid voor de familie ging meten: 1. Onderwijs voor studenten 2. Bijdragen en participatie 3. Functionering, diensten en activiteiten

•

Verbeteringsacties: •

Regelmatige inspectie van processen door middel van zelfgecreëerde instrumenten die kijken naar onderwijs-leren, organiseren van vergaderingen, management, activiteiten, teamwork, oudercontact.

•

Creatie van een comité van vertegenwoordigers van alle werksectoren van het centrum.

•

Open zijn naar de lokale gemeenschap • De ontwikkeling van een vragenlijst die de schoolimpact in de omgeving meet. • Aanreiken van dezelfde vragenlijst aan de families die hun kind in de toekomst naar onze school willen sturen (telefoongesprek) • Creatie van een webpagina • Opening van elektronische mail • Informatie aan alle families verbonden met het centrum en aan degenen die een plaats vragen via de website en via elektronische mail • Vervollediging van onze Dienstenbrief met de Dirección General de Calidad • Verspreiding van ons werk binnen de educatieve omgeving van de stad Madrid.

2001/2002 •

Creatie van vier nieuwe verbeteringsteams, die allemaal, behalve de derde, bestaan uit leden van onderwijzend personeel of de administratieve diensten. De leden van deze groepen kregen allemaal een trainingssessie van dertig uur over “Methodologie van verbeteringsteams”.

75

Team 1. creëerde een document dat jaarlijks de tevredenheidsgraad van het personeel en het werkklimaat meet. Team 2. ontwierp een document om de klachten of vragen van de families te registreren. Team 3. creëerde nieuwe documenten voor de zelfevaluatie van de lesgeef- en leerprocessen. Team 4. ontwierp een document om de impact van de school op zijn omgeving te meten.

•

Uitwerking van ons Memorandum van Kwaliteit als kandidatuur voor de ‘Prijs voor de Excellentie en Kwaliteit’ van de ‘Openbare Dienst van de Stad Madrid’.

Tevredenheid van de families van de school In mei 2001 ging een vragenlijst naar de families van de school om hun tevredenheidsniveau te meten, met respect voor sommige aspecten van de school en om verbeteringen te kunnen introduceren. De resultaten werden vergeleken met de bijdragen verzameld in de ontmoetingen van de laatste evaluatie door de klasgroepen in de maand juni. Resultaten: •

Uitbouwen van drie innovatieprojecten: 1. Kunst en musea voor kinderen 2. De computer in het klaslokaal 3. Introduceren van Engels in de tweede cyclus van lager onderwijs

•

We hebben zelfevaluatie-instrumenten om de processen en de organisatie te evalueren.

•

We hebben een webpagina en e-mail die ons de kans geven te communiceren met de families.

We voelen dat ons doel, met name het runnen van een kwaliteitskleuterschool, in hoge mate ondersteund werd door het proces van zelfevaluatie.

76

19. Het zelfevaluatieverhaal van Schulverbund Graz-West in drie delen Door Christa Bauer en Elgrid Messner

Schulverbund Graz-West is een netwerk van vijf hervormingsscholen die algemeen vormend onderwijs bieden (geen ‘streaming’) overeenkomstig het hervormingsschoolmodel van 1991. Dit schoolmodel bevorderde eveneens zelfevaluatie door middel van action research (actie -onderzoek). Dit verhaal probeert om een reflectieve kijk te bieden op de tien jaren ervaring en het wettelijke en politieke kader en de voorwaarden waarin deze ervaring heeft plaatsgevonden. We kunnen drie verschillende fasen onderscheiden. Fase 1: Actie - onderzoek als integraal deel van innovatie - ontwikkeling met externe evaluatie als middel voor kwaliteitscontrole: 1991-1994 De twee belangrijkste beïnvloedende factoren voor het hervormingsmodel waren de politieke bereidwilligheid om verschillende hervormingsmodellen voor de 10 – 14 jarige leerlingen te hebben en de wens van de pedagogische professionelen in het veld om iets nieuw uit te proberen. De schoolautoriteiten gingen dus akkoord op voorwaarde dat de resultaten ernstig geëvalueerd zouden worden. Ze zouden vergeleken moeten worden met de andere twee schooltypes voor de 10 – 14 jarigen zowel als met een andere pilootschool opgericht op hetzelfde tijdstip. Anderzijds was er het ontwikkelingsaspect van de scholen: innovatieve mensen en acties kunnen bedreigd worden door externe evaluatie en controle. Wat deden we? Naast het ontwikkelen van nieuwe lesgeefmethoden en -materiaal nam één derde van de leerkrachten deel in actie-onderzoeksactiviteiten over de hervormingsonderwerpen. Topics waren: verborgen differentiatie, onafhankelijk leren, nieuwe manieren van het beoordelen van prestaties van studenten, co-lesgeven in vakken als Engels, Duits en wiskunde,de ontwikkeling van de school als een organisatie. Als instrumenten gebruikten we vragenlijsten, observatie van lessen door collega’s, uitwisselingen tussen collega’s, bijscholing van leerkrachten.

Welke problemen ontmoetten we? Te weinig kennis, te weinig institutionele ondersteuning, te veel innovaties op hetzelfde moment en daardoor beperkte tijdsmiddelen voor de leerkrachten. Het hervormingsmodel werd gezien als een missie en een mythe en de band met zijn “ideologie” was belangrijker dan kwaliteit, dit alles werd nog versterkt door een wantrouwen tegen externe evaluatie. Wat waren de resultaten? We leerden veel bij over didactiek, er ontstond meer vertrouwen in de relatie tussen leerkrachten en studenten, er was een verbetering van de samenwerking tussen de leerkrachten (wat niet betekende dat ze vrij waren van conflicten), zij leerden over observatie – reflectie – schrijven en verbeterden hun kennis over de topics die onderzocht waren. Het belangrijkste resultaat was individuele verbetering van het lesgeven, beperkt tot die mensen die betrokken waren in de actie-onderzoeksactiviteiten. In de eerste fase van zelfevaluatie van Schulverbund ging het meer over individuele inspanningen van leerkrachten met weinig institutionele achtergrond.Vanaf 1994 legden schoolautoriteiten en politici meer druk op dit schoolmodel en als gevolg werd zelfevaluatie meer gepromoot. Fase 2: Zelfevaluatie als verantwoording en promotie van schoolontwikkeling in een experimentele fase 1994 - 1998 De nieuwe overheid, met een verschillende politieke filosofie en ideologie, vroeg om duidelijke resultaten en dreigde om het model af te schaffen. Kwaliteitscontrole in het educatieve systeem was de belangrijkste innovatie op dat moment; de regionale schoolautoriteiten bevorderden en ondersteunden TQMS. De vijf hervormingsscholen beslisten om te experimenteren met een model van zelfevaluatie dat consistent was met hun ontwikkelingsfilosofie en startte een pilootproject: FQS (Furthering Quality improvement for Schools) ontwikkeld door Altrichter, Posch en Strittmater. Deze beweging trachtte om het innovatieve potentieel van Schulverbund vast te stellen en op het zelfde moment een gestructureerde benadering te ontwikkelen voor de schoolontwikkeling en het professioneel leren van leerkrachten. Wat deden we? Er moest een goedkeuring en/of participatie zijn van tenminste 80% van het personeel. ‘Kwaliteitscirkels’ van 3 tot 12 leden (zie artikel 1 op de I-Probenet website), een stuurgroep voor elk van de scholen en een overkoepelende stuurgroep voor de vijf scholen samen werden opgericht. De topics werden zelf gekozen op basis van belangrijkheid voor het hervormingsmodel (zoals: studentenbeoordeling, sociale integratie, rol van de leerkracht, sociale studies en leren, discipline, ...) De gebruikte methoden waren voornamelijk het verzamelen van feedback van studenten, ouders, leerkrachten, de uitwisseling van gegevens tussen collega’s, bijscholingen, leiderschapstraining en rapporten. Welke problemen ontmoetten we? Externe druk was niet voldoende om de verschillende attitudes van de leerkrachten op een lijn te krijgen. In de grootste van de vijf scholen was er een verandering in het management hetgeen een machtsverschuiving betekende van ondersteuners voor ontwikkeling naar vakbond-ondersteuners en sceptici van het hele schoolmodel. De krachten werkten niet langer in het voordeel van het vernieuwde schoolmodel maar in de richting van afschaffing ervan. In die periode was zelfevaluatie vrij nieuw en waren er veel mensen die niet in de waarde ervan geloofden. Andere problemen zaten in de managementcultuur, de structuur van het werk en de inefficiënte manier waarop het opgenomen was in de bestaande structuren en de wijze van besluitvorming.

Wat was het resultaat? Leerkrachten en staf leerden veel over lesgeven (lesgeefdoelen, didactiek, gedragswijziging, ... ), over schoolontwikkeling (focus op de hele school, het werkproces plannen, ...) en evaluatie (kennis voor kwaliteitsverbetering, instrumenten, ...). Er was ook een verbetering van de schoolatmosfeer door het uitbouwen van een feedbackcultuur (verbetering van teamwerk,...).

77

De vruchtbare effecten op het lesgeven en op de scholen zijn nog steeds zichtbaar in die scholen waar het management aan het leerproces heeft deelgenomen en het focussen op relevante topics vergemakkelijkte en waar besluitvorming gebaseerd was op planning en effectieve coördinatie. Het pilootproject FQS dat alle krachten gedurende vier jaar bundelde en ‘verbruikte’ liet veel onbeantwoorde vragen achter in de nasleep maar bracht ook veel kennis op. Het was aan de scholen om in de volgende zes jaren deze sporen op te nemen en te binden in een gecombineerde inspanning. De schoolautoriteiten en het –beleid handelden als een katalysator door scholen te vragen om schoolontwikkelingsplannen op te stellen en zelfevaluatie op te starten. Fase 3: School- en Kwaliteitsontwikkeling gebaseerd op zelfevaluatie en schoolontwikkelingsplannen 1998-2004 Het nationale beleid in deze periode wordt gekarakteriseerd door versoberingsmaatregelen, door het reduceren van de middelen en de wens om alle pilootmodellen te beëindigen. Dit betekende een nieuwe dreiging voor Schulverbund en een nieuwe nood om de status van ‘educatief laboratorium’ te bewijzen door het vinden van efficiënte wegen voor schoolverbetering en evaluatie. Regionale autoriteiten vroegen de scholen naar een gecoördineerde planning van schoolontwikkeling door hen tot een consensus te doen komen over hun schoolontwikkelingsplannen. Aan de vijf scholen van Schulverbund werd bijkomend gevraagd om een model voor zelfevaluatie te voorzien door een kritische kijk op hun belangrijkste innovaties te geven. Op deze manier werd het project “Kwaliteit 2000” gelanceerd, voortbouwend op de kennis die sommige leerkrachten hadden verworven gedurende de laatste jaren. Het project was gepland voor twee jaren en werkte eerst aan het bekomen van overeengekomen standaarden voor de innovaties met kwaliteitsindicatoren en succescriteria erin. In het tweede jaar werden deze standaarden geëvalueerd.

78

Wat deden we? Een projectgroep bestaande uit leerkrachten van alle vijf de scholen werd opgericht, alle leerkrachten werden tot op een bepaald niveau betrokken in het vaststellen van de standaarden. De gemeenschappelijke topics voor de vijf scholen werden bepaald door de inspectie, de interne topics voor de schoolontwikkelingsplannen werden bepaald door de individuele scholen. De gebruikte methoden waren het ontwikkelen van een kwaliteitsstandaard, feedback van studenten, ouders, leerkrachten en rapporten voor de scholen. Welke problemen ontmoetten we? Bij het samenstellen van een speciale groep van leerkrachten om de zelfevaluatie uit te voeren was de verantwoordelijkheid van de individuele leerkrachten verschoven naar het schoolnetwerk. Deze leerkrachten kregen wat financiering (tenslotte waren ze niet voor één school aan het werk maar voor vijf) waardoor het idee ontstond dat zelfevaluatie bovenop het werk als leerkracht wordt gedaan en extra betaald zou moeten worden. Schoolontwikkelingsplannen hebben het doel veranderd van een puur verbetering- en ontwikkelingsaspect naar een competitief aspect om de aantrekkelijkheid van de scholen te doen stijgen. Evaluatie als een stuurinstrument voor schoolmanagement is grotendeels afhankelijk van de schoolmanagers. Wat was het resultaat? Eén resultaat is dat ontwikkelingswerk nu aanvaard wordt als een integraal deel van het werk in onze scholen. Gebaseerd op de schoolontwikkelingsplannen zijn er additionele programma’s ontwikkeld. Wijzigingen in het profiel zijn toegenomen om meer leerlingen aan te trekken en (vlugger) ontwikkelingswerk dat niet gebaseerd is op gegevens neemt toe.

20. Zelfevaluatie in ‘ De Rozenberg S.O.’ in Mol, Vlaanderen (BE) Mia Lodewijckx, directeur Rozenberg Secundair Onderwijs

1. Introductie

1.1. Bewustwording Waarom is zelfevaluatie belangrijk geworden in onze school, hoe is het gegroeid? Enkele elementen die zeker bijgedragen hebben tot het proces: 1. Na de externe doorlichting in 1997 kregen we een positief verslag met enkele aandachtspunten (there is always room for improvement). Dit was het begin van een bewuste reflectie, van het stilstaan bij “Hoe zijn we bezig?” “Wat kan beter?” Wij zijn gaan reflecteren over het doorlichtingsverslag op allerlei niveaus (b.v. secretariaat, directie, vakgroepen). Ook de voorbereiding van het inspectiebezoek leidde tot reflectie. 2. Via de samenwerking met Alden Biesen zijn we in contact gekomen met de Europese dimensie van zelfevaluatie: “Hoe ver staan ze in andere landen? Welke technieken gebruiken ze daar?” Wij werden opgenomen in zelfevaluatieprojecten: MICE: samenstellen van instrumenten om Europese projecten te evalueren en I-Probenet: hoe introduceer je een cultuur van zelfevaluatie op school? 3. Nascholing door Prof. De Vos van de Vlerick Management School, Gent, over zelfevaluatie en veranderingsmanagement. Nascholing met een schoolteam, opdrachten, feedback, literatuur over zelfevaluatie, boeken, artikels…o.a. van Van Petegem … 1.2 Inzichten Uit dit alles kregen we enkele inzichten, bv.: Enkele verschilpunten tussen zelfevaluatie en externe controle. - Zelfevaluatie is veel meer een cyclisch gebeuren, externe controle is eerder eenmalig. - Zelfevaluatie komt van binnenuit, de participanten aan het onderwijsgebeuren evalueren zichzelf, voelen een grotere betrokkenheid. - Zelfevaluatie is nodig om correct om te gaan met meer autonomie. Er is een grotere verantwoordelijkheid. Als je meer autonomie krijgt van de overheid, moet je je meer bewust zijn van je visie, je missie, je aanpak. Dat vraagt reflectie, onderzoek en voortdurende bijsturing. Zelfevaluatie is hiertoe een middel. De Rozenberg is een school die vooruitstrevend is. Maar de positieve én de negatieve effecten van veranderingen, moeten voortdurend gecheckt worden. Bracht de vernieuwing verbetering? Zelfevaluatie is ook hiertoe een middel. Wij zijn verplicht te reflecteren op wat we doen. Als we een fout maken, kan dat voor een kind erge gevolgen hebben.

2. Aanpak 2.1 Werkgroep IZES (Instrument Zelevaluatie Scholen) - pedagogische studiedag - actiepunten Er werd een werkgroep “IZES” opgericht (cfr. infra), bestaande uit de directie, de coördinatoren, een ondersteunende leerkracht, en een externe begeleider (8 mensen). Met deze groep trachtten we alle activiteiten rond zelfevaluatie te coördineren.Vier leden van de werkgroep volgden het Vlerick-seminarie. We hebben als start

79

een plan uitgetekend, met als startvragen: wie- waar - wat - waarom - wanneer – hoe? In die werkgroep werd ook beslist dat we een gestructureerde aanpak van zelfevaluatie zouden beginnen met een grootschalig project: de IZES-bevraging. We hebben heel goed nagedacht over de voorbereiding, de uitwerking én de nazorg. Bij de voorbereiding hebben we getracht te zorgen dat ONS plan HUN plan zou worden. Bij de uitwerking hebben we het KISS-principe gehanteerd: Keep it Small and Simple. We hanteerden woorden als vlot, aangenaam, eenvoudig, prettig. Bij de nazorg hebben we altijd in de gaten gehouden dat er niet alleen een verzameling gegevens zou zijn, maar ook een degelijke interpretatie én een snelle terugkoppeling. We beseften dat we ook aan actiepunten moesten komen. Die actie vonden we uiterst belangrijk. Men moet voelen dat door de zelfevaluatie er echt iets verandert, dat de kwaliteit verbetert. Men mag niet in de valkuil terechtkomen van info verzamelen en er niets mee doen. Daarom is bij zelfevaluatie, veranderingsmanagement ook erg belangrijk! De IZES-werkgroep kreeg faciliteiten in de lesrooster. Alle leden waren donderdagnamiddag lesvrij. De werkgroep had ook veel aandacht voor de communicatie met de hele personeelsgroep. We hebben nieuwsbrieven samengesteld, die iedereen kreeg. We werkten soms erg visueel, b.v. als er een nieuwsbrief kwam, stond er een grote spiegel in de leraarskamer… We benutten ook alle personeelsvergaderingen om verslag uit te brengen. 2.2 Pedagogische studiedag oktober 2001 We beslisten in de werkgroep om te starten met een grote bevraging van alle personeelsleden op een pedagogische studiedag. We kozen hiervoor het IZES-instrument

80

Waarom hebben we het IZES-instrument gekozen? We hebben onze argumenten gehaald uit de Vlerick-nascholing en uit literatuur. We hebben de argumenten steeds getoetst aan onze eigen schoolsituatie. Een van de dingen die we wilden meten, was de efficiëntie van ons onderwijs. IZES is gebaseerd op een schoolefficiëntie-onderzoek. Het instrument meet wat het zegt te meten. De vragenlijst bevat verschillende aspecten van het schoolleven: schoolmanagement, leiderschap, onderwijspraktijk, leraarschap,… Je krijgt een vergelijkingspunt met 100 andere scholen. Zo krijg je een sterkte-zwaktebeeld. Je hebt ongeveer 40 minuten nodig om de vragenlijst in te vullen. Men kan het heel comfortabel doen aan een computer. Men heeft onmiddellijk de resultaten maar natuurlijk nog geen interpretatie! Het invullen van deze vragenlijst was een belangrijk deel van de studiedag. We ervaarden ook enkele nadelen aan IZES: alleen directieleden en leerkrachten worden betrokken door de aard van de vragen. Er is geen 360° evaluatie. Leerlingen en ouders worden niet betrokken. Na de pedagogische studiedag lazen we op enkele evaluatieformulieren dat er te weinig vragen waren naar discipline, planlast, enz… Eén van de valkuilen van zelfevaluatie is dat men teveel verwacht, dat men denkt dat alles aan bod komt en dat alles wat men niet goed vindt bevraagd en veranderd wordt. Hiervoor zouden we bij een volgende keer meer aandacht hebben. 2.3 Nazorg / actiepunten Erg snel, na een week of twee, hadden we de interpretatie van alle gegevens. We kregen bij de interpretatie de hulp van mevrouw Diane Jacobs, medewerkster van P.Van Peteghem. Op basis van deze interpretatie werkte de IZESwerkgroep een actieplan uit. Er waren 4 duidelijke items waarbij men verandering wenste. Deze items waren: 1. discipline 2. betere samenwerking van vakleerkrachten 3. bijsturen van eigen onderwijsgedrag, rekening houdend met leerlingresultaten. 4. ouders beter betrekken om leerlingen te motiveren. Op een algemene personeelsvergadering werden de prioriteiten vastgelegd; beslist werd om de volgende volgorde te hanteren: 2-1-3-4. Het vastleggen van prioriteiten is belangrijk omdat je niet alles ineens kan aanpakken. We proberen in de actie - die nu nog steeds gaande is - het cyclische in de gaten te houden. We stellen ons voortdurend vragen waar staan we nu - hoe weten we dat - hoe gaan we verder. We doen dit niet meer met grote vragenlijsten, maar door interviews, kleine discussiegroepen, kleine schriftelijke bevragingen… We communiceren altijd de resultaten van een feitenverzameling, de actiepunten, de opvolging… We voeren

deze communicatie van in het begin met het personeel, het schoolbestuur, het oudercomité, de participatieraad. We merken nu op dat we de leerlingenraad bij deze communicatie nog niet betrokken hebben. Hierin willen we verandering brengen.

3. Groeiend zelfevaluerend vermogen Het zelfevaluerend vermogen van de Rozenberg is gegroeid. Er is een sneeuwbaleffect gekomen, omdat meer en meer mensen betrokken raken bij zelfevaluatie en overtuigd zijn van de waarde ervan, namelijk kwaliteitsverbetering. 3.1 I-PROBENET Onze deelname aan het Comeniusnetwerk I-ProbeNet is hierin zéker een belangrijke factor! I-ProbeNet organiseert 3 Europese congressen rond zelfevaluatie en de voorbereiding hiervan, evenals de deelname zijn van een zeer hoge intensiteit! Het geeft een interne dynamiek, die niet meer te stuiten is. Op het tweede I-ProbeNet congres hebben we een netwerk gevormd van 7 Vlaamse scholen, netoverschrijdend én niveau-overstijgend. In februari 2004 volgden deze scholen een seminarie op Rozenberg S.O. over actieonderzoek, een methode waardoor we als individu gegevens verzamelen over ons functioneren, met als doel dit functioneren te verbeteren. Action-research geeft ook een bewustwording van een andere invalshoek: als er iets mis gaat met leerlingen, dan moeten we niet alleen kijken naar de leerlingen, maar ook naar onszelf. Dit seminarie sluit zeer goed aan bij het derde prioriteitenpunt van de IZES-bevraging. 3.2 Alle betrokkenen We hebben ons blikveld verruimd en betrekken meer en meer participanten bij het evaluatieproces. We betrekken leerlingen via vragenlijsten voor oud-leerlingen en vragenlijsten voor schoolverlaters. We interpreteren de gegevens nog niet voldoende. Dat zal een volgend werkpunt zijn. Meer en meer leerkrachten betrekken leerlingen bij de evaluatie van hun onderwijspraktijk. Er zijn vragenlijsten voorhanden, en het actie-onderzoek stimuleert ook deze werkwijze. Een uitdaging voor de IZES-werkgroep is om hieraan meer structuur te geven. We evalueren nu ook meer en diepgaander allerlei projecten, zoals Europese uitwisselingen, bezinningsdagen, de wetenschapsreis… We hanteren meerdere, kleine, eenvoudige instrumenten. Bij de voorbereiding van pedagogische initiatieven zoals nascholing, pedagogische studiedag…maken we nu ook bewust werk van zelfevaluatie, niet als aanhangsel, maar als onmisbaar onderdeel.

4. Onverwachte gevolgen 4.1 Democratisering Door zelfevaluatie wordt er meer bespreekbaar; mensen krijgen een forum om kritiek te geven en mee te bouwen aan verandering, van binnen uit! Mensen zijn veel meer betrokken bij het schoolgebeuren. Het geheel wordt meer democratisch. 4.2 Professionalisering Mensen groeien meer in zelfevaluatie en nemen zelf initiatieven. Daardoor groeit het enthousiasme én het professionalisme. Daardoor groeit onze school als lerende organisatie. We hebben veel geleerd over zelfevaluatie. Eén van de belangrijkste dingen is misschien wel dat we nu evalueren op basis van feiten en gegevens, veel meer dan op basis van vage gevoelens, zoals vroeger vaak het geval was. In het zelf evalueren hebben we een professionele groei waargenomen. We beseffen nu ook veel meer dat veranderingsprocessen traag verlopen en zeer complex zijn! Maar we ervaren ook dat als er ‘iets’ verandert, er dikwijls een hele beweging op gang komt.

5. Niet altijd rozengeur op de Rozenberg

81

Zelfevaluatie is een traag proces, en niet iedereen is overtuigd van de waarde ervan. Sommigen weigeren in de spiegel te kijken en vinden zichzelf goed zoals ze zijn! Sommigen hebben een gevoel van overvraagd te zijn … “Moet dat nu ook nog?” Iemand vertelde me hoe perfect het systeem van zelfevaluatie in Schotland is, maar vertelde er ook bij dat het voor sommigen een keurslijf werd, en dat er nog maar weinig gelachen werd… Zelfevaluatie vraagt een voortdurend reflecterende houding. Men moet gegevens verzamelen, interpreteren, actie ondernemen, vanuit een 360° invalshoek… Het maakt de onderwijspraktijk wel beter, het verhoogt de interne kwaliteit voor zoveel mogelijk leerlingen, maar het maakt diezelfde onderwijspraktijk ook wel complexer en veeleisender. Men kan zich moeilijker verschuilen achter een al te minimalistische aanpak!

6. Besluit En toch is zelfevaluatie meer dan de moeite waard! Ons onderwijs wordt er veel professioneler en kwaliteitsvoller door. En dat kan voor een kind het verschil maken!!! Daarom is het van belang stil te staan en voortdurend bij te sturen…zonder daarbij je enthousiasme en je werkvreugde te verliezen. Als een zelfevaluerende school wil stand houden, dan moeten alle participanten bereid zijn om in het cyclisch proces te stappen en deel te worden van een voortdurende spiraal. Volgend schooljaar (september 2004) krijgt onze school een nieuwe externe doorlichting. We gaan graag de dialoog aan tussen interne en externe evaluatie, want we geloven in de waarde van beide componenten!

82

21. Zelfevaluatie van een organisatie in Roemenië (RO) Context: Het Roemeense Nationale Socrates Agentschap (NA) organiseerde een zelfevaluatieseminarie (11 tot 13 juli 2003), in samenwerking met de Nationale Associatie van Leerkrachten in Educatief Management (NATEM); al het personeel van het NA was betrokken en nam actief deel aan dit evenement; de moderator was Serban Iosifescu, de voorzitter van NATEM. Dit verhaal wordt verteld door Monica Calota, hoofd van het Nationale Agentschap. Het proces: “Tijdens de eerste sessie, introduceerden we een brainstormsessie om de groepen te identificeren voor wie we ons verantwoordelijk voelen en aan wie we moeten rapporteren. De SWOT-methode (sterktes, zwaktes, opportuniteiten en bedreigingen) werd gebruikt als een waardevol instrument om informatie, raadgeving en verspreidingsactiviteiten te evalueren. We vonden dat onze sterke punten voornamelijk zijn: de menselijke en professionele kwaliteit van het personeel, de organisatiecultuur; de ICT infrastructuur; het aantal en de kwaliteit van alle publicaties (inclusief de website), de activiteiten van de ERASMUS-coördinatoren, de inspecteurs bevoegd voor internationale samenwerkingsactiviteiten en de Grundtvigpromotoren (die regelmatig getraind worden door het NA). Laatst maar niet het minst, hebben we het selectieproces (voor de goedkeuring van projecten) aanvaard als zijnde correct en transparant. Als onze zwakheden identificeerden we: tijd- en conflictmanagement; onvoldoende contact met centrale media, een relatief geringe verspreiding van gecentraliseerde acties en het gebrek aan overtuigingskracht bij het evalueren van de finale rapporten. Onder onze externe factoren benoemden we het volgende als opportuniteiten: het bestaan van verspreidingsnetwerken (hoofdzakelijk lokale “inspecties” in ieder district), de introductie van SYMMETRY, het

bestaan van een ‘projecthongerige markt’, de vele mogelijkheden voor personeelstraining.Vanuit het oogpunt van bedreigingen benoemden we: eerder frequente wijzigingen in wetgeving, maar ook in het domein van human resources in partnerinstellingen, zekere financiële beperkingen van het programma, de vertragingen in het ontvangen van contracten en fondsen van de Commissie, een soort van functioneel-analfabetisme van sommige kandidaten ( in het werken met aanvraagformulieren, contracten en financieel management). De tweede sessie was gewijd aan “Kwaliteitsvolle Ontwikkeling van het NA personeel”; bepaalde punten (kennis, ervaring en zelfvorming) werden onderstreept. Tijdens de derde sessie focusten we op selectieprocedures. We hebben geleerd dat we soms beperkt zijn door enkel te kunnen beoordelen dat een project goed geschreven is, of, in andere woorden, een gegeven evaluatie heeft geen voorspellende functie over de uitvoering ervan, hetgeen dus enkel een wenselijk doel blijft. Ook werd de noodzaak voor een uniforme evaluatie benadrukt; Dit vereist dan wel een lijst van duidelijk omschreven indicatoren voor elk item. Het betekent een verbetering in de selectiecriteria gebruikt door de externe evaluatoren, zodat ieder item gemeten wordt met “niveau-indicatoren” voor de beschouwde kwaliteitsniveaus (zwak, redelijk, goed, uitstekend). Sommige niveau-indicatoren werden gecreëerd en besproken tijdens de workshops. ‘Kijken naar controle en evaluatie’, zo benoemden we de vierde sessie, waarin we trachtten de volgende pertinente vragen te beantwoorden: Wat evalueren we (hoofdzakelijk projectdocumenten en hun overeenstemming met het initiële aanvraagformulier, het contract , huidige wetgeving, etc)? Hetzelfde geldt voor producten (het bestaan, hoe ze gerelateerd zijn aan het contract) of voor de impact (op doelgroepen, instellingen, de wetgeving, de beschikbare bronnen). Andere gelijkaardige vragen werden omgezet in termen als Hoe? Wie? Wanneer? Bij het bekijken van de impact van een bepaald project op een gegeven instelling hebben we als bewijs verschillende aspecten gebruikt zoals organisatiebeleid (bijvoorbeeld interne regulaties in een school), het beeld van de school, de organisatiecultuur, relaties met de lokale gemeenschap en met andere instellingen. We hebben speciale aandacht besteed aan het beoordelen van activiteiten.Vermits projectontwikkeling gezien kan worden als een proces zijn “in situ” bezoeken het belangrijkste instrument voor beoordeling. Op deze manier kan men de overeenkomst tussen initieel verklaarde doelen (in het aanvraagformulier) en de financiële besteding en de visualiteit van het project beoordelen, men kan meningen verzamelen onder vertegenwoordigers van doelgroepen etc. Zulk bezoek zou gevolgd moeten worden door voorstellen en consultatie voor verbeteringen, indien nodig. Spijtig genoeg gebeurt dit soort van beoordeling enkel voor een relatief klein aantal projecten. De vijfde en zesde sessie werden volledig gewijd aan projecten voor institutionele ontwikkeling. We identificeerden onze strategische bronnen (SB) in het NA zowel als onze strategische doelen (SD). De belangrijkste SB’s zijn: seminaries georganiseerd door NA, onze publicaties, de website, het bestaan van netwerken (reëel of virtueel) over heel het land, discussiegroepen, de ernst en het professionalisme van het NApersoneel. We hopen dat SYMMETRY snel functioneel zal worden. Om de efficiëntie te doen stijgen hebben we eveneens als SD de promotie van het imago van het NA, de continue verbetering van evaluatietools, verbeterde kwalificaties voor NA personeel en het snel leren van SYMMETRY gekozen. Verdere ontwikkeling: Als gevolg hiervan werden drie projecten voor institutionele ontwikkeling overeengekomen. Besluit: De ervaring was zeer succesvol, het basisconcept in het uitwerken van de inhoud van het evenement was: “ Creëer een spiegel voor jouw organisatie”. We haalden ook zeer goede resultaten in termen van teambuilding tijdens dit seminarie. Samen met Serban, hebben we besloten om dit jaar door te gaan met het experiment, door het organiseren van een ander zelfevaluatieseminarie (8ste-11de juli, 2004), gericht op de organisatiecultuur en veranderingsmanagement waarbij we zelfevaluatie als een leerproces bekijken.

Zelfevaluatie van projecten Vele schoolactiviteiten bevatten samenwerking en simultane zelfevaluatie tussen leerlingen, leerkrachten, directie en de school als een geheel. Scholen betrokken in transnationale projecten hebben vaak bewezen grote evaluatoren te zijn, niet enkel omdat dit een contractuele vereiste is, maar vaak ook omdat dit de beste manier is om de successen en de falingen van de laatste projecten te exploreren, en een zekere basis voor de volgende vast te leggen.

83

22. Zelfevaluatie van een Comenius 1.1 projectactiviteit in Roemenië (RO) Context: Colegiul Economic Buzau is een secundaire handelsschool, 80 kilometer ten noordoosten van Bucharest. De school heeft meer dan 1600 studenten van 15 tot 19 jaar oud. Het personeel bestaat uit 3 directeuren en 80 leerkrachten. Door Catalina Postovei

Inleiding: “Sinds 2002 zijn we partners in een Comenius schoolproject: “Vergelijkingen tussen jeugdcultuur in Europa” met scholen uit Duitsland, Groot-Brittannië, Italië, Spanje en Polen. In september - oktober 2003 hadden we een projectontmoeting in Buzau. 22 Leerkrachten en 35 studenten van alle deelnemende landen in het project namen deel aan het evenement. Het was een uitdaging voor ons om manieren vast te stellen om deze activiteit te evalueren. We beschouwden het als een goede kans om de school-, leerkracht- en studentactiviteit te evalueren. Wie nam deel aan de evaluatie? Leerkrachten, leden van het Comeniusteam en een groep leerkrachten die niet deelnamen aan Comeniusactiviteiten. Wat evalueerden we? We probeerden de impact van de Comenius project-reünie op ons schoolleven en op onszelf te onderzoeken. Het proces Welke instrumenten gebruikten we voor zelfevaluatie? 1. Planning en publiciteit: We hadden alles zeer zorgvuldig gepland: deelnemers, programma’s, etc. We maakten programma’s voor alle deelnemende landen en studenten en foldertjes voor de andere leerkrachten, inspecteurs en de lokale media.

84

2. Studentactiviteiten Vragenlijst: De studenten moesten verschillende vragen beantwoorden over hun educatieve systemen. We probeerden hen te laten nadenken over wat anderen hebben, de verschillen en de gelijkenissen. Nadien werkten we samen met de studenten aan de gegevens. Op het einde kreeg iedere school een portfolio met de resultaten. De studenten presenteerden de resultaten voor de leerkrachten, hun collega’s en de media. Posters: De studenten maakten grote posters over een aantal onderwerpen, we vonden het belangrijk dat zij ook bepaalde kennis hadden over de andere landen in het project. Ze werkten in groepjes van vier of vijf. Deze resultaten werden eveneens voorgesteld aan alle leerkrachten. De posters hangen nog steeds aan onze schoolmuren. Leerlingimpressies: Studenten moesten eveneens hun indrukken van de ontmoeting noteren. Al hun gedachten zullen samengebracht worden in een magazine op het einde van het jaar en eveneens in een Powerpointpresentatie. Portfolio’s: Tijdens de ontmoeting maakten de studenten folders over de plaatsen die ze bezochten – Buzau, Bran, Brasov en de Buzauvallei.Vertegenwoordigers van iedere school maakten een portfolio, dat enkele van de attracties van ons land presenteerde in foto’s en woorden. Het was een manier om de perceptie van de studenten te evalueren en om Roemenië beter bekend te maken in Europa. 3. Leerkrachtenactiviteiten Leerkrachten evalueerden de activiteiten van het eerste jaar tijdens discussies. Ze planden eveneens de activiteiten voor het tweede jaar van het Comeniusproject en voor het Jeugdfestival (gehouden in mei in Duitsland). Ze gaven daarna een eindrapport over de ontmoeting uit. Leerkrachten vulden een vragenlijst in over hun school en het Comeniusproject. De vragenlijst bevroeg lesuren, vrije lessen, vervangingslessen, betaalde of onbetaalde vervangingslessen, extracurriculaire activiteiten, de tijdstabel van het Comeniusproject, het aanstellen van coördinatoren, etc. De resultaten van de vragenlijst werden voorgesteld in iedere partnerschool tijdens personeelsvergaderingen. 4. Activiteiten na de ontmoeting Er was een vergadering met alle studenten en leerkrachten die deelnamen aan het project. We bespraken zowel de

positieve als negatieve aspecten. Tijdens de Comeniusweek (17 november) organiseerden we een competitie voor onze studenten. Ze beantwoordden vragenlijsten en maakten posters met als titel “ Wij en Europa”. De studenten ontvingen diploma’s, T-shirts en petten met ons Comenius projectlogo erop.

23. Zelfevaluatie van een Litouws-Italiaans project (LT) Context: Dit rapport is gemaakt door Laurynas Ivinskis Gymnasium in Kuršénai, Litouwen en hun Italiaanse partners in Citadella. De projectcoördinator is Valdoné Verseckiené. Een vollediger bestand van het project vindt u in de “Your story” sectie op de I-Probenet website. Projectthema: “De Brenta en Venta rivieren: verleden en huidige getuigen: gebouwen, werk en folklore langs de twee rivieren” Projectproducten: • • •

Een videofilm met documenten over de uitwisselingen en de ervaringen van de studenten in partnerlanden. Een CD-ROM die al het projectmateriaal bevat. Een boek dat het verhaal van de twee rivieren vertelt, met populaire ballades en liedjes in drie talen en met een appendix met de meest frequent gebruikte woorden, zinnen en spreuken in de partnertalen.

Projectresultaten: •

•

•

•

•

De studenten bevorderden hun kennis van hun eigen land en het partnerland, de lokale omgeving en de gebouwen, het werk en de folklore typisch voor beide landen. Ze werden aangemoedigd om verder te kijken dan hun vorige ervaringen en attitudes en om andere culturen te aanvaarden. Via de projectactiviteiten ontwikkelden de studenten een beter begrip van het leven en cultureel erfgoed in hun eigen omgeving en die van de partnerschool. Ze leerden om andere tradities en culturen te appreciëren. Deelname aan het project bevorderde de motivatie van de student en hun bekwaamheid om in het Engels, Italiaans en Litouws te communiceren. Ze werden meer vloeiend in het Engels en leerden wat alledaagse basiswoordenschat en taalstructuren in het Italiaans en Litouws. Ze waren in staat om eenvoudige informatie uit te wisselen met hun gasten en om te gaan met sommige alledaagse situaties en technische kernwoorden nuttig voor het project. De leerkrachten die betrokken waren in het project verwierven meer vaardigheden voor het werken in een team. Het gevoel van ‘gemeenschappelijk’ eigenaarschap van het project droeg bij tot een betere leerkracht-leerkracht en leerkracht-student relatie. Alle leerkrachten die deelnamen aan het project wensen nu meer betrokken te worden in crosscurriculair werk. Hun lesgeven wijzigde door de ontwikkeling van nieuwe onderwijsvaardigheden zoals het gebruik van actieve leer/lesgeefmethoden. De leerkrachten in de partnerscholen vergeleken mekaars lesgeefmethoden en namen nieuwe pedagogische benaderingen over van partners en collega’s.

Evaluatie: •

•

Informeel: Doorheen het project gebeurde er een informele evaluatie van zowel de processen en de resultaten. Gedurende de uitwisselingsfasen in Italië en Litouwen vond er iedere dag een evaluatie plaats. Ons doel was om er een open discussie van te maken. Studenten werden aangemoedigd om zowel over de meest succesvolle momenten als over hun problemen te praten. Deze benadering gaf goede resultaten en hielp de studenten om hun partners beter te verstaan en om communicatieproblemen te vermijden. Ook vonden er informele conversaties plaats met de ouders van de studenten. Leerkrachten van beide groepen discussieerden over de resultaten van iedere dag, en planden de volgende dag. Formeel: Dit werd uitgevoerd op het einde van het project wanneer de studenten vragenlijsten

85

invulden. Er waren geen negatieve commentaren. De studenten onderstreepten verschillende aspecten, welke, volgens hun mening, de meest succesvolle waren. De meeste Litouwse en Italiaanse studenten apprecieerden het feit dat deelnemen aan het project hen tolerantie en respect voor een andere cultuur had bijgebracht, en hen hielp om hun eigen cultuur beter te begrijpen. Het liet hen eveneens toe om in zichzelf te kijken. Op de één of andere manier, brachten ze ook allemaal naar voor dat dit project niet enkel nieuwe kennis bijbracht, maar dat het ook een uitstekende levensschool was en hen hielp beseffen dat om een Europese burger te zijn je veel moet leren.

24. Evaluatie van een transnationaal milieuproject door de Roemeense partner (RO) Context: De Militaire middelbare school “Mihai Viteazul” in Alba Iulia is altijd een speciaal deel geweest van de geschiedenis van het Roemeense militaire onderwijs. Sinds de opzet op de 23ste september 1919 in Tirgu Mures, heeft de middelbare school ups en downs gekend omwille van historische gebeurtenissen. In 1975 werd het gevestigd in Alba Iulia, de historische hoofdstad van Transylvania, op 400 km van Bucharest. Studenten worden geselecteerd na een ingangsexamen op 15 jaar en studeren af op 19 jaar. De school heeft belangrijke resultaten bereikt via het werk van leerkrachten en studenten, waarvan velen grote persoonlijkheden zijn geworden in militaire of civiele sectoren. Dit rapport wordt voorgesteld door Dr. Marinela Bitu. Thema: “Het belangrijkste onderwerp van het project focust op een milieubeschermingsgebied. De deelnemende scholen komen uit Roemenië, Italië, Litouwen en Slovenië. Dit partnerschap draagt bij tot het verrijken en diversifiëren van de kennis en vaardigheden van de partners in verband met de milieuproblematieken en sociale problemen van vandaag, globaal en lokaal, over hun oorzaken en mogelijke oplossingen. •

•

86

Alle deelnemers zijn betrokken in wetenschappelijk onderzoek op basis van metingen en modellen voor de instandhouding van de integriteit van ecosystemen in verschillende gebieden in Europa, nu en in de toekomst. Betekenisvolle milieustudies zijn ontwikkeld binnen en buiten de scholen, gebruikmakend van moderne methodes zoals hands-on observatie, coöperatief leren, case studies, onderzoek en probleemoplossend werk.

Zelfevaluatie van het eerste projectjaar door de Comenius leerkrachtteams. Alle partnerscholen waren akkoord over de noodzaak om onze gezamenlijke projectactiviteit te evalueren na het eerste projectjaar. De coördinerende leerkrachten, en de schoolhoofden van Roemeense, Litouwse, Italiaanse en Sloveense scholen en vier extra deelnemende leerkrachten doorliepen een zelfevaluatieproces gedurende de tweede projectontmoeting in de Sloveense school, van 15 tot 19 mei 2003. We gebruikten sommige evaluatieinstrumenten van de MICE materialen (www.MICE-T.net). Iedere school gaf enkele vragenlijsten, checklijsten met aanvinkboxen aan de betrokken studenten en leerkrachten in het project en organiseerde groepsdiscussies. De resultaten werden gezamenlijk geanalyseerd tijdens de projectontmoeting om de projectactiviteit te optimaliseren. We gaven speciale aandacht aan negen topics. Deze waren projectevaluatie, communicatie in het partnerschap, projectzichtbaarheid, producten en resultaten, Europees burgerschap op school, betrokkenheid van de hele school, vakbekwaamheden voor leerkrachten, studentmotivatie, en Europees burgerschap voor studenten. Alle resultaten kunnen bekeken worden op de project website www.landscapes77.home.ro in de evaluatiesectie. Korte commentaren over sommige van de evaluatie-items: A. Projectevaluatie: refereert hoofdzakelijk naar het werkplan over het eerste projectjaar. Leerkrachten van alle partnerscholen discussiëren in detail over het werkplan van iedere school, afgeleid van het gemeenschappelijke projectplan. Een aantal disseminatie-activiteiten werden voorgesteld. B. Communicatie in het partnerschap: De leerkrachten werd gevraagd een formulier in te vullen over de strategie van gemeenschappelijke taal, middelen voor communicatie, frequentie, doelen, uitwisseling van materialen, etc. De verzamelde data zijn aanmoedigend, omdat het regelmatige en efficiënte communicatie onthult vooral via e-mail. Hierbij stond het uitwisselen van informatie, het zenden van materialen of het discussiëren over het uiteindelijke formaat van de producten centraal.

C. Betrokkenheid van de hele school: een vragenlijst voor het evalueren van de betrokkenheid van de studenten en de leerkrachten werd aan iedere school bezorgd voor de ontmoeting. Ze werden gevraagd om sommige items te beantwoorden zoals het opsommen van de vertegenwoordigde landen in het project of de voordelen van deelname aan het project. Studenten benadrukten dat de kennis, vaardigheden en gevoeligheid verworven gedurende het projectjaar een goede basis is voor het verruimen van hun horizon en voor het uitdrukken van hun verwachtingen in een modern Europa. D. Motivatie van studenten en hun besef van Europees burgerschap: Een checklist met enkele specifieke vragen werd aan de studenten gegeven.Voorbeelden van gebieden bevatten de interesse van de student in het vragen naar extra werk, deelnemen in projectactiviteiten buiten de school, het realiseren van projectmaterialen, actievere burgers zijn en leren over Europese democratische structuren. De verzamelde data van alle scholen worden voorgesteld op de website.

25. Evaluatie van een Comenius taalproject (GB): Context: Ter voorbereiding op de eindrapporten vereist door de Nationale Agentschappen, evalueerden Lincoln Christ’s Hospital school (Groot-Brittannië) en het Lycée Léonard da Vinci in de Vendée (Frankrijk) hun 2003-2004 project over stereotypering via de producten (bv. krantenartikels, rapporten en een spel), statistische indicatoren zoals onderzoeksresultaten en gedifferentieerde vragenlijsten voor leerkrachten en studenten. De analyse gebeurde door Chris Williams en Cécile Lafon: Uittreksel van een studentenvragenlijst voor zelfevaluatie (met resultaten van de studenten van beide scholen toegevoegd – B=Brits, F=Frans) “GLOBALE DOELSTELLINGEN In hoeverre denk je dat je deze doelstellingen persoonlijk bereikte? (Alle studenten)

87 DOEL Mijn linguïstische competentie in de tweede taal verbeteren.

1

2 B1 F3

3 B4 F4

4 B5 F3

Voorbeeld commentaren F: “(Tijdens de twee weken in Engeland) heb ik net zoveel geleerd als sinds het begin van het jaar” F: “Ik vond het normaal om Engels te horen” F: “Ik leerde nieuwe uitdrukkingen, maar ik ben niet zeker of ik mijn bekwaamheid heb verbeterd”. B: “Het hielp werkelijk, mijn mondelinge kennis steeg aanzienlijk”

Mijn zelfvertrouwen in de tweede taal verbeteren.

B1 F2

B5 F4

B4 F4

F: “ Nu moet ik niet denken vooraleer ik praat” “Het hoogtepunt van deze trip” B: “Het hielp me vertrouwen te voelen met het gebruik van mijn Frans”

Mijn intercultureel besef verbeteren doorheen het project.

B2 F3

B6 F3

B2 F4

F: “We zijn ons nu bewust van de vooroordelen” F: “Britten zijn heel anders dan we dachten” B: “Ik begrijp meer van de Franse cultuur, en ik vond de uitwisseling zeer aangenaam”

Samenwerken met mensen van een ander land.

B2

B2 F3

B6 F7

F: “ Het naar een Engelse familie gaan heeft me echt geholpen” B: “Mijn familie sprak Frans tegen me, een grote kans”

Britse student: “Mijn conversatie Frans verbeterde oneindig. Ik begon voor de eerste keer in mijn leven ‘te denken in het Frans’ ” Franse student: “Het ontmoeten van een persoon uit een ander land en een maand doorbrengen met haar heeft me de belangrijkheid doen begrijpen van Engels te praten en heeft me zin gegeven om door te gaan met het leren van vreemde talen” Uittreksel van het evaluatierapport voorbereid voor de Nationale Agentschappen: Belangrijkste conclusies en gevolgen van de evaluatie; • Belangrijkste conclusies: Eigenlijk was het project een groot succes. De deelnemers hadden over het algemeen een hoogstaand en nuttig activiteitenpakket tijdens beide uitwisselingen en verbeterden hun begrip voor elkaars taal en cultuur. • Gevolgen:Voor een aantal van de deelnemers bleek de uitwisseling zowel een sleutelmoment in hun schoolleven te zijn als een ideale kans om hun linguïstische vaardigheden te verbeteren.Verschillende deelnemers uit beide scholen praten nu hardop over verder studeren in het buitenland.

88

Waar niet aan de verwachtingen werd voldaan: studentevaluaties toonden dat een aantal van hen meer “bright lights” hadden verwacht bv. daguitstappen naar Londen en Parijs, meer georganiseerde sociale activiteiten in de avonden.Vanuit het oogpunt van de coördinator moet er hier duidelijk een balans zijn tussen wat is gewenst door de studenten, wat wenselijk is binnen het project, de beperkingen van het projectcontract en wat is geoorloofd binnen het budget. Wat goed ging: zo goed als alles – accommodatie, reis, programma, uitdagen van de studenten en het verruimen van hun horizon, het behalen van linguïstische doelen, het voorzien van een basis voor toekomstige activiteiten door individuen en instellingen.

6 KIJK IN UW EIGEN SPIEGEL Wat zijn de uitdagingen voor zelfevaluatie in uw school of instelling? • • • • • • • • • • • • • • • • •

Interesse creëren in zelfevaluatie Percepties van zelfevaluatie wijzigen Prioriteit geven aan leren binnen een school zodat zelfevaluatie een natuurlijke activiteit wordt Ontwikkelen van zelfevaluatiesystemen voor de school als aanvulling op externe inspectie Tijd vinden om grondig aan zelfevaluatie te doen Ontwikkelen van strategieën voor het verzamelen van bewijzen Integreren van zelfevaluatie in een naadloos systeem De resultaten van zelfevaluatie gebruiken De resultaten van zelfevaluatie rapporteren Bepalen hoe de resultaten gerapporteerd moeten worden Aanpak van de ‘blootstellinggevaren’ die kunnen ontstaan uit zelfevaluatie Aanpak van individuele afkeer om zich open te stellen voor zelfevaluatie Het idee aanvaarden dat leerlingen hun leerkrachten en hun werk kunnen evalueren Het begrip ontwikkelen dat zelfevaluatie een natuurlijk continu proces is Zelfevaluatie op school koppelen aan de cyclus van ontwikkelingsplanning Duidelijk zijn over de actiepunten welke resulteren uit het zelfevaluatieproces om de kwaliteit van het leren op school te verbeteren Het bereiken van een consensus over het zelfevaluatieproces op de school

Reflectie: • Hoever houdt deze lijst verband met uw eigen ervaring? •

Wat zou je toevoegen aan deze lijst?

Discussie: • Hoe belangrijk is zelfevaluatie voor uw individuele ervaring? •

En voor uw school?

•

En in de nationale context?

89

U kan dit handboek gratis downloaden in .pdf van de netwerkwebsite: www.I-Probenet.net in het Engels, Nederlands, Litouws, Spaans, Sloveens, Roemeens, Duits en Frans.

Ministerie van de Vlaamse Gemeenschap

����������������

90

���������������������������������� ������������������������������ ���������������������� ��������������������������������������������������������������������������������� ������������������������������������������ ������������������������������������������������������������������ �������������������������������������������� ��������������������������������������������������������� �������������������������������������������������������������������������� ��������������������������������� ���������������������������������������������������� ����������������������������������������������� ������������������������������������������ ������������������������������������������������� ����������������������������������������� ����������������������������� ��������������������������������������

�������������������������������������������������

��������������������������������������

Coordinator: Guy Tilkin - [email protected] Layout: Frederic Boonen - [email protected]